УДК 519.21
М60
ББК 22.171
Рецензент:
академик РАН Н.А. Кузнецов
Миллер Б. М., Панков А. Р. Теория случайных процес-
процессов в примерах и задачах. - М.: ФИЗМАТЛИТ, 2002. - 320 с. -
ISBN 5-9221-0206-0.
В книге изложены основы современной теории случайных процессов. Опи-
Описаны важнейшие модели процессов с дискретным и непрерывным временем,
методы их исследования и использования для решения прикладных задач.
Рассмотрены решения многочисленных типовых примеров, приведены задачи
для самостоятельного решения.
Для студентов и аспирантов технических университетов, специализирую-
специализирующихся в области прикладной математики, теории управления, обработки
информации и экономики.
ISBN 5-9221-0206-0	© ФИЗМАТЛИТ, 2002

СОДЕРЖАНИЕ
Предисловие редактора		6
Предисловие		7
Список основных сокращений и обозначений		9
Глава I. Основные понятия теории случайных процессов 11
§ 1. Случайные процессы и их вероятностные характеристики . 11
1.1. Определение случайного процесса A1). 1.2. Конечномер-
Конечномерные распределения случайного процесса A3). 1.3. Теорема
Колмогорова A7). 1.4. Моментные характеристики случай-
случайного процесса B1). 1.5. Задачи для самостоятельного реше-
решения B7).
§ 2. Основные классы случайных процессов 	 29
2.1. Гауссовские случайные процессы B9). 2.2. Случайные
процессы с конечными моментами второго порядка C5).
2.3. Стационарные случайные процессы C8). 2.4. Марков-
Марковские процессы C9). 2.5. Диффузионные процессы D6).
2.6. Задачи для самостоятельного решения D8).
Глава П. Случайные последовательности 	 52
§ 3. Стационарные случайные последовательности	 52
3.1. Основные характеристики ССП E2). 3.2. Примеры ССП
E5). 3.3. Спектральное представление ССП E8). 3.4. Задачи
для самостоятельного решения F2).
§ 4. Линейные преобразования случайных последовательностей . 65
4.1. Линейные преобразования последовательностей общего
вида F5). 4.2. Линейные преобразования стационарных СП
G0). 4.3. Линейное прогнозирование стационарных последо-
последовательностей G5). 4.4. Задачи для самостоятельного реше-
решения (81).
§ 5. Цепи Маркова 	 83
5.1.	Вероятностные характеристики цепей Маркова (83).
5.2.	Эргодические цепи Маркова (87). 5.3. Предельные ве-
вероятности состояний цепи Маркова (91). 5.4. Задачи для
самостоятельного решения (96).
§ 6. Разностные стохастические уравнения 	 98
6.1.	Модели авторегрессии и скользящего среднего (98).
6.2.	Спектральные характеристики АРСС-последовательно-
стей A03). 6.3. Многомерные разностные линейные сто-
стохастические уравнения A06). 6.4. Фильтр Калмана A10).
6.5. Нелинейная фильтрация марковских случайных после-
последовательностей A17). 6.6. Алгоритмы субоптимальной нели-
нелинейной фильтрации A22). 6.7. Задачи для самостоятельного
решения A29).

СОДЕРЖАНИЕ
§ 7. Мартингалы с дискретным временем	 131
7.1. Основные определения A31). 7.2. Марковские моменты.
Случайная замена времени в мартингале A38). 7.3. Теоремы
сходимости мартингалов и их приложения A41). 7.4. Задачи
для самостоятельного решения A45).
Глава III. Случайные функции 	 147
§ 8. Элементы анализа случайных функций 	 147
8.1. Непрерывность случайных функций A47). 8.2. Диф-
Дифференцирование случайных функций A53). 8.3. Интегриро-
Интегрирование случайных функций A57). 8.4. Дифференциальные
уравнения со случайной правой частью A61). 8.5. Задачи
для самостоятельного решения A66).
§ 9. Стационарные случайные функции 	 167
9.1. Основные характеристики стационарных случайных
функций A67). 9.2. Примеры ССФ A70). 9.3. Линейные
преобразования ССФ A75). 9.4. Задачи для самостоятель-
самостоятельного решения A85).
§ 10. Случайные функции с ортогональными и независимыми при-
приращениями 	 188
10.1. Основные понятия и определения A88). 10.2. Одно-
Однородные процессы с ортогональными приращениями A93).
10.3. Мартингалы (непрерывное время) A96). 10.4. Вине-
ровский процесс B05). 10.5. Задачи для самостоятельного
решения B10).
§ 11. Стохастические дифференциальные уравнения 	 212
11.1. Стохастический интеграл Ито B12). 11.2. Стохасти-
Стохастическое дифференциальное уравнение. Формула Ито B17).
11.3. Линейные стохастические дифференциальные урав-
уравнения B25). 11.4. Формирующий фильтр для стационар-
стационарной случайной функции B31). 11.5. Стохастические диф-
дифференциальные уравнения и диффузионные процессы B36).
11.6. Фильтр Калмана-Бьюси B39). 11.7. Задачи для само-
самостоятельного решения B45).
§ 12. Марковские случайные функции с дискретным множеством
состояний 	 247
12.1. Потоки событий B47). 12.2. Вероятностное описание
марковских случайных функций с дискретным множеством
значений B50). 12.3. Эргодические свойства однородных
марковских случайных функций B54). 12.4. Процессы ро-
рождения и гибели B57). 12.5. Задачи для самостоятельного
решения B62).
Глава IV. Математическое приложение	 264
§ 13. Необходимые сведения из функционального анализа .... 264
13.1. Алгебры и сг-алгебры множеств B64). 13.2. Меры
(определения и свойства) B65). 13.3. Способы задания мер
B66). 13.4. Измеримые функции B70). 13.5. Интеграл Ле-
Лебега B72). 13.6. Гильбертово пространство B79). 13.7. Ря-
Ряды Фурье в гильбертовом пространстве B82). 13.8. Ортого-
Ортогональное проектирование в гильбертовом пространстве B83).

СОДЕРЖАНИЕ
§ 14. Необходимые сведения из теории вероятностей 	 284
14.1. Случайные события и их вероятности B84). 14.2. Слу-
Случайные величины и векторы B86). 14.3. Математическое
ожидание B90). 14.4. Последовательности случайных вели-
величин B94). 14.5. Условное математическое ожидание B96).
14.6.	Гауссовские случайные величины и векторы B99).
14.7.	Гильбертово пространство случайных величин с ко-
конечным вторым моментом C01). 14.8. Ортогональная сто-
стохастическая мера C03). 14.9. Стохастический интеграл по
ортогональной мере C05).
§ 15. Вычисление специальных интегралов 	 307
15.1. Интеграл вероятностей C07). 15.2. Интегралы от дроб-
дробно-рациональных функций C08).
Список литературы	 310
Предметный указатель	 312

ПРЕДИСЛОВИЕ РЕДАКТОРА
В 1973 году на факультете прикладной математики Московского
государственного авиационного института (технического университе-
университета) академиком B.C. Пугачевым была создана кафедра теории вероят-
вероятностей и математической статистики. За прошедшее время на кафедре
под научно-методическим руководством B.C. Пугачева были созданы
и прочитаны оригинальные учебные курсы по таким дисциплинам,
как «Теория вероятностей и математическая статистика», «Случай-
«Случайные процессы», «Математический анализ» и др. На суд читателя
выносится серия учебных пособий по трем названным дисциплинам,
которые отражают накопленный опыт преподавания этих дисциплин
студентам технического университета МАИ, специализирующимся
в области прикладной математики, радиоэлектроники, машинострое-
машиностроения и систем управления. Отличительной чертой данных пособий яв-
является максимально лаконичное изложение материала при достаточ-
достаточно полном описании современного состояния изучаемых предметов.
Кроме того, значительную часть пособий занимают многочисленные
примеры и задачи с решениями, что позволяет использовать эти по-
пособия не только для чтения лекционных курсов, но и для проведения
практических и лабораторных занятий. Структура изложения курсов
такова, что эти пособия могут одновременно играть роль учебника,
задачника и справочника. Поэтому пособия могут быть полезны как
преподавателям и студентам, так и инженерам.
Проф., д.ф.-м.н. А.И. Кибзун

ПРЕДИСЛОВИЕ
Содержание данного учебного пособия отражает многолетний
опыт преподавания студентам и аспирантам факультета прикладной
математики Московского государственного авиационного институ-
института (технического университета) курса теории случайных процессов,
в становлении которого решающая роль принадлежит академику РАН
B.C. Пугачеву. При подготовке учебника авторы основывались на
следующих базовых принципах:
—	математически корректное изложение материала и обоснование
всех методов, используемых для решения конкретных задач;
—	иллюстрирование основных теоретических положений примера-
примерами различного уровня сложности;
—	более подробное рассмотрение тех моделей случайных процес-
процессов, которые в настоящее время являются наиболее важными для
решения прикладных задач.
В книге приведено значительное количество строгих определений
и аккуратных формулировок теорем. Доказательства теорем можно
найти в многочисленных учебниках по теории случайных процессов
[2,4,10,20-22,25]. Для понимания основного материала достаточно
знания курсов математического анализа, линейной алгебры и теории
вероятностей в объемах, принятых для изучения в техническом уни-
университете. Для овладения материалом в полном объеме необходимо
знакомство с основами функционального анализа (теория меры, ин-
интеграл Лебега, гильбертово пространство). Исчерпывающие сведения
по теории вероятностей содержатся в учебниках [1,19,22,25] и спра-
справочнике [9], а по функциональному анализу — в [8,13,18].
Использование всех приведенных теоретических положений про-
проиллюстрировано многочисленными примерами, снабженными подроб-
подробными решениями. В наиболее важных примерах изучаются модели и
методы исследования случайных процессов, на которых базируются
эффективные алгоритмы обработки информации, принятия решений,
анализа и прогнозирования реальных процессов в физических, биоло-
биологических, сложных технических и экономических системах. В конце
каждого параграфа приведены задачи для самостоятельного реше-
решения. Все задачи снабжены ответами, а наиболее сложные — указани-
указаниями к решению. Отметим также задачники [3,7], которые могут быть
использованы для самостоятельной проработки материала.
Наконец, для изучения были отобраны те математические модели
случайных процессов, которые имеют особое значение для постановки
и решения прикладных задач в следующих областях:
—	управление сложными системами [6,15,16,23];

ПРЕДИСЛОВИЕ
—	управление движением летательных аппаратов [11];
—	обработка измерительной информации [20,24];
—	исследование надежности систем [10];
—	исследование операций и системный анализ [27];
—	идентификация систем [12];
—	системы массового обслуживания [5,27];
—	математическая экономика и теория финансов [14,26,28].
Поэтому наряду со стандартными разделами курса (гауссовские
процессы, стационарные процессы и их преобразования, цепи Мар-
Маркова и др.) в книге присутствуют нетрадиционные разделы, посвя-
посвященные стохастическому анализу, разностным и дифференциальным
стохастическим уравнениям, оптимальному оцениванию, теории ре-
рекуррентной фильтрации Калмана-Бьюси, методам нелинейной филь-
фильтрации, теории мартингалов. Так, например, теория мартингалов
эффективно используется в настоящее время для исследования и
оптимизации процессов на финансовых рынках [26].
Книга состоит из четырех глав. В первой главе приведены основ-
основные определения и теоретические положения общего характера, необ-
необходимые для изучения остального материала, а также кратко описаны
важнейшие типы случайных процессов, применяемых для решения
прикладных задач.
Вторая глава посвящена случайным процессам с дискретным вре-
временем (случайным последовательностям). В последние годы значе-
значение этого класса случайных процессов повысилось в связи с тем,
что на смену аналоговым методам обработки информации пришли
цифровые методы, реализованные в виде компьютерных алгоритмов
и программ.
В третьей главе книги изучаются случайные процессы с непре-
непрерывным временем (случайные функции). Модели таких процессов
адекватно описывают движение механических систем в случайных
средах, распространение радиосигналов, функционирование систем
массового обслуживания, процессы изменения курсов ценных бумаг
и многое другое.
Четвертая глава имеет справочный характер и содержит сведения
по функциональному анализу и теории вероятностей, необходимые
для изучения материала в полном объеме.
При подготовке рукописи книги мы постоянно пользовались со-
советами и помощью наших коллег по кафедре «Теории вероятностей»
Московского государственного авиационного института (технического
университета) А.В. Борисова, А.В. Босова, Е.Н. Платонова и В.И. Си-
ницына, которым мы выражаем искреннюю признательность. Авторы
выражают особую благодарность К.В. Семенихину за работу по науч-
научному редактированию рукописи и подготовку оригинал-макета.

список основных
СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ
С В — случайная величина или слу-
случайный вектор;
СП — случайная последовательность;
СФ — случайная функция;
С СП — стационарная СП;
ССФ — стационарная СФ;
ЦМ — цепь Маркова;
АР — авторегрессия;
С С — скользящее среднее;
АРСС — авторегрессия—скользящее
среднее;
М1 —множество вещественных чисел;
Ж1 — n-мерное (вещественное) евкли-
евклидово пространство;
Z — множество целых чисел;
С — множество комплексных чисел;
~z — комплексное число, сопряженное
к z G С;
Re z — вещественная часть комплек-
комплексного числа z ? С;
А* — транспонированная матрица;
А~г — обратная матрица;
/ — единичная матрица;
Б(Шп) — сг-алгебра борелевских под-
подмножеств пространства Шп;
Б ([а, Ь]) —сг-алгебра борелевских под-
подмножеств промежутка [а, Ь];
I в(х) — индикатор (индикаторная
функция) множества В\
ехр{ж} = ех — экспонента;
f(xo-) = Hm f(x) — предел слева
функции /(ж) в точке xq\
arg min fix) — точка минимума фун-
хех
кции f(x) на множестве Х\
ц(В) — мера 11 множества В]
C(N) — линейная оболочка множе-
множества N;
det[A] — определитель матрицы А;
tr[A] — след матрицы А;
тгм(х) — проекция элемента х на под-
подпространство М;
о(х) — «о-малое», т.е. функция от ж,
такая, что о(х)/х —> 0 при х —»> 0;
S(х) — дельта-функция Дирака;
1/2[а, Ъ] — гильбертово пространство
комплексных функций, интегри-
интегрируемых с квадратом по мере Ле-
Лебега на отрезке [а, 6];
Q — пространство элементарных со-
событий (исходов) ои;
Т — сг-алгебра случайных событий
(подмножеств Q);
Р{А} — вероятность (вероятностная
мера) события А;
{Q,!F, Р} — основное вероятностное
пространство;
0 — невозможное событие (пустое
множество);
F^(x) — функция распределения
вероятностей СВ ?;
Pg(x) — плотность распределения
вероятностей СВ ?;
т^ = М{?} — математическое ожи-
ожидание (среднее) СВ ?;
D% = D{?} — дисперсия СВ ?;
cov{^, 77} — ковариация СВ ? и 77;
о
? — центрированная СВ ?;
Е(Х) — экспоненциальное распреде-
распределение с параметром Л;
АГ(т] D) — гауссовское (нормальное)
распределение со средним т и
дисперсией (ковариационной ма-
матрицей) D;
Ф(х) — интеграл вероятностей (фун-
(функция Лапласа);
1-L — гильбертово пространство (цен-
(центрированных) СВ с конечным
вторым моментом;
||?|| = М{|?|2}1/2 - норма СВ ? в П\

10
СПИСОК ОСНОВНЫХ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ
(?? v) — скалярное произведение СВ
k и v ъЧ\
? J- г] — ортогональные СВ ? и г\ в 7i;
— гильбертово пространство,
порожденное случайной последо-
последовательностью ? = {?п};
= а{{;} — сг-алгебра, порожден-
ная СВ f;
= cr{?(s), s ^ t} — сг-алгебра, по-
порожденная случайным процессом
?(s) до момента t;
} — условное математиче-
математическое ожидание С В ту относитель-
относительно а- алгебры Q;
М{г] | ?} = М{т7 | J7*} — условное
математическое ожидание С В 77
относительно СВ ?;
Р{А | 5} — условная вероятность
случайного события А относи-
относительно случайного события В]
{?п, п G Щ — СП, заданная на Z;
{?(?), t G Т} — СФ, заданная на
промеж:утке Т С R1;
.., хп; ti, ..., tn) — n-мерная
функция распределения случай-
случайного процесса ?(?);
(ж1, ... ,жп; ti, ... ,tn) — n-мерная
плотность распределения слу-
случайного процесса ?(?);
..., An; t\, ..., tn) — n-мерная
характеристическая функция
случайного процесса ?(?);
(t) — математическое ожидание
случайного процесса ?(?);
(i — дисперсия случайного про-
процесса ?(?);
— ковариационная функция
случайного процесса ?(t);
(r) — ковариационная функция
стационарного процесса ?(?);
() — спектральная функция ста-
стационарного процесса ?(?);
Д (А) — спектральная плотность ста-
стационарного процесса ?(?);
Ф(А) — частотная характеристика
линейного стационарного преоб-
преобразования;
— ортогональная стохасти-
стохастическая мера, соответствующая
стационарному процессу ?(?);
?п — оптимальные в среднем
квадратическом (с.к.-оптималь-
(с.к.-оптимальные) оценки;
(?)t — квадратическая характери-
характеристика мартингала ?;
P(s,x,t, В) — переходная вероят-
вероятность марковского процесса;
p(s,x,t,y) — переходная плотность
марковского процесса;
P(x,t,B) — переходная вероятность
однородного марковского про-
процесса;
p(x,t,y) — переходная плотность од-
однородного марковского процесса;
Pij(si~k) — вероятность перехода ЦМ
из г-го состояния в момент s в j-e
состояние в момент ?;
р{. — вероятность перехода однород-
однородной ЦМ из г-го состояния в j-e
состояние за один шаг;
Р — {Pij} — переходная матрица
однородной ЦМ;
fti(t) — вероятность г-го состояния
ЦМ в момент t;
w(t) — винеровский процесс (процесс
броуновского движения);
A?(s, t) = ?(?) — ?(s) — приращение
случайного процесса ?(/;) на про-
промежутке (s,t];
?п ') ? — среднеквадратическая
сходимость (с.к.-сходимость);
? = l.i.m. ?п — среднеквадратический
п—>-оо
предел (с.к.-предел);
?(?) — среднеквадратическая произ-
производная (с.к.-производная);
(Р-п.н.) — почти наверное (с вероят-
вероятностью 1);
?п —'—^ ? — сходимость (Р-п.н.);
? = Km ?n (Р-п.н.) — предел с веро-
п^оо
ЯТНОСТЬЮ 1.

ГЛАВА I
ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ
СЛУЧАЙНЫХ ПРОЦЕССОВ
В данной главе рассматриваются основные характеристики слу-
случайных последовательностей и случайных функций: конечномерные
законы распределения и моментные характеристики. Во втором пара-
параграфе главы приводится краткое описание наиболее важных классов
случайных процессов и обсуждаются их характерные особенности.
Материал данной главы является базовым для более детального изу-
изучения случайных процессов в последующих главах.
§ 1. Случайные процессы
и их вероятностные характеристики
1.1. Определение случайного процесса. Случайный процесс
является математической моделью для описания случайных явлений,
развивающихся во времени. При этом предполагается, что состоя-
состояние процесса в текущий момент времени t G Ш1 есть векторная или
скалярная случайная величина ?(t,uj). Пространство элементарных
событий (исходов) Q предполагается измеримым, т. е. на нем опре-
определена а-алгебра его подмножеств Т. Кроме того, предполагается,
что на измеримом пространстве {Q,J-} задана вероятностная мера Р,
т.е. для любого множества A G Т определена его вероятность Р{А}.
Тем самым, задано вероятностное пространство {О,^7, Р}, и понятие
случайного процесса определяется следующим образом.
Определение 1.1. Случайный процесс есть семейство (действи-
(действительных или комплексных) случайных величин {?(?,u;), t G Т}, опре-
определенных на {?7, Т, Р}, где множество параметров ГС11.
Замечание. Обычно, когда это не приводит к неясности, зависи-
зависимость ?(t,Lj) от uj не указывается и случайный процесс обозначается
просто ?(?).
Определение 1.2. Пусть to Е Т — фиксированный момент. Слу-
Случайная величина ?to(tt;) = ?(?о? °°) называется сечением случайного
процесса в точке to G Т.

12	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Далее мы будем рассматривать два типа случайных процессов.
Определение 1.3. Если переменная t пробегает дискретное мно-
множество значений, например, t G Z = {..., —2, —1, 0,1, 2, ... }, то слу-
случайный процесс ?(?) называется процессом с дискретным временем
или случайной последовательностью, а если t G М1 или t G [а, Ъ], где
Ъ ^ оо, то случайный процесс называется процессом с непрерывным
временем или случайной функцией.
Определение 1.4. Процесс называется действительным или
вещественным, если случайные величины ?(?,и;) являются действи-
действительными для любого ? G Т, и комплексным, если случайные величи-
величины ?(?,и;) являются комплексными для любого t E Т.
Определение 1.5. При фиксированном coq G ^ неслучайная
функция Со;0(^) =?(^?а;о)> t Е Т, называется траекторией, соответ-
соответствующей элементарному исходу ujq G Г2. Траектории называются так-
также реализациями или выборочными функциями случайного процесса.
Замечание. Случайный процесс можно трактовать как совокуп-
совокупность сечений (см. определение 1.2) или как совокупность («пучок»)
траекторий (см. определение 1.5). В различных задачах используются
оба эти описания.
Определение 1.6. Случайная функция ?(?) называется регуляр-
регулярной, если ее траектории в каждой точке t G Т непрерывны справа и
имеют конечные пределы слева.
Рассмотрим некоторые примеры, поясняющие введенные выше
определения.
Пример 1.1. Пусть случайный процесс ?(?) определен следую-
следующим образом:
Z(t) = tX, tG [0,1],
где X rsj 7Z[0,1] — случайная величина, равномерно распределенная на
отрезке [0,1]. Описать множество сечений и траекторий случайного
процесса ?(?).
Решение. Случайный процесс ?(t) является случайной функ-
функцией. При фиксированном tg ? [0,1] сечение &0(cj) = toX(uj) является
случайной величиной, имеющей равномерное распределение на отрез-
отрезке [0,t0].
Траектории процесса ?(?), т.е. неслучайные функции C^oW =
= X(uJo)t, являются прямыми линиями, выходящими из точки @,0)
со случайным тангенсом угла наклона, равным X(ljq). Случайная
функция ?(t) регулярна, так как все ее траектории непрерывны. ¦
Пример 1.2. Пусть t G [0, оо), а случайная функция ?(?) задана
следующим образом:
?(t) = Un при te[n,n + l), n = 0,1,2, ...,
где {Un, n = 0,1,2, •••} — последовательность конечных случайных
величин. Описать траектории случайного процесса ?(?). Является ли
этот процесс регулярным?

§ 1]	СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	13
Решение. Траектории процесса ?(?), t ^ 0 — кусочно постоян-
постоянные функции, испытывающие разрывы в точках t = п = 0,1, 2, ...
По определению эти функции непрерывны справа и имеют преде-
пределы слева, равные lim^a;(t) = Un-i(uj) для всякого ио Е ?1. Поскольку
P{|C/n_i| < оо} = 1 по условию, то этот случайный процесс является
регулярным. ¦
1.2. Конечномерные распределения случайного процесса.
Определение 1.7. Пусть {?(?), t Е Т} — действительный слу-
случайный процесс и задано некоторое произвольное множество мо-
моментов времени {ti, ... ,?п} С Т. Соответствующий набор случайных
величин ?(?i), • • • ??(^п) имеет n-мерную функцию распределения
которая в дальнейшем будет называться п-мерной функцией распре-
распределения случайного процесса ?.
Совокупность функций A.1) для различных п= 1,2, ... и всех
возможных моментов времени t{ E T называется семейством конеч-
конечномерных распределений случайного процесса ?.
Определение 1.8. Если функция F^ допускает представление
Fd(r-t	т • /i	/ I —
^ \ -L ? ' ' ' 1 ^fii и 1 ? • • • 5 °п) —
Х\	Хп
= ... pJui, ..., ип] ti, ..., tn) du\ ... dun,
— оо —оо
где p^(^i, ..., жп; ti, ..., tn) — некоторая измеримая по Лебегу
неотрицательная функция, такая, что
оо	оо
р^(иъ ... ,un; tb ... ,tn)dui .. .dun =
— оо —оо
оо	оо
...
то говорят, что функция распределения имеет плотность. Функция
рЛх\, ... ,жп; ti, ... ,tn) называется п-мерной плотностью распреде-
распределения процесса ?.
Следующие примеры демонстрируют нахождение конечномерных
функций распределения.
Пример 1.3. Пусть случайный процесс задан соотношением
№ = ч>№ te[o,i],
где U — некоторая случайная величина с функцией распределе-
распределения Fjj{x), a (f(t) > 0. Найти семейство конечномерных распределений
процесса ?. Имеет ли его n-мерная функция распределения плот-
плотность?

14	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Решение. В соответствии с определением 1.7
ъ ...,?(tn) ^ хп} =
= P{<p(U) U^xui = l,...,n} = PJC/ ^ ^у, г = 1, ..., п J =
A.2)
Если функция распределения Fjj(x) имеет плотность Pu(x)i TO
существует и плотность одномерного распределения случайного про-
процесса ?(?), поскольку для п = 1 из A.2)
следовательно, Vtlx: t) = -^\Vu\ —гт •
Ч>УЧ \<Р\Ч/
Однако при п ^ 2 n-мерная функция распределения не имеет
плотности. Действительно, в силу определения процесса ?(?) для
любых ?i, ..., tn имеет место соотношение
поэтому мера -Fii,...,tri(^i, ...,dxn) в пространстве Мп, соответству-
соответствующая функции распределения A.2), сосредоточена на прямой
S = {х е W1: хг/фг) = ... = xn/<p(tn)},
имеющей нулевую лебегову меру. Следовательно, мера i^1? ...,*„(•) син-
сингулярна по отношению к мере Лебега, и поэтому n-мерная плотность
не существует, если п ^ 2. ¦
Пример 1.4. Пусть X л Y — независимые случайные величины
с функциями распределения Fx(x) и Fy(y)- Пусть {?(?), t ^ 0} —
случайный процесс, определенный соотношением ?(t) = Xt + Y. Опи-
Описать траектории данного процесса, найти семейство конечномерных
функций распределения.
Р е ш е н и е. Выборочные функции этого процесса представляют
собой прямые линии со случайным наклоном и случайным начальным
условием при t = 0. Одномерная функция распределения случайного

§ 1]	СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	15
процесса ?(?) при t > 0 имеет вид
оо
F^(x;t)=P{Xt + Y ^ х} = | P{Xt + Y < ж | У = y}dFY(y) =
Если лее t = 0, то i^(#; t) = .Fy(#)« Для тг-мерной функции распреде-
распределения, аналогично примеру 1.3, получаем
dFY (у)
при ti > 0, ... ,tn > 0. ¦
Пример 1.5. Пусть X, У — независимые случайные величи-
величины, имеющие гауссовское распределение Л/"@; 1/2). Случайный про-
процесс определен соотношением ?(?) = (X + Y)/t, t > 0. Вычислить
Р{|?(?)| ^ З/t} для произвольного ? > 0.
Решение. По определению F^(ж; ?) есть функция распределения
случайной величины ?(?). В силу того что X, У — гауссовские и
независимые, ?(?) = (X + У)Д такж:е имеет гауссовское распределе-
распределение, причем
Тем самым ?(?) ~ Л/"@; 1/t2), поэтому i^(x; t) = Ф(ж?), где
Функция &(z) называется интегралом вероятностей или функ-
функцией Лапласа. Итак,
РШ<)| < З/t} = F(C/t; t) - F^-3/t; t) = ФC) - Ф(-3) » 0,997. ¦
Все рассмотренные процессы относятся к случайным функциям.
Приведем примеры нахождения законов распределения случайных
последовательностей.

16	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Пример 1.6. Пусть случайная последовательность {?(n), n =
= 1,2, ... } такова, что ее сечения независимы в совокупности и имеют
одинаковую функцию распределения F(x). Найти семейство конечно-
конечномерных распределений последовательности ?.
Решение. По определению 1.7 с учетом независимости случай-
случайных величин ?(п) имеем
хк} =
г=1
Заметим, что все конечномерные распределения в данном случае
выражаются через одномерное распределение F(x). ¦
Пример 1.7. Пусть случайная последовательность {?(n), n =
= 0,1, 2, ... } определена рекуррентным соотношением
где {еп} — последовательность независимых в совокупности гауссов-
ских случайных величин с параметрами М{еп} = 0, D{en} = а2 > 0.
Найти одномерную функцию распределения случайной последова-
последовательности ?.
Решение. Из определения случайной величины ?(п) находим
п
?(п) = ?1 а"-1 + ... + ?„_! а + <г„ = ^ ?fc an~k.
к=1
В силу гауссовости и независимости случайных величин {?&} случай-
случайная величина ?(п) — гауссовская с параметрами mJn) = 0 и
^ <72п,	если
Поэтому одномерная функция распределения имеет вид
2п	если а2 = 1.
Замечание. Случайная последовательность, описанная в при-
примере 1.6, называется дискретным белым шумом. В дальнейшем эта
модель будет часто использоваться для построения более сложных
случайных последовательностей. В примере 1.7 последовательность
{sn\ является дискретным гауссовским белым шумом.

§ 1]	СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	17
1.3. Теорема Колмогорова. Семейство конечномерных распре-
распределений является основной характеристикой случайного процесса,
полностью определяющей его свойства. Мы будем говорить, что слу-
случайный процесс задан, если задано семейство его конечномерных
распределений A.1).
Функции распределения процесса ?(?) обладают следующими свой-
свойствами.
1)	О ^J F^(x\, ... ,жп; ti, ... ,tn) ^ 1 (условие нормировки).
2)	Функции F^{xi, ..., жп; ?i, ... ,tn) непрерывны справа по пере-
переменным Х{.
3)	Если хотя бы одна из переменных Х{ —^ — оо, то
..,жп; tb ...,tn) ->> О,
если все переменные а^ ~~^ +оо, то
4) Функции F^ixi, . ..,жп; ti, ...,tn) монотонны в следующем
смысле:
..,жп; tb ...,tn) ^ 0,
где А^ — оператор конечной разности по переменной
a /ii ^ 0, ..., /гп ^ 0 произвольны.
5) Для любой перестановки {&i, ..., fcn} индексов {1, ..., п}
6) Для любых
Определение 1.9. Свойства 5 и 6 называются условиями согла-
согласованности семейства конечномерных распределений.
Пример 1.8. Доказать справедливость свойств 1-6 для произ-
произвольного семейства конечномерных распределений.
Р е ш е н и е. Все свойства 1—6 непосредственно вытекают из со-
соответствующих свойств вероятности. Действительно, свойство 1 есть
условие нормировки для вероятности. Свойства 2 и 3 немедленно
следуют из свойства непрерывности вероятности. Свойство 4 есть
условие неотрицательности вероятности, поскольку
..,xn; h, ... ,*„) = Р{П{жг < ?(t4) < xt + /ij} ^ 0.
2 Б.М. Миллер и А.Р. Панков

18	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Наконец, свойства 5 и 6 являются свойствами совместной функции
распределения случайных величин {?(?i), . ..,?(?„)}. Полное доказа-
доказательство предлагается выполнить самостоятельно (см. задачу 1). ¦
Предположим, что для любого п ^ 1 и любого набора момен-
моментов времени {ti, ..., tn} С Т заданы функции F(xi, ..., хп; t\, ..., ?п),
a?i, ..., хп GM1, удовлетворяющие условиям 1—6. Является ли это
семейство функций семейством конечномерных распределений неко-
некоторого случайного процесса? Чтобы положительно ответить на этот
вопрос, необходимо построить пространство элементарных исходов ?7,
задать некоторую а-алгебру Т его подмножеств и вероятность Р
и, наконец, построить семейство функций ?(?, о;), определенных на
ТхО так, чтобы семейство конечномерных распределений процесса
?(t,u)) совпало с семейством функций F. Оказывается, что данная
процедура осуществима всегда. Этот основополагающий результат
теории случайных процессов известен как теорема Колмогорова.
Теорема 1.1 (Колмогоров). Пусть задано некоторое семейство
конечномерных функций распределения
F = {F(Xl, ...,ж„; ti, ...,*„)> xtER1, UeT, г = 1, ...,п, п > 1},
удовлетворяющих условиям 1—6. Тогда существуют вероятностное
пространство {^l,^7, P} и случайный процесс {?(?), t?T}, такие,
что семейство конечномерных распределений F^ случайного процесса
совпадает с F.
Замечание. Теорема Колмогорова вместе с установленными вы-
выше свойствами семейства конечномерных распределений показыва-
показывает, что условия 1—6 являются необходимыми и достаточными для
существования случайного процесса с заданными конечномерными
распределениями F%.
Таким образом, всегда найдется случайный процесс с заданным
семейством конечномерных распределений. Оказывается, что в общем
случае такой процесс не будет единственным. Другими словами, се-
семейство конечномерных распределений задает целый класс случай-
случайных процессов, которые в некотором смысле являются эквивалент-
эквивалентными. Рассмотрим более подробно различные подходы к определению
этого понятия.
Пусть {X(t), t G Т} и {Y(t), t G T} — два случайных процес-
процесса, определенные на одном и том же вероятностном пространстве
{?7, Т, Р} и принимающие значения в одном и том же измеримом про-
пространстве, например {М1, ^(М1)}, где Б(М}) — сг-алгебра борелевских
подмножеств Ш1.
Определение 1.10. Процессы {X(t), t G Т} и {У(?), t G Т} на-
называются стохастически эквивалентными в широком смысле, если
для любых {tb ...,?„} СТ, {Въ ...,Вп} СБ(Ш1), п = 1,2, ... выпол-

§ 1]	СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	19
няется равенство
P{x(ti) ев,,..., x(tn) е вп} = P{Y(h) евъ..., y(tn) е вп}.
A.3)
Замечание. Условие эквивалентности в широком смысле озна-
означает, что семейства конечномерных распределений процессов X и Y
совпадают.
Определение 1.11. Если для любого t G Т
P{X(t) = Y(t)} = 1,	A.4)
то процессы называются стохастически эквивалентными или просто
эквивалентными.
Введенные понятия эквивалентности связаны между собой, так
как справедливо следующее утверждение.
Теорема 1.2. Эквивалентные процессы всегда эквивалентны
в широком смысле.
Определение 1.12. Если процесс X(t) является эквивалентным
процессу Y(t), то X(t) называется версией или модификацией процес-
процесса Y{t).
Эквивалентность процессов в общем случае не означает их тожде-
тождественности. Следующий пример показывает, что два эквивалентных
процесса могут иметь совершенно различные траектории.
Пример 1.9. Пусть ?1 = [0,1],^-" — сг-алгебраборелевскихподмно-
сг-алгебраборелевскихподмножеств отрезка [0,1], Р — мера Лебега и Т = [0,1]. На вероятностном
пространстве {^l,^7, Р} определим случайные процессы {X(t), t G T}
и {Y(t), t G T} следующим образом:
fO, t/cj,
X(t, и) = 0, Y(t, и) = <	при (?, и) G Т х п.
ll t uj
Показать, что процессы являются эквивалентными, однако их траек-
траектории отличаются (Р-п.н.).
Р е ш е н и е. Для некоторого фиксированного t G Т
)} = {uj:uj = t} = {t}.
Поскольку мера Лебега одноточечного множества равна нулю, то
P{X(i) = Y(t)} = l для любого teT,
т.е. процессы X{t) и Y{t) эквивалентны. Тем не менее у процессов
X(t) и Y(t) нет ни одной пары совпадающих траекторий. Действи-
Действительно, для всякого uj G ?1 в точке t* = со по условию X(t*,uj) ф
Ф Y(t*,uj), поэтому
P{cj: X(t,u) = Y(t,uj) Vt G T} = 0. ¦

20	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Следующее определение описывает наиболее сильный тип эквива-
эквивалентности.
Определение 1.13. Процессы {X(i), t G Т} и [Y(t), t G T} на-
называются неотличимыми, если
P{X(t) = Y{t) VteT} = 1.	A.5)
Условие A.5) часто записывают также в следующем виде:
P{snp\X(t)-Y(t)\ >0} =0.
teT
При некоторых условиях, однако, определения 1.11 и 1.13 эквива-
эквивалентны. Это справедливо, например, если X{t) и Y{t) — случайные
последовательности (т.е. множество Т счетно).
Пример 1.10. Доказать, что эквивалентные случайные последо-
последовательности неотличимы.
Решение. Пусть X{t), Y(t) — эквивалентные процессы с дис-
дискретным временем t G Т = Z, тогда
~P{X(t) ф Y(i) хотя бы для одного t G Т} =
= Р{ U {X(t) ф Y(t)}\ < ? Р{*(*) Ф П*)} = 0,
teT	teT
что влечет выполнение условия A.5). ¦
Таким образом, стохастически эквивалентные случайные после-
последовательности неотличимы. Для случайных функций, к сожалению,
это утверждение в общем случае несправедливо без некоторых до-
дополнительных ограничений. Тем не менее справедливо следующее
практически важное утверждение.
Теорема 1.3. Если две стохастически эквивалентные случай-
случайные функции являются регулярными (см. определение 1.6), то они
неотличимы.
Замечание. Из приведенных выше рассуждений следует, что
задание совокупности конечномерных распределений в общем случае
не позволяет заранее обеспечить выполнение некоторых требований
относительно поведения траекторий случайных функций (например,
непрерывность, монотонность, дифференцируемость и т. д.). Однако
если случайная функция регулярна или задана конструктивно некото-
некоторым соотношением, то мы можем определить вероятности достаточно
сложных событий, связанных с поведением ее траекторий.
Пример 1.11. Предположим, что случайная функция задана со-
соотношением ?(?) = X2 + 2tY + ?2, t ^ 0, где X, Y — независимые
случайные величины, имеющие гауссовское распределение Л/"@;1).
Найти вероятности следующих событий:

§ 1]	СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	21
1)	А\ = {?(?) монотонно не убывает};
2)	А2 = {?(?) неотрицательна};
3)	Аз = {?(?) = 0 хотя бы для одного t G ?>}, где D С [0, оо) —
некоторое конечное или счетное подмножество;
4)	т44 = {?(?) = 0 хотя бы для одного t G [0, оо)}.
Решение. 1) Поскольку траектории ?(?) дифференцируемы по ?,
то условие их монотонности есть ?'(?) = 2 У + 2? ^ 0, ? ^ 0. Для вы-
выполнения этого условия необходимо и достаточно, чтобы У была
неотрицательной. Таким образом, P{t4i} = Р{У ^ 0} = 1/2.
2) Условие неотрицательности траекторий ?(?) выполняется, если
либо У > 0, либо У ^ 0, но |У| ^ \Х\. Таким образом, в силу незави-
независимости X, Y и симметрии их законов распределения получаем
Р{А2} = P{Y > 0} + Р{У < 0, \Y\ < |Х|} = 1/2 + 1/4 = 3/4.
3) Р{^3} = Р{ U Ш*) = °}} < Е р{^(*) = °>- Для любого
teD	teD
сированного t справедливо
= 0} = {X2 + 2?У + ?2 = 0} = {(X, У) G Б},
где множество В = {(х,у) G М2 : ж2 + 2?г/ + ?2 = 0} представляет собой
параболу и поэтому имеет нулевую меру Лебега в Ш2. Теперь, учиты-
учитывая, что совместное распределение случайных величин X, У имеет
плотность р(ж,у), получаем
= 0} = Р{(Х,У) G Б} = Jp(s,2/)<fad2/ = 0.
Далее, поскольку множество D не более чем счетно, Р{^4з} = 0.
4) Событие А/± состоит в том, что функция ?(?) имеет на [0, оо) по
крайней мере один корень, что выполняется, если одновременно У ^ 0
и |У| ^ |Х|. Поэтому Р{^4} = Р{^ ^ 0, |У| ^ |Х|} = 1/4. ¦
1.4. Моментные характеристики случайного процесса.
Моментные характеристики случайного процесса задают его простей-
простейшие свойства и вычисляются с помощью конечномерных распреде-
распределений различных порядков. Пусть ?(?) — скалярный (вещественный)
процесс.
Определение 1.14. Неслучайная функция mJt), t ET, опреде-
определяемая соотношением

22	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
называется математическим ожиданием процесса ?(t) или его сред-
средним значением. Если m^{t) = 0 при всех t Е Т, то процесс называется
центрированным.
Определение 1.15. Неслучайная функция D^(t), t Е Т, опреде-
определяемая соотношением
х2 dFt(x; t) -
называется дисперсией (или дисперсионной функцией) процесса
Замечание. При каждом t E T математическое ожидание и
дисперсия m^(t), D^(t) процесса ?(?) суть математическое ожидание
и дисперсия его сечения в точке t E Т.
Определение 1.16. Неслучайная функция
определяемая соотношением
ОО ОО
= J J
— oo —oo
называется ковариационной функцией процесса
Замечания. 1) При любых t,r ?Т функция Щ{Ь,т) численно
равна ковариации сечений случайного процесса ?t(w) и ?г(с<;) в точках
?, т Е Т и характеризует степень линейной зависимости между сече-
сечениями. Для вычисления Щ(Ь,т) необходимо знать двумерное распре-
распределение Fg(xi,X2'-> t,r) процесса ?(?). Заметим также, что
), t ET.
Из неравенства Коши—Буняковского следует, что для существова-
существования rrig(t), D^(t) и Щ(г,т) при всех ?,т ЕТ достаточно выполнения
условия
2} <оо VtET.	A.6)

СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	23
2) Если распределения F^{x\ i) и F^{x\^X2] t,r) имеют плотности
распределения р^(х\ t) и p^(xi1X2'1 t,r), то
= хр^х] t)dx, D^{t) =
,т) =
— oo — oo
Определение 1.17. Случайный процесс {?(?), t G T}, удовлетво-
удовлетворяющий условию A.6), называется процессом с конечными момента-
моментами второго порядка или гильбертовым случайным процессом.
Определение 1.18. Пусть ^(t) = X(t)-\-iY(t) — комплексный
процесс, где Х(?), Y(t), t G T — некоторые действительные случайные
процессы, а г2 = — 1. Если
м{|?(*)|2} = м{е(*Ш} = M{x2(t) + Y2(t)} < оо Vi е т,
то процесс ?(?) называется комплексным гильбертовым процессом.
Функция
,г) =
где { • } означает комплексное сопряжение, называется ковариацион-
ковариационной функцией комплексного случайного процесса ?(?).
Пример 1.12. Пусть ?(t) = Xip{t), t G T, где X — действительная
случайная величина со средним тпх и дисперсией ?>х, a ip(t) —
неслучайная функция на Т. Найти mAt), D^(t) и R^(t^r).
Решение. В соответствии с определениями 1.14-1.16 имеем
€	= M{X} <p(t) = mx<p(t),
= cav{X<p(t),X<p(T)} = cav{X,X}<p(t)<p(T) = Dx
Следующий пример является обобщением предыдущего.
п
Пример 1.13. Пусть ?(t) = ^Хт(Ь), t G T, где Х{ — действи-
тельные некоррелированные случайные величины с известными пара-
параметрами {mx., Dx-}> a Wi(t)} — заданные на Т детерминированные
функции. Найти m^(t), D^(t) и Rg(t,r).

24	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Решение. В соответствии с определениями 1.14—1.16 имеем
г=1
г=1
Так как Х±, ..., Хп — некоррелированные случайные величины, т. е.
cov{JQ, Xj} = 0 при г / j, то
г=1
Пример 1.14. Найти необходимое и достаточное условие, при
котором существует процесс {?(?), ? G Т} с характеристиками
M{?(i)} = m€(«), cov{^(i),^(r)} = Щ(г, г),	A.7)
где mAt), Rg(t,r) — заданные вещественные функции.
Решение. Найдем сначала необходимое условие. Пусть ?(?) —
процесс с характеристиками A.7). Тогда для любых наборов
{ti, ..., tn} С Т и {zi, ..., zn} С С справедливо соотношение
^L EE{(o(i)}^ о,
г=1	j
т.е. функция Щ{Ь,т) удовлетворяет условию неотрицательной опре-
определенности:
ff	, ...,*„}ст, У{гь ...,2„}сС.
A.8)
Докажем теперь, что условие A.8) является в то же время и доста-
достаточным для существования случайного процесса с моментными харак-
характеристиками A.7). Действительно, условие A.8) означает, что матрица
К = {Щ(и, tj)}ij=i: ...?n является неотрицательно-определенной, по-
поэтому существует функция F^(x\, ... ,жп; ti, ... ,tn) n-мерного гаус-
совского распределения N (га; X), где га = {m^(ti)}i=i^ ...?n (см. п. 14.6).

§ 1]	СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	25
Как нетрудно проверить, построенная система конечномерных рас-
распределений удовлетворяет условиям 1-6 из п. 1.3. Поэтому в силу
теоремы Колмогорова существует случайный процесс {?(?), t G Т},
имеющий указанное семейство гауссовских распределений и, в част-
частности, обладающий характеристиками A.7). ¦
Замечание. Процесс, рассмотренный в примере 1.14, называется
гауссовским случайным процессом. Свойства таких процессов более
детально рассматриваются в следующем параграфе.
Определение 1.19. Пусть заданы два комплексных процесса
), r?(?), t G Т. Детерминированная функция
t,r еТ,
называется взаимной ковариационной функцией случайных процессов
f и 77.
Замечание. Функция R^^t^r) существует, если ?(?) и rj{t) —
гильбертовы процессы.
Определение 1.20. Пусть ф) = {fi(t), ...,?n(t)}* G W1 — век-
векторный случайный процесс. Детерминированная n-мерная вектор-
функция TnJt) G Mn, t G Т, определяемая соотношением
называется математическим ожиданием векторного случайного
процесса ?(?).
Детерминированная матричная функция
,г) =
), t, т 6 Т,
называется ковариационной функцией векторного случайного процес-
саф).
Замечание. Для существования m^(i) и Щ(t,т) при всех t,r ? Т
достаточно выполнения условия
М{\ф)\2} = М{\Ш\2 + • • • + |?п(*)|2} < оо Vt G Т.	A.9)
Пример 1.15. Пусть ф) = G(i)U, t G Т, где U G Mm — некото-
некоторый случайный вектор с параметрами М{С/} = mjj, cov{C/, U} = i?[/,
a G(t) — детерминированная матричная функция размера п х m.
Найти m^t), Щ(г,т).

26	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Решение. В соответствии с определением 1.20
Ъ г) = cow{G(t)U, G(r)U} = G(t) cov{?/, U} G*(r) = G(t)Rv G*(t),
а ковариационная матрица D^(t) сечения ?(?), t G T, имеет вид
Определение 1.21. Пусть {?(?), t G T} — действительный
случайный процесс. Детерминированная вещественная функция
?7i^(ti, ..., tk), ti, ..., tk G T, определяемая соотношением
называется смешанным моментом порядка к случайного процес-
процесса ф).
Определение 1.22. Пусть {?(?), t G Т} — действительный
случайный процесс. Детерминированная комплексная функция
Ф^(^1, ..., Zjt; ti, ..., tjt) вещественных переменных zi, ..., Z&, опреде-
определяемая для произвольного набора ?i, ..., tk G Т соотношением
= \
называется характеристической функцией к-мерного распределения
процесса ?,(t).
Замечание. Из курса теории вероятностей известно, что харак-
характеристическая функция k-vo порядка позволяет восстановить соответ-
соответствующую /с-мерную функцию распределения, поэтому эти характе-
характеристики при описании вероятностной структуры случайного процесса
являются взаимозаменяемыми (см. п. 14.6).
Пример 1.16. В условиях примера 1.12 найти характеристиче-
характеристическую функцию процесса ?(?), если дополнительно известно, что X —
гауссовская случайная величина.

§ 1]	СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ	27
к
Решение. Пусть т\ = ^ zj?,(tj)i тогда в силу ?(tj) = X<p(tj) полу-
к	j=i
чаем г] = X ^ Zj(p(tj), поэтому г\ — гауссовская случайная величина
i=i
со средним и дисперсией:
mr1 = mx ? *М*з)> А> = ^х ( ?
Отсюда получаем выражение для характеристической функции:
r7} = exp
где ттт,^, Djj определены в A.10) и учтено, что для гауссовской случай-
случайной величины г] при любом А ЕЁ1 справедливо (см. п. 14.6)
Замечание. Выше был введен в рассмотрение белый шум с дис-
дискретным временем, т. е. последовательность центрированных неза-
независимых и, следовательно, некоррелированных случайных величин.
Для случая непрерывного времени по аналогии вводится понятие
белого шума как процесса ?(?) с моментными характеристиками
m^t) = 0, Щ(Ь, s) = a2S(t - s),
где S(r) — дельта-функция Дирака (см. п. 13.5). Очевидно, что
Щ(г,в) = 0, если t ф s, т.е. сечения этого процесса, даж:е при очень
близких t и s, некоррелированы. Однако ?(t) не является гильбер-
гильбертовым случайным процессом, так как D^(t) = R^(t^i) = оо при всех
t G Т. Таким образом, белый шум с непрерывным временем физически
нереализуем, однако он является удобной математической моделью
для описания динамических систем, функционирующих в присут-
присутствии постоянно действующих случайных возмущений (см. гл. III).
1.5. Задачи для самостоятельного решения.
1.	Доказать свойства 1-6 конечномерных распределений A.1).
2.	Доказать свойства 1-6 для семейства конечномерных распределений,
найденных в примерах 1.3, 1.4.
3.	В условиях примера 1.4 построить пучок траекторий процесса ?(?),
если X и Y распределены равномерно на отрезках [—1,0] и [0,1] соответ-
соответственно.

28	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
4.	Доказать, что для существования m^(t), D^(t), Щ(г,т) при всех
t,r Е Т достаточно, чтобы выполнялось условие М{|?(/;)|2} < оо Wt ? Т.
Указание. Воспользоваться неравенством Коши-Буняковского.
5.	Доказать, что D^(i) = R^(t,t).
6.	Пусть в примере 1.4 X и У имеют плотности распределения рх(х)
и pY(y)- Найти двумерную плотность распределения процесса ?(?). Пока-
Показать, что распределения порядка к ^ 3 плотности не имеют.
Указание. Воспользоваться формулой преобразования плотности при
невырожденном преобразовании случайных величин. Показать, что мера
совместного распределения {?(?i),?(?2), • • • 5?(?&)}> & ^ 3, сосредоточена на
некотором линейном подпространстве размерности 2.
Ответ. pJx!,x2; t!,t2) =	— Pxlx! - -^—^ ) pYl -^—^ ) для
моментов ^2 > t\.
7.	Пусть в примере 1.13 случайные величины Xi являются независимы-
независимыми и гауссовскими с распределением А/"@; 1). Найти F^(x; t).
Указание. Определить математическое ожидание и дисперсию про-
процесса ?(?).
8.	Пусть ?(?) = Xt2 + Yt, t > 0 — случайный процесс, где X, Y — неза-
независимые случайные величины с гауссовским распределением ЛА(О; 1). Найти
вероятность того, что траектория монотонно не убывает.
Ответ. Р{?(?)—неубывающая функция} = Р{Х ^ О, У ^ 0} = 1/4.
9.	В условиях предыдущей задачи найти вероятность случайного собы-
события А = {min?(?) < 0).
Lt>o v у J
Ответ. Р{А} = Р{Х >0, Y < 0} + Р{Х < 0, Y > 0} = 1/2.
10.	Случайный процесс задан соотношением ?(t) = X + at, t > 0, где
X — случайная величина с непрерывной функцией распределения,
а а>1 — детерминированная постоянная. Пусть D С [0, оо) — некоторое
конечное или счетное подмножество. Найти вероятности событий:
1)	Р{?(?) = 0 хотя бы для одного t E D};
2)	Р{?(?) = 0 хотя бы для одного t e [0,1]}.
Ответ. 1) 0; 2) Р{-а ^ X ^ 0}.
11.	Найти ковариационную функцию процесса ?(?) = Xcos(/; + y), где
X, У независимы, X имеет распределение ЛГ(О; 1), а У имеет равномерное
распределение на [—тг,тг].
Ответ. Щ (/;, г) = cos(t — т).
12.	Найти математическое ожидание и ковариационную функцию ком-
комплексного случайного процесса ?(t) = UelVt, где С/, V — независимые слу-
случайные величины, М{[/} = 0, D{t/} = D, а случайная величина У рас-
распределена по закону Коши с плотностью вероятности Рл/(х) =	—,
7г(а2 + ж2)
где а > 0.
Указание. Воспользоваться табличным интегралом —	 dx =
J о;2 + ж2
о;
Ответ. m^(t) = 0, Щ(Ь,т) = De"a|t"r|.

2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	29
§ 2. Основные классы случайных процессов
2.1. Гауссовские случайные процессы.
Определение 2.1. Действительный случайный процесс {()
t G Г} называется гауссовским, если его характеристическая функция
имеет вид
fc	к к
= ехр(г j: *;ш^-) - J Е Е ЗДЛ)^), B.1)
где Zi, ..., Zk — произвольные вещественные числа, ?i, ..., tk G T, a
Характеристическую функцию молено представить в виде
Фе(;г; tb ..., tfe) = exp(iz*m^ - \г*Щг} ,	B.2)
где z = {zb ...,zk}*, m^ = {m^(ti), ... ,m^(tk)}* ш Щ {R(U
Как уже говорилось ранее, характеристическая функция полностью
определяет распределение совокупности случайных величин, и тем
самым задано и полное семейство конечномерных распределений.
Замечания. 1) Из курса теории вероятностей известно, что
гауссовский случайный вектор г\ = {771, ..., т]к}* с математическим
ожиданием m и ковариационной матрицей R^ имеет плотность рас-
распределения р^х) тогда и только тогда, когда матрица R^ — невыро-
невырожденная, т.е. det^^] > 0. В этом случае
Таким образом, если матрица Rg = {R^(U,tj)}ij=i^,^k полож:ительно
определена, то совместное распределение сечений {?()?()}
имеет плотность вероятности
р^х; *!,..., tk) = B7T)h

30	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Связь между характеристической функцией и плотностью распреде-
распределения к-го порядка имеет вид
рЛх] ?i, ..., tk) = Bтг)~ е~гх ^Ф^(г; ?i, ..., tk) dz.
Если же det[^] =0, то это означает, что сечения {?(?].), ...,?(?&)}
линейно зависимы, а их совместное распределение F^(x; ?1, ...,?&)
плотности не имеет.
2)	Нетрудно проверить, что семейство конечномерных гауссов-
ских распределений, соответствующее семейству характеристических
функций B.2), удовлетворяет условиям 1-6 теоремы Колмогорова
(см. п. 1.3). Таким образом, произвольный набор {?(?i), ••-,?(?&)}
сечений гауссовского случайного процесса является случайным век-
вектором с гауссовским распределением. Подчеркнем также, что все эти
распределения согласованы (в смысле определения 1.9).
3)	Из определения гауссовского процесса следует, что семейство
его конечномерных распределений полностью определяется двумя
моментными характеристиками: математическим ожиданием и кова-
ковариационной функцией.
Пример 2.1. Пусть Х\, ..., Хп — совокупность случайных вели-
величин, совместное распределение которых — гауссовское. Показать, что
случайный процесс
где /L(t) — некоторые детерминированные функции, является гауссов-
гауссовским. Найти математическое ожидание и ковариационную функцию
процесса ?(?).
Р е ш е н и е. Для некоторого набора моментов времени \t\, ..., ?&}
найдем характеристическую функцию совместного распределения се-
сечений {?(?i)? ...,?(?&)}. По определению
к	к п
M{exp(» ??(*,-)*,•)} ={(
j l
п	к
' /	1 / J /V.7/
/ = 1	7 = 1	' '	"	Х / = 1

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	31
к
где а^ = ^ fi(tj)zj- Поскольку совместное распределение случайных
i=i
величин {Xl, ... , Хп} является гауссовским, то
= 1	i = lm=l
Далее, подставляя выражения для а^ находим
1=1	j=i
п п	к к
J2 J2 cov{X/5 Xm}a/am =
/ = lm=l
где
= Е Е
1 = 1 га=1
Таким образом, процесс ^(t) является гауссовским, поскольку его
характеристическая функция удовлетворяет определению 2.1. Ко-
Конечномерное распределение к-го порядка в точках {ti, ... ,?&} имеет
плотность, если матрица R^ = {cov{?(?^), ?(^j)}}*,j=i, ...?fc положитель-
положительно определена. ¦
Приведем пример гауссовского процесса, не имеющего плотности
распределения к-го порядка (к ^ 2).
Пример 2.2. Найти плотность одномерного распределения гаус-
гауссовского случайного процесса
где X — случайная величина с гауссовским распределением Л/"@; сг2),
а > 0. Показать, что ? не имеет плотности распределения к-го порядка
при к ^ 2.
Р е ш е н и е. Случайная величина ?(?) имеет гауссовское распреде-
распределение J\f(t; а2). Поэтому в силу a > 0 распределение первого порядка
случайного процесса ?(?) имеет плотность

32	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Однако уже распределение порядка к = 2 не имеет плотности, так как
матрица ковариаций
вырождена. Отсутствие плотности очевидно, поскольку случайные
величины ?(?i), ?(?2) связаны соотношением ?(^2) = ?(?i) + ?2 — ?1 и,
следовательно, их совместное распределение в Ш2 сосредоточено на
множестве {(ж1, жг): ж 2 = х\ + ?2 — ?i}, имеющем нулевую меру Лебе-
Лебега. Для случая /с > 2 аналогичное рассуждение показывает отсутствие
плотности распределения. ¦
Следующий пример демонстрирует гауссовский процесс, у которо-
которого все конечномерные распределения имеют плотность.
Пример 2.3. Показать, что существует гауссовский случайный
процесс {?(?), t ^ 0} с характеристиками
M{?(i)} = 0, cov{?(i), ?(s)} = min (t, s),
причем все его конечномерные распределения имеют плотность.
Решение. Если функция Щ(г, s) = min(t, s) является неотри-
неотрицательно-определенной, то существование гауссовского процесса ?(?)
с mJt) = 0 и ковариационной функцией Rg(t,s) следует из приме-
примера 1.14 и его решения. Если же -R^(t, s) — положительно-определенная,
то конечномерные распределения процесса ?(?) (в предположении
гауссовости) имеют плотность распределения.
Функция R^(t^ s) = min(t, s) будет полож:ительно-определенной, ес-
если для любых различных моментов времени 0<?i< ?2 <...<?&
ковариационная матрица R% вектора ? = {?(?i), ?(^2), •••? ?(?&)}*? име-
имеющая вид
tl t2 ... tfc
является пол ожительно-опреде ленной. Последнее означает, что
z*R^z > 0 для всякого ненулевого вектора z = {zj., ..., Zk}* G Шк. Для
доказательства этого факта рассмотрим функцию
к
где /[o,ti](s) ~~ индикаторная функция отрезка [0,^]. В силу того что
все ti > 0 различны, a Z{ не равны нулю одновременно, функция /(s)
не равна нулю тож:дественно. Поэтому
при

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	33
Тогда
*	к к	*
j \f(s)\2 ds = J2J2 zizj\hM]is)I[^,tj]^S) ds =
0	i=lj=l	о
к к
i,^-) = г*Щг > 0,
что и означает положительную определенность ковариационной
матрицы Rg. Таким образом, совместное распределение сечений
?(?]_), ... ,?(?&) гауссовского процесса ?(?) имеет плотность. ¦
Определение 2.2. Гауссовский случайный процесс {?(?), ? ^ 0}
с непрерывным временем, моментными характеристиками
М{?(?)} = 0, cov{?(t), e(s)} = min(t, s), t, О 0,
и выходящий из нуля, т.е. ?@) = 0, называется стандартным вине-
ровским процессом (или процессом броуновского движения).
Этот процесс обладает многими замечательными свойствами и бу-
будет подробно изучаться в главе, посвященной случайным функциям.
Здесь мы приведем только некоторые его свойства, которые молено
вывести непосредственно из определения 2.2.
Пример 2.4. Показать, что приращения процесса броуновского
движения на непересекающихся промежутках времени независимы, а
также найти распределение произвольного приращения.
Р е ш е н и е. Прежде всего заметим, что совокупность приращений
процесса броуновского движения
где 0 = to < ti < ... < tk и ?(to) = O, имеет гауссовское распределе-
распределение в силу гауссовости случайного вектора {?(?].),?(?2M •••>?(?&)}*•
Поэтому для доказательства независимости приращений достаточно
установить их некоррелированность. Итак, для моментов времени
U < tj верно соотношение
cov{?(?,) - ?(t,_i), ?(t,-) - ?(tj-i)} =
_i, tj-i) = 0,
что означает некоррелированность приращений процесса ?(?) на про-
промежутках [ti-i^ti] И [tj-i,tj].
Как уже отмечалось, приращение ?(?) — ?(s) имеет гауссовское
распределение. Поэтому
-a|),	B.3)
3 Б.М.Миллер и А. Р. Панков

34	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
так как М{?(?) - f (s)} = 0 и D{f(?) - f(s)} = t + s - 2min(?, s) =
= \t-s\. Ш
Пример 2.5. Найти плотность конечномерного распределения
процесса броуновского движения.
Решение. Рассмотрим приращения процесса броуновского дви-
движения:
т = f (*i) - ?(*о), т = ф2) - f (*i), ..., щ = ?(tk) - e(tfc-i),
где 0 = to < t\ < . • • < tk. Поскольку ?(?o) = 0, то
€(ti) = Vu f(*2) = 771+772, •••' ^fe) =771+ --- + 77fe.
Пусть p (•) — плотность распределения вектора rj = {771, ..., T7&}*,
a PrjX') ~ плотность распределения приращения гц. Тогда плотность
распределения вектора ? = {?(?].), ..., ?(^fc)}* равна
где первое равенство следует из того, что якобиан преобразования
V ^ ? равен по модулю 1, а второе получено с учетом независимости
случайных величин 771, ..., щ. Тогда из B.3) следует
1
, хк- tu ..., tk) = П /о .	в *1*<-*<-11 ,	B.4)
где to = 0 и жо = 0. ¦
В приложениях весьма часто приходится иметь дело с п-мерными
гауссовскими процессами, где п > 1. По аналогии с введенным ра-
ранее определением 2.1 мы можем назвать процесс {?(?) Gln, ? G Т}
гауссовским, если при любых ?i, ..., tk G Т, /с ^ 1 (n x /с)-мерный слу-
случайный вектор ту = {C*(?i), ••• ? ?*(?&)}* имеет гауссовское (n x /^-мер-
/^-мерное распределение. Все свойства такого процесса полностью опре-
определяются n-мерной функцией математического ожидания mAt) и
(п х п)-мерной (т.е. матричной) ковариационной функцией (
которая вычисляется следующим образом:
, a) =

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	35
2.2. Случайные процессы с конечными моментами второго
порядка. Многие прикладные задачи в области физики и техники
допускают решение, основанное на использовании лишь первых двух
моментных характеристик случайного процесса — математического
ожидания и ковариационной функции. Это тем более удобно, по-
поскольку эти моментные характеристики можно достаточно просто
восстановить, обрабатывая статистические данные. В данном пункте
излагаются основные свойства процессов с конечными моментами
второго порядка (гильбертовых процессов), которые будут постоянно
использоваться в последующем.
В соответствии с определением 1.18 мы рассматриваем комплекс-
комплексные процессы, представимые в виде
?(t) = X(t) + iY{t), t<=T,
где X(t),Y(t) — действительные случайные процессы с конечными
моментами второго порядка. В дальнейшем для простоты предпола-
предполагается, что М{?(?)} = 0 для всех t Е Т.
Определение 2.3. Ковариационная функция процесса ?(t) име-
имеет вид
где z означает комплексную величину, сопряженную к z.
К классу гильбертовых процессов относятся рассмотренные в пре-
предыдущем пункте гауссовские процессы и, в частности, процесс
броуновского движения. Следующий процесс также является гиль-
гильбертовым.
Пример 2.6. Пусть случайная функция ф) = ие^шг+<р\ t Е М1,
где U — действительная случайная величина с М{?/} = О, D{C/} =
= D < оо, а случайная величина ip не зависит от U и распределена
произвольным образом на [0,2тг]. Показать, что случайная функция
Ф) является гильбертовым процессом, и определить ее моментные
характеристики.
Решение. В силу независимости случайных величин U и ср
= о,
оо.
= M{U2} = D<
Таким образом, ?(?) — действительно гильбертов процесс. Определим
его ковариационную функцию

36	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Ковариационная функция является неотрицательно-определен-
неотрицательно-определенной, т. е. для любых ti, ..., tn G Т и произвольного набора комплекс-
комплексных чисел {zi, ..., zn}, п ^ 1, имеет место неравенство
Это соотношение получается следующим образом:
О ^ DJX: ZiS(ti)} = Е Е ZiZjcovtfiU),^)} = ? ? Zi
i=l	i=l j = l	г=1 j = l
Приведем основные свойства ковариационной функции, которые
непосредственно вытекают из свойства неотрицательной определен-
определенности B.5).
Теорема 2.1. Ковариационная функция R^(t,s) гильбертова
случайного процесса {?(?), t G Т} обладает следующими свойст-
свойствами:
1)	Щ(г,г) = D^(t) ^ 0 для всех ? G Т;
2)	ковариационная функция является эрмитовой, т. е. удовле-
удовлетворяет условию
?i) V?b?2 GT;
3) ковариационная функция удовлетворяет неравенству Коши-
Буняковского
?2) V?b?2 G T;
4) d/ш всех ?ь?2,?з ? ^ имеет место неравенство
?2)]. B.6)
Если даны два гильбертовых случайных процесса, то молено
определить их взаимную ковариационную функцию (см. определе-
определение 1.19).
Замечание. Если ?(i) = X(t) + гУ(?), где X(i), Y(t) — центри-
центрированные действительные процессы с конечными дисперсиями, то
, s) = M{(X(t) + iY(t))(X(s) - iY(s))} =
= Rx(t, s) + RY(t, s) - i[RXY(t, s) - RYX(t, s)}.

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	37
Теорема 2.2. Для всякой неотрицательно-определенной функ-
функции R(t, s), ?, s G T существует гильбертов случайный процесс {?(?),
t Е Т} с ковариационной функцией R^(t, s) = R(t, s).
Замечание. Для действительной ковариационной функции ре-
результат теоремы вытекает из примера 1.14. В этом случае процесс ?(?)
можно выбрать действительным и гауссовским, поскольку заданная
ковариационная функция обладает свойством неотрицательной опре-
определенности.
Класс ковариационных функций обладает следующими свойства-
свойствами замкнутости относительно ряда операций.
Теорема 2.3. Пусть R^-, R%2 — ковариационные функции неко-
некоторых случайных процессов, определенных на одном и том же
множестве Т. Тогда a\R^ + a^it^ при а\,а^ ^ 0 также является
ковариационной функцией некоторого гильбертова процесса.
Теорема 2.4. Пусть {R^n(t,s), п = 1,2, ...} — последователь-
последовательность ковариационных функций некоторых гильбертовых случайных
процессов, определенных на одном и том же множестве Т. Тогда
если R^n (t, s) —> R(t, s) при п —> оо для всех t,s G T, mo R(t, s) таксисе
является ковариационной функцией некоторого гильбертова случай-
случайного процесса.
Замечание. Доказательство этих теорем становится очевидным,
если принять во внимание, что при сложении ковариационных функ-
функций с неотрицательными весами и при предельном переходе свойство
неотрицательной определенности сохраняется.
Поведение траекторий гильбертовых процессов определяется свой-
свойствами его ковариационной функции лишь в некотором усредненном
смысле. Подробно свойства траекторий этого класса процессов (непре-
(непрерывность, дифференцируемость и интегрируемость) рассматривают-
рассматриваются в гл. III.
Заметим, что линейная комбинация гильбертовых процессов так-
также является процессом этого типа.
Пример 2.7. Пусть ?(?), rj(t) — определенные на Т гильбертовы
процессы. Показать, что
\a
2
ос,
также является гильбертовым процессом.
Решение. В силу неравенства |7(^)|2 ^ 2 (|a^(t)|2 + \j3r]{t)\2) на-
находим
M{|7(t)|2} ^ 2 (Н2М{Ш2} + |/3|2М{|^)|2}),
где М{|?(?)|2} < ос и М{|?7(?)|2} < оо, поскольку ?(?), r\(t) — гильбер-
гильбертовы процессы. Следовательно, М{|7(?)|2} < оо, что и требовалось
доказать. ¦

38	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
2.3. Стационарные случайные процессы. Важным классом
случайных процессов являются стационарные процессы. Свойство
стационарности означает независимость некоторых характеристик се-
сечений процесса от времени. Конечно, для реальных процессов это
условие весьма ограничительно, однако оно выполняется довольно
часто, если рассматривать процесс на достаточно коротком интервале
времени, в течение которого вероятностные характеристики процесса
изменяются мало.
Определение 2.4. Случайный процесс {?(?), t G Т} называется
стационарным в узком смысле, если для любого набора t\, ..., tk Е Т
совместное распределение случайных величин ?(ti + г), ..., ?(?& + г)
одно и то же для всех т, таких, что t\ + т, ..., ?& + т G Т.
Если существует математическое ожидание такого процесса, то оно
постоянно и равно
а ковариационная функция R^{t,s) (при условии существования вто-
второго момента) зависит лишь от разности (t — s).
Определение 2.5. Случайный процесс {?(?), t G Т} называется
стационарным в широком смысле, если для любых t,s G Т, таких, что
t-seT
М{ф)} = const, cov{?(?), f (s)} = C(t - s).
Примером стационарного в широком смысле процесса является
рассмотренный выше центрированный процесс из примера 2.6, кова-
ковариационная функция которого равна Del0J^t~s'.
Пример 2.8. Пусть задан гауссовский процесс {?(?), t G Т} с по-
постоянным математическим ожиданием М{?(?)} = т и ковариацион-
ковариационной функцией R^(t, s) = C(t — s). Показать, что этот процесс является
стационарным в узком смысле.
Р е ш е н и е. Характеристическая функция ^-мерного распределе-
распределения процесса ?(t) для ti, ..., tk G Т имеет вид
и не изменяется при замене всех ^на^ + г, 1 = 1, ...,&. Следова-
Следовательно, и сами /с-мерные распределения не изменяются при замене
всех t} на tl + т, причем это верно при всех к ^ 1 и любых т, таких,
что Ьг + т еТ. Ш
Пример 2.9. Пусть {w(t), t ^ 0} — процесс броуновского дви-
движения и т > 0. Показать, что процесс Z(t) = w(t -\- т) — w(t), t ^ 0,
является стационарным, и найти его ковариационную функцию.

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	39
Решение. Определим моментные характеристики процесса Z(t).
Поскольку M{w(t)} = M{w(t + r)} = 0, то M{Z(t)} = 0 и
Rz(t, s) = cov{Z(t), Z(s)} = M{(w(t + r) - w(t))(w(s + r) - w(s))}
= min (t + r, s + t) — min (t, s + r) — min (t + r, s) + min (t, s) =
r — \t — s\ при |t — s ^
О	при |? — s
> T.
Таким образом, Rz(t,s) = C(t — s), что и доказывает стационар-
стационарность процесса Z(t). ¦
Непосредственно из свойств ковариационной функции гильбер-
гильбертова процесса (см. теорему 2.1) вытекают следующие свойства
ковариационной функции стационарного в широком смысле процесса.
Теорема 2.5. Пусть C(t) — ковариационная функция некоторо-
некоторого стационарного в широком смысле процесса, заданного на Т, тогда
она обладает следующими свойствами:
2)	C(i) = C(-i) для всех t G Т;
3)	\C(i)\ ^ С@) для всех t G Т;
4)	|C(ti)-C(t2)|2 ^ 2C@)[C@)-ReC(*i - t2)] для всех t^ e T.
Свойства стационарных случайных последовательностей и случай-
случайных функций подробно рассматриваются в гл. II и III. Там же будут
введены спектральные характеристики стационарных процессов, ко-
которые являются удобной альтернативой рассмотренным моментным
характеристикам и широко используются для решения разнообразных
прикладных задач.
2.4. Марковские процессы. Марковские случайные процессы
обладают важным свойством независимости будущего поведения от
всего прошлого. Это свойство называется отсутствием последей-
последействия. Иначе говоря, если рассматривать текущее состояние процесса
?(?) в момент времени t G Т как «настоящее», совокупность всех
возможных состояний {C(sM s < t} как «прошлое», а совокупность
возможных состояний {?(гх), и > ?} как «будущее», то для марковско-
марковского процесса при фиксированном «настоящем» «будущее» не зависит
от «прошлого». При этом семейство распределений процесса для и > t
зависит лишь от состояния процесса в момент времени t.
Определение 2.6. Вещественный случайный процесс {?(?),
t G Т} называется марковским процессом или процессом Маркова, ес-
если для любых tL G T: t\ < ... < tk-i < tjt, / = 1, ..., /с, произвольного
целого к > 1 и любого борелевского множества В G Б(М}) выполнено

40	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
равенство
№-1)} (Р-п.н.). B.7)
Свойство B.7) называется марковским свойством.
Замечание. В соотношении B.7) условные вероятности опреде-
определяются относительно а-алгебры, порожденной случайными величи-
величинами {?(?1), . ..,?(?fc_i)} (в левой части) и сг-алгебры, порожденной
только ^(t^_i) (в правой части). Соотношение B.7) можно записать
также в виде
ф1)=х1, ...,t(tk-i) = Xk-i} =
где xl Е М1 — произвольное допустимое значение случайной величины
фг),1 = 1, ...,/с.
Таким образом, вероятностное распределение состояния процесса
в момент времени tk зависит лишь от того, в каком состоянии нахо-
находился процесс в ближайшем прошлом, т. е. при t = ?&-ъ но не зависит
от его состояний, предшествующих моменту времени ?&-1- Можно
показать (см. задачу 10), что для марковского процесса при любых
ВЪВ2 е BCR1) и s ^u^t
е в, | ?(и)} Р{ф) е в2 | ?(и)} (Р-п.н.). B.8)
Определение 2.7. Переходная вероятность марковского про-
процесса определяется как
при t > s, х € К1, В G ^(R1) и удовлетворяет соотношению
P(s,x,t,B)= | P(s,x,u,dy)P(u,y,t,B),
которое выполняется для всех s,u,t G T: s ^ и ^ t и называется урав-
уравнением Колмогорова- Чепмена.
Определение 2.8. Марковский процесс называется однород-
однородным, если
Р{ф) е В | f(s) = x} = P@,x,t-s,B).
Далее для краткости будем писать Р@,ж,т, В) = Р(ж,т, 5).

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	41
Для однородного марковского процесса уравнение Колмогорова—
Чепмена упрощается:
РО, s + t, В) = | Р(ж, 5, dy) РB/, ?, Б),
где s, ?, s + ? Е Т.
Для определения конечномерных распределений марковского про-
процесса достаточно знать его переходную вероятность и одномерное
распределение в некоторый начальный момент времени, поскольку
с использованием формулы полной вероятности и марковского свой-
свойства легко получается соотношение
P(tfc_i,xfc_i,ffc,dxfc), B.9)
где O = to<*i <•••<**, Bb-.^eBfl1), a ir(B) = P{?@) G B].
Если переходная вероятность и начальное распределение вероят-
вероятностей процесса ?(?) имеют плотности, т.е. существуют p(s,a?,?,y),
р^(ж; 0), такие, что для всех В G 1
P(s, ж, t, Б) = Jp(s, ж, t, у) с?у, тг(Б) = [р^(ж0; 0) dx0,
в	в
то и любое распределение /с-го порядка также имеет плотность:
к
Ri *=i
B.10)
Функция p(s, ж, t, у) называется переходной плотностью распределе-
распределения марковского процесса и при всех s,? G Тиж,у G М1 удовлетворяет
соотношениям:
1)	p(s, ж,?,?/) ^ 0 (условие неотрицательности);
2)	p(s,x,t,y) dy = 1 (условие нормировки).
Приведем некоторые примеры марковских процессов.
Пример 2.10. Рассмотрим последовательность бросаний симмет-
симметричной игральной кости. Пусть случайная величина Хп есть число
очков, выпавшее на грани при n-м бросании, п=1,2, ... Введем
последовательность случайных величин по правилу

42	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Показать, что последовательность ?(п) — марковская, и определить
для нее переходную вероятность.
Решение. Пусть при некотором п ^ 1, ?(п) = i, где i — целое
число от 1 до 6. При последующих бросаниях значение ? не может
уменьшиться, поэтому для j = 1, ..., 6
{О при j < г,
г/6 при j = i,
1/6 при j > г.
В силу независимости результатов бросаний условная вероятность
перехода зависит лишь от ?(п) = г и не зависит от последовательности
предыдущих значений ?. Итак, в данном случае последовательность
является марковской, а переходная вероятность (за один шаг) опи-
описывается матрицей Р, элементы которой равны Рц = Р{?(п + 1) =
= 3 \?(n) = ihhj = h ...,6. ¦
Замечание. Случайная последовательность, описанная в приме-
примере 2.10, относится к классу дискретных цепей Маркова с конечным
множеством состояний. Более подробно этот класс последователь-
последовательностей изучается в гл. П.
Процесс, о котором пойдет речь в следующем примере, относится
к классу марковских случайных функций.
Пример 2.11. Показать, что процесс броуновского движения —
марковский, и найти его переходную вероятность.
Решение. В примере 2.5 мы нашли плотность конечномерного
распределения процесса броуновского движения. Для вычисления
плотности условного распределения воспользуемся формулой B.4)
с учетом того, что t\ < ... < tk-i < t^'-
(?i) = хъ ...^(tk-i) = xk-i) =
г=1
1
Таким образом, процесс броуновского движ:ения — марковский, а его
переходная вероятность P(s,:c,?, •) при фиксированных х G M1, s < t
представляет собой гауссовское распределение ЛГ(х; t — s). Ш

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	43
В следующем примере мы получим условие того, что гауссовский
процесс является марковским.
Пример 2.12. Рассматривается центрированный гауссовский
процесс ?(?) с дисперсией Dg(t) > 0. Показать, что ?(?) является мар-
марковским тогда и только тогда, когда его ковариационная функция
(г, s) удовлетворяет при t\ ^ t<i ^ t% равенству
t3)	/9 1.,ч
¦	BЛ1)
Реп1ение. Покажем необходимость. С использованием марков-
марковского свойства B.8) при t\ ^ ?2 ^ ^з находим
При этом в силу теоремы о нормальной корреляции (см. п. 14.6) имеем
ф2)} = |#44^2) ПРИ J = !'3- Следовательно,
Тем самым требуемое равенство B.11) доказано.
Теперь установим обратное утверждение. Докажем, что гауссов-
гауссовский процесс ?(?), ковариационная функция которого удовлетворяет
соотношению B.11), является марковским.
В силу определения 2.6 марковское свойство процесса ?(t) означает
совпадение условных распределений:
F^xn;tn \?(t1) = xu ...,€(tn-i) = xn-1) = Fz(xn;tn | ?(tn-i) =хп-г)
при всех t\ ^ ... ^ tn-i ^ tn. Поэтому в силу гауссовости процесса
?(i) достаточно установить равенства следующих условных характе-
характеристик:
tn-i)} ,	B.12)
(tn-i)} .	B.13)
Докаж:ем сначала равенство B.12). При п = 2 оно тривиально. При
произвольном п ^ 3 предположим, что B.12) выполнено для любого
числа моментов времени, не большего п — 1.

44
ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ
[ГЛ. I
Обозначим v = фп-i) ~ M{f(?n_i) | ?(?i), ... ,<f(tn_2)}, тогда
Нетрудно проверить, что cov{t>, ?(ti)} = 0, г = 1, ..., n — 2, поэтому
с учетом М{?(?)} = 0 и гауссовости случайного процесса ?(?) (см. свой-
свойство 6 из п. 14.6) получаем
n) | г;} =
n) | г;} ,
где второе равенство получено в силу предположения индукции. Да-
Далее, в силу теоремы о нормальной корреляции находим
где 7 =
следовательно,
. По предположению индукции имеем
t ,) -
V} = ^(tn_btn_i) -
Нетрудно проверить, что из условия B.11) следует соотношение
поэтому
-2, tn-2
+ 7
БГГ,г
Щ{1п-2,1п-2)

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	45
Полученное равенство немедленно влечет B.12).
Теперь доказательство B.13) получается применением теоремы
о нормальной корреляции и установленного равенства B.12):
= D{?(in) -
Тем самым достаточность условия B.11) полностью доказана. ¦
Пример 2.13. Показать, что процесс броуновского движения яв-
является марковским, используя результат примера 2.12.
Решение. Так как, по определению, броуновское движение —
центрированный гауссовский процесс с дисперсией D^(t) > 0 при
t > 0, то нам достаточно проверить выполнение соотношения B.11)
для Щ(г, s) = min(?, s) и 0 < t\ ^ t^ ^ ?з:
, 62 J	62
Если случайный марковский процесс ?(?) подвергается функцио-
функциональному преобразованию rj(i) = f(?(i)) с некоторой функцией /(•),
то процесс 7/(?) может оказаться немарковским. Следующий пример
показывает, что свойство марковости сохраняется для взаимно одно-
однозначных преобразований.
Пример 2.14. Пусть ?(?) — марковский процесс, а /: М1 —>• Ш1 —
некоторая взаимно однозначная борелевская функция. Показать, что
rj{t) = f(?(t)) — марковский процесс.
Решение. Проверим выполнение условия B.8), т.е. убедимся
в том, что для произвольных множеств _E?i, _E?2 G В(М}) и s < и < t
e s21»,(«)} =
V(u)} P{V(t) е В2 | V(u)} (Р-п.н.). B.14)
В силу взаимной однозначности /(•) а-алгебры, порожденные слу-
случайными величинами ?(и) и rj(u) = f(?(u)) (см. определение 14.6),
совпадают. Следовательно, B.14) равносильно следующему равенству
х Р{?(<) е Г1^) | ^Ы} (Р-п.н.), B.15)
где учтено {r,(s) е в,} = Ш е rHBi)}, {»?(*) е в2} = {№ е
е /"^Бг)}, f~l{Bi) e Б(М1), i - 1,2. Теперь из условия B.8) мар-
марковости процесса ?(t) непосредственно вытекает соотношение B.15),
что и требовалось доказать. ¦

46	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
Задача 11 показывает, что при отсутствии взаимной однозначности
отображения /(•) марковское свойство не сохраняется далее в очень
простых случаях.
2.5. Диффузионные процессы. Важным подклассом мар-
марковских процессов являются процессы с непрерывным временем
и непрерывным множеством состояний. Такие процессы являются
естественной моделью для описания эволюции динамических систем,
подверженных случайным воздействиям. Наиболее изученными в на-
настоящее время являются процессы диффузионного типа или просто
диффузионные процессы.
Определение 2.9. Случайный n-мерный однородный марков-
марковский процесс ?(?) называется процессом диффузионного типа, если
его переходная вероятность P(x,t,B) удовлетворяет следующим усло-
условиям:
Z
\y-x\>8
[ P(x,t,dy) = O,	B.16)
J
x\>8
i f (y-x)P(x,t,dy) = a(x),	B.17)
Z J
\y-x\^S
i [ (y-x)(y-x)*P(x,t,dy) = Z(x)	B.18)
Z j
для любых S > 0, x e W1.
Замечание. Первое условие обеспечивает (Р-п.н.) непрерыв-
непрерывность траекторий процесса. Функция а(х) характеризует среднюю
скорость смещения за малое время из состояния ?@) = х и называется
вектором сноса или дрейфа. Функция XI (ж) характеризует отклонение
процесса от его усредненного движения, определяемого вектором сно-
сноса, и называется матрицей диффузии.
Если для марковского процесса {?(?), t ^ 0} задана его переходная
вероятность и соответствующие пределы в B.16)-B.18) определены,
то тем самым определены его матричные коэффициенты сноса а[х)
и диффузии Yi (x). Однако центральный результат теории диффузи-
диффузионных процессов состоит в том, что, задав достаточно регулярные
функции а(х) и Е(ж), можно однозначно определить и переходную
вероятность процесса. Таким образом, локальное описание свойств
траектории на языке коэффициентов сноса и диффузии позволяет
определить и общие свойства процесса на всей временной оси. Метод
построения переходной вероятности предложен А.Н. Колмогоровым.

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	47
Общая теория диффузионных процессов весьма сложна, поэтому мы
изложим этот метод, не вдаваясь в технические детали.
Рассмотрим скалярный случай ?(?) Gl1. Предположим, что пе-
переходная вероятность имеет плотность, т.е. для всякого В Е }
выполняется
в
А.Н. Колмогоров показал, что при некоторых ограничениях на
р(ж, ?,?/), а(х) и Е(ж) плотность р(ж,?, г/) удовлетворяет прямому урав-
уравнению
dp(x,t,y) _ d(p(x,t,y)a(y)) 1 d2(p(x,t,y)Z(y))	( ,
dt	ду	"*" 2 '	ду*	'	[ }
Уравнение B.19) также известно как уравнение Колмогорова-
Фоккера-Планка. При любом xGM1 и t ^ 0 уравнение решается при
следующем выборе начального условия:
Итр(ж,?,у) = 8{у-х).
Если рЛу\ i) — плотность распределения сечения ?(?), то
; i) = J p^{x; s) p(x, t-s,y)dx.
Тогда из B.19) получаем уравнение
др^(у; t) = д(р^(у; t)a(y)) 1 д2
2
dt	ду	2	ду2
которое решается с начальным условием рАу; 0) = ро(у), где ро(у) —
плотность распределения ?@).
Пример 2.15. Показать, что процесс броуновского движения яв-
является диффузионным марковским процессом.
Решение. Действительно, пусть {?(?), t ^ 0} — процесс бро-
броуновского движения. Как следует из примера 2.11, его переходная
вероятность равна
P(x,t,B) = -^= \e~i34ih dy.
2? J
Для вывода соотношений B.16)-B.18) воспользуемся известными
оценками для функции Ф(х) стандартного гауссовского распределения
г 1 n I _*L ж, х 1 1 _^.
\	j}- —j= е 2 < 1 - ф(х) <	_= е 2 .
I X	X3 ) л/27Г	X л/27Г

48	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
С учетом выражения для гауссовской переходной плотности имеем
-t J P(x,t,dy) = ^{l-<P{S/Vi))<Ze	^0 при t|0,
\у-х\>8
поскольку л/пе~и —} 0 при и —>• оо, что доказывает соотнопгение B.16).
Далее, используя замену переменной z = (у — x)j \Jt, вычисляем
\ | (y-x)P(x,t,dy)=
= \
27Tt V	/	y^TTt
S/y/i
= 0 Vt>0.
-s/y/i
Таким образом, доказано соотнопгение B.17), где а(х) = 0. И наконец,
используя ту лее замену переменной z = (у — ж)/\Д, получаем
- [ (y-xJP(x,t,dy) = —L= [ z2e~z2/2dz^l при 110,
t j	v2tt J
поскольку множ:ество {z: \z\ ^ ^/лД} t ^ • Тем самым доказано ра-
равенство B.18), где Т,(х) = 1.
Плотность р^(у; t) распределения процесса броуновского движе-
движения удовлетворяет уравнению Колмогорова, которое в данном случае
имеет вид
др^(у; t) 1 д2р^(у; t)
Указанное уравнение известно в теории уравнений математической
физики как уравнение диффузии. Собственно, это и объясняет назва-
название описанного класса процессов. ¦
В гл. III будет рассмотрен класс диффузионных процессов, ко-
которые описываются с помощью стохастических дифференциальных
уравнений.
2.6. Задачи для самостоятельного решения.
1. Пусть ?(?) — гауссовский процесс с параметрами m^(i)
Вывести соотношение для плотности двумерного распределения. Привести
условие существования плотности двумерного распределения.

2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	49
Ответ.
^	(xim^(ti))(x2m^t2)) (а?2 -
^ Ь	'R{tt)R(tt)
где
есть коэффициент корреляции. Плотность существует, если |p^(ti,t2)| < 1
при ti / t2.
2. Для случайного процесса ?(?) = Xcos(aj/; + У), где X, У — независи-
независимы, случайная величина X имеет распределение с плотностью
0,	х < О,
а У имеет равномерное распределение на [—тг,тг], доказать, что процесс ?(?)
является гауссовским и найти его ковариационную функцию. Какими еще
свойствами обладает ?(?)?
Указание. Убедиться, что совместное распределение случайных вели-
величин А = ХсояУ, В = Xsiny — стандартное гауссовское. Далее использо-
использовать результат примера 2.1.
Ответ. R^(t, s) = cos(a;(t — s)), процесс ^(t) является стационарным
в узком смысле.
3. Пусть {?(?), t ^ 0} — процесс броуновского движения. Показать, что
процесс
1), t>0,
такж:е является процессом броуновского движения.
Указание. Проверить гауссовость и вычислить ковариационную
функцию.
4. Пусть {?(?), ? ^ 0} — процесс броуновского движения. Показать, что
при любом с > 0 процесс
также является процессом броуновского движения.
Указание. Проверить гауссовость и вычислить ковариационную
функцию.
5. Пусть {?(?), t ^ 0} — процесс броуновского движения. Процесс Z(t) =
= ?(?) — ??A) называется броуновским мостом и удовлетворяет соотно-
соотношению ^@) = ^A) = 0. Найти его среднее значение и ковариационную
функцию.
Ответ. mz(t) = 0, ^Rz(?, s) = min (t, s) — ts.
4 Б.М. Миллер и А.Р. Панков

50	ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ	[ГЛ. I
6. Пусть {Z(t), t ^ 0} — броуновский мост (см. задачу 5). Определим
процесс
Показать, что {Y(t): t ^ 0} есть процесс броуновского движения.
7. Какие из ниже перечисленных функций являются неотрицательно-
определенными :
1, |?-s|O,
0,	*-s|>l;
3) C(t, s) = exp{iuj(t - s)}, wGM1;
)(){||}
5)	C(t,s)=exp{-\t-s\},
где — oo < ?, s < oo;
6)	C(t, s) = min (t, s), t,s^O;
7)	C(t, s) = min (t, s) - ts, t,sG [0,1].
Указание. В пп. 2, 3, 5-7 функция C(t,s) соответствует ковариаци-
ковариационной функции случайных процессов, рассмотренных ранее (см. примеры
2.9, 2.6, задачу 12 из § 1, пример 2.3, а также задачу 5). В п. 1 нарушается
неравенство B.6), а в п. 4 — неравенство Коши-Буняковского.
Ответ. Пп. 2, 3, 5-7.
8.	Доказать теоремы 2.3 и 2.4.
Указание. См. замечание после формулировки теорем.
9.	Доказать свойства ковариационной функции процесса, стационарно-
стационарного в широком смысле.
Указание. См. теорему 2.1 и замечание к ней.
10.	Доказать, что для марковского процесса выполняется соотноше-
соотношение B.8).
Указание. Воспользоваться соотношением B.7).
11.	Пусть {?(п), п = 1,2, ...} — марковская цепь с тремя возможными
состояниями ?(п) ? {1,2,3} и переходными вероятностями Р{?(п + 1) =
— 3 I ?(n) = i} = Pij > 0. Рассмотрим последовательность
Г f(n), если ?(п) = 1,
г](п) = <
\ 2,	если еН/1-
Показать, что последовательность г)(п) может не обладать марковским
свойством.
Указание. Найти выражения для вероятностей событий
Р{т7(п + 1) = 1, 77(п - 1) = 1 | п(п) = 2},
Р{г](п + 1) = 1 | г)(п) = 2}, Р{г](п - 1) = 1 | г)(п) = 2}
и убедиться, что при некотором выборе переходных вероятностей соотно-
соотношение B.8) не выполняется.

§ 2]	ОСНОВНЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ	51
12.	Пусть {Z(t), t ^ 0} — броуновский мост (см. задачу 5). Показать,
что процесс Z(t) является марковским.
Указание. Проверить условие B.11).
13.	(Продолжение задачи 12). Показать, что Z(t) и Z(\ — t) одинаково
распределены.
14.	Вывести соотношение B.10) из общей формулы B.9).
15.	Пусть задан однородный марковский процесс {?(?), t ^ 0} с пере-
переходной вероятностью P(x,t,B), имеющей плотность
(у-х- atJ
Показать, что данный процесс является диффузионным, и найти для него
коэффициенты сноса и диффузии.
Ответ. а(х) = а, 5](ж) = 1.
Указание. При вычислении коэффициента сноса находим, что
1Г	Г	1	_ (z-aVtJ
(y-x)P(x,t,dy) =	—=ze 2 dz,
t J	J л/2тг^
далее используем замену переменной v = z — ay/t и разбиваем интеграл на
сумму двух интегралов
E/Vt)-aVt	9	(S/Vt)-aVt
Г	1	_«_	Г	1	_^-
а		е z dv ^ а и	^^^ г> е 2 ^ —>. 0
J	V2tt	J	V27rt
-E/Vt)-aVt
при /; 4- 0. Коэффициент диффузии вычисляется аналогично примеру 2.15.

ГЛАВА II
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
В данной главе будут изучаться случайные процессы с дискретным
временем, которые обычно называют случайными последовательно-
последовательностями. В дальнейшем для обозначения случайной последовательности
будем использовать сокращение СП.
3. Стационарные случайные последовательности
3.1. Основные характеристики ССП. Пусть 1-L — простран-
пространство комплексных случайных величин ? = а + г/3, где а, /3 Е Ш1 —
вещественные случайные величины, такие, что М{а2 + /З2} < оо. Для
?, rj Е % можно определить скалярное произведение
C.1)
где rj = а — г/3 — комплексно-сопряженная величина к г\ = а + г/3, и
(з.2)
где |?|2 = а2 +/32. Пространство И, со скалярным произведением C.1)
и нормой C.2) называется гильбертовым пространством случайных
величин с конечным вторым моментом (см. п. 14.7).
Определение 3.1. Ковариацией случайных величин ^ rj E 7i
называется
cov{?, v} = М{(С - МШ)(ГЩ} = (С,»?) " М{?} Щ. C.3)
Из соотношений C.1), C.3) следует, что при М{?} = М{?7} = О
cav{?,ri} = (?,*>)¦	C-4)
Рассмотрим последовательность ?, составленную из комплексных
случайных величин ?n G 7/, где п пробегает множ:ество всех целых
чисел Z = {..., -2, -1, 0,1, 2, ... }.

§ 3]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	53
Определение 3.2. Последовательность ? = {?n, n G Z} называ-
называется стационарной в широком смысле, если для любых п, /с G Z
, cov{f„+*,&} = cov{?n,?0} •	C.5)
В дальнейшем стационарные в широком смысле последователь-
последовательности будем называть кратко стационарными случайными последо-
последовательностями (ССП). Кроме того, не умаляя общности, полагаем
М{?о} = 0. Это предположение позволяет отождествить ковариацию
со скалярным произведением и применять методы и результаты тео-
теории гильбертовых пространств (см. п. 13.6).
Определение 3.3. Функция
Щ(п) = cov{?n,?0} , п G Z,	C.6)
называется ковариационной функцией стационарной последователь-
последовательности ? = {?n, n G Z}.
Если Щ@) = М{|?0|2} ф 0, то функция
|^| nez	C.7)
называется корреляционной функцией ССП ?.
Из C.5), C.6) следует, что для любых n, m G Z
cov{?n,?m} = Щ(п-т).
Ковариационная функция R^{n) обладает следующими свойствами,
которые непосредственно вытекают из определения 3.3 и общих
свойств ковариационной функции (см. п. 2.2).
1) Ковариационная функция Rg(n) является неотрицательно-
определенной, т.е. для любого набора комплексных чисел а\, ..., аш
и моментов времени п\, ..., пт G Z, т ^ 1, имеет место неравенство
щ - пз) > °-	C-8)
г=1 j = l
2)	Дисперсия D^ ССП ? постоянна и имеет вид
?>?=Д?(О)=М{|?оГ}^О.
3)	Ковариационная функция является эрмитовой, т.е. R^(—n) =
= R^(n) для всех n G Z.
4) |i^(ra)| ^ Д$@) для всех n G Z.
Замечание. Если ? — вещественная ССП, то R^(n) — веществен-
вещественная неотрицательно-определенная функция, в частности,
четная, т.е.

54	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Кроме ковариационной функции, которая относится к классу мо-
ментных характеристик (см. п. 1.4), при описании ССП используются
также спектральные характеристики: спектральная функция и спек-
спектральная плотность.
Теорема 3.1 (Герглотц). Пусть Щ{п) — ковариационная функ-
функция некоторой ССП ^ = {?n, n G Z}. Тогда найдется однозначно опре-
определенная монотонно неубывающая вещественная функция i^(A),
A G [—тг,7г], непрерывная справа на [—тг,тг], i^(—тг) = 0, такая, что
7Г
Щ(п) = [ eiXndF^\), n G Z.	C.9)
— 7Г
Функция i^(A), определенная в теореме 3.1, называется спек-
спектральной функцией ССП ?.
Если i^(A) при каждом A G [—тг,тг] можно представить в виде
л
Fz(\)= | ДМ А'*	C.10)
— 7Г
то функция ДМ называется спектральной плотностью ССП ?.
В силу монотонности i^(A) выполнено ДМ ^ 0, v G [—тг,тг]. В этом
случае из C.9) следует
7Г
Щ{п) = [ е*ЛпД(А)^А, n G Z.	C.11)
Заметим, что числа R^(n) равны коэффициентам разложения
функции Д(А) в ряд Фурье по системе функций {егЛп, п G Z}, орто-
ортогональных на отрезке [—тг,тг]. Обратно, если ^ |ii^(n)| < oo, то ряд
Фурье с коэффициентами R^(n) абсолютно сходится к спектральной
плотности ССП ? для любого A G [—тг,тг]:
Д(Л) = -L J2 e~lXnR^n).	C.12)
^ nez
Для дисперсии D^ = ^@) справедливо следующее выражение
через спектральные характеристики:
A = F^(tt).	C.13)
Замечание. Если ? — вещественная ССП, то спектральная плот-
плотность Д(А) такж:е обладает свойством четности, те. Д(А) = Д(—А),
A G [—7г,тг].

§ 3]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	55
3.2. Примеры ССП. Приведем примеры некоторых, наиболее
часто встречающихся ССП.
Пример 3.1. Пусть ?n = ?o<?H, где М{?о} = О, D{?0} = 1 и
д(п) — некоторая комплексная детерминированная функция. При
каких условиях на д(п) последовательность {?п} стационарна? Опре-
Определить ковариационную функцию такой последовательности.
Решение. Последовательность ? = {?n, n G Z} имеет
= 0, cov{?n+b 6} = д(п + к)д(к).
Следовательно, она будет стационарной в том и только том случае,
если функция д(п + к)д(к) не зависит от к. Отсюда следует, что
k)g(k)=g(n)g(O) Vn G Z.
Таким образом, g(n + 1)/д(п) = д(О)/дA) = се = const, поэтому
Далее, поскольку D{?n} = D{^0} |^@)|2|се|п = const, то \а\п = |а| = 1
и существует число Л G [—тг,тг), такое, что а = ег\ Таким образом,
последовательность случайных величин ?п = ?,од(п) является стацио-
стационарной, если д(п) = ^@) сеп, т. е.
Тогда ее ковариационная функция
Следующий пример обобщает предыдущий.
Пример 3.2. Пусть задан набор комплексных центрированных
случайных величин {zi, ..., z^} СИ, удовлетворяющих условию ор-
ортогональности, т. е.
{of > 0 при г = j,
0	при г ^ j.
Пусть Ai < Л2 < • • • < Atv — некоторые числа из полуинтервала
[—тг,7г). Случайная последовательность ? = {?n, n G Z}, называемая
почти периодической, определена соотношением
Показать, что последовательность ? стационарна, и найти ее спек-
спектральные характеристики.

56	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Решение. Последовательность ? центрирована, т.е. т^ = 0, а ее
ковариационная функция имеет вид
N	N
, Р \ — (S^ 7i Jxk(n+m) v^ JXkm\ _
k=l	k=l
k=ll=l	fc=l
т. е. зависит только от п. Следовательно, последовательность ? стаци-
стационарна.
Введем функцию
= Е 4,	C-15)
к:
которая, очевидно, удовлетворяет условиям теоремы 3.1. Тогда кова-
ковариационная функция R^{n) представляется в виде интеграла Лебега—
Стилтьеса:
Щ(п) =
В силу C.9) это означает, что введенная в C.15) функция
является спектральной функцией для ССП ?. По построению
кусочно постоянна на [—тг, тг], причем Ai, ..., A^v — точки ее разрывов,
a F^(Xk) — F^(Xk-) = cf\ — величины скачков. Таким образом, i^(A)
не является абсолютно непрерывной относительно меры Лебега, и,
следовательно, спектральная плотность Д(А) не существует. ¦
Пример 3.3. Пусть е — последовательность некоррелированных
случайных величин en, n G Z, т. е. М{еп} = 0, D{en} = D? > 0 и
( D? при i = j,
[ 0 при г ф j.
Доказать ее стационарность, найти моментные и спектральные харак-
характеристики.
Решение. Последовательность е = {en, n G Z} является стацио-
стационарной, так как имеет ковариационную функцию
{D? при п = О,
О при п ф 0.
Воспользовавшись соотношением
Г 2тг при п = 0,
>гХп dX = \
I 0 при п ф 0,

§ 3]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	57
получим спектральное представление для ковариационной функции
Rs(n):
Re(n)= \ eiXnf?{\)d\
где /е(А) = —- — спектральная плотность ССП е = {en, n G Z}. Тогда
в соответствии с формулой C.10) находим спектральную функцию
Замечание. Последовательность е = {en, n G Z}, рассмотрен-
рассмотренную в примере 3.3, обычно называют стационарным дискретным
белым шумом. При ?)е = 1 белый шум называют стандартным.
Мы показали, что спектральная плотность /е(А) последовательности
е постоянна на отрезке [—тг,тг], что и послужило основанием для тер-
термина «белый шум», используемого в радиофизике, где белым глумом
называется случайный сигнал с равномерным спектром.
Последовательность белого шума позволяет сформировать раз-
различные виды стационарных последовательностей.
Определение 3.4. Пусть е = {sn, n G Z} — стандартный белый
шум, а {а&, k G Z} — последовательность комплексных чисел, таких,
что
оо
Е
ак\2 < ос.	C.16)
Случайная последовательность ? = {?n, n G Z} вида
оо
C.17)
называется линейной ССП или последовательностью двустороннего
скользящего среднего.
Если а& = 0 при к < 0, т. е.
оо
Cn = Y1 ак?п-к,	C.18)
fc=0
то ? называется последовательностью одностороннего скользящего
среднего.
Наконец, если а& = 0 при к < 0 и /с > р, т. е.
?п = ?а*?п-*>	C.19)
fc=0
то ? называется последовательностью скользящего среднего порядка р.

58	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Пример 3.4. Показать, что последовательности скользящего
среднего действительно удовлетворяют условиям стационарности.
Решение. Достаточно рассмотреть случай последовательности
двустороннего скользящего среднего, так как остальные являются
ее частными случаями. В силу условия C.16) ряд C.17) сходится
в среднеквадратическом смысле (с.к.-сходимость ряда обсуждается
в §4). Очевидно, что
оо	оо
?,п = ^2 ак?п-к = ^2 ап-к^к-
к= — оо	к = — оо
Вычисляя ковариационную функцию с учетом свойства ортогональ-
ортогональности сечений белого шума е, находим
kez	kez
an+m-k~Um-l (?k,?l) = ^2 ап+т-к~пт-к =
k,iez кеъ
Ряд ^2 ап+кпк сходится, поскольку \ап+к~ак\ ^ [ n+fc|	L^L# Таким
kez
образом, показано, что ? = {?n, n G Z} — стационарная последова-
последовательность с ковариационной функцией
Спектральная плотность Д(Л) ССП ^ имеет вид
= 7- E e-iA("+fe)an
2п кшеж	2
причем Д(Л) интегрируема на [—тг,тг] в силу условия C.16).
3.3. Спектральное представление ССП. Спектральное пред-
представление ковариационной функции определяет распределение «энер-
«энергии» последовательности по частотам AG [—тг,тг]. В случае почти
периодической последовательности (см. пример 3.2) мы видели, что

§ 3]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	59
сумме гармоник со случайными амплитудами соответствует дискрет-
дискретное представление спектра в виде ступенчатой функции со скачка-
скачками в точках, где сосредоточен спектр, т. е. в точках разрыва функ-
функции i^(A). Таким образом, почти периодическую последовательность
можно представить как сумму гармоник со случайными амплитудами,
т. е. такая последовательность имеет дискретный «случайный спектр».
Оказывается, что любая С СП допускает такое спектральное представ-
представление со «случайным спектром», хотя в общем случае спектр уже не
будет дискретным. Это представление весьма удобно в приложениях
и основано на понятии интеграла по ортогональной стохастической
мере (см. п. 14.9).
Теорема 3.2. Пусть ? = {?n, n Е Z} — ССП с ковариационной
функцией Rg(n), соответствующей спектральной функции i^(A).
Тогда существует такая ортогональная стохастическая мера
Z^(A), определенная на борелевской а-алгебре В([—тг,тг)) промежут-
промежутка [—тг,7г), что имеет место представление
eiXnZs(d\), nGZ,	C.20)
причем ^(А) имеет структурную функцию вида
ДеВ([-тг,7г)).	C.21)
Замечание. Таким образом, F%(А) является функцией распре-
распределения структурной функции Fz(A) ортогональной стохастической
меры ^(А), определенной на В{[—тг,тг)). В частности, если А =
= (а,/3] С [-7г,тг), то FZ(A) = F^(P) - F^(a), а если к тому же ()
имеет плотность Д(А), то
Спектральное представление ССП играет важную роль в задачах
линейного оценивания и прогнозирования случайных последователь-
последовательностей. Это связано с тем, что результат любого линейного преобразо-
преобразования ССП можно представить с помощью стохастического интеграла
по мере Z^(dX).
Определение 3.5. Если случайная величина ? является преде-
пределом в среднеквадратическом смысле некоторой последовательности
случайных величин {Ст}, образованных линейными комбинациями
сечений ССП ? = {?n, n G Z}, то будем говорить, что ? G (?

60	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Теорема 3.3. Пусть случайная величина ? G Н{?), где ? — GG77,
имеющая представление C.20) и спектральную функцию Fg(\). То-
Тогда существует такая функция Ф(А), A G [—тг,тг], что ? допускает
представление
причем
С = | Ф(А) Zs(d\),	C.22)
7Т
f |Ф(А)|2^(А) < оо.	C.23)
Замечание. Поскольку условие ? G ?/(?) означает, что ? явля-
является линейной комбинацией сечений ССП ? или с.к.-пределом тако-
таковых, мы далее будем говорить, что ? является линейным преобра-
преобразованием ?. В свете этого утверждение теоремы 3.3 означает, что
всякое линейное преобразование ССП ? может быть представлено
в виде интеграла по стохастической мере от некоторой функции Ф(А),
удовлетворяющей условию C.23). Функция Ф(А) характеризует само
линейное преобразование и называется его частотной характери-
характеристикой. Условие C.23) означает, что
М{|С|2}= [ |Ф(А)|2^(А) < оо.
Теперь мы можем ввести понятие линейного стационарного преоб-
преобразования ССП.
Определение 3.6. Пусть ССП ? = {?n, n G Z} имеет спектраль-
спектральное представление C.20). Если последовательность С = {Сп? п ? ^}?
допускает представление
Cn = J е*АпФ(А) Z^dX), neZ,	C.24)
с некоторой функцией Ф(А), удовлетворяющей условию C.23), то
говорят, что последовательность ? получена из ССП ? с помощью
стационарного линейного преобразования.
Пример 3.5. Показать, что последовательность ? = {Cm n G Z},
определенная в C.24), является стационарной.
Решение. Вычислим ковариацию сечений (т и ?n, m, n G Z
пользуясь свойствами интеграла по ортогональной стохастической

§ 3]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	61
мере (см. п. 14.9):
cov{Cm,Cn} = (Cm.Cn) = ( { е*АтФ(А) Zz(d\), | е
*А"
7Г	7Г
= | е<Л|"Ф(А)е<ЛпФ(А)<Н^(А) = J егА(т-п)|Ф(А)|2<У^(А) =
7Г
что вместе с равенством M{?n} = м| егЛпФ(А) Z^(dX) \ = 0 до-
— 7Г
казывает стационарность (\ Итак, последовательность, полученная
в результате стационарного линейного преобразования С СП, так-
также является стационарной. При этом условие C.23) означает, что
М{|?п|2} <оо, т.е. случайная последовательность ( действительно
существует. ¦
Моментные и спектральные характеристики последовательно-
последовательностей ( и ? связаны некоторыми аналитическими соотношениями, о чем
говорит следующее утверждение.
Теорема 3.4. Последовательность ?, полученная из ССП ?
с помощью линейного преобразования C.24), является стационар-
стационарной с ортогональной стохастической мерой Z^idX), спектральной
функцией -F^(A) и ковариационной функцией R^(n)^ которые удовле-
удовлетворяют соотношениям
Zc(d\) =
Л	7Г
FC(A) = | |Ф(А)|2^(А), Щ(п) = J е'А"
— 7Г
имеет спектральную плотность Д(А), то С таксисе имеет
спектральную плотность /^(А), причем
Соотношение C.24) описывает линейное преобразование последо-
последовательности в спектральной области. Однако как показывает следу-
следующий пример, этому представлению может соответствовать и пред-
представление во временной области.
Пример 3.6. Пусть стационарному линейному преобразованию
с частотной характеристикой Ф(А), удовлетворяющей условию
[ |Ф(А)|2^А< оо,	C.25)

62	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
подвергается стандартный дискретный белый шум е = {en? n ? ^}-
Показать, что полученная ССП ? = {?n, n E Z} допускает представле-
представление в форме двустороннего скользящего среднего. Найти спектраль-
спектральную плотность Д(Л).
Решение. Условие C.25) равносильно условию C.23), поскольку
FAX) = 	 (см. пример 3.3). В силу C.25) функция Ф(Л) допускает
разложение в ряд Фурье на отрезке [—тг,тг]:
оо
Ф(А)= Y, e"iAm/i(m),
где
7Г
h(m) = — [ е<АтФ(А) d\.
2тг J
Если Ze(dX) — стохастическая мера в спектральном представлении
белого шума е, то соотноп1ение C.24) для ? записывается как
h(m)?n-
m= — oo
что соответствует представлению в форме скользящего средне-
среднего C.17). Тогда в силу теоремы 3.4 спектральная плотность после-
последовательности ? имеет вид
так как /е(Л) = 1/2тг — спектральная плотность стандартного белого
шума е. Ш
3.4. Задачи для самостоятельного решения.
1. Показать, что если afc, /3k — действительные некоррелированные слу-
оо
чайные величины, М{ак} = М{/Зк} = 0, Г>{ак} = D{/3fc} = а2к1 J2 °i < °°»
fe=i
то последовательность
оо
?п = ^2 (ак cos \kn + Д sin \kn) n G Z,
fe=l
является стационарной. Найти ковариационную функцию Щ(п).

§ 3]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	63
Указание. Показать, что СВ ?п допускает представление ?п =
ОО	-о
= Yl zkelXkn, где Х-к = -Хк, zk = —к——-, z-k = ~zk при к ^ 1, z0 = О,
fc = — оо
причем {zk, к Е Z} — некоррелированные.
оо
Ответ. R% (п) = ^2 ак cos ^кп.
к=1
2.	Пусть СВ 0 имеет равномерное распределение на [—тг,тг], а СВ 77
распределена по закону ЛГ(О; 1) и не зависит от в. Показать, что после-
последовательность
Г 77,	если п = О,
*» = \ гвп
[ е , если п ф О,
является стационарной. Найти ее ковариационную функцию и спектраль-
спектральную плотность.
Г 1 при п = 0,	1
Ответ. Ш? = 0, R^(n) = <	Л(^) = —•
[ 0 при п ф 0,	2тг
3.	Пусть ? — ССП, полученная из ? с помощью линейного преоб-
преобразования с частотной характеристикой Фх(А), а 77 — ССП, полученная
из С с помощью линейного преобразования с частотной характеристикой
Ф2(А). Показать, что 77 может быть найдена из ? с помощью линейного
преобразования с частотной характеристикой Ф2(А)Ф1(А).
4.	Найти частотную характеристику преобразования ССП Y в последо-
последовательность
Х(п) = -(Y(n) + Y(n - 1) + Y(n - 2)).
о
Ответ. Ф(А) = - (l + е~гХ + е~2гЛ).
о
5.	Пусть ?n = cos(nr] + 0), где в — случайная величина, равномерно
распределенная на [0, 2тг], а 77 не зависит от в и имеет некоторую функ-
функцию распределения G(x). Показать, что ? = {?П5 п ^ ^} — вещественная
центрированная ССП.
6.	Пусть 0 < а < тт. Показать, что
а
при п = О,
7Г
sin an	.
	 при n^U
7ГП
есть ковариационная функция некоторой ССП. Найти спектральную плот-
плотность этой последовательности.
а
Указание. Показать, что Rtin) = — е п dX, откуда следует, что
2тг J
— а
последовательность с ковариационной функцией R^(n) есть линейное ста-
стационарное преобразование белого шума с частотной характеристикой
_ Г 1 при |А| ^ а,
^ } ~ \ 0 при |А| > а.

64	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
— при |Л| ^ а,
2тг
О при |Л| > а.
7. Найти ковариационную функцию Щ(п) ССП, имеющей спектраль-
х /\\	||
ную плотность /?(А) = 	.
Указание. Воспользоваться формулой C.11).
{1	при п = О,
, /2 при п / 0.
(тгпJ
8.	Пусть С, С — некоррелированные ССП (т. е. cov{?n, (т} = 0 при всех
п,т ? Z) со спектральными функциями i^(A), ^(А). Показать, что Хп =
— Сп + Сп есть ССП, и найти ее спектральную функцию Fx(X)-
Ответ. FX(X) = Fz(\) + FC(A).
9.	Пусть ^, С — ССП, удовлетворяющие уравнениям
где |а| < 1 — неслучайная постоянная, а е1, е2 — некоррелированные после-
последовательности белого шума. Найти спектральную плотность ССП ?.
Указание. Обозначим ^ (d\), Z (d\) ортогональные стохастические
меры в спектральных представлениях последовательностей е1 и е2 соот-
соответственно. Тогда ортогональная стохастическая мера, соответствующая
последовательности ?, равна
откуда с учетом некоррелированности последовательностей е1, е2 находим
ответ.
Ответ. /С(А) =	—-г Н	гт—.
JQK J 2тг|1-ае-гЛ|4 2тг\1 - ае~гХ\2
10. Используя спектральное представление, показать, что случайная
последовательность С = {Cn, n G Z}, удовлетворяющая соотношению
при определенных условиях на многочлен Q(z) = I + 61Z+.. . + 6gZ9 является
линейным преобразованием стандартного белого шума е = {en, n G Z}.
Найти эти условия, определить спектральную плотность ССП ?.
Указание. Показать, что С имеет представление в виде односторонне-
одностороннего скользящего среднего C.18), где а& — коэффициенты разложения функ-
P(z)
ции —у^- в ряд Тейлора в единичном круге, а P(z) = 1 + a±z + ... + apzp.
Ответ. Если корни многочлена Q(z) лежат вне единичного круга, то
1
Р{е~гХ)

4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	65
4. Линейные преобразования случайных
последовательностей
4.1. Линейные преобразования последовательностей об-
общего вида.
Определение 4.1. Случайная последовательность {r]n, n G Z}
называется линейным преобразованием случайной последовательно-
последовательности {?&, /с G Z} с весовой последовательностью {сп^, n, fc G Z}, если
при каждом n G Z
Здесь и далее сходимость ряда D.1) понимается в среднеквадрати-
ческом смысле:
м
Vn = l.i.m. J2 c^ik-	D.2)
7V,M-)-oo . лг
k= — N
Соотношение D.2) мож:но записать следующим образом:
l f	^,^^оо.	D.3)
k=-N
Очевидно, что преобразование {г]п} существует, если выполнены
соотноп1ения D.2) или D.3), поэтому на {сп&} и {?&} долж:ны быть
наложены некоторые условия, гарантирующие, что выражение D.1)
имеет смысл.
Определение 4.2. Случайная последовательность {?&} называ-
называется гильбертовой, если М{|^|2} < со для всех k G Z.
Для гильбертовых последовательностей при к, I G Z существуют
|	, к) = М{|а -
Пример 4.1. Доказать, что {f]n} существует тогда и только тогда,
когда сходятся следующие числовые ряды:
оо	оо
h{n)= J2 Cnkm^(k) и h{n)= J2 спкс^Щ(к,1). D.4)
5 Б.М. Миллер и А.Р. Панков

66
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. II
Решение. Очевидно, что достаточно рассмотреть условия схо-
оо
димости ряда ?п = ^ спк^к. Покажем, что при выполнении D.4) по-
к=0	к
следовательность случайных величин Sff = ^ спк^к является фунда-
к=0
ментальной в среднеквадратическом смысле, т. е. М{|5^ — ?^|2} —)> О
при К, L —} оо. Действительно, при L > К
k,l=K+l
L
k,l=K+l
2	L
k,l=K+l
L
k,l=K+l
L
k,l=K+l
к=К+1
KL.
Если выполнено D.4), то IK L —>- 0 при K,L —ь оо, что означает:
~ ^п|2} ~* 0 ПРИ K^L ^ оо. В силу свойств с.к.-сходимости
(см. п. 14.4) последовательность {S^} сходится в среднеквадратиче-
К
ском смысле к пределу (п = 1л.т. V спк^к = V спк?,к.
Наоборот, если ("п существует, то
НО
DICn} = Hm V спкс^Щ(к,1) = V спкс^Щ(к,1) < оо,
\M{(n}\2 = lim
L—>-oo
fc=O
,2
cnfem^(fc) =
I
к=0
< ОО,
что означает сходимость рядов D.4). Таким образом, если ряды D.4)
сходятся, то М{|?7П|2} < оо и, более того, мы получили соотношения
для математического ожидания и дисперсии СП г]п:
M{Vn} = hin),
где /i(n), /2(?г) определены в D.4).

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	67
Используя некоторую дополнительную информацию о СП {?п}?
можно несколько упростить условия D.4).
Пример 4.2. Пусть известно, что М{|?п|2} ^ К2 для всех п Е Z.
Доказать, что в этом случае для существования линейного преобра-
оо
зования т\п D.1) достаточно, чтобы V] \спк\ < °° Для всех п Е Z.
Решение. Так как M{|^fe|2} = cr|(fc) + \m^{k)\2 ^ К2, fc Е Z, то
) if и |?тг^(/с)| ^ X. Известно, что \Щ(к,1)\ ^ сг^(/с)сг^(/), тогда
= ( Е
к= — оо	к = — оо
Таким образом, ряд ^(п) в D.4) сходится абсолютно и, следовательно,
сходится. Аналогично,
J2 \спкгп^(к)\ ^ К J2 \cnk\ < оо,
k = — oo	k = — oo
поэтому сходится ряд 1\{п). Итак, существование т\п теперь следует
из результатов примера 4.1. ¦
Рассмотрим примеры важных для практических приложений ли-
линейных преобразований.
Пример 4.3. Вещественная СП {?&, к ^ 0} определена соотно-
соотношением ?д. = # + ?&, где в — случайный параметр с М{#} = т$ и
D{#} = Dq, {?k} — центрированный дискретный белый шум, такой,
что Djefc} = Dk ^ D, причем параметр в не коррелирует с
СП {?&} подвергается преобразованию осреднения:
Ё&. п^°-	D-5)
/с=0
Вычислить M{?7n}, D{?7n} и найти lim D{?7n}.
п>оо
Решение. M{ffe} = m^ и D{^fe} = D^ + ?>fe ^ D^ + D. Поэто-
Поэтому M{^} ^ Dq + L) + гтг| = К < оо. Так как сумма в D.5) содер-
содержит конечное число слагаемых, условия примера 4.2 выполнены. Та-
Таким образом, М{?7^} < оо при каждом п ^ 0, причем М{?7П} = 1\(п)

68	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
и D{ryn} = h{n), где
h(n) = —— V тв = тв;
v 7 - ' 1 ^	•		при
_1	 y.
+ ^ k,l=O
к—0	A;—0
Заметим, что в силу Dj~ ^ D имеем
Вв ^ hip) ^^+(п+11JЕД = ^ + -^l -+ Do ПРИ ™^°с.
Таким образом, D{?7n} —>• Z^ при n —>• oo. ¦
Для того чтобы прояснить прикладной смысл полученного ре-
результата, рассмотрим процедуру линейного оценивания случайного
вектора т\ по вектору наблюдений ?.
Определение 4.3. Оценка fj = </?(?) называется линейной сред-
неквадратической оценкой для г\ по ?, если </? — линейное преоб-
преобразование. Точность оценки характеризуется среднеквадратической
погрешностью А = М{|?7 — г}\2}-
Пример 4.4. Доказать, что г]п, определенная в D.5), является
несмещенной линейной оценкой для #, погрешность которой молено
сделать сколь угодно малой.
Решение. Преобразуем формулу D.5):
k=0	k=0	k=0
-.	n
Таким образом, Sn = r\n — в = 	 ^ ek представляет собой случай-
/c=0
ную ошибку оценки г\п.
{л п л
	У^ ?к [ = 0, так как М{?^1 = 0, и
при
что следует из результата примера 4.3. Итак, М{?7П — 0} = 0 для
всякого п ^ 0 (несмещенность), а Ап = М{|?7П — #|2} —^ 0 при п —>• оо
(состоятельность). ¦

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	69
Замечание. Если в примере 4.4 параметр в является неслучай-
неслучайным (т. е. Dq = 0), то результат, сформулированный выше, принимает
следующий вид:
-j	П
—-тYl ^k ~^^ mz при п ~^ °°>	D-6)
n + 1 к=о
где гп? = М{^} = в. При этом утверждение D.6) называют законом
больших чисел.
Рассмотрим вещественную СП {?п}5 являющуюся процессом на-
наблюдения, формируемым по следующей схеме:
& = y>(fc)+efc, keZ,	D.7)
где ip(k) — полезный нестационарный случайный сигнал, а {е^} — цен-
центрированный белый шум с постоянной дисперсией Dje^} = D? > 0.
Для оценивания сигнала ц>(к) СП {?&} подвергается преобразова-
преобразованию, которое называется фильтром экспоненциального сглаживания
и имеет вид
Vn = a77n-i + (l-aKn, n G Z,	D.8)
где a G [0,1) — параметр фильтра.
В следующем примере исследуются характеристики точности
фильтра экспоненциального сглаживания D.8).
Пример 4.5. Предположим, что в модели D.7) полезный сигнал
имеет вид ip(k) = 0\ + #2&5 где #ъ #2 — случайные параметры с из-
известными средними ttIq , m^ и дисперсиями D^ , D^ , причем {#i, 62}
не зависят от {?&}• Найти с.к.-погрешность оценки г\п сигнала <?>(&),
определяемой уравнением D.8).
Решение. 1) Покаж:ем, что D.8) является линейным преобразо-
преобразованием вида D.1):
г]п = а
= A - ce)(Cn + o?n-i) + a2r/n_2 = ... = A - а) ]Г а^п-ь
fe=0
причем полученный ряд с.к.-сходится в силу \а\ < 1.
2) Рассмотрим действие полученного линейного преобразования
на СП {?п} вида D.7):
цп = A - a) J2 ак{в1 + 02(п - к)) + A - а) ? акеп_к = rtf + ^\
к=0	к=0
fe=0	fc=0

70
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. II
Учитывая, что ^ ак = A — се) и A — се) ^ как = сеA — се), по-
к=0	к=0
лучаем щ, ' = ip(n) H	#2- Отсюда в силу независимости в2 от {еп}
находим
Ап = М{|ть - ip(n)\2} = М
М
:- 1
4:
Окончательно получаем
(«-IJ
ОО
k=0
- а)
^
Заметим, что А^ — результат искажения фильтром полезного
сигнала <^(тг), a An — остаток от шума наблюдения {?&}. Интересно,
0, но тогда А^ —>• D?, а при се —> 1
0 Ап ^
что при а —>• 0 Ап ^ —^ 0, но тогда А^ —>• D?, а при се —> 1 А^ —>• 0, но
An —>• оо. Очевидно, что параметр а может быть выбран оптималь-
оптимальным образом из условия а = arg min /(се). ¦
а?[0,1)
4.2. Линейные преобразования стационарных СП. Пусть
известно, что {?&, A: G Z} — стационарная вещественная СП с характе-
характеристиками: М{?к} = ть cov{C/c,6} = Щ(к ~ 0» DUfc} = Щ(°) > °-
Пусть также задана некоторая числовая последовательность {сш}.
Определение 4.4. Случайная последовательность {f]n} называ-
называется стационарным линейным преобразованием случайной последо-
последовательности {?&} с весовой последовательностью {ст}, если
Vn=
D.9)
Замечание. Ранее в п. 3.3 изучались линейные преобразования
в спектральной (частотной) форме. Соотношение D.9) дает явное
представление преобразования во временной области. Частный слу-
случай такого преобразования рассмотрен в примере 3.6.

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	71
Для существования преобразования D.9) достаточно, чтобы вы-
выполнялось условие
оо
т= — оо
кш|<оо,	D.10)
что следует из результата примера 4.2.
Пример 4.6. Пусть выполнено D.10). Доказать, что СП {?7п}?
определяемая в D.9), является стационарной.
Решение. Покажем, что М{?7П} = 772^ и cov{?7n, г]ш} = Rv(n — га)
при любых целых га, п:
Г
М{Г]П} = М|
т= — оо
т= — оо
Далее,
/n,7/m} = COVJ
— т).
Таким образом, СП {т]п} стационарна по определению. Заме-
оо
тим, что D{?7} = R'qiO) = ^2 cpcsR^(s — р). Обоснованность внесе-
p,s= — оо
ния оператора математического ожидания и ковариации под знак
суммирования следует из примеров 4.1, 4.2 и условия D.10). ¦
Замечание. Если весовая последовательность {ст} такова, что
сш = 0 при всех га < 0, то стационарное линейное преобразова-
оо
ние D.9), имеющее вид г\п = ^ cm?n_m, называется физически реа-
171 = 0
лизуемым (фильтром), поскольку в этом случае выходной сигнал г\п
зависит лишь от прошлых значений входного сигнала ?& при k ^ п.
Пример 4.7. Пусть при некотором |а| < 1 последовательность
{т]п} удовлетворяет рекуррентному уравнению:
+ fn, П Е Z,	D.11)

72	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
где {?п} — вещественная ССП. Показать, что D.11) является линей-
линейным стационарным фильтром, и найти моментные характеристики
СП {Vn}.
Решение. Непосредственно из результатов примера 4.5 следует
Z,	D.12)
Vn
Ck
оо
= У^а
k=0
оо
kp
<,n — ki
a
к
n
1
1-
e
i«
где Ck = OLk. Тогда ^ |c^| = ^ |a| =	j— < оо, т.е. условие D.10)
k=0
выполнено.
Опираясь на результаты примера 4.6, находим, что выражения
к=0
-m + s-p),	D.14)
p,s=0
p,s=0
определяют математическое ожидание, ковариационную функцию и
дисперсию СП {г]п}. Ш
Особый интерес представляет случай, когда фильтруемая СП {?,п}
является белым шумом. При этом соотношения D.14), D.15) можно
существенно упростить.
Пример 4.8. В условиях примера 4.7 рассмотреть случай, когда
{Сп} — стационарный белый шум.
Р е hi е н и е. По определению белого шума R^(s —p) = 0, если р ф 5,
поэтому из D.15) следует
А, =
р=0
Пусть теперь т ^ п и/ = п — т, тогда
оо	оо
Rr,(n -m) = Rrj(l) = J2 u2s+lDt. = alD^ ^ a2s = alDv.
p-s=l	s=0
Аналогично, если т > n, то R^il) = R^—l) = a~lDr]. Объединяя
оба решения, находим R^n — га) = a^n~rn^Dr]. Ш

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	73
Определение 4.5. Комплексная функция Ф(А) действительной
переменной А Е [—тг,тг], определяемая соотношением
оо
Ф(А) = V cme-iXm,	D.16)
т= — оо
называется частотной характеристикой линейного стационарного
преобразования D.9).
Замечание. Нетрудно проверить, что Ф(А), определяемая выра-
выражением D.16), совпадает с частотной характеристикой, использован-
использованной в C.24) для спектрального представления линейного стационар-
стационарного преобразования (см. также пример 3.6).
Пример 4.9. Доказать, что Ф(А), А Е [—тг,тг], существует, если
выполнено условие D.10).
Решение. Покажем, что при каждом A Е [—тг,тг] ряд D.16) схо-
сходится абсолютно.
оо
оо
|Ф(А)|= ? сте-гХт < ? \Cm\\e-iXm\= ? \ст\ < оо,
e-iXm\=
т= — оо
так как
-*Am
2 = COs2 \m + sin2 Am = 1.
||
Зачастую преобразование D.9) задается неявно (см. пример 4.7),
поэтому для вычисления Ф(А) удобно воспользоваться следующей
формулой, вытекающей непосредственно из D.16):
ад = ^кЛ	D-17)
где L(elXm) — результат линейного стационарного преобразования
неслучайной последовательности хт = егЛт, т G Z.
Частотная характеристика Ф(А) позволяет вычислить спектраль-
спектральную плотность преобразования СП {?т} (см. теорему 3.4).
Пример 4.10. Пусть стационарная СП {?т} имеет спектральную
плотность Д(А), A G [—тг,тг]. Доказать, что СП {т]п} вида D.9) при
условии D.10) также имеет спектральную плотность /^(А):
/„(А) = |Ф(А)|2/«(А).	D.18)
Решение. Рассмотрим случай, когда ^ l^^)| < со. Тогда в си-
п
лу представления C.12) /^(А) = — ^ Rri(n)e~lXn, причем коварна-
nGZ
ционная функция R^n) имеет вид (см. пример 4.6)
+ s -р).

74	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Тогда спектральная плотность /^(А) может быть представлена в виде
Ц Е ср
Проиллюстрируем применение формулы D.18) для модели преоб-
преобразования, рассмотренной в примере 4.7.
Пример 4.11. Пусть линейное преобразование задано рекуррент-
рекуррентной формулой D.11), где {?п} — центрированная СП с ковариацион-
ковариационной функцией Щ(п) = D^lnl, \/3\ < 1. Найти спектральную плотность
СП {Vn}.
Решение. По формуле C.12) имеем
ОО	j-v	ОО
	• D-19)
Найдем теперь частотную характеристику преобразования
г]п = arjn-1 +?п.	D.20)
Для этого рассмотрим соотношение D.17) для случая, когда L(-)
задается уравнением D.20). Тогда
Ф(Л)егЛп = се(Ф(А)еи(п-1)) + егЛп,	D.21)
откуда, сокращая на егЛп обе части D.21) и выражая явно Ф(А),
получаем
Теперь, используя формулы D.18) и D.19), находим

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	75
4.3. Линейное прогнозирование стационарных последо-
последовательностей. Пусть ? = {?n, n Е Z} — центрированная ССП
с ковариационной функцией R^{n) и спектральной функцией i^(A).
Определение 4.6. Пространством ?/(?), порожденным слу-
случайной последовательностью ?, называется совокупность всех слу-
случайных величин, являющихся конечными линейными комбинациями
сечений СП ? или с.к.-пределами таковых.
Элементами пространства ?/(?) являются линейные преобразова-
преобразования СП ? (см. п. 3.3).
Для любых г/, 7/ Е ?/(?) можно определить скалярное произведение
и норму:
В этом случае пространство %(?) — гильбертово и является подпро-
подпространством гильбертова пространства % случайных величин с конеч-
конечным вторым моментом (см. п. 14.7). Будем также говорить, что ?/(?)
порождено ССП ?.
Предположим, что до момента т включительно ССП ? доступ-
доступна наблюдению, т.е. ?m = {?m,?m-i, ... } — наблюдаемый случайный
элемент (наблюдаемая часть ССП ?). По аналогии с Н{?) введем
гильбертово пространство 7i(^m), порожденное только наблюдаемой
частью ССП f. Очевидно, что U(?m) С ?/(?).
Определение 4.7. Наилучшим линейным среднеквадратиче-
ским прогнозом (с.к.-оптимальным прогнозом) для ?m+n, п ^ 1,
по наблюдениям ?т называется случайная величина 77 G 'H(?m), такая,
что
Далее наилучший линейный прогноз 77 будем обозначать ^n+m.
Точность прогноза характеризуется величиной среднеквадратической
погрешности (с.к.-погрешности):
ап = Ып+т — ?п+т || = M{|^n+m — ?n+m| }.
Заметим, что в силу стационарности последовательности ? ошибка
прогноза не зависит от га, а зависит лишь от п, т. е. от числа шагов
«вперед», на которое прогнозируется ССП ?.
Определение 4.8. ССП ? называется сингулярной, если сг^ = О
при всех п^1. Если же сг^ —)> Z^ = it^(O) при п —)> оо, то ССП ?
называется регулярной (или чисто случайной).
Замечание. Сингулярность ? означает, что она абсолютно точ-
точно прогнозируется на любое количество п ^ 1 шагов по своему про-
прошлому ?т. Поэтому сингулярные последовательности также называ-

76	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
ют детерминированными. Наоборот, регулярность последовательно-
последовательности означает, что ?m+n —'—-)¦ M{?n+m} = 0 при п —>• оо, т.е. прогноз
становится тривиальным.
Оказывается, что всякая стационарная случайная последователь-
последовательность единственным образом может быть представлена в виде суммы
сингулярной и регулярной последовательностей.
Теорема 4.1. Пусть ? — ССП, тогда она единственным образом
представляется в виде
Zn = C + C »ez,	D.22)
где ?^ — сингулярная часть ССП, а ?^ — регулярная часть ССП,
причем {Сп->?>т) — cov{Cp?m} = 0 пРи лю^ых п-> т-> а также
т. е. С СП {??} и {Сп} подчинены С СП {?п}-
Представление ? в виде D.22) называется разложением Вольда.
Для описания структуры регулярной С СП нам понадобится поня-
понятие обновляющего процесса.
Определение 4.9. Центрированный стандартный дискретный
белый шум е = {еп}, М{еп} = 0, cov{en,em} = 5™ называется обно-
обновляющим процессом для С СП ?, если при каждом п G Z
Щ€п) = Щеп),	D.23)
где еп = {?n,?n-i, • • • }, а 8™ = 0 при п / т и ^ = 1 (символ Кроне-
кера).
Таким образом, обновляющий процесс е есть совокупность орто-
ортогональных величин, порождающих те же пространства наблюдений
Ч(еп), neZ, что и сама ССП f.
Теорема 4.2. ССП ? является регулярной тогда и только
тогда, когда найдутся обновляющий процесс {?п} и коэффициенты
{а&}, такие, что
оо
?п = J2 ак?п-к, П Е Z,
к=0
оо
где ^ |а&|2 < оо.
к=о
Критерий регулярности, использующий спектральные характери-
характеристики ССП ?, имеет следующий вид.
Теорема 4.3. ССП ? регулярна тогда и только тогда, когда
? имеет спектральную плотность Д(А), причем Д(А) > 0 почти
всюду (по мере Лебега) на [—тг, тг] и
-оо.

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	77
Замечание. Если ? имеет кусочно постоянную спектральную
функцию i^(A), то она сингулярна. Например, если (см. пример 3.2)
Е
fc=l
где {zfc} — некоррелированные случайные величины, а А& — различ-
различные точки полуинтервала [—тг,тг), то i^(A) имеет вид
D.24)
fc:
Эта функция имеет 7V разрывов первого рода в точках {А&} и посто-
постоянна на каждом промежутке [А&,А&_|_1). В этом случае спектральная
плотность Д(А) не существует, что означает сингулярность ССП ?.
Пример 4.12. Вещественная ССП ? = {?п} удовлетворяет урав-
уравнению авторегрессии первого порядка:
fn = afn-i+?n, n G Z,
где |а|<1, е = {еп} — стандартный дискретный белый шум. Дока-
Доказать, что ? — регулярная ССП.
Решение. При каждом п выполнено равенство еп = ?n — a?n_i,
поэтому 7i(?n) ^l~i{in)- С другой стороны, из примера 4.7 следует, что
in = J2ak?n-k,	D.25)
оо
где dk = ак, причем ^ \а^\ = 	:—- < оо. Кроме того, из D.25) сле-
к=о	^-\а
дует, что Щ?п) С П(еп). Итак, 7/(en) = 7{(СП), т. е. е - обновляющий
процесс для последовательности ?. Теперь в силу теоремы 4.2 ССП ?
является регулярной. ¦
Теперь мы можем описать общий вид с.к.-оптимального линейного
прогноза для ?n+m по наблюдениям 7i(im).
Теорема 4.4. Пусть тг^(?т) — оператор ортогонального проек-
проектирования на подпространство 'Н(?т), тогда случайная величина
im+n = ^ Щ^)Цтп+п)	D.26)
является с. к.-оптимальным линейным прогнозом для ?т+п по на-
наблюдениям ?т = {?т, ?m_i, ... }.
Замечание. Свойства оператора ортогонального проектирова-
проектирования рассмотрены в пп. 13.8 и 14.7.

78	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
ОО
Пример 4.13. Пусть ?п = ^ ak?n-ki где {?п} — обновляющий
к=0
процесс. Показать, что
^	оо
р~		 ^-^
Sra+n — / v ^к^т+п — к-
к=п
Найти с.к.-погрешность а^ прогноза ?m+n-
Решение. Без ограничения общности молено считать, что т = 0:
оо	п — 1	оо
к=0	к=0	к=п
Очевидно, что ^п ' Е ^(e°), a ?n J- ^(^°M так как cov< ^n , rj > =0
для любой СВ г] G 7i(?°) в силу того, что е — белый шум.
Так как е — обновляющий процесс, из D.23) следует 7i(?°) =
Таким образом, ?п — ?„ J_ ^(С°M т- е. ^п = тг^^оч(^п) (см. п. 14.7).
Тогда из D.26) ?п = ?п , что и требовалось доказать.
Для нахождения сг^ заметим, что
п-1
ак?п-
к=о
'^п-к\ |.
Учитывая, что Si J_ ?j при г /j и М{|е^| } = 1, получаем
п-1
2 _ V^ I I2
к=0
оо
Заметим, что ст2 ^ ^ \а>к\2 = M{|^n|2} = D^ при п —> оо, т. е. прогноз
к=0
действительно становится тривиальным. ¦
Пример 4.14. В условия примера 4.12 найти ?п по наблюдениям
оо
Решение. Так как ?п = ^ ак?п-к-, гДе ак = &к-> а {^п} — обно-
к=0
вляющий процесс, то в силу примера 4.13 имеем
оо	оо
к=п	к=0
П — 1	л	2п
тт	2	\"^ 2к 1 — а
При этом величина а^ = Z^ а 	Y является с.к.-погрешно-
с.к.-погрешностью прогноза ?п. Здесь такж:е а^ —>•	 = D% при п —> оо. ¦

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	79
Рассмотрим способ построения прогноза для сингулярной ССП на
примере почти периодической ССП (см. пример 3.2).
Пример 4.15. Построить с.к.-оптимальный прогноз для ?i по на-
наблюдениям ?° в случае сингулярной последовательности {?п} из при-
примера 3.2.
Решение. По условию
N
к=1
Пусть Ф(А) — искомая частотная характеристика, дающая с.к.-опти-
с.к.-оптимальный прогноз на один шаг:
С.к.-погрешность этого прогноза имеет вид
= f |егАA - Ф(А))|
2
к=1
где Dk = МЦг^2}, a -F^(A) — спектральная функция ССП ?п C.15).
В силу сингулярности прогнозируемой последовательности а\ = О,
поэтому найдется Ф(А), такая, что
1, fe = l, ...,7V.
Будем искать функцию Ф(А) в виде
Ф(А) = Х;а/е-*А/,
1=1
тогда для определения коэффициентов {щ} необходимо решить си-
систему уравнений
N
J2aie~iXkl = 1, fc = l, ...,7V.	D.27)
i=i
Нетрудно проверить, что решение {S/} системы D.27) существует и
единственно, если А& ф Xj при к ф j, что и предполагается по условию.
Теперь мы можем найти окончательное выражение для ^:
= f егХ Е
= Е
Видно, что прогноз строится по наблюдениям {?о??-ъ •••?^-iV+i} и
является абсолютно точным, так как а\ = 0 по построению. ¦

80	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Пусть теперь {?&} — регулярная ССП со спектральной плотностью
вида
ОО
где <&(z) = ^ b^z имеет радиус сходимости г > 1 и не имеет нулей
к=о
в области \z\ ^ 1.
Для построения прогноза ?п по наблюдениям ?° в этом случае
можно воспользоваться следующим алгоритмом.
1)	Определить функцию
дп(\) = егА"Фп(е-гА)(Ф(е-гА))-\	D.28)
где Фп(г) = Y, Ьк*к-
2)	Представить дп{\) в виде ряда Фурье:
9nW = с0 + cie~iX + c2e~i2X + ...= ? ске~гкХ.	D.29)
fe=0
3)	Вычислить прогноз ?п в виде линейного преобразования:
ОО
?„ = Y, СкИ-к,	D.30)
где {ск} — коэффициенты ряда D.29).
Оказывается, что М{?п — Сп} =0, т- е. оценка ^п является несме-
несмещенной, а дисперсия ее ошибки (т. е. с.к.-погрешность) может быть
вычислена по формуле
D-31)
к=0
Из D.31) также следует, что а^ монотонно возрастает при п —> оо.
Пример 4.16. В условиях примера 4.11 построить оптимальный
прогноз ?п для ?п по наблюдениям ?° и определить точность этого
прогноза.
Решение. С учетом выражения D.19) для спектральной плот-
плотности /^(А) получаем
оо	оо
1 = а Е ^^ = Е ь*г*.
fe=0	k=0
где а = у/ЩЙР), Ък = а(Зк, к = 0,1,2,...

§ 4]	ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ	81
Найдем теперь выражение для Фп(г):
оо	оо
Фп(*) = Е Ъ^к = Pnzna ? /3kzk = f3nzn$(z).
к=п	к=0
Поэтому Фп(г)[Ф(г)]~1 = /3nzn, откуда
дп{\) = е^пФп(е-гХп)[Ф(е-гХп)}-1 = eiXn /Г (e~iX)n = /Г.
Таким образом, в данном случае в разложении D.29) для функции
дп{\) имеем со = /Зп / 0 и с& = 0 для любого к ^ 1. Итак, из D.30)
теперь следует, что
Сп=/Г?о, п = 1,2,...	D.32)
С учетом того что Ъ^ = а(Зк, /с = 0,1, ..., по формуле D.31) нахо-
находим выражение для дисперсии ошибки прогноза ?п:
al = М{|?„ - t\2} = о2 EV = "A1"Г) = ^A " /52П)- D-33)
к=0	Р
Заметим, что наиболее точным является прогноз на один шаг
(п = 1), его точность равна а\ = D^{1 — /З2). При увеличении п в силу
условия |/3| < 1 имеем /32п —^ 0, поэтому сг2 —^ Z)^ при п —^ оо. Так как
D^ = Щ@) — дисперсия СП {^п}, видно, что точность оптимального
прогноза ?п при п —ь оо падает и приближается к точности «триви-
«тривиального» прогноза ?п = М{?п} = 0, для которого, очевидно,
4.4. Задачи для самостоятельного решения.
1.	Доказать формулу D.17).
2.	Найти спектральную плотность С СП {г]п}:
г\п = ао^п + ai?n_i, n G Z,
где {?п} — центрированный белый шум с дисперсией D%.
Ответ, frj (Л) = —- (uq + а\ + 2aoai cos Л).
2тг
3.	Пусть ССП {туп, n G Z} удовлетворяет уравнению авторегрессии
г]п = a?7n-i + /Зг]п-2 + Cn, n G Z. Найти ш^, если М{?п} = т^.
Ответ, rrirj = 171^/A — а — /3), если корни алгебраического уравнения
1 — olz — /3z2 = 0 по модулю больше 1.
6 Б.М. Миллер и А.Р. Панков

82	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
-^ п+Т-1
4.	?7П = — ^2 Cn+fc, где Т — положительное целое число, а {?п} —
2Т fc=n-T
белый шум с параметрами т^ и D^. Найти гпп и D^.
Ответ. TTirj = ттт^, D^ = D^/2T.
5.	Пусть туп = Vn-i	Tin-2+Sn- Найти для {f]n} явное выражение D.9).
оо
Указание. Использовать r\n = J^ otk^n-k совместно с представлением
fc=O
Tin — rjn-i H—Tin-2 =en,n G Z, показать, что коэффициенты {«&} определя-
определяются из рекуррентных соотношений oik — <^fc-i	<^fc-2, ^ ^ 2, а?о = qji = 1.
Ответ. Vn=22 ~^к~?п-к-
к=о
6.	В условиях предыдущей задачи найти спектральную плотность
СП {г]п}, если {еп} — белый шум со спектральной плотностью /е(А) = 1.
Ответ. /«(А) =	—.
4 ' 1,5625- 2,5 cos Л + cos2 Л
7.	Пусть ?k = 0i + ^2к + ?&, fc = 0,1, ..., где {ек} — центрированный
белый шум с дисперсией D?. Оценка г]п полезного сигнала цэ(п) = в\ + 62П
имеет вид
Найти с.к.-погрешность оценки туп, если {61,62} не зависят от
а параметры т^ и D6,2 известны.
Ответ. An=M{|772n-^(n)|2} = 0,25n2(rn^2+^2)+^e/(n + l).
8. Пусть ССП, имеющая спектральную функцию i^(A), подвергает-
подвергается линейному стационарному преобразованию с частотной характеристи-
характеристикой Ф(А). Найти явный вид спектральной функции ^(А).
л
Ответ. FV(X)=
9. СП т] получена из стандартного белого шума е преобразованием вида
Цп = - (sn-i + ^n+i), n ez.
Доказать стационарность СП {г]п} и вычислить ее спектральную плотность.
Указание. Воспользоваться теоремой 3.4.
Ответ. /„(А) = —cos2 А.
2тг
10. Пусть rri? = 3, Д(А) = 5 + 4 cos А. Найти с.к.-оптимальный про-
прогноз ?п по наблюдениям ? и дисперсию ошибки прогноза Ап для всех
п ^ 1.
Ответ. ? =3 + 0,5 ^(-0,5)fc(?_fc-3), Ai = 8тг и fn = m^ = 3, An =
fc=0
= D^ = Ютг, если п ^ 2.

5]	ЦЕПИ МАРКОВА	83
5. Цепи Маркова
5.1. Вероятностные характеристики цепей Маркова. Це-
Цепью Маркова, которая далее для краткости обозначается ЦМ, назы-
называется последовательность вещественных случайных величин, обла-
обладающая марковским свойством.
Пусть Е = {ео, ei, ...,е&, ... } — некоторое конечное или счетное
множество. Рассмотрим последовательность случайных величин ?п,
п = 0,1, ..., которые принимают значения из множества Е с вероят-
вероятностями 7Гк(п) = Р{Сп = е&}, к = 0,1, ... Таким образом, ?п — слу-
случайная величина с дискретным (конечным или счетным) множеством
значений Е. Случайная последовательность ? = {?п,п = 0,1, ...} ука-
указанного типа называется дискретной цепью.
Определение 5.1. Случайная последовательность ? называется
дискретной цепью Маркова, если она является дискретной цепью и
обладает марковским свойством, т. е. для каждого п ^ 1 и любых
элементов жо, #i, • • •, хп множества Е выполнено
E.1)
Замечание. Соотношение E.1) на языке условных вероятностей
(см. п. 14.5) означает, что
где Тп-\ — сг-алгебра, порожденная СВ {?0, • • •, ?n-i}*«
Из определения E.1) следует, что дискретная цепь Маркова яв-
является частным случаем марковского процесса, общее определение
которого было дано в п. 2.4.
Множество Е обычно называют множеством (пространством)
состояний ЦМ. Если в момент п ^ 0 произошло событие {?п = е&},
то говорят, что ЦМ находится в состоянии е&. Если же известно, что
для п ^ 1 выполнено ?n_i = е& и ?п = е-,-, то говорят, что цепь на п-м
шаге перепела из состояния е& в состояние ej. Если Е имеет конечное
число состояний, то соответствующая ЦМ называется конечной.
Определение 5.2. Число pk (n) = P{?n = ej | Cn-i = ek] назы-
называется вероятностью перехода из состояния е& G Е в состояние е^ G ?^
за о^г/п шаг в момент п ^ 1.
Определение 5.3. Матрица -Р(тг), элементами которой являют-
являются вероятности перехода pkj(n), называется переходной матрицей
ЦМ ? (за один шаг в момент n ^ 1).

84	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Определение 5.4. Вероятность тг^(п) = Р{?п = е&}, е& Е Е, на-
называется вероятностью состояния е& в момент времени п ^ 0, а век-
вектор тг(п) = {7To(n),7Ti(n), ... }* — распределением вероятностей со-
состояний ЦМ ? в момент п ^ 0.
Очевидно, что тг(п) удовлетворяет при каждом п < оо условию
оо
нормировки ^ ^к(п) = 1- Компоненты вектора тг(п) показывают, ка-
fc=o
кие из возможных состояний ЦМ в момент времени п являются
наиболее вероятными, а какие — нет. Таким образом, знание после-
последовательности {тг(п)} позволяет составить представление о поведении
ЦМ во времени.
Пример 5.1. Доказать, что при каждом п ^ 1 выполнено рекур-
рекуррентное соотношение
тг(га) = Р*(п)тг(п- 1).	E.2)
Решение. Сформируем систему гипотез Н^ = {?n_i = е^}. Оче-
видно, что Hk, Hj несовместны при к ф j, причем ^ Н^ = ^. По
определению P{i^} = P{^n_i = e&} = тг^(п — 1), к = 0,1, ... Пусть
Лп = {Cn = em}, тогда
Р{ЛЛ = тгш(п), Р{^т | Я/,} = Р{С = ет | Сп-1 = е/с} = Pfe?m(n).
Для вычисления Р{Ат} применим формулу полной вероятности
(см. п. 14.1):
к=0	к=0
E.3)
Теперь нетрудно убедится в том, что формула E.3), представленная
в матричном виде, совпадает с E.2). ¦
Формула E.2) задает рекуррентный алгоритм вычисления веро-
вероятностей состояний тг(п), п ^ 1. Очевидно, что для вычисления тг(п)
необходимо задать начальное распределение вероятностей тг(О) и все
переходные матрицы {Р(/с), к = 1, ... ,п}.
Определение 5.5. Цепь Маркова называется однородной, если
для всех п ^ 1 выполнено Р(п) = Р, т. е. переходная матрица Р(п)
не зависит от времени.
Пример 5.2. Показать, что для однородной ЦМ распределение
тг(п), п ^ 1, полностью определяется переходной матрицей Р и на-
начальным распределением вероятностей состояний тг(О).

§ 5]	ЦЕПИ МАРКОВА	85
Решение. Пусть п ^ 1 и задано начальное распределение тг(О).
Тогда из E.2) следует, что тгA) = Р*тг@). Далее, тгB) = Р*тгA) =
_ р*(р*тг@)) = (Р*Jтг@). Продолжая этот процесс, получаем окон-
окончательно
тг(п) = (Р*)птг@) Vrc^l.	E.4)
Более того, если обозначить через
P{kj(n) = p{?n+m = ej \?n = ek}	E.5)
вероятность перехода из е& в ej за т ^ 1 шагов, то из E.4) следу-
следует, что для однородной ЦМ матрица р(ш\п) = {р)™ (п)} имеет вид
p(™)(n) = Рт, поэтому
тг(п + т) = (Р*)ттг(п).	E.6)
Таким образом, пара {Р, тг(О)} полностью описывает вероятност-
вероятностную структуру однородной ЦМ. ¦
Для описания однородной ЦМ удобно использовать ее графи-
графическое представление в виде размеченного стохастического графа,
вершинами которого являются состояния {е&}, стрелками указаны
возможные переходы, а рядом с каждой стрелкой указана вероятность
соответствующего перехода за один шаг.
Пример 5.3. ЦМ задана стохастическим графом (рис. 5.1). Найти
вероятности состояний на третьем шаге при условии, что в началь-
начальный момент ЦМ находилась в состоянии е\.
Р е ш е н и е. Составим матрицу Р пе-
переходных вероятностей: рОо = О53; рО1=О,7;
Рю = 1; рц = 0 (переход е\ —>• е\ запрещен по
условию). Таким образом, матрица Р* имеет
элементы q00 = 0,3; q01 = 1; q10 = 0,7; qn = 0,
а тг@) = {0;1}* — начальное распределе-
распределение вероятностей состояний. Используя E.2),
последовательно находим тгA) = Р*тг@) =
= {1; 0}*, тгB) = Р*тгA) = {0,3; 0,7}*, тгC) = Р*тгB) = {0,79; 0,21}*.
Очевидно, что тот же результат будет получен по формуле
тг(З) = (Р*Kтг@). ¦
Элементы {pij} матрицы перехода Р удовлетворяют следующим
двум условиям:
l)Pij ^0 Vz,j = O,l, ...;
2) E^ = 1 Vz = O,l,...
3=0
Матрицы, удовлетворяющие свойствам 1, 2, называются стоха-
стохастическими.

86	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Условие 2 означает, что на каждом шаге ЦМ обязательно либо
переходит в какое-то новое состояние из числа допустимых, либо
остается в прежнем состоянии. Практические ситуации, адекватно
описываемые цепями Маркова, встречаются весьма часто, так как
марковское свойство фактически означает следующее: если некото-
некоторый процесс обладает марковским свойством, то его «будущее» при
фиксированном «настоящем» не зависит от «прошлого» (альтер-
(альтернативная формулировка марковского свойства). Следующий пример
поясняет смысл этих терминов и самого марковского свойства.
Пример 5.4. Доказать, что альтернативная формулировка мар-
марковского свойства следует из E.1).
Решение. Из E.1) следует, что V/c ^ 0 и W Xk+i Е Е
Нетрудно проверить, что для произвольных событий А, В и С выпол-
выполнено соотношение Р{АВ | С} = ~Р{А | ВС} Р{Б | С}. Используя это
соотношение необходимое число раз для п ^ к + 1, получаем с уче-
учетом E.7)
= xn, ..
для произвольных #fc_|_i, ..., xn G E. Обозначим H = {?& = x^} — «на-
«настоящее» рассматриваемой ЦМ, Б = {?n = жп, ..., ?&+1 = ^fe+i} —
ее «будущее» и П = {?,k-i = %к-\-> • • • ?^о = жо} ~~ «прошлое», где
{жд, • • • ,Xk-i} — некоторые значения из Е, которые ЦМ принимала
до текущего момента времени к. Тогда соотношение E.8) означает,
что Р{Б | НП} = Р{Б | Н}. Отсюда
Р{БП | Н} = Р{Б | НП} Р{П | Н} = Р{Б | Н} Р{П | Н},
т. е. события Б и П, рассматриваемые при условии выполнения собы-
события Н, независимы. ¦
Доказанное утверждение обобщает формулу B.7).
Рассмотрим теперь классический пример цепи Маркова, связан-
связанный с игрой двух лиц.
Пример 5.5. Пусть целые числа т > О, М > 0 — начальные
капиталы соответственно первого и второго игроков. Проводятся по-
последовательно игры, в результате каждой из которых с вероятно-
вероятностью р капитал первого игрока увеличивается на 1 и с вероятностью
q = 1 — р уменьшается на 1. Результаты любой игры не зависят от ре-
результатов любых других игр. Пусть ?п — капитал первого игрока
после п игр. Предполагается, что в случае ?п = 0 или ?n = L = т + М
игра прекращается (ситуация разорения одного из игроков). Пока-
Показать, что {Сп} ~~ ЦМ, найти переходную матрицу Р и построить
стохастический граф цепи.

§ 5]	ЦЕПИ МАРКОВА	87
Решение. По определению {?п} — дискретная цепь с мно-
множеством возможных состояний Е = {0,1, ...,L}. Пусть xq = m,
a?i, ..., xn-i — реализовавшиеся значения ?д. при к ^ п — 1, т. е. ?& =
= ж/с, А: = 0,1, ..., п — 1. Будем считать, что ж^ ^ 0 или L. Тогда
?п = ?>п_1 + vn, где г>п — результат n-й игры, причем Р{г>п = 1} = р,
Р{^п = —1} = Ч-, и vn не зависит от {?0, • • •, ?n-i}- Поэтому
= жп_1 + 1 | Сп-1 = жп_ь . ..,?0 = га} =
= Р{?п = хп-Х + 1 | ?n_i = хп-х} = Г{уп = 1} = р.
Аналогично,
е„_1 = Хп-!} = P{vn = -1} = q.
Наконец, P{?n = хп | ?n-i = #п-ъ • • • •> Со = гп\ = 0> если хп ф хп-\ =Ь
± 1. Таким образом, {Сп} обладает марковским свойством и является
однородной ЦМ в силу предположения р = const.
Переходная матрица Р = {рг/}, ?, j' = 0, ..., L, имеет элементы
Наконец, poo = Pll = 1 по условию задачи. Стохастический граф по-
построенной ЦМ изображен на рис. 5.2.
Полученная модель игры двух лиц известна в теории марковских
случайных процессов как случайное блуждание частицы по целым
точкам отрезка с двумя поглощающими барьерами. ¦
р	р	р	р
q	q	q	q
Рис. 5.2
Рассмотренная в примере 5.5 модель приводит к ЦМ с конечным
множеством состояний Е. Если же второй игрок бесконечно богат
(т. е. М = оо), то Е = {0,1, ... }, {?,п} ~ однородная ЦМ со счетным
множеством состояний, а соответствующая математическая модель —
блуждание по целым точкам оси с одним (левым) поглощающим
барьером.
5.2. Эргодические цепи Маркова. В данном пункте будут
рассматриваться только однородные цепи Маркова с конечным или
счетным числом состояний. Для таких цепей при определенных усло-
условиях выполняется следующее свойство: тг(п) —>• тг° при п —> оо, причем

88	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
предельное распределение тг° вероятностей состояний ЦМ не зависит
от начального распределения тг(О), а определяется лишь переходной
матрицей Р. В этом случае говорят, что ЦМ обладает эргодическим
свойством, которое фактически означает, что вероятности состояний
тг(п) по мере увеличения п практически перестают изменяться, а си-
система, описываемая соответствующей цепью, переходит в стационар-
стационарный режим функционирования.
Для выяснения условий эргодичности однородной ЦМ необходимо
ввести классификацию ее возможных состояний.
Пусть pj^j = P{?n = ej \ Со = ek} — вероятность перехода за п ша-
шагов из состояния е& в состояние ej, а
fj(n) = p{?n = ej,€n-i Ф ej, ...,fi ф ej | Со = ej}
обозначает вероятность первого возвращения за п шагов в состоя-
состояние ej.
1)	Состояние е& G Е называется несущественным, если найдется
ej G Ь, такое, что рк ¦ > 0 для некоторого m ^ 1, но р ¦ ^ = О для всех
п ^ 1. В противном случае состояние е& называется существенным.
2)	Состояния е&, ej G Е называются сообщающимися, если най-
найдутся т, п ^ 1, такие, что р™ > 0 и р.? > 0.
3)	Состояние е^ G Е называется возвратным, если Fj~ = 1, и невоз-
оо
вратным, если Fk < 1, где Fk = ^ fk(n)-
n=l
4)	Состояние е& G Е называется нулевым, если lim pi,n/ = 0.
п—^оо '
5)	Пусть dk — наибольший общий делитель чисел {п ^ 1:
fk(n) > 0}- Состояние е& называется периодическим с периодом dk,
если с^ > 1. В противном случае состояние — апериодическое.
Заметим, что возвращение в периодическое состояние ek с поло-
положительной вероятностью возможно только за число шагов, кратное
dk > 1, причем dk — наибольшее целое число, обладающее указанным
свойством.
Пример 5.6. Пусть ?п — координата частицы, блуждающей по
целым точкам на вещественной оси одним из следующих двух спосо-
способов: находясь в произвольной допустимой точке на оси, частица
а) с вероятностью р сдвигается на 1 вправо, а с вероятностью q
остается на месте;
6)	с вероятностью р сдвигается на 1 вправо и с вероятностью q —
на 1 влево, где 0<р<1,д = 1 — р и ^ = 0.
Провести классификацию состояний ЦМ {?п}-
Решение, а) Здесь Е = {0,1, ... }, причем для любого j ^ 0 вы-
оо
полнено /j(l) = q < 1 и fj{n) = 0 при п ^ 2. Отсюда Fj = ^ fj{n) =
п=1
= q < 1, поэтому все состояния — невозвратные. Так как pjl_1 7- = 0

§ 5]	ЦЕПИ МАРКОВА	89
для п ^ 1, j' Е Е, то все состояния — несущественные. Очевидно, что
р
= qn — вероятность п раз подряд остаться на месте, поэтому
р п'- —ь 0, п —>• оо и, следовательно, все состояния — нулевые. Заме-
Заметим, что р- ¦ = q > 0, pj j = q2 > 0, поэтому dj = 1 и все состояния —
апериодические. Наконец, р^? = 0 при любых j > к и n ^ 1, поэтому
никакие два состояния цепи не являются сообщающимися.
б) Для рассмотрения второго случая воспользуемся следующим
утверждением: состояние ej является возвратным тогда и только
п=1
оо
тогда, когда Pj = ^ р^п- = оо, причем для невозвратного состояния
771	•?
j = 1 + P '
Каждое состояние e^- является периодическим с периодом 2, так
как возвращение в состояние ej возможно лишь за четное число шагов.
Очевидно также, что все состояния существенны и сообщаются. Од-
Однако все состояния являются нулевыми. Действительно, для любого
ej Е Е имеем по формуле Бернулли: р^ J1* = С™т
р\ J1 > = 0. Используя формулу Стирлинга ml ^
Bт) Dр<?)	п
лучаем: р) ¦ ' ~ ^'	у 0 при т —> оо, т. е. все состояния цепи —
нулевые. Кроме того, если р = q = 1/2, то Pj = ^ р- m = оо, т.е.
га=1
все состояния — возвратные. Если же р ф q, то Pj < оо, т. е. все
состояния — невозвратные. ¦
Замечание. Из результата примера 5.6 также получаем, что
любое невозвратное состояние ej G Е является нулевым, так как из
сходимости ряда ^ p^J следует, что p^J —)> 0, п —)> оо.
п=1
Определение 5.6. ЦМ называется неразложимой, если все ее
состояния — существенные и сообщающиеся. В противном случае ЦМ
называется разложимой.
Определение 5.7. Неразложимая ЦМ называется апериодиче-
апериодической, если все ее состояния — апериодические.
Замечание. Для неразложимой ЦМ справедливо «свойство
солидарности»:
а)	если хотя бы одно состояние возвратно, то и все возвратны;
б)	если хотя бы одно состояние нулевое, то и все нулевые;
в)	если хотя бы одно состояние имеет период d ^ 1, то и все
остальные периодичны с периодом d.
Таким образом, неразложимая ЦМ будет апериодической, если
хотя бы одно из ее состояний — апериодическое.

90	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Пример 5.7. Исследовать цепи Маркова, описанные в приме-
примерах 5.3, 5.5 и 5.6 на разложимость и периодичность.
Решение. 1) ЦМ, рассмотренная в примере 5.3, является нераз-
неразложимой и апериодической конечной цепью Маркова, так как все ее
состояния — существенные, сообщающиеся и апериодические.
2)	ЦМ из примера 5.5, описывающая игру двух лиц, разложи-
разложима. Действительно, состояния ео = 0 и еь = L являются существен-
существенными, а состояния ек, к = 1, ... , L — 1, — несущественными. При
этом состояния ео = 0 и е^ = L не сообщаются, так как р^? = 0,
Рьо = 0> п ^ 1- Таким образом, все состояния данной цепи можно раз-
разбить на непересекающиеся классы E0,Ei,E2: Е = Ео U Е\ U Е2, где
^о = {еъ ••-,eL-i} — класс несущественных состояний, Е\ = {ео},
Е2 = {е_с} — классы существенных состояний, причем Е\ и Е2 не
сообщаются. Все состояния из Е$ — периодические с периодом 2,
а состояния из Е\ и Е2 — апериодические.
3)	ЦМ из примера 5.6 в случае а) разложима, так как ни одно
из ее состояний не является существенным. В случае б), наоборот,
все состояния существенные и сообщающиеся, поэтому ЦМ является
неразложимой и имеет счетное число состояний. Однако она перио-
периодическая с периодом d = 2. ¦
Теорема 5.1. Пусть однородная ЦМ имеет переходную матри-
матрицу Р = {pij} и обладает следующими свойствами:
1)	цепь неразложима и апериодична;
2)	найдется состояние е& G Е, такое, что время возвращения
в него, т. е. дискретная случайная величина т^ = inf{n ^ 1: ?,{тг) =
= е&} с распределением
Р{п = п | f @) = ек} = Д(п), п = 1, 2, ...,
имеет конечное среднее
оо
fik = M{rk | f @) = ek}=J2 nfk(n) < оо.
n=l
Выполнение условий 1, 2 необходимо и достаточно для того,
чтобы для любых i,j = 0,1,... существовали не зависящие от г
пределы:
P
> Pj > 0 при п —)> оо.
Числа {pj} являются единственным решением системы уравнений
оо
Pj = J2Pk,jPk, j = 0,l, ...,	E.10)
оо
5>; = i-	E.П)
i=o

§ 5]	ЦЕПИ МАРКОВА	91
Определение 5.8. Цепь Маркова, удовлетворяющая приведен-
приведенным выше условиям E.9)—E.11), называется эргодической, а распре-
распределение вероятностей р = {рсиРъ • • • }* — стационарным распределе-
распределением ЦМ.
Для ЦМ с конечным множеством состояний Е наиболее сложно
проверяемое условие 2 теоремы 5.1 становится излишним. Действи-
Действительно, справедливо следующее утверждение.
Теорема 5.2. Для того чтобы конечная ЦМ была эргодической,
необходимо и достаточно, чтобы она была неразложимой и аперио-
апериодической.
5.3. Предельные вероятности состояний цепи Маркова.
В данном пункте мы рассмотрим вопрос, связанный с существованием
предельных вероятностей состояний ЦМ тг°: тг(п) —^ тг°, п —ь оо при
неограниченном увеличении числа шагов п. Для эргодической ЦМ
этот вопрос уже фактически решен, о чем свидетельствует следующий
пример.
Пример 5.8. Доказать, что для эргодической ЦМ предельное
распределение тг° = {ttq, tti, ... }* существует и единственно, является
стационарным и удовлетворяет системе уравнений
^° = Р*тг°,	E.12)
оо
? тг* = 1.	E.13)
fc=0
Решение. Пусть тг^(п) = Р{?п = е&} при условии, что задано
начальное распределение тг(О), тогда
г=0
Так как ЦМ — эргодическая, то для каждого k ^ 0 выполнено
Pi к ~^ Рк > ® ПРИ ^ ^ оо, причем pk не зависит от тг(О). Следователь-
Следовательно, при п —> оо
оо	оо
Ък{п) ->> ^PfcTTi(O) =Рк^2ПЛ0) =Pki fc = 0,1, ...
i=0	i=0
Таким образом, тт^(п) —} тг^ = р^, поэтому все свойства предельного
распределения тг° = {тг^, к = 0,1, ... } совпадают со свойствами ста-
стационарного распределения {р^, к = 0,1, ... }. Теперь, заменяя в E.10),
E.11) pk на irk и переписывая E.10) в матричной форме, получаем
E.12), E.13). Распределение тг° единственно в силу единственности
решения системы E.12), E.13) и стационарно, так как тг° не зависит
ОТ 7Г(О). ¦

92	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Рассмотрим конкретный пример вычисления стационарных веро-
вероятностей состояний эргодической ЦМ.
Пример 5.9. Найти тг° для ЦМ из примера 5.3.
Решение. Выше (см. пример 5.7) показано, что ЦМ из приме-
примера 5.3 является неразложимой и апериодической. Кроме того, она
имеет конечное число состояний, поэтому ее эргодичность следует из
теоремы 5.2. Используя уравнения E.12) и E.13), а также выражение
для Р*, находим
О,ЗТГО+7Г1 = 7Г0,
0,7 7Г0 = 7ГЬ
Заметим, что в данном случае система уравнений тг° = Р*тг° дает
нам лишь одно уравнение (/ — Р* — вырожденная матрица, поскольку
матрица Р — стохастическая). Единственное решение для тг° дает
система уравнений, включающая условие нормировки:
Г 0, 7тг0 - 7Г1 = 0,
\	7Г0+7Г1 = 1.
Отсюда 7г0 = 10/17, щ = 7/17. ¦
Заметим, что практическое нахождение тг° из E.12), E.13) воз-
возможно в общем случае лишь для конечных цепей Маркова.
Соответствующий алгоритм вычисления стационарного распреде-
распределения тг° для конечной эргодической ЦМ имеет следующий вид:
1)	составить систему уравнений тг° = Р*тг°;
2)	заменить в полученной системе одно из уравнений на условие
нормировки E.13), при этом полученная система уравнений будет
иметь вид Gtt° = g, где д / 0, а матрица G — невырожденная;
3)	решить систему Gtt° = д и определить тг°.
Найденное тг° будет удовлетворять одновременно системе уравне-
уравнений E.12) и условию нормировки E.13). Заметим также, что тг° не
будет зависеть от того, какое именно из уравнений системы E.12)
было нами заменено на условие E.13).
Замечание. Для цепей Маркова с конечным множеством со-
состояний понятие неразложимости может быть обобщено: конечная
ЦМ называется неразложимой, если Е = Eq U Е\, где Е$ —класс несу-
несущественных состояний, a Ei — единственный класс существенных
сообщающихся состояний.
В этом случае справедливы следующие утверждения:
1)	если класс состояний Ei — апериодический, то существует един-
единственный вектор предельных вероятностей тг° = {тг^} с неотрицатель-
неотрицательными компонентами, удовлетворяющий E.12), E.13);
2)	irk = 0, если е& G Eq, и тгу > 0, если ej G Ei.

§ 5]	ЦЕПИ МАРКОВА	93
Пример 5.10. ЦМ задана стохастическим графом (рис. 5.3). Най-
Найти стационарное распределение вероятностей состояний.
Решение. Очевидно, что eg — несущественное состояние, а
{еъе2} образуют класс существенных апериодических сообщающих-
сообщающихся состояний. Поэтому стационарное распределение тг° = {тгстгьтгг}*
существует, причем ttq = 0. Вероятности tti и тг2 определяются из
системы уравнений тг° = Р*тг° и условия tti + 7Г2 = 1 (см. приведенный
выше алгоритм):
Г 0,5 7Г1 + 0,2тг2 = 7гь
\	TTi + 7Г2 = 1,
откуда 7Г1 = 2/7, тг2 = 5/7. Итак, тг(га) ->> тг° = {0, 2/7, 5/7}* при
п —)> оо для любого начального распределения вероятностей состоя-
состояний тг(О). ¦
Если ЦМ не обладает свойством
эргодичности, то вектор предельных
вероятностей тг°, даже если он су-
существует, не является стационарным
распределением вероятностей состоя-
состояний ЦМ (например, тг° не удовлетво-
удовлетворяет условию нормировки E.13) или
лее зависит от начального распределе-
распределения тг(О) и т. п.). В этом случае будем
называть тг° вектором финальных ве-
вероятностей состояний ЦМ.
Типичные случаи подробно изучены в следующих примерах.
Пример 5.11. Найти финальные вероятности состояний ЦМ,
описывающей блуждание частицы по целым точкам прямой (см. при-
пример 5.6).
Решение. В примере 5.6 было показано, что все состояния ЦМ —
нулевые. Следовательно, р™- —ь 0 при п —ь оо для любых г,j ^ 0.
Отсюда
lim р^1] = lim ттДп) = тгу =0, j = 0,1, ...
Таким образом, тг° — нулевой вектор и
7Г0 + 7Г1 + . . . + 7Г& + . . . = 0.
Следовательно, тг° не является стационарным распределением веро-
вероятностей состояний ЦМ. Очевидно, что отсутствие стационарного
распределения вызвано нарушением условия 2 теоремы 5.1, так как
в данном случае /ij = оо для любого ej G Е. Ш
Если условие 1 теоремы 5.1 не выполнено, то финальные вероятно-
вероятности состояний либо вообще не существуют, либо зависят от начального
распределения вероятностей состояний.

94
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. II
Рис. 5.4
Пример 5.12. Конечная цепь Маркова задана стохастическим
графом (рис. 5.4). Показать, что при любом тг(О) / {1/2, 1/2}* фи-
финальные вероятности не существуют.
Р е ш е н и е. ЦМ имеет переходную матрицу Р с элементами
р00 = рп = 0, р01 = р10 = 1, поэтому соотношения E.2), описывающие
эволюцию вектора тг(п) = {тго(п), тгДп)}*, принимают следующий вид:
{7Г0(п) = 7Ti(n - 1), П = 1, 2, . . . ,
7Ti(n) =7ГО(П- 1).
Пусть тг(О) = {р, д}*, тогда при рф q имеем тго(п) = р, если п = 2к
и тго(тг) = #, если п = 2/с + 1, А: = 0,1, ... Очевидно, что в этом слу-
случае последовательность {тго(п)} предела не имеет. Ана-
Аналогично, нет предела и у последовательности {7Ti(n)}.
Если же р = д = 1/2, то существует вектор финальных
вероятностей тг° = {1/2,1/2}*, так как в этом случае
тго(п) = 7Ti(n) = 1/2 для всякого п ^ 0. Полученный ре-
результат объясняется тем, что рассмотренная цепь Мар-
Маркова является неразложимой, но периодической с пери-
периодом d = 2, и, следовательно, условие 1 теоремы 5.1 не
выполнено. ¦
Рассмотрим теперь поведение вероятностей состояний разложи-
разложимых ЦМ. Очевидно, что стационарных распределений здесь не будет,
однако финальные вероятности при определенных условиях будут
существовать.
Пример 5.13. ЦМ, описывающая случайное блуждание частицы
по целым неотрицательным точкам прямой .?7 = {0,1, ... } с погло-
поглощающим состоянием ео = 0, задана стохастическим графом (рис. 5.5),
где 0<р<1, q = 1 — р. Известно, что в начальный момент времени
частица находилась в некотором состоянии еш = т ^ 0. Найти фи-
финальные вероятности состояний данной цепи Маркова.
Решение. Нетрудно ви-
р	Р	Р деть, что Е = E0U Ei, где
Eq = {ео} является классом
существенных состояний, а
Е1 = {еье2,ез, ...} образует
класс несущественных состоя-
состояний. Поэтому цепь разложима
и условие 1 теоремы 5.1 нару-
нарушается. Следовательно, дан-
данная ЦМ не имеет стационарного распределения. Из определения цепи
ясно, что Pq q = 1 и Pmj —> 0, п —>- оо при любых т ^ 0, j ^ 1. Таким
образом, при любом j' ^ 1 имеем тг, =0. Обозначим через Рш вероят-
вероятность того, что частица, выходящая из состояния еш = т, рано или
поздно попадет в состояние ео = 0. В силу того что состояние ео —
Рис. 5.5

§ 5]	ЦЕПИ МАРКОВА	95
поглощающее, р^0 ~^ ^о = Р-т, п —)> оо, т. е. Рш — искомая финальная
вероятность состояния ео- При каждом т ^ 1 справедливо
Рш = pPrn+i + дРш-ь	E.14)
что следует из марковского свойства цепи и формулы полной веро-
вероятности. Кроме того, Pq = 1 по условию. Обозначим а = q/p, тогда
общее решение уравнения E.14) имеет вид Рш = а + Ьат, а условие
Ро = 1 означает, что а + Ъ = 1.
Пусть g > р, т. е. а > 1. Тогда 6 = 0 в силу ограничения Рш ^ 1. Но
тогда а = 1, т. е. Рт = 1. Пусть теперь q < р, т. е. а < 1. Для вычис-
вычисления Рт введем в произвольной точке N > т второй поглощающий
барьер и обозначим Pm(N) вероятность того, что блуждающая точка
достигнет состояния ео раньше, чем состояния е^- В следующем
примере будет показано, что lim PmGV) = am. Докажем, что этот
Л/"—)-оо
предел равен Рш. Действительно, пусть А — событие, состоящее в том,
что найдется JV, такое, что частица достигнет eg, выходя из ет,
раньше, чем едг. Тогда Рш = Р{А}. Если А^ = { частица достигнет ео
раньше, чем e^v}, то А = |^J A^v, An Я: An+i- Очевидно, что
N=m+1
оо
= РJ M AN\= lim P{AN} = lim Pm(N) = аш,
Наконец, если р = g, то оба решения совпадают, т. е. Рт = 1. Итак,
окончательно для финальной вероятности тго имеем: тго = 1, еслир ^ q
и тго = ((//р)т, если р > q. Заметим, что при условии р ^ q рассмотрен-
рассмотренная модель имеет предельное распределение вероятностей состояний
тг° = {1,0,0, ...}. Если же р > q, то набор финальных вероятностей
7г° = {ат, 0, 0, ... } не является распределением вероятностей, так как
условие нормировки не выполнено. ¦
В заключение вычислим финальные вероятности состояний в цепи
Маркова, описывающей игру двух лиц, которая рассмотрена в приме-
примере 5.5.
Пример 5.14. Найти финальные вероятности в игре двух лиц и,
в частности, вероятность Рш разорения первого игрока, если началь-
начальные капиталы игроков конечны и равны m и М, а вероятности успеха
в каждой игре равны р и q = 1 — р для первого и второго игроков
соответственно.
Решение. В примере 5.5 показано, что математической мо-
моделью рассматриваемой игры является дискретная конечная ЦМ
с множеством состояний .Е = {0,1, ...,L}, где L = m + М. Состояния
{ei, ...,ez,_i} — несущественные, поэтому их финальные вероятно-
вероятности TTfc = 0. Пусть тго = Рш — финальная вероятность состояния ео,

96	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
тогда (в силу конечности ЦМ) тг^ = 1 — Рт. Найдем Рт из соотноше-
соотношения E.14)
Ргп = рРт+1 + qPm-u 1 ^ ш ^ L - 1,	E.15)
с учетом краевых условий Ро = 1, Р^ = О, которые следуют из условия
окончания игры (разорение одного из игроков). Из общего соотноше-
соотношения E.15) для а = q/p имеем
( P2-Pi = a(Pi - Ро),
Р3 - Р2 = а\Рх - Ро),
I Pm-Pm-I=am-\P1-Po).
Складывая полученные выражения и учитывая, что Pq = 1, находим
Рш = 1 + (Pi - lMm, где Sm = A - аш)/A - а) при а ф 1 и Sm = m
при а = 1. Значение Р\ определяем из второго краевого условия
Pl = 0: Pi = 1 — 1/Sl- Подставляя найденное Pi в выражение для Рт,
окончательно получаем с учетом L = т -\- М:
(ат-агп+м)
E.16)
Из E.16) следует, что при се < 1, т. е. при р > q выполнено соотно-
соотношение lim Рш = ат. Последний результат был использован в при-
мере 5.13 для N = т + М, Рш = Pm(N).
Заметим, что условие М —> оо фактически означает, что второй
игрок располагает неограниченным исходным капиталом. В этом
случае при р ^ q имеем Рт —} 1 при М —>- оо, что означает неиз-
беж:ное разорение первого игрока даже в безобидной игре (т. е. при
р = q = 1/2). Если жер > д, то Рт —> а171 < 1. Поэтому с вероятностью
Qm = 1 — а171 > 0 первый игрок может добиться неограниченного уве-
увеличения своего исходного капитала. ¦
5.4. Задачи для самостоятельного решения.
1. Дискретная цепь с множеством состояний Е = {0,1, ... } определена
соотношением: ?n+i = ?,п + vn, п ^ 0, с начальным условием ^0 = 0, где
{vn} — последовательность независимых случайных величин с распределе-
распределением Бернулли. Доказать, что {?п} обладает марковским свойством, найти
ее переходную матрицу и провести классификацию состояний.
Указание. См. пример 5.6.

5]
ЦЕПИ МАРКОВА
97
2.	Пусть случайные величины {г>о, г>1, ... } независимы в совокупности и
каждая принимает значения +1 и —1 с вероятностями 1/2. Рассмотрим две
последовательности: ?п = (vn + fn+i)/2 и г\п = г>пг>п+1, п = 0,1, ... Какая
из этих последовательностей является цепью Маркова?
Ответ. Вторая.
3.	Через фиксированные промежутки времени проводится контроль
технического состояния прибора, который может находиться в одном из
трех состояний: во — работает, е\ — не работает и ожидает ремонта, в2 —
ремонтируется. Пусть ?п — номер состояния прибора при п-й проверке.
Предполагается, что {?п} является однородной ЦМ с переходной матрицей
Р =
0,8 0,1 р02
0,3 р1г 0,6
р20 0,01 0,29
Найти неизвестные элементы матрицы Р и вычислить тгB) при условии,
что в начальный момент времени прибор исправен.
Ответ. р02 = 0,1; р1г = 0,1; р20 = 0,7; тгB) = {0,74; 0,091; 0,169}*.
0,25
0,25
0,5 0,75
Рис. 5.6
4.	Цепь Маркова задана стохастическим графом (рис. 5.6), где состоя-
состояния ео и ез — отражающие барьеры. Найти стационарное распределение тг,
если оно существует.
Ответ, тго = тгз = 0,2; tti = 7Г2 = 0,3.
5.	Пусть конечная эргодическая ЦМ с Е = {0,1, ..., N} имеет дважды
N	N
стохастическую матрицу перехода Р = {pij}, т.е. ^^Pij = ^^Pij = 1 для
j=0	г=0
всех z,j E Е. Показать, что стационарное распределение существует и яв-
является равномерным на Е.
Р
6. ЦМ имеет множество допустимых состояний Е = {0,1, ..., 7V} и опи-
описывается стохастическим графом (рис. 5.7), где 0 < р < 1, q = 1 — р. Дока-
Доказать, что цепь является эргодической, и найти стационарное распределение
вероятностей состояний
7 Б.М. Миллер и А.Р. Панков

98	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Ответ. Если р ф д, то тг/е = 	^хт> & — 0? 1? ...,7V, где а = p/q\ если
1 a/v+1
р = д, ТО ТГо = 7Г1 = . . . = TTjV = 1/(ЛГ + 1).
7.	Эргодическая ЦМ с двумя состояниями имеет стационарное распре-
распределение тго = р, TTi = g = 1 — р. Найти переходную матрицу.
О т в е т. Р = (	1	1, где для a = p/g > 1 х Е (	, 1), а для
\ У L — у J	\ а /
а < 1 ж ? @,1) и г/ = аA - ж).
8.	Пусть конечная ЦМ неразложима и апериодична, а т — случайное
время первого возвращения в любое фиксированное состояние. Доказать,
что найдутся с > 0 и q < 1, такие, что P{r > n} < cqn.
9.	Частица, находящаяся на плоскости в точке с целыми координатами
(т,тг), может с вероятностью 1/4 переместиться в любую из четырех точек
с координатами (ттг db 1, п ± 1). Доказать, что все состояния двумерной ЦМ,
описывающей процесс блуждания, возвратны.
§ 6. Разностные стохастические уравнения
6.1. Модели авторегрессии и скользящего среднего. Пусть
е = {en, n G Z} — последовательность независимых случайных вели-
величин с характеристиками т?(п) = М{еп} и D?{n) = М{|еп — me(n)|2}.
Далее е называется дискретным белым шумом.
Замечание. В примере 3.3 мы рассматривали стационарный
дискретный белый шум. Определенный выше дискретный белый шум
будет стационарным, если т?(п) = т? = const, D?(n) = D? = const.
При этом некоррелированность сечений следует из их независимости.
Кроме того, в данном параграфе мы будем рассматривать только
вещественные СП.
Определение 6.1. Случайная последовательность {?п} называ-
называется авторегрессионной последовательностью {АР-последовательно-
{АР-последовательностью) порядка р ^ 1, если она удовлетворяет уравнению
in + Y.bkin-k = ?n, nez,	F.1)
где {6i, ... ,6р} — числовые параметры, арI - порядок модели
авторегрессии (АР-модели) F.1).
Алгебраическое уравнение
р
хр + ^2 ЬкхР~ = 0	F-2)
k=i
называется характеристическим уравнением АР-модели F.1).

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	99
Определение 6.2. АР-модель F.1) называется асимптоти-
асимптотически устойчивой, если все решения {х{} характеристического
уравнения удовлетворяют условию \х{\ < 1.
Определение 6.3. Случайная последовательность {г]п} называ-
называется последовательностью скользящего среднего {С С-последователь-
С-последовательностью) порядка q ^ 1, если
q
k=i
где {ао, ai, ..., ag}, q — параметры СС-модели F.3).
Если все решения {zi\ характеристического уравнения СС-модели
aozq + J2 akzq~h = 0
удовлетворяют условию \zi\ < 1, то модель F.3) называется мини-
минимально-фазовой.
Очевидно, что модели F.1), F.3) можно объединить в одну ком-
комбинированную модель.
Определение 6.4. Случайная последовательность {?п} называ-
называется последовательностью авторегрессии-скользящего среднего (или
АР С С-последовательностью) порядка (р, д), если она удовлетворяет
разностному стохастическому уравнению
р	q
k=i	j=i
Числа {&fc}fc=i> {aj}q=0 являются параметрами АРСС-модели, р —
порядок авторегрессии, ад — порядок скользящего среднего.
Замечание. Из приведенных определений следует, что если
{?п} — гауссовский белый шум, то АРСС-последовательность {?п}
также является гауссовской.
Пример 6.1. Пусть в асимптотически устойчивой АР-модели по-
порядка р = 1 белый шум {sn} является стационарным. Найти мате-
математическое ожидание и дисперсию АР-последовательности {?п} и
доказать ее стационарность.
Решение. По условию {?,п} удовлетворяет уравнению
Характеристическое уравнение модели F.5) имеет вид х + Ь = О,
и, следовательно, \х\\ = |Ь| < 1 — условие асимптотической устойчи-
устойчивости. Используя прием, описанный в примере 4.5, нетрудно показать
?n = J2 Pktn-k,	F.6)
fe=o

100	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
где /3 = — 6, причем ряд F.6) сходится в среднеквадратическом смысле
в силу \/3\ < 1. Итак, ?п является линейным преобразованием белого
шума {еп}. Обозначим т? = М{еп} и D? = D{en}, тогда
оо	оо
к=о	к=о
оо	оо
к=0	к=0
Для доказательства стационарности {?,п} остается вычислить ко-
ковариационную последовательность
k,j=O
оо
= ^in-miD? E(b2)k = Р1п~ш1Щ = Щ(п - ш).
fc=0
Здесь мы воспользовались тем, что cov{?n_fc, ?m_j} = D?, если
п — к = m — j и cov{en_fe, em_j} = 0 при п — к / m — j. Итак, СП
{?п} имеет постоянные математическое ожидание и дисперсию, а ко-
вариация сечений ?п и ?т зависит только от разности п — т, т. е. {?п}
является стационарной в широком смысле СП с характеристиками
1Тб 1^
Аналогичная ситуация имеет место и для асимптотически устой-
устойчивой АР-модели произвольного порядка р ^ 1.
Теорема 6.1. Пусть {?,п} удовлетворяет уравнению F.1), опи-
описывающему асимптотически устойчивую АР-модель порядка р ^ 1,
где {sn} — стационарный белый шум, тогда
k=0
где коэффициенты {а^} удовлетворяют условию Е \ак\ < оо и вы-
к=1
числяются по рекуррентным формулам

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	101
с начальными условиями ао = 1, /3oj = 6j, j = 1, 2, ... , p. TTpu этом
СП {?,п} является стационарной и имеет характеристики
k=0	k=0
Щ(т) = Df. J2 «feQjfe+lmh rneZ.
k=0
В примере 3.4 рассматривалась модель бесконечного скользящего
среднего. Рассмотрим теперь модель скользящего среднего F.3) ко-
конечного порядка.
Пример 6.2. СС-последовательность {г]п} удовлетворяет F.3),
где {?п} — стационарный белый шум. Найти математическое ожи-
ожидание, дисперсию и ковариационную функцию СП {г]п}.
ч
Решение. По определению rjn = ^ а^?п-к^ гДе М{е^} = тп? =
к=о
= const, Dje^} = D? = const, covje^,^} = 0 при к / j. Отсюда
Г q	^	q
М{г]п} = M|^ aksn-kj =m?J2ak = const,
q
^k=o	'	k=o
q	q
k,l=O	k=0
q—\n — m\
п-тп\
n — m\ ^p cov{?7n, rim} = 0 при |n — m\ > q. Отсюда
^(m) = J De Y. akak+\m\ при \m\ ^ q,
при I?7iI > q.
Последнее означает, что любые сечения СС-последовательности, от-
отстоящие друг от друга более чем на q шагов, являются некорре-
некоррелированными. Этим СС-последовательность существенно отличается
от АР-последовательности, так как у последней сколь угодно далеко
отстоящие друг от друга сечения в общем случае являются коррели-
коррелированными. ¦
Пример 6.3. Доказать, что АР-последовательность первого по-
порядка обладает марковским свойством.

102	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Решение. Пусть известно, что для некоторого т ^ 0 и набора
целых чисел щ < ... < пш = п — 1 выполнено ?По = xq, ?щ = жъ • • • >
fnm = жш. Вычислим P{?n G Б | ^Пт = хт, ... ,1т = х0}, где В —
произвольное борелевское множество на прямой.
По условию ?п + bfn_i = еп, причем ?n_m = ^2(-b)k?n-m-k,
к=о
поэтому еп и t^n-m независимы при всех т ^ 1 в силу того, что {en} ~
белый niyM с независимыми сечениями. Тогда
?n G В | ^Пт = хт, ..., ?п0 = х0} =
= P{-6Cn_i + еп е В | ^Пт = хт, ..., ^По = х0} = Р{еп ~ Ьхт е В} .
С другой стороны,
Р{?п ев\?Пт= хт} = г{еп - Ъхш е в},
откуда P{?n G В | ^Пт = хт, ..., Сп0 = ^о} = P{?n G Б | ^Птгг = хш} .
Совершенно аналогично рассматривается случай произвольного
пт < п. В силу произвольности выбора га, {тт^} и 5 доказанное озна-
означает, что {?п} — марковская последовательность. Подчеркнем, что
доказанное утверждение справедливо для случая, когда {еп} — белый
шум с независимыми сечениями. Если же сечения являются лишь
некоррелированными, то марковское свойство может нарушаться. Од-
Однако если {еп} — гауссовский белый шум, то марковское свойство
следует из результатов примера 2.12. ¦
Обычно в практических задачах всякий процесс имеет «начало»,
т. е. {?п} задан лишь при п ^ 0. Если при п ^ 1 ?п удовлетворяет урав-
уравнению авторегрессии порядка р, а значения ?о = Ci? • • • •> €-p+i = Cp ~
заданные случайные величины (начальные условия), то свойства СП
{?п} несколько отличаются от свойств АР-последовательности.
Пример 6.4. Найти математическое ожидание и дисперсию по-
последовательности {Сп}? удовлетворяющей уравнению
?n = afn-i + ?n, n ^ 1, & = 77,	F.7)
где |а| < 1, г] — случайная величина с М{?72} < оо, не зависящая от
стационарного белого шума {еп}.
Решение. Найдем представление ?п через {еп} и V-
п-1
k=0
n-1
= га х л к
ak + ^m,, = rn?——	h ^ra^.
a
_	Г]'
k=0

6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	103
Подчеркнем, что СП {?п} нестационарна, так как т^{п) и
зависят явно от п. В силу условия М{?72} < оо имеем Ira^l <oo и
D^ < оо, поэтому с учетом |а| < 1 получаем
m^[n) —>• 	, и^уп) —>•	 при п —>• оо.
Таким образом, предельные значения среднего и дисперсии для
СП {Сп} такие лее, как и для стационарной АР-последовательности
порядка р = 1, удовлетворяющей F.7) при всех п Е Z. ¦
Замечание. Можно показать, что вывод о совпадении предель-
предельных характеристик последовательности {?п}> удовлетворяющей урав-
уравнению авторегрессии порядка р > 1 с заданными начальными зна-
значениями, и характеристик соответствующей АР-последовательности
остается в силе, если АР-модель асимптотически устойчива.
6.2. Спектральные характеристики АРСС-последователь-
ностей. Из теоремы 6.1 следует, что АРСС-последовательность {?п}
является результатом стационарного линейного преобразования ста-
стационарного белого шума {еп}. Поэтому спектральная плотность Д(А)
последовательности {?п} может быть вычислена с использованием
результатов п. 4.2.
Пример 6.5. Пусть {?п} — АРСС-последовательность, определя-
определяемая разностным стохастическим уравнением
р	я
in+^2bk?>n-k = ^2aj?n-j, n e Z,	F.8)
k=l	j=0
где {еп} — центрированный стационарный белый шум с дисперсией
D? > 0. Найти спектральную плотность /^(А).
Решение. Найдем частотную характеристику Ф(А) линейного
преобразования F.8). Для этого предположим, что еп = егХп. Тогда
из D.17) следует, что ?п = Ф(А)егЛп. Подставим соответствующие еп
и ?п в уравнение F.8), тогда
Ф(А)[,
eiXn + ? Ьке^п~кА = У" а3е^п-».	F.9)
к=0	j=0
После деления обеих частей равенства F.9) на ег получаем
1 i V^ U —гХк	?1 Vе

104
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. II
где F(x) = ао + а\х + ... + aqxq и Н(х) = 1 + Ь\х + ... + Ьрхр.
Заметим, что условие асимптотической устойчивости моде-
модели F.8) означает, что все корни характеристического многочлена
Н{х) = хрН{х~1) по модулю меньше единицы. Тогда выполнено усло-
условие C.25) интегрируемости квадрата модуля частотной характеристи-
характеристики Ф(А), поскольку
F{e~iX)
Наконец, /е(Л) = —- — спектральная плотность белого шума
2тг
Теперь, используя соотношение D.18), получаем
3=0
2тг
F.10)
Из F.10) следует, что спектральная плотность АРСС-последователь-
ности порядка (р, q) является дробно-рациональной функцией пере-
переменной е~г\ ¦
Формула F.10) позволяет явно вычислить дисперсию АРСС-по-
следовательности для произвольных порядков р и q.
Пример 6.6. СП {Сп} удовлетворяет уравнению
где {еп} — центрированный стационарный белый шум с дисперсией
D? = 1. Вычислить дисперсию D^ СП {?п}-
Решение. Убедимся, что модель F.11) асимптотически устой-
устойчива. Характеристическое уравнение модели имеет вид
х2 -0,5 х + 0,25 = 0.
F.12)
Найдем корни уравнения F.12): х\^ = 0,25 A =Ь гуЗ), поэтому
\х\^\ = 0?5 < 1, т.е. условие асимптотической устойчивости выполне-
выполнено. Теперь из F.10) следует, что
Дисперсия D% может быть найдена по формуле C.13):
= ± \
|Я(е-
Х\\2
F.13)

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	105
Для аналитического вычисления интеграла F.13) воспользуемся ал-
алгоритмом, изложенным в п. 15.2.
Пусть 7 = 0,5, тогда bo = 1, Ъ\ = —7, &2 = 72> ао = 1? ai = 0, а2 = 05
р = 2. Для вычисления интеграла /2 воспользуемся рекуррентны-
рекуррентными формулами A5.9) с начальными условиями A5.10). В условиях
данного примера получаем: а\ = а\ = 0, «§ = 1; /3q = I, /3q = 1 — 74,
#> = ТТ^- ОтС1°Да по Формуле A5.8) /2 = 4 Е %Г = 4 =
1 "г 7	Ро fc=0 Ро	Ро
1 + 72
=
. Подставляя 7 = 0,5, находим D% = /2 ~ 1,27.
Заметим, что мы получили несколько более общий результат: если
п} удовлетворяет уравнению АР-модели вида
то В{?п} = D?±±^, где D? = Щеп}. Ш
Применительно к практическим приложениям для описания
СП {?п} удобно использовать параметрическую АРСС-модель ви-
вида F.1), обеспечивающую требуемый вид спектральной плотно-
плотности {?п}- Из примера 6.1 следует, что в случае, когда Д(А) имеет
вид F.10), а {?п} — гауссовский стационарный белый шум с диспер-
дисперсией D?, {Cn} является гауссовской СП, удовлетворяющей уравнению
АРСС. Соответствующая АРСС-модель называется формирующим
фильтром для СП {^п}? построенным по заданной дробно-рациональ-
дробно-рациональной спектральной плотности.
Пример 6.7. Построить формирующий фильтр для гауссовской
центрированной случайной последовательности {?п} со спектральной
j. /лч	1,49 + 1,4 cos Л
плотностью ЫА) = —у	—.
JKK } 2ttA,16-0,8cosA)
Решение. Произведем факторизацию спектральной плотности:
J (l + 0,7e-iA)(l + Q,7eiA) = J F(e~iX)F(eiX)
2тг (l-0,4e-^)(l-0,4eiA) 2тг H(e-
где F(x) = 1 + 0,7ж, H(x) = 1 - 0,4ж. Поэтому, Д(А) = |Ф(А)|2/?(А),
Так как корень многочлена Н(х) по модулю больнее единицы, то
Ф(А) является частотной характеристикой асимптотически устойчи-
устойчивой АРСС-модели
?п - 0,4?п_! = еп + 0,7en_i, n G Z.	F.14)
Уравнение F.14) задает искомый формирующий фильтр для
СП {?п}5 гДе {?п} — гауссовский стационарный белый шум с диспер-
дисперсией De = l. ш

106	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Уравнение F.14) позволяет провести компьютерное моделирова-
моделирование последовательности {?п}5 имеющей спектральную плотность тре-
требуемого вида.
Рассмотренный алгоритм молено использовать для приближенного
моделирования СП, спектральная плотность которой не является
дробно-рациональной. Для этого обычно предварительно аппрок-
аппроксимируют заданную спектральную плотность подходящей дробно-
рациональной плотностью (для этого можно применить, например,
метод наименьших квадратов), после чего строят соответствующий
формирующий фильтр в виде АРСС-модели.
6.3. Многомерные разностные линейные стохастические
уравнения. Пусть {?п} ~~ многомерная СП, т. е. ?n G W при каждом
п^О, а {еп} — многомерный дискретный белый шум. Последнее
означает, что {еп} — последовательность независимых СВ еп G М9.
Будем далее считать, что M{en} = rae(n), cov{en,en} = M{(en —
— т?(п))(еп — т?(п))*} = D?(n). Матричная функция D?(n) называ-
называется дисперсионной функцией (при q = 1 D?(n) —дисперсия СП {еп})-
По-прежнему g-мерный белый шум {еп} будем называть стацио-
стационарным, если т?(п) = гае, D?(n) = D?. Если же т? = 0 и D? = /, то
{?п} — стандартный g-мерный белый шум.
Определение 6.5. Случайная последовательность {?n, n ^ 0}
удовлетворяет многомерному линейному разностному стохастиче-
стохастическому уравнению с начальным условием ту, если
{?,п Aifn-l + Вп?п, П ^ 1,
F.15)
Со = г),
где г] G К.р — случайный вектор начальных условий, не зависящий
от {en}, An G MpXp, Bn G ШрХд — известные неслучайные матрицы.
Определение 6.6. Уравнение F.15) называется стационарным
асимптотически устойчивым, если Ап = А, Вп = В при всех п ^ 1,
матрица А такова, что все корни алгебраического уравнения (относи-
(относительно х G С)
det[A-xI] =0	F.16)
по модулю меньше единицы, а {?п} ~ стационарный дискретный
белый шум.
Рекуррентные соотношения F.15) позволяют провести модели-
моделирование СП {Сп}5 а также вычислить моментные характеристики
т^{п) = М{?п} и D^(n) = cov{?n,?n} при заданных характеристиках
{еп} и начального условия г\.
Пример 6.8. Доказать, что если СП {?п} удовлетворяет уравне-
уравнению F.15), то функции т^(п) и D^(n) удовлетворяют рекуррентным

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	107
уравнениям
{т^(п) = Апт^{п — 1) + Впт?(п), п ^ 1,
F.17)
F.18)
где т^ = M{ry}, i^ = cov{7?,7?}.
Решение. Применим к обеим частям уравнения F.15) оператор
математического ожидания:
i} + ВпМ{еп} = Апт^(п - 1) + Впт?(п).
Аналогично, ?тг^(О) = М{?о} = М{?7} = т^. Итак, мы показали спра-
справедливость F.17).
Заметим, что D^{0) = cov{?0,?o} = R^- Пусть теперь п ^ 1, тогда
Впеп, AnCn-i + Впеп} =
= Ап cov{Cn-i, ?n-i} A*n+An cov{^n_b en} B^+Bn cov{en, ?n-i} A*n+
+ BnD?(n)B*n,
где учтено, что при всяком п ^ 1 случайные векторы еп и ^n_i
независимы в силу того, что ?n_i линейно выраж:ается через вектора
{?7,?i, ...,en_i}, которые не зависят от еп по условию. Последнее
означает, что cov{?n_i,?n} = 0. Полученные соотношения для -D^(O)
и L)^(n), n ^ 1 совпадают с F.18). ¦
Уравнения F.17), F.18), позволяющие вычислить моментные ха-
характеристики первого и второго порядков СП {?п}? называются
уравнениями метода моментов.
Рассмотрим поведение т^{п) и D^{n) при п —)> оо в случае, когда
система F.15) является стационарной асимптотически устойчивой.
Можно доказать, что существуют постоянные вектор т^ и матрица
D^ такие, что т^(п) —>- т^ и D^(n) —± D^ при п —ь оо, причем пределы
т^ и L)^ не зависят от т^ и R^.
Пример 6.9. Найти уравнения для предельных значений средне-
среднего т^ и дисперсии D^.
Решение. Если F.15) стационарна и асимптотически устойчива,
то соответствующие уравнения метода моментов принимают стацио-
стационарный вид
) + т?,
- 1)А* + BDeB*.	'

108
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. II
Очевидно, что если т^{п) —>• т^ и D^{n) —>• D^ при п
ходя к пределу в уравнениях F.19), получаем
оо, то, пере-
= AD^A*
BD?B*
F.20)
Уравнения F.20) являются линейными алгебраическими уравне-
уравнениями, определяющими искомые величины т^ и D^. Молено показать,
что в силу устойчивости матрицы А (см. определение 6.6) система
F.20) имеет единственное решение. Например, т^ = (/ — А)~1Вт?1
причем матрица (/ — А) обратима в силу того, что все собственные
значения матрицы А по модулю меньше единицы. ¦
Оказывается, что рассмотренная выше АРСС-модель F.4) являет-
является частным случаем векторной стационарной модели F.15). Действи-
Действительно, пусть АРСС-последовательность {?п} определена уравнением
-p = аоеп
F.21)
где 6p/0, q = p — 1, ap) 1 — порядок авторегрессионной части мо-
модели F.21). Тогда ?n = ?i(n), где ?i(n) — первая компонента р-мерной
случайной последовательности ?(n) = {?i(n), ... ,?р(п)}*, удовлетво-
удовлетворяющей векторному разностному стохастическому уравнению
Веп,
F.22)
где
А =
-b\
1
0
-b2
0
1
—bp-i
0
0
-bp -
0
0
0
0
о
в =
а0
dq
dq-i
, F.23)
а параметры {с^, к = 1, ..., q\ вычисляются по рекуррентным фор-
формулам:
Clq — dq,
dk = ак -
к = q - 1, ..., 1,
F.24)
i=k
где обозначено ак = —ак/Ьр, к = 1, ..., g, hi = bi/bp, г = 2, ... ,р.
Мож:но также показать, что если АРСС-модель F.21) является
асимптотически устойчивой, то соответствующее векторное уравне-
уравнение F.22) также является асимптотически устойчивым в смысле опре-
определения 6.6.

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	109
Заметим, что F.22) является уравнением авторегрессии перво-
первого порядка для р-мерной СП {?(п)}. Таким образом, приведенные
соотношения фактически показывают, что скалярная АРСС-модель
р-го порядка эквивалентна р-мерной АР-модели первого порядка. По-
Последнее означает, что для исследования АРСС-последовательности,
наряду со спектральными методами, можно использовать методы,
предназначенные для работы с векторными стохастическими линей-
линейными разностными уравнениями (например, рассмотренный выше
метод моментов).
Пример 6.10. Вычислить математическое ожидание и дисперсию
АР-последовательности второго порядка вида
?п ~ 7Сп-1 + 72Сп-2 = е„,	F.25)
если М{еп} = т? и D{en} = D?, а параметр 0 ^ 7 < 1-
Решение. Приведем F.25) к виду F.22) и применим метод
моментов. Из F.25) следует, что Ъ\ = —7, &2 = 72> ао = 1? сц — 0. Тогда
из F.23) и F.24) получаем
f 6in) = 7?i(n - 1) - 12Ь{п - 1) + еп,
{ 6(n)?(nl)	[ ' }
поэтому А =
Проверим для модели F.26) условие асимптотической устойчиво-
устойчивости. Из F.26) следует, что det[^4 — xl] = x2 — ^х + 72 = 0. Корни этого
уравнения х\^ = — A =Ь гуЗ), поэтому \х\\ = \х2\ = 7 < 1 по условию.
Это означает, что {?(п)} — стационарная СП и существуют га^
и D^, удовлетворяющие уравнениям F.20) метода моментов. Для
упрощения дальнейших вычислений заметим, что ^г(^) =Ci(n~ 1)>
[гтг 1 ^ Г d к 1	тч/гг^ 1 7
, а 1/? =7 j ? гДе 77г = ¦M-lsnj ? " =
777/	гъ (х
= D{^n}, к = cov{^n,^n_i}.
Подставляя указанные т^ и D^ в систему F.20), находим
к = jd — 72&.
Решим полученную систему уравнений относительно га, с?, /с:
те	, п1 + 72	7 п 7
777/ = -	—,	d = i-/? -	—,	К = /_Уе -	—.
1 	 /у —\- sy^	I 	 /у'3	I 	 ^Y*3
Так как ?n = ^i(n), то М{^п} = га, a D{?n} = d. Заметим, что
выраж:ение для дисперсии СП {?п} совпадает с выражением, полу-
полученным ранее с помощью спектрального метода в примере 6.6. ¦

110	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
6.4. Фильтр Калмана. В данном пункте мы рассмотрим зада-
задачу оценивания траектории некоторой векторной СП, удовлетворяю-
удовлетворяющей многомерному разностному линейному стохастическому уравне-
уравнению, по косвенным линейным наблюдениям, искаженным случайными
ошибками.
Предварительно рассмотрим постановку задачи оценивания по
среднеквадратическому критерию [задача с.к.-оценивания) для неко-
некоторого случайного вектора ? по наблюдениям, составляющим случай-
случайный вектор г] (см. также пи. 14.6, 14.7).
Определение 6.7. Случайный вектор ? = (p(rj) называется
с.к.-оптимальной оценкой случайного вектора ? по наблюдениям 7/,
если
М{|?-^|2КМ{|?-С|2},	F.27)
где ? = (p(rj) — произвольное измеримое преобразование вектора на-
наблюдений г] (т.е. ? — произвольная допустимая оценка для ? по rf).
Структура с.к.-оптимальной оценки в общем случае описывается
следующей теоремой (см. также п. 14.5).
Теорема 6.2. Пусть М{|?|2} < оо, тогда с.к.-оптимальная
оценка ? существует и имеет вид
1= ?(,,) = М{? | г,},	F.28)
где М{? | г]} — условное математическое ожидание случайного
вектора ? относительно случайного вектора наблюдений г\.
Формула F.28) позволяет оценить СВ ? по г\ при практически про-
произвольном совместном законе распределения оцениваемого и наблю-
наблюдаемого случайных векторов. Однако в общем случае найти аналити-
аналитическую формулу для М{? | г\\ весьма трудно. Если же ограничиться
одним частным, но практически важным случаем, то удается найти
простое аналитическое выражение для ?.
Теорема 6.3. Пусть случайный вектор ? = {?*,?7*}* является
гауссовским, a Rv = cov{?7,77} — невырожденная матрица, тогда
? = гп? + R^R~4v ~ rrir,),	F.29)
где Ш? = М{?} и т^ = М{?7} — математические ожидания СВ ?
и г], a R^ = cov{?, 77} — их взаимная ковариационная матрица.
При этом оценка ? — несмещенная (т. е. М{? — ?| = 0), а ковариа-
ковариационная матрица Р ее ошибки имеет вид
Р = cov{? - I ? - ?} = Щ - R^R-'R*^,	F.30)
где Щ =

6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	111
Критерий качества с. к.-оптимальной оценки ? имеет вид
2	F.31)
где tr[ • ] — след матрицы.
Формула F.29) дает явное выражение для М{? | rf\ в гауссовском
случае, а сама теорема 6.3 известна как теорема о нормальной кор-
корреляции (см. п. 14.6).
Пример 6.11. Пусть оцениваемый ? и наблюдаемый г\ векторы
связаны соотношением многомерной линейной регрессии'.
rj = А? + е,	F.32)
где ? ~ ЛГ(т?-, Щ), е ~ ]\[{m?\ R?), cov{?, e} = О, А — известная неслу-
неслучайная матрица. Предположим, что ковариационная матрица R?
ошибок наблюдений е — невырожденная. Найти выражение для ?.
Решение. В силу линейности преобразования F.32) rj является
гауссовским СВ, и, более того, вектор ( = {?*,?7*}* = {?*,?*^4* +?*}*
такж:е гауссовский. Поэтому для вычисления ? можно использовать
утверждение теоремы 6.3. Пусть т^ и R^ известны. Найдем выраже-
выражение для ттг^, R^ и Rgrji исходя из модели F.32):
Rr, = cov{r/, r/} =
где учтено, что cov{?, e} = 0. Аналогично получаем
Rfr = cov{?, A? + е] = Rt-A*.
Подставляя найденные выражения в F.29), находим
I	1	™е).	F.33)
Заметим, что обратная матрица в F.33) существует в силу того,
что AR^A* + R? ^ R? > 0 по условию. ¦
Рассмотренная выше техника оценивания может теперь быть ис-
использована для построения алгоритма рекуррентной фильтрации
Калмана.
Пусть СП {?п} удовлетворяет разностному стохастическому урав-
уравнению
?,п = Лгбг-1 + Вп?п, П ^ 1,	F.34)
которое решается с начальным условием
Со =7,

112	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
где 7 ^ Л/"(т7; -R7), {?n} — дискретный векторный гауссовский бе-
белый шум, M{sn} = me(n), cov{sn,?n} = D?(n), cov{en,ek} = О, ес-
если п ф к. Также предполагается, что 7 и {?п} независимы. В силу
линейности модели F.34) и сделанных предположений СВ ?п имеет
гауссовское распределение при каждом п ^ 1, если {Ап,Вп} — после-
последовательности неслучайных матриц.
Предположим, что С В ?п в каждый момент времени п ^ 1 досту-
доступен косвенным измерениям по схеме
rjn = Cn?n + vn, п=1,2, ...,	F.35)
где Tjn — вектор результатов измерений в момент щ Сп — извест-
известная неслучайная матрица, a {vn} — гауссовская СП, описывающая
ошибки наблюдений. Далее предполагается, что {vn} — векторный
дискретный белый шум, М{г>п} = ??2v(n), cov{t>n, vn} = Dv(n), при-
причем матрицы Dv{n) — невырожденные. Будем также считать, что СП
{vn} не зависит от {?п} и от 7- Уравнения F.34), F.35) описывают
динамическую модель наблюдений Калмана.
Обозначим г)п = {ту]4, ... ,^}* — вектор всех наблюдений до мо-
момента п включительно. Рассмотрим задачу построения с.к.-оптималь-
с.к.-оптимальной оценки ?п для СП ?п, п ^ 1, удовлетворяющей уравнению F.34),
по наблюдениям rf1 ^ полученным по схеме F.35).
Теорема 6.4 (Калман). Пусть выполнены сформулированные
выше предположения о модели наблюдений F.34), F.35), тогда
с. к.-оптимальная оценка ?п для ?п по наблюдениям rjn удовлетво-
удовлетворяет разностному стохастическому уравнению
х (т?п - Сп1п - mv{n)), п ^ 1,	F.36)
где ln = Anfn_i + Впт?(п), а ~Рп = АпРп_хАп + BnD?(n)Bn.
Матрица Рп является ковариационной матрицей ошибки Д^п =
= ?,п ~ ?,п оценки и удовлетворяет разностному матричному урав-
уравнению
F-37)
Рекуррентные уравнения F.36), F.37) известны в литературе по
теории стохастических систем как дискретный фильтр Калмана.

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	113
Если ввести обозначение кп = РпС^(СпРпС^ -\- Dv(n))~1, то урав-
уравнение фильтра Калмана можно записать в более компактном виде:
{€п=€п + кп(т]п - Сп?п - mv(n)), Со = т7,
Рп = (I - кпСп)Рп,	Ро = Я7,
где кп называется матричным коэффициентом усиления фильтра.
Заметим, что если наблюдения F.35) отсутствуют, т. е. Сп = 0, то
кп = 0. В этом случае уравнения фильтра Калмана F.36), F.37)
принимают вид
Г fn = Aifn-i + Впт?(п),	f0 = ™7,
1 Pn = ЛА-1,4* + BnD?{n)B*n, Po = R7.
Таким образом, полученные уравнения совпадают с уравнениями
метода моментов F.17), F.18), т.е. ?п = М{?п}, а Рп = cov{^n,^n}.
Последнее означает, что с.к.-оптимальной оценкой СП {?п} является
ее математическое ожидание, если СП {?п} недоступна наблюдению
(т.е. у нас нет дополнительной измерительной информации).
Пример 6.12. Рассматривается скалярная модель наблюдения
Un = atn-i+ent 6=7,
{ Vn=?n+Vn, П^ 1,
где {en}, {vn} — стационарные и центрированные гауссовские белые
шумы. Требуется построить для F.38) фильтр Калмана.
Решение. По условию т?(п) = mv(n) = 0, D?(n) = r? = const,
Dv(n) = rv = const, An = a, 5n = Cn = 1. Поэтому
где ?n = a^n_
n+rv a2Pn_i + re + r\,
Таким образом, уравнение для оценки ?п имеет вид
in = afn-i + K{Vn -afn_i), fo = ^7-	F-39)
Теперь преобразуем F.37) (учитывая скалярность модели):
РпГу — h r	ffi 40"i
^	— Kn'v	^D.4UJ
Pn+Tv
Видно, что кп удовлетворяет разностному уравнению
, _ a2fen_i + р
a2kn-i + р + 1'
8 Б.М. Миллер и А.Р. Панков

114	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
где р = r?/rv, с начальным условием ко = Po/rv =
Окончательно уравнения рекуррентной фильтрации принимают
следующий вид:
kn = l- (a2fcn_i + p + I), fc0 = #7/rv,
причем Рп совпадает с дисперсией ошибки оценки ?п. ¦
Алгоритм рекуррентной фильтрации Калмана позволяет решать
разнообразные задачи оценивания в случае, когда исходная модель
может быть приведена к виду F.34), F.35).
Пример 6.13. Модель наблюдений имеет вид
Vn = CnO + vn, n = l,2, ...,	F.41)
где т]п — вектор результатов наблюдения, {vn} — гауссовский век-
векторный белый шум с параметрами mv(n) и Dv(n) > 0, описывающий
ошибки наблюдений, в — гауссовский вектор неизвестных параметров
модели, {Сп} — последовательность известных неслучайных матриц.
Известно, что М{#} = m#, cov{#,#} = Rq и в не зависит от {vn}.
Построить рекуррентный алгоритм с.к.-оптимального оценивания в
по наблюдениям rf1 = {r}\, ..., 77*}*.
Решение. Модель F.41) является частным случаем модели
F.34), F.35). Действительно, обозначим ?п = в при п = 0,1, ..., тогда
уравнение динамики СП ?п имеет вид
in = in-u n>\	F.42)
с начальными условиями ?о = #, М{?о} = тпв, Що = cov{?o,?o} = Re-
Сравнивая F.42) с F.34), получаем: Ап = /, Вп = 0. Заменяя в F.41)
О на ^п, получаем уравнение наблюдения F.35). Таким образом, F.41)
можно представить в виде совокупности уравнений F.42), F.35). Те-
Теперь можно воспользоваться теоремой 6.4. Из F.36) с учетом Ап = /
и Вп = 0 находим
Sn — Sn — 1? -^ п — *'п — 1'
Следовательно,
x(»7n-Cnfn_i-m«(n)),	F.43)
Pn = Pn_! - Pn_1C*(CnPn_1C* + ^(n))^?^!.
Уравнения F.43) репгаются с начальными условиями:
?о = me, Ро = Ле.	F.44)

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	115
При этом 0п = ?п — с.к.-оптимальная оценка для 0 по rf1, а Рп —
ковариационная матрица ее ошибки.
Уравнения F.43), F.44) описывают рекуррентный вариант обоб-
обобщенного метода наименьших квадратов. Ш
Замечание. В примере 6.13 мы построили с.к.-оптимальную
оценку для 0 по наблюдениям rf1, т. е. О = М{# | т]п} в предположении
гауссовости 0 и {г>п}. Если это предположение не выполнено, то можно
показать, что 0 является наилучшей линейной оценкой для 0 по
наблюдениям пп, т. е. 0п является наиболее точной среди всех оценок
вида вп = Grf1 + g, где Gr, g — произвольные неслучайные матричные
коэффициенты соответствующих размеров (см. также п. 14.7).
В заключение рассмотрим ситуацию, когда модель наблюдения
F.34), F.35) является стационарной, а разностное стохастическое
уравнение F.34) — асимптотически устойчивым. В этом случае все
параметры модели F.34), F.35) не зависят от времени п, а матрица А
удовлетворяет условию F.16). Будем называть модель F.34), F.35)
стационарной калмановской моделью наблюдения.
Теорема 6.5. Для стационарной калмановской модели наблю-
наблюдения справедливо предельное соотношение: Рп —>• Р ^ 0 при любом
начальном условии Р$ ^ 0, причем Р не зависит от Р$.
Из теоремы 6.5 и теоремы Калмана немедленно следует
Рп = АРп^А* + BD?B* -> АРА + BD?B* = Р,
К = РпС*(СРпС* + А;) -> РС*(СРС* + А,) = fc, п -+ оо.
Полученные предельные соотношения могут быть использованы
для построения стационарных уравнений фильтра Калмана:
\ ?п=\п + HVn - Cln - mv),
^	F.45)
где k = PC*(СPC* + А;), а матрица Р определяется из системы
алгебраических уравнений
Г р = АРА* + BD?B*
I ^ _ _ _	_	F.46)
[ р = р - PC*(СPC* + DvyxCP.
Уравнения F.45), F.46) описывают алгоритм фильтрации для
достаточно больших п, поэтому можно считать, что процесс {?п} явля-
является стационарным (т. е. закончился переходный процесс, вызванный
наличием начального значения ?0 = 7)-

116	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Пример 6.14. Построить стационарный вариант фильтра Калма-
на для модели F.38) в предположении, что г? = 1 — a2, rv = 1.
Решение. Заметим, что если {?п} — стационарная последова-
последовательность, то Щ = cov{?n,?n} = v?j(\ — а2) = 1. Условие асимптоти-
асимптотической устойчивости для F.38) означает, что \а\ < 1. В силу теоремы
6.5 уравнение фильтрации F.39) имеет вид
fn = <n-i + k(r]n - afn_i),	F.47)
7 т z a2P+(l-a2)	v 9	В
где к = lim кп = —^	—, с учетом того, что lim Pn_i = Р,
т? = 1 — a2, rv = 1.
Из соотнопгени
поэтому для вычисления Р необходимо решить уравнение
Из соотнопгения F.40) находим, что Р = lim Pn = lim /cnrv = к,
п—)-оо	п—>-оо
Р= ^+A-«) ,	F.48)
a2P+(l-a2) + l
причем нас интересует только неотрицательное решение Р ^ 0, по-
поскольку Р — предельное значение дисперсии ошибки оценки фильтра
Калмана.
Уравнение F.48) после замены /3 = A — а2)/а2 принимает вид
Р2 + 2/ЗР -/3 = 0
и имеет единственное неотрицательное решение
F.49)
Обозначим через а? = л/l — а2 среднее квадратическое отклонение
СП {еп}, тогда из F.49) следует Р= °е . В силу F.48) к = Р,
сгв + 1
поэтому уравнение фильтрации F.47) принимает окончательный вид
fn = <n-i H	^~г(т7п-afn-i), fo = m7.	F.50)
Точность оценки ?п асимптотически (т. е. при п —>- оо) мож:но ха-
характеризовать величиной Р, так как М{(?п — ^пJ} ~^ Р = 	~— ПРИ
(Те + 1
п —)> оо.
Заметим, что дисперсия ошибок наблюдений в рассмотренном при-
примере rv = 1, а дисперсия ошибок оценивания Р ^ 1/2. Действитель-
Действительно, из условия Ы < 1 следует а? ^ 1, что означает Р =	— ^1/2.
СГ? + 1

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	117
Таким образом, процедура фильтрации позволяет существенно по-
повысить точность оценивания СП {?п} по сравнению с измерениями.
Отметим также, что если величина \а\ близка к 1 (т. е. сечения СП {?,п}
сильно коррелированы), то Р может быть существенно меньше 1/2.
Например, Р « 0,304 при а = 0,9 и Р « 0,124 при а = 0,99. ¦
6.5. Нелинейная фильтрация марковских случайных по-
последовательностей. Пусть {?п, п ^ 0} — вещественная марков-
марковская СП с переходной плотностью р(п — 1, ж, п, у) и плотностью ро(х)
распределения начального значения ?о (см. п. 2.4). Далее предполага-
предполагается, что ?n G Мр, р ^ 1, а М{|?п|2} < оо, т. е. {?п} ~~ гильбертова СП.
В каждый момент п ^ 1 СП {?,п} доступна измерению по следую-
следующей схеме:
Vn = ?п(?,п) + vn, n = l,2, ...,	F.51)
где г]п G Ш — результат n-го измерения; ipn(x) — g-мерная детер-
детерминированная нелинейная функция аргумента х G К.р; \уп, п ^ 1} —
g-мерный дискретный белый шум, причем сечения {vn} независимы
в совокупности. Будем считать, что при каждом п ^ 1 СВ vn имеет
плотность распределения рп(г>), v G М9.
Так ж:е как и в п. 6.4, rf1 будет обозначать вектор, составленный
из всех наблюдений {771, ... ,?7П} до момента п включительно. Тогда
из теоремы 6.2 следует, что с.к.-оптимальная оценка СВ ?п по наблю-
наблюдениям г]п имеет вид
6» = Gnfa") = М{?„ | »Л , п = 1,2,...	F.52)
Оценка ?п называется с. к.-оптимальной оценкой фильтрации СП
{?п} по наблюдениям rf1. Последовательность нелинейных операторов
{Gn} задает алгоритм с.к.-оптимальной нелинейной фильтрации
СП {?„}.
Предположим, что существует условная плотность распределения
СВ ?п относительно rf1, которую мы будем далее обозначать wn(y),
где п ^ 1, у ? W*. Тогда оператор Gn в F.52) можно представить
в интегральной форме (см. п. 14.5):
?п = J ywn{y)dy.	F.53)
ШР
Для характеризации величины ошибки оценки ?п можно восполь-
воспользоваться ее условной ковариационной матрицей
Рп = М{(?„ - ?,)(?„ - ?.)• \г}п}=\ yy*wn(y) dy - Ш- F-54)

118	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Из F.53), F.54) следует, что
^	?„ - ?„} = О,
Таким образом, построение оценки фильтрации ?п и алгоритма Gn
фактически сводится к вычислению условной плотности wn(y). За-
Заметим, что в общем случае rf1 Е MnXgr, поэтому объем вычислений
быстро увеличивается с ростом п. Если же оцениваемый процесс {?,п}
является марковским, то уравнения фильтрации могут быть выпи-
выписаны в явном виде, причем алгоритм фильтрации Gn приобретает
рекуррентный характер.
Введем функцию wn(y), определяемую следующими рекуррентны-
рекуррентными функциональными соотношениями:
%п(у) = Рп{г]п - (Рп(у)) j p(n-l,x,n,y)wn-1(x)dx, п ^ 1,
%о(у) =Ро(у)-
F.55)
Функция wn(y) называется ненормированной условной плотностью
распределения ?п относительно rjn. Можно показать, что
wn(y) = wn(y)[ wn(y)dy) .	F.56)
Соотношения F.53)—F.56) определяют общий вид алгоритма
с.к.-оптимальной нелинейной фильтрации марковской СП {?п} по
наблюдениям {г]п} F.51).
Замечания. 1) Для линейно-гауссовской модели наблюдения
F.34), F.35) уравнения нелинейной фильтрации превращаются
в уравнения F.36), F.37) фильтра Калмана. Если же в модели на-
наблюдения Калмана процессы {еп}, {г>п} и начальный вектор 7 не
являются гауссовскими, то оценка ?п F.52) в общем случае будет нели-
нелинейно зависеть от наблюдений {rjn} и может существенно отличаться
от линейной оценки F.36).
2) При практической реализации нелинейного фильтра F.53)-
F.56) наибольшие трудности связаны с вычислением интегралов,
если р > 1. В случае, когда аналитическое вычисление интегралов
невозможно, для wn{y) используют подходящую параметрическую
модель (например, аппроксимируют wn(y) конечным разложением
по системе базисных функций с неопределенными коэффициентами).
Тогда уравнения F.55) позволяют получить конечную систему рекур-
рекуррентных уравнений, описывающих эволюцию во времени указанных

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	119
параметров (коэффициентов), после вычисления которых построе-
построение оценки ?п не представляет труда. В любом случае уравнения
нелинейной фильтрации F.53)—F.56) позволяют построить некото-
некоторый «эталон» процедуры оценивания, с которым далее молено сравни-
сравнивать результаты оценивания, полученные с помощью субоптимальных
(приближенных) алгоритмов фильтрации (см. п. 6.6).
Широкий класс марковских СП можно построить с помощью
модели, описываемой нелинейными разностными стохастическими
уравнениями:
{?,п = an(?,n-i) + bn(fn_i)e:n, n = 1, 2, ...,
F.57)
fo = 7,
где ап(ж), Ьп(ж), х Е К.р — матричные нелинейные функции, {еп} —
векторный r-мерный белый шум, 7 — СВ начальных условий.
Уравнение F.57) называется уравнением диффузии с дискретным
временем. Решение {?,п} уравнения F.57) является марковским про-
процессом, о чем свидетельствует следующая теорема.
Теорема 6.6. Пусть при каждом п^1 функции ап(ж), Ьп(х)
измеримы по Борелю, a {7>?i>?2> •••} независимы в совокупности.
Тогда СП {?п}> удовлетворяющая F.57), является марковской и име-
имеет переходную вероятность
Р(п- 1,ж,п,Б) = Р{ап(х)-\-Ъп(х)?п е Б}, х eW, В е B(W).
При определенных условиях будет существовать также и переход-
переходная плотность р(п — 1, ж, п, у):
Р(п — 1, ж, п,В) = р(п — 1, ж, п,у) dy VBG
в
Действительно, пусть матрица Ъп(х) обратима для всякого х G
а СВ еп имеет плотность рп(ж), тогда
Р(гс - l,x,n,B) = P{an(x) + bn(x)sn EB} =
PniP^ix^y - an(x))) dy,
1	I /k-i/
det [bn( ,.
поэтому
Р{П — 1,Х,П,у) —	{„\iPn\°n \Х)У~°п \x)an{X)).	^D.DSj
Для корректной постановки задачи с.к.-оптимальной фильтрации
процесса {?n} B F.57) необходимо, чтобы он был гильбертовым. Соот-
Соответствующие достаточные условия приведены в следующем примере.

120	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Пример 6.15. Пусть в модели F.57) при каждом п ^ 1 найдется
Кп < оо, такое, что
К(х)|2 + \КШ2 <: кпA + |х|2),	F.59)
причем М{|еп|2} < оо, М{|7|2} < оо. Показать, что М{|?п|2} < оо
при всех п ^ 1.
Решение. Заметим, что ||6п(ж)||2 = Ьт[Ьп(х)Ь^(х)] по определе-
определению, а для любых СВ X и Y выполнено неравенство
М{|Х + Y\2} < 2(М{|Х|2} + М{|У|2}).	F.60)
Для доказательства воспользуемся методом математической ин-
индукции. Предположим, что M||?n_i|2| < оо. Покажем, что в услови-
условиях примера в этом случае М||?п|2| < оо. Действительно,
< 2М{\ап(?п.1)\2} +
По условию bn(?n—i) не зависит от еп, поэтому с учетом F.59) и F.60)
2} ^ 2М{КпA + |^-i|2)} + 2М{КпA + ICn-il2)} х
х М{|?п|2} =2КпA + М{|^п_1|2})A +М{|?п|2}) < оо
в силу сделанного индуктивного предположения и условий примера.
Итак, M{|?n_i|2} < оо влечет М{|?п|2} < оо, что вместе с условием
М{|?о|2} =М{|7|2} < оо доказывает требуемое утверждение. ¦
В заключение рассмотрим пример, описывающий алгоритм нели-
нелинейной фильтрации для конкретной СП.
Пример 6.16. Скалярные вещественные СП {?п} и {Vn} описы-
описываются уравнениями
I f- 	 Л	HfC^CF f-	-i I T-Z <r	?r\ 	 'Л/
I Sn — ^n d-iClg Цп —1 \ -°п fcnj	sO — 11
\ Vn = an?,l+f3nwn,
где {An,Bn,an,f3n} — заданные коэффициенты, Вп / 0, ^n / О,
7 имеет равномерное распределение на [—А, А], А > 0, {?п} ~ центри-
центрированный гауссовский белый шум, М{е2 } = а2 > 0, a {wn} — белый
шум, сечение wn которого распределено по закону Лапласа с пара-
параметром Ап > 0. В предположении, что {?n}5 {wn} и 7 независимы,
построить с.к.-оптимальный фильтр для {?п} по наблюдениям {т]п}.

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	121
Решение. В условиях примера из теоремы 6.6 и примера 6.15
следует, что {?,п} ~ марковская гильбертова СП. Так как плотность
рп(х) СВ еп равна
рп(х) =
то из F.58) с учетом Вп ф О получаем
р(п - 1, х, п, у) = [2n(BnanJ] /2 ехр{-(у - An arctgxf /'BВ2па2п)} .
Плотность ро{у) начального распределения по условию равна
I 0 в противном случае.
По условию СВ wn имеет плотность вероятности
Pwn(x) = ^
поэтому, обозначая vn = /3nwn, находим плотность pn(y) CB vn:
Pn(v) = //пехр{-2дп|ж|} , где рп = А„/B|/3„|).
Теперь, подставляя найденные выражения для р(п — 1,ж,п,г/) и
pn{v) в уравнение F.55) для ненормированной условной плотности
wn(y), находим
он (оI \ — /~*\/Cb~\rT~\J 	 /ii (/yi 	 r\i 01 \ \> SS
wnyyj — сп exp^ L\in\j\n ocny jj л
оо
J	I п
оо
X
— оо
где cJr = Ап(а/8тг|Бп/Зп|сгп) х, с? = (Рпсгп) 2/2 — детерминирован-
детерминированные числовые последовательности.
Уравнение F.63) решается рекуррентно для п = 1,2, ... с началь-
начальным условием wo(y) =Ро(уM где ро(у) имеет вид F.62). После вы-
вычисления wn(y) с.к.-оптимальная оценка ?п определяется по формуле
fn = j ywn(y)dy ^ j wn(y)dyj .
Условная дисперсия ошибки оценки Рп = М{(^п — ^nJ | rf1} вычис-
вычисляется по формуле F.54) с учетом F.56). ¦

122	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
6.6. Алгоритмы субоптимальной нелинейной фильтрации.
Рассмотрим вначале модель наблюдения вида
Сп = Anfn_i + Un + Вп?п,	?0 = 7,	F.64)
Vn = Сп?п + Wn + Dn^n, n = 1, 2, ...,	F.65)
где {en}, {г>п} — независимые стандартные гауссовские белые шумы;
7 — вектор начальных условий с распределением Л/"(т7; -R7), не зави-
зависящий от {en}, {vn}; {Arn Bn, Cn, Dn} — известные матрицы, причем
DnD^ > О при всех п ^ 1; {Un,Vn} — известные векторы.
Из теоремы 6.4 Калмана следует, что с.к.-оптимальная оценка ?п
по наблюдениям rf1 = \j]\, ..., 77*}* вычисляется по формуле
{in = ?п + кп(г]п - Сп?п - Wn), f0 = ?™7,
F.66)
F.67)
F.68)
Напомним, что fn = M{^n | rjn}, Jn = M{^n | ?7n~1} — с.к.-оп-
тимальный прогноз (на один шаг) для ?п по наблюдениям rfl~1,
Рп = cov{^n — t;m?,n — ?,п I ^?n} — условная ковариационная матрица
ошибки оценки fn, a Pn = cov{^n - ?n,?n - ~in \ ^?n~1} — условная
ковариационная матрица ошибки прогноза ?п (см. задачу 10).
Уравнения F.66)—F.68) молено использовать для приближенного
оценивания процесса {?n} B нелинейной разностной стохастической
модели наблюдения
in = an(^n-i) + ^n + Впеп, 6=7,	F.69)
Vn = сп(?,п) + wn + i^n^n, n = 1, 2, ...,	F.70)
где an(?), cn(^) — известные нелинейные дифференцируемые функ-
функции; гхп, гсп — известные векторы.
Предполож:им, что для {^п} имеется некоторая опорная траек-
траектория {?°} такая, что М{|?п — Сп|2} ^ ^ (т-е- достаточно точно
аппроксимирующая процесс {?п})«
Проведем линеаризацию модели F.69), разложив нелинейность
в правой части около опорного значения ?° и отбросив члены второго

6]
РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ
123
и более высоких порядков:
где
А _ дап(?)
Un=an(?_1)-An?_1+un.
F.71)
Аналогичные преобразования проведем также и с моделью про-
процесса измерений F.70):
Vn = С„(О
где
_ дс„{?)
n + Dnvn = Сп?п + Wn + Dnvn,
F.72)
Теперь оценка ?п может быть построена по формулам линейной
фильтрации F.66)-F.68), где параметры {Ап, Un, Cn, Wn} вычисля-
вычисляются по формулам F.71), F.72). Оценку ?п обычно называют субоп-
субоптимальной оценкой нелинейной фильтрации, а алгоритм оценивания
F.66)—F.72) — алгоритмом субоптимальной нелинейной фильтра-
фильтрации первого порядка.
Рассмотрим два наиболее распространенных способа выбора опор-
опорных значений ?n-i и Cn B формулах F.71), F.72).
1)	Пусть {?°} является решением уравнения F.69) при отсутствии
случайных возмущений ({?nl — невозмущенная траектория F.69)):
С = «n(C-i) + un, ?> = ™7.	F.73)
Совокупность уравнений F.66)-F.73) называется линеаризованным
фильтром Калмана (ЛФК).
2)	Пусть в F.71) в качестве ?,^-1 выбирается оценка ?п_ь Тогда
уравнения для прогноза ?п принимают вид
Теперь в F.72) в качестве ?° можно использовать ?п. Тогда
- Wn] .

124	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Итак, уравнения F.66) принимают окончательный вид
Г ?n=ln + kn [Vn - Сп(Лп) ~ Wn] ,	& = ™7,	(	,
I In = an(?n-l) + ^n,
Матрицы Ап и Cn вычисляются в соответствии с F.71), F.72):
сп =
F.75)
а кп, Рп, Рп определяются из F.67), F.68).
Совокупность уравнений F.74), F.75), F.67), F.68) называется
расширенным фильтром Калмана (РФК).
Замечания. 1) Алгоритм ЛФК реализуется на практике суще-
существенно проще по сравнению с РФК, так как матричные парамет-
параметры /сп, Рп и Рп в алгоритме ЛФК не зависят от наблюдений {г]п}
и, следовательно, могут быть вычислены заранее. В алгоритме РФК
Ап и Сп зависят от наблюдений {?7П}, поэтому kn, Pn и Рп необходи-
необходимо вычислять непосредственно в процессе обработки поступающих
наблюдений. Практические расчеты показывают, что оценка РФК
обычно несколько точнее оценки ЛФК. Точностные характеристики
обеих оценок существенно зависят от величины случайных возмуще-
возмущений в модели F.69), F.70) и от характеристик нелинейностей этих
моделей. В линейном же случае обе оценки, естественно, совпадают
с с.к.-оптимальной оценкой линейного фильтра Калмана.
2) В общем случае оценки ЛФК и РФК не совпадают с условным
математическим ожиданием, а матрицы {Рп} не равны условным
ковариациям ошибок соответствующих оценок. Поэтому реальные
точности оценок {?п} субоптимальных нелинейных фильтров следует
определять методом статистического моделирования на этапе синтеза
соответствующих алгоритмов оценивания.
Пример 6.17. Нелинейная динамическая модель наблюдения
описывается разностными стохастическими уравнениями
F.76)
где {?n}, {vn} — независимые скалярные стандартные гауссов-
ские белые шумы, 7 — стандартная гауссовская СВ, не зависящая
от {еп}, {г>п}. Построить линеаризованный и расширенный фильтры
Калмана для оценивания СП {?,п} по наблюдениям {г]п}.

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	125
Решение. 1) (Построение ЛФК). Сравнивая F.76) с F.69)
и F.70), заключаем, что
1 + f2' п ' п '	(б/Г7)
сп@ = 0,6 С + 0,4 ^2, wn = 0, А, = 0,2.
По условию также т7 = 0, _R7 = 1.
Опорная траектория {^п} определяется уравнением F.73), которое
с учетом F.77) имеет вид
? = Г7%Ч2> ^о° = О.	F.78)
Из F.78) немедленно следует, что ?° = 0, п = 0,1, 2, ... Для ап(?) и
сп(?) конкретного вида F.77) следует
^=(Г^' ^=0,6 + 0,8f.	F.79)
Отсюда с учетом F.71), F.72) для случая ?° = 0 получаем
Ап = 1, Сп = 0,6, Un = Wn = 0.	F.80)
Подставляя F.80), F.77) в уравнения ЛФК F.66)-F.68), получаем
системы уравнений
in + knVin o,6?„], fo o,
^	F.81)
= Cn-Ь
(	+ 0,04),	F.82)
Г Рп = A-0,6А„)Р„, Ро = 1,
S _	F-83)
[ Pn = Pn_i+0,49.
Исключая из F.81)—F.83) вспомогательные переменные ?п и Рп,
получаем окончательный вид ЛФК:
-1
Рп = (Р„_! + 0,49) (9РП_! + 5,41) , Р„ = 1.
F.84)
2) (Построение РФК). В уравнениях РФК на n-ом шаге полагаем
-i = ^г-ь in = ?n- C учетом F.79) находим
Л> = A - Cn-i) A + Й-i) , ^п = 0,6 + 0,8ёп.	F.85)

126	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Из F.74) с учетом wn = ип = 0 получаем уравнения фильтрации
n=?n + *n[»M-0,6^-0,4^], fo = O,
F.86)
n=fn-l(l+^_l),
где уравнения для вычисления коэффициента усиления fcn имеют вид
Р„ = A - fcnCn)Pn, Ро = 1,	F-87)
Рп = А*Рп-! + 0,49,
а Ап и Сп определены соотношениями F.85).
Сравнивая F.86) и F.84) видим, что алгоритм ЛФК дает ли-
линейную по наблюдениям оценку ?п, а последовательность {Рп} —
детерминированная, в то время как РФК осуществляет существен-
существенно нелинейные преобразования наблюдений, а последовательности
{РП,РП} и, следовательно, {кп} — стохастические. Таким образом
ЛФК дает очень простую и грубую оценку для СП {^n}? B то вре-
время как РФК гораздо более полным образом учитывает нелинейную
структуру модели наблюдения F.76). ¦
В заключение рассмотрим метод условно-оптимальной нели-
нелинейной фильтрации (УОНФ), предложенный В.С.Пугачевым [19].
Для построения УОНФ процесса {?п} в модели F.69), F.70) выби-
выбираются две функции:
(рп(^и) — базовая прогнозирующая функция;
'0п(?,?7,'ш) — базовая корректирующая функция,
которые могут быть как линейными, так и нелинейными.
Алгоритм фильтрации определяется рекуррентными уравнениями
вида «прогноз—коррекция»:
{€n = Fn<Pn(?n-uun) +fn, «?0 = m7,
F.88)
где матричные параметры {Fn,fn} и {Hn,hn} выбираются с.к.-опти-
с.к.-оптимальным образом, т. е. так, чтобы
М{|?„ - (?, + Нпфп + К)\2} < М{|^п - (ё„ + Нфп + h)\2},
где <рп = <р„(?п-1,ип), фп = 'Фп(Ап,'Пп,'Шп), a {F, /} и {H,h} —
произвольные матричные коэффициенты соответствующих размеров.

§ 6] РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	127
Из теоремы 14.16 (см. п. 14.7) немедленно следует, что
Fn = cov{?n, фп) [cov{?n, ft,}] fn = М{?„} - Fn М{?„};	F.89)
Нп = cov{?n - ?,, Фп} [со^{фп, фп}\ -1А„ = -Нп М{фп}.	F.90)
Из F.89), F.90) следует, что параметры {Fn, /n, Hn, hn} — неслу-
неслучайные, т. е. могут быть вычислены заранее (до начала обработки
наблюдений).
Оценки ?п и ?п — несмещенные по построению, а ковариационные
матрицы их ошибок Рп и Рп определяются аналитически:
Г Рп =
Для практического вычисления коэффициентов F.89) проще всего
воспользоваться методом статистического моделирования.
Пусть смоделированы N реализаций {^_i} оценки УОНФ ?n_i
и N реализаций {?п } СП ?п. Тогда при N ^> 1 мож:но состоятельно
оценить правые части выражений F.89):
г=1
N
1
—
1 N	-о
— J2 Ci'Vn(Cn-l^n) - tnVn-
Теперь, заменяя в F.89) математическое ожидания и ковариации
их выборочными аналогами, получаем оценки Fn и fn для Fn и /п:
Fn = cov{Cn, ^n} [cov{^n, ^j]-1, Jn=ln- Fnpn. F.91)
После вычисления Fn и /п, мы можем построить набор реализаций
прогноза {& } и базовой коррекции {фп(^п , Vn , ^n)}, где {г7п } —
набор реализаций вектора наблюдений ?7П, соответствующий реализа-
реализациям {fn }:
^(г) _ r ^(O'i _i_ ?/, _|_ D ?/^	? — 1	N

128
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. II
a {vn } — набор независимых реализаций вектора ошибок наблюде-
наблюдений vn.		 _
Теперь оценки Нп и hn для Нп и hn могут быть вычислены точно
так же, как оценки Fn и f п. Заметим, что Fn, /n, Нп и hn сходятся
с вероятностью 1 при N —> оо к точным значениям коэффициентов
F-ач fn, Hn И hn.
Укаж:ем стандартные способы выбора базовых функций (рп(^и)
1)	прогноз по уравнению F.69), описывающему динамику СП {?п}:
iPniZn-iiUn) = an(?n-i)-\-ип]	F.92)
2)	коррекция в виде невязки (рассогласования):
Фп{?,т Vn-, wn) = Vn — (сп{?,п) + wn)'i	F.93)
3)	коррекция в виде преобразованной невязки:
Фп{1п,Г)п,и)п) = кп[г]п - (Cn(tn)+Wn)],	F.94)
Другие возмож:ные способы выбора <рп(€,и) и
трены в [17].
рассмо-
рассмоТаблица 6.1
п
1
2
4
6
8
10
0,261
0,238
0,224
0,224
0,227
0,239
тB)
0,563
0,450
0,392
0,387
0,387
0,421
тC)
0,278
0,257
0,237
0,238
0,244
0,258
тB) / тA)
2,16
1,89
1,75
1,73
1,70
1,76
тC) / тA)
1,07
1,08
1,06
1,06
1,07
1,08
Пример 6.18. Для модели F.76) из примера 6.17 были постро-
построены по N = 2000 реализаций с.к.-оптимальной оценки
'
оценки
РФК ?п и оценки УОНФ ?„ '. Если обозначить соответствующие ре-
реализации {^п (г)}, где /с = 1,2,3; г = 1, ...,7V, то реальные точности
оценок определяются величинами их выборочных с.к.-погрешностей:
к = 1,2,3,
1.

§ 6]	РАЗНОСТНЫЕ СТОХАСТИЧЕСКИЕ УРАВНЕНИЯ	129
Для построения оценки ?„ ' использован алгоритм оптимальной нели-
нейной фильтрации, описанный в п. 6.5, оценка РФК ?„ ' вычислялась
по формулам F.74), F.75), F.67), F.68), а оценка УОНФ &3) -
по формулам F.88), где функция </?п(?, и) имела вид F.92), а функция
^п(?,77, ги) — F.94). Результаты расчетов приведены в табл. 6.1.
Полученные результаты показывают, что оценка УОНФ по точно-
точности практически не уступает с.к.-оптимальной оценке и существенно
точнее оценки РФК. Заметим также, что объем расчетов, требуемый
для построения оценки ?„ , значительно больше, чем для построения
как &, так и & . ¦
6.7. Задачи для самостоятельного решения.
1. СП ? = {?п} удовлетворяет уравнению авторегрессии
где {sn} — стационарный гауссовский белый шум с параметрами т? = 0,2
и D? = 0,36. Вычислить Р{0 ^ ?n ^ 2}.
Ответ. Р{0 ^?п ^ 2} и 0,683.
2.	Спектральная плотность ССП ? = {?п} имеет вид
Д(А) = 1,25 +cos А.
Найти разностное стохастическое уравнение, которому удовлетворяет ?.
Указание. Факторизовать спектральную плотность (см. пример 6.7).
Ответ. ?п = еп +0,5en-i, где {?п} — белый шум с дисперсией D? = 2тг.
3.	АР-последовательность ? = {?п} удовлетворяет уравнению
?n+0,7?n_i +0,5?п_2 -0,3?п_з =еп, neZ,
где {^п} — белый шум с дисперсией D? = 1. Вычислить D%.
Ответ. D^ ^3,876.
4.	Пусть р-мерная СП ? = {?п} удовлетворяет разностному стохастиче-
стохастическому уравнению
?п = Ап^п-г + Вп?п, п G Z,
где {АП,5П} — неслучайные матрицы, а {^п} — ттг-мерный дискретный
белый шум. Доказать, что ? — марковская СП.
5.	В условиях предыдущей задачи СП ? имеет начало: ?о = т\. Показать,
что ? — марковская, если г\ не зависит от {en}, п ^ 1.
6.	Пусть {?п} — гауссовская АР-последовательность порядка р = 2. До-
Доказать, что ?п не обладает марковским свойством.
Указание. Показать, что M{?n | ?n-i} / M{?n | ?n_i,?n_2}.
7.	Доказать, что для АРСС-последовательности порядка (p,q), где
р ^ 2, р > q всегда найдется р-мерная марковская СП {г]п}, такая, что ее
первая компонента совпадает с ?п.
Указание. Использовать результат задачи 4.
9 Б.М. Миллер и А.Р. Панков

130	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
8. Пусть ? = {?п} — АРСС-последовательность порядка A,1):
Сп - bfn-i = ?п - аеп-!, п ? Z,
где |Ь| < 1, {^п} — центрированный гауссовский белый шум с D? > 0. Найти
представление для ? в виде бесконечного скользящего среднего. Пользуясь
этим представлением, найти закон распределения ?п при каждом п ? Z.
оо
Ответ. ?п = еп + ^ ак?п-к, где о^ = F - aNfc~\ ?n
9. Пусть СП {?п} удовлетворяет асимптотически устойчивому уравне-
уравнению авторегрессии порядка р ^ 1:
?п + Yl bk?n-k =еп, п е Z,
fe=i
где {еп} — стационарный белый шум с параметрами т? и De. Доказать,
что с.к.-оптимальный прогноз ?п для ?п, п ^ 1, по наблюдениям ?° =
= {?o5^-i? • • • } удовлетворяет разностному уравнению
где lj = ?i, если j ^ 0, и ^ = ^., если j > 0.
Указание. Вычислить M{?n | ?0}.
10.	Показать, что в уравнениях фильтра Калмана вектор ?п является
с.к.-оптимальным прогнозом для ?п по наблюдениям г]п~1, а Рп — ковари-
ковариационная матрица ошибки этого прогноза.
Указание. Воспользоваться теоремой о нормальной корреляции.
11.	Пусть случайный скалярный параметр в измеряется по схеме
где {т>п} — стационарный центрированный белый глум с Dv > 0. Доказать,
что если с ф 0, то оценка вп параметра в, полученная с помощью фильтра
Калмана (см. пример 6.13), с.к.-состоятельна, т.е. М< (в — 0пJ > —> 0 при
п —> оо.	_
Указание. Доказать, что Рп —ь 0 при п —ь оо (см. уравнение F.43)).
12. Пусть {?п,?7п} — частично наблюдаемая гауссовская последователь-
последовательность, заданная моделью наблюдения Калмана:
Сп = а?п_1 +Ъеп, rjn = А?п + Bvn,
где {sn:vn} — скалярные стандартные гауссовские независимые белые шу-
шумы. Показать, что если b ф 0, А ф 0, В ф 0, то Рп ^ Р при п —> оо, причем
предельная дисперсия Р ошибки фильтрации является положительным
корнем уравнения а2А2Р2 + [Ъ2А2 + A - а2)В2]Р - Ъ2В2 = 0.

7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	131
7. Мартингалы с дискретным временем
7.1. Основные определения. Будем всюду далее предполагать,
что на вероятностном пространстве j^,^7, P} задан неубывающий
поток а-алгебр {J-n}, п ^ О, Т- е. семейство сг-алгебр, такое, что J-q С
С^ С ... С ^г. Например, если {Сп}? ^ ^ 0 — набор случайных ве-
величин, заданных на {?l,T,V}, а Т^ = сг{?0, • • • ,?п} — сг-алгебра,
порожденная конечным набором {?&, /с = 0, ... , п}, то Т^_х С ^ по
построению и, следовательно, {^|}, тг ^ 0 — поток сг-алгебр.
Определение 7.1. Пусть {Хп, n ^ 0} — последовательность
вещественных случайных величин, определенных на \?1,Т, Р}. Если
при каждом п ^ 0 случайная величина Хп является ^-"п-измеримой, то
{Х^.7^}, n ^ 0, называется стохастической последовательностью.
Определение 7.2. Если при каждом п ^ 1 случайная величи-
величина Хп является Тп-\-измеримой, то последовательность {Хп,Тп-\}
называется предсказуемой. Если выполнено также условие монотон-
монотонности Xn-i ^ Хп (Р-п.н.), то {Хп,Тп-\) называется неубывающей
предсказуемой последовательностью.
Замечание. Смысл термина «предсказуемость» становится по-
понятным, если в качестве Тп выбраны сг-алгебры Т* — ^"{^о, • • • ? ^п}-
Предсказуемость означает тогда, что случайная величина Хп есть
некоторая борелевская функция величин {Хд, ... ,Xn_i} и, следова-
следовательно, может быть однозначно определена (предсказана) по значе-
значениям этих случайных величин.
Определение 7.3. Стохастическая последовательность {Хп, Тп },
удовлетворяющая условию М{|ХП|} < оо, называется:
а)	мартингалом, если M{Xn+i | J-n} = Хп (Р-п.н.);
б)	субмартингалом, если M{Xn+i | J-n} ^ Хп (Р-п.н.);
в)	супермартингалом, если {—Хп,Тп} — субмартингал.
Смысл мартингального свойства а) можно пояснить с позиций
теории прогнозирования случайных последовательностей.
Пример 7.1. Пусть {Хп,Тп} — мартингал (Тп = а{Хо, ..., Хп}),
причем М{|ХП|2} < оо. Найти наилучпсий среднеквадратический
прогноз для Xn+i по наблюдениям {Хо, ..., Хп}.
Решение. Обозначим через Xn+i с.к.-оптимальный прогноз
для Xn+i по наблюдениям {Xq, ..., Хп}. Тогда для любого прогноза
Хп+1 = (рп(Хо, ..., Хп), построенного по наблюдениям {Xq, ..., Хп}
с помощью преобразования <рп(-), в силу определения 7.3 выполнено
М{|Хп+1 - Хп+1\2} ^ М{\Хп+1 - Хп+1\2}.

132	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Так как M||Xn+i|2| < оо, из теоремы 6.2 и определения условного
математического ожидания относительно случайного вектора (см.
п. 14.5) получаем
Хп+1 = М{Хп+1 | Тп} = Хп (Р-п.н.).
Итак, с.к.-оптимальный прогноз (на один шаг) для мартингала
{Хп^Тп} таков: на (п + 1)-м шаге ничего не изменится.
С учетом результата, сформулированного в задаче 3, с.к.-опти-
с.к.-оптимальный прогноз на 777, ^ 1 шагов вперед имеет вид
Хп+т = М{Хп+т | Тп} = Хп (Р-п.н.).
Если {Xn,J-n} — субмартингал, то нетрудно проверить, что
Хп+1 = М{Хп+1 | Тп} > Хп (Р-п.н.).
Наконец, если {Хп,Тп} — супермартингал, то в последнем соотноше-
соотношении знак неравенства изменится на противоположный. ¦
Замечания. 1) Полученный в примере 7.1 результат имеет сле-
следующую экономическую интерпретацию. Пусть {Хп,Тп} описывает
эволюцию некоторого финансового индекса, в увеличении которого
мы заинтересованы (например, эффективность финансового рынка
или текущая доходность нашего инвестиционного портфеля). Если
{Хп,Тп} — мартингал, то имеет место ситуация «стабильности».
Если же {Xn,J-n} — субмартингал (супермартингал), то имеет место
ситуация «развития» («падения» или «рецессии»).
2) Из определения 7.3 следует, что всякий мартингал является
одновременно как субмартингалом, так и супермартингалом. Если
X = {ХП1 J-n} является мартингалом или субмартингалом, то по свой-
свойствам условного математического ожидания для мартингала
М{Хп} = М{М{ХП | То}} = М{Х0} ,
и для субмартингала
М{Хп} = М{М{ХП | ^о» > М{Х0} .
Приведем ряд простых примеров стохастических последовательно-
последовательностей, образующих мартингалы и субмартингалы (необходимые далее
свойства условного математического ожидания описаны в п. 14.5).
Пример 7.2. Пусть {?п, п ^ 0} — последовательность незави-
п
симых случайных величин, JFn = сг{?0, ?ъ • ..,fn}> Xn=^2?k. По-
к=0
казать, что {Хп,Тп} является мартингалом (субмартингалом), если
{} = 0 (М{&} > 0).

7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	133
Решение. Из условия М{|?&|} < оо и свойств математического
ожидания (см. п. 14.3) следует
|} J	}	{|6|} < оо.
к=о	Ч=о	к=о
Покажем, что {Хп,Тп} — мартингал при условии М{^} = 0. За-
Заметим, что по условию СВ Хп измерима относительно Тп, a ?n+i от Тп
не зависит, поэтому с учетом свойств условного математического
ожидания (см. п. 14.5) получаем:
Тп} = М{Хп + ?п+1 | Тп} =
= М{Хп | Тп} + М{?п+1 | Тп} = Хп
Отсюда M{Xn+i | Тп} = Хп, если M{?n+i} = 0, т. е. {Хп,Тп} — мар-
мартингал. Кроме того, M{Xn+i | Тп} ^ Хп, если M{^n+i} ^ 0, т.е.
{Хп,Тп} — субмартингал. ¦
п
Пример 7.3. Пусть Хп = Y\ С/с? гДе {Сп} и {3~п} определены
к=о
в примере 7.2. Показать, что при условии М{^} = 1 последова-
последовательность {Xn,J-n} образует мартингал, а при условии М{^} ^1 —
субмартингал, если дополнительно предположить, что ?n ^ 0 (Р-п.н.).
Решение. В силу независимости СВ {?&} и М{|^|} < оо находим
.} < °°-
k=0
Если М{?п+1} = 1, то
i} = Хп, G.1)
где второе равенство получено с учетом ^-^-измеримости СВ Хп,
а третье — в силу независимости ?n+i от сг-алгебры Тп. Тем самым,
{Хп^Тп\ образует мартингал.
Если же ?п ^ 0 (Р-п.н.) и M{?n+i} ^1, то Хп ^ 0 (Р-п.н.) и
M{Xn+i | J-n} ^ Хп в силу G.1). Следовательно, в этом случае
{Хп,Тп} — субмартингал. ¦
Пример 7.4. Пусть ? — случайная величина с М{|?|} < оо и
{Тп} — некоторый поток сг-алгебр. Пусть Хп = М{? | Тп}- Доказать,
что \Хп^Тп} — мартингал.
Решение. Заметим, что
М{|ХП|} =
с».

134	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Теперь в силу Тп С Тп+\ и свойства 8 из п. 14.5 находим
М{Хп+1 | Тп} = М{М{? | Тп+1] | Тп\ = М{? | Тп] = Хп. и
Пример 7.5. Пусть X = {Хп,Тп} — мартингал, а д(х) — вы-
выпуклая вниз функция, такая, что M{|g(Xn)|} < oo. Доказать, что
последовательность {g(Xn),J-n} образует субмартингал.
Решение. Пусть Yn = д(Хп), тогда М{|УП|} < оо по условию.
Воспользуемся неравенством Иенсена М{#(?) | Тп} ^ д(М{? | Тп}),
верным для выпуклой вниз функции д(-) и СВ ? с М{|?|} < оо:
М{Гп+1 | Тп} = М{д(Хп+1) | Тп] > д(М{Хп+1 \ Тп}) = д(Хп) = Yn,
т.е. {Yn,!Fn} — субмартингал. ¦
Замечание. Пример 7.5 показывает важный способ форми-
формирования субмартингала из некоторого мартингала. Например, если
{Хп,Тп} — мартингал, аУп = Х%, то {Уп^Тп} — субмартингал, так
как д(х) = х2 — выпуклая вниз функция. Естественно, предполагает-
предполагается, что М{Х^} < оо.
Пример 7.6. Рассмотрим последовательность независимых
случайных величин {г]п}, п ^ 1, принимающих значения { — 1, 1}
с вероятностями V{r]n = 1} = р, Р{?7п = —1} = Ъ гДе q = 1 — р. Эту
последовательность мож:но рассматривать как результаты игры
двух лиц, где rjn = 1 трактуется как выигрыш первого игрока в п-й
партии, а г\п = — 1 — как проигрыш. Заметим, что ~М.{г]п} = р — q при
любых п. Если последовательность ставок первого игрока есть {V^},
то его общий выигрыш Хп после n-й партии равен
хп = J2 vkVk = xn_! + Vnvn, x0 = о.
к=1
Поскольку игроку неизвестны результаты будущих партий, то его
стратегия может базироваться только на результатах прошедших
партий, что означает
Уп = Ч>п{ЛЪ ...,7?n-l) ^ 0,
где (рп(-) — некоторая неслучайная борелевская функция. Таким
образом, случайная величина Vn является измеримой относительно
J~n_i = cr{?7i, . ..,r/n_i}. Рассмотрим поведение последовательности
X = {Xn,J-%} с точки зрения определения 7.3. Тогда
М{ХП | ТЦ_Х} = Хп_х + Vn M{Vn} ,
и последовательность X образует мартингал, если М{?7П} = р — q = 0,
субмартингал, если р — q > 0, и супермартингал, если р — q < 0. ¦

§ 7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	135
Пример 7.7. Пусть p^(#i, ..., жп) — n-мерная плотность распре-
распределения случайной последовательности ? = {?п, п ^ 1}. Доказать, что
если р^(ж1, ..., хп) — также n-мерная плотность и р^(жь ..., жп) > О,
то последовательность
„ =P°n(Zl, ¦¦-,&)
является мартингалом относительно потока Т^ = cr{?i, ..., ?п}.
Решение. М{рп} = р° (жь • • •, жп) cfcci ... cfccn = 1 < оо. Если
р^ 1(г/ | Ж1, ..., жп) — условная плотность случайной величины ?n+i
при условии, что ?i = Ж1, ..., ?п = жп, то
i | ?1 = a?i, ... ,?„ = хп} =
_ Г Pn+i(^i, ...,a?n,2/) ^ Pn+i(^i, ...,xn,y)d _
J Pn+l(^b ••-,Xn,y)	pit(xi, ...,!„)
(xi	Ж)	Р^
J
_ Г
J
Следовательно, M{pn+i | ^} = рп, т.е. последовательность {р
образует мартингал. С другой стороны, поскольку в силу определения
бп = (Г{Р1, -чРп} Ссг{?Ь ...,?п} =^,
получаем
11 дп} = м{м{рп+11 г*} | бп} = м{рп | дп} = Рп.
Таким образом, последовательность {pn, Qn} — также мартингал. ¦
Замечание. Величина рп называется отношением правдоподо-
правдоподобия. Вычисление отношения правдоподобия используется в статисти-
статистике при решении задачи различения гипотез. В данном случае рассма-
рассматривается ситуация различения гипотез о совместном распределении
совокупности случайных величин {?i, . ..,?п}, т.е. задача о выборе
Рп(') или Рп(') в качестве истинной плотности распределения набора
{}

136	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Структура произвольного субмартингала описывается следующей
теоремой.
Теорема 7.1. Пусть X = {Хп,Тп} — субмартингал. Тогда су-
существуют мартингал т = {Tnn,J-n} и неубывающая предсказуемая
последовательность А = {An,Tn-i}, такие, что для любого п ^ О
справедливо разложение
Хп = тп + Ап (Р-п.н.).	G.2)
Замечание. Формула G.2) называется разложением Дуба для
субмартингала. Из доказательства теоремы 7.1 вытекает, что после-
последовательности {mn} и {Ап} имеют вид
тп = Хо + ]Г (Хш - М{ХШ | ^}),	G.3)
з=о
Ап = ]Г (M{Xj+1 | Т3} - Х3), Ао = 0.	G.4)
з=о
Определение 7.4. Последовательность А = {An,Tn-\} в G.2)
называется компенсатором субмартингала X.
Разложение Дуба играет основную роль при изучении квадра-
квадратично-интегрируемых мартингалов, т. е. мартингалов X = {Хп, J-n},
для которых М|Х^| < оо для всех п ^ 0. Тогда последовательность
X2 = {X^,J-n} — субмартингал и по теореме 7.1 существуют мартин-
мартингал т = {тп,Тп} и предсказуемая неубывающая последовательность
(X) = {{Х)п,Тп-1}, такие, что
XI = тп + (Х)п .	G.5)
Определение 7.5. Последовательность (X), определяемая из
разложения G.5), называется квадратической характеристикой мар-
мартингала X.
Из формулы G.4) следует (см. задачу 6), что
(Х)п = X?
i=
и для всех I ^ k
М{(Хк - Xbf | Г,} = Ы{Х1 - X? | Тг} = М{{Х)к- (X), | ?,}. G.7)
Если Хо = 0 (Р-п.н.), то
M{X,2}=M{(X)fe}.	G.8)

§ 7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	137
п
Пример 7.8. Пусть Хп = ^ ?к и Fn = <г{€ъ€2, • • • ,€п}, гДе
k=i
{Сп, п ^ 1} — последовательность независимых случайных величин
с М{?п} = 0 и М{^} < оо. Доказать, что стохастическая последова-
последовательность X = {Xn,J-n} — мартингал с квадратической характери-
характеристикой
<*>п=?О{Ы-	G-9)
k=l
Р е ni е н и е. Мы можем сразу получить ответ, воспользовавшись
формулой G.6). Однако мы дадим полное решение, основываясь на
теореме 7.1, чтобы продемонстрировать технику работы с условным
математическим ожиданием.
Пусть Тп = Х^, тогда в силу результата примера 7.5 {Tn,J-n} —
субмартингал. По теореме 7.1 для Тп справедливо разложение Дуба:
Тп = тпп + Ап, где Ап = (Х)п — квадратическая характеристика мар-
мартингала {Xn,J-n}. Вычислим Ап по формуле G.4) с учетом ?о = 0:
Ап = \^ (М{Тк+1 | Тк) - Тк) = ? М{Тк+1 - Тк
к=0	к=0
Для произвольного к ^ 0 имеем:
к+l	к
Тк+1 -Tk = (Y, 6) " (Е &) =
г=1	г=1
Поэтому
M{Tfe+1 - Тк | ^} = M{2Xfea+i
= 2ХкМ{?к+1}
где учтено, что Хк измерима относительно Тк, а ?&+1 не зависит от J-k,
причем М{^+1} = 0 и М{^+1} = D{^+1}. Итак,
Ап = X: D{6+i} = E D{6} = (Х)п .
fc=0	fc=l
Таким образом, (Х)п = М{Х^} = D{Xn}, причем квадратическая
характеристика в данном случае оказалась детерминированной после-
последовательностью. ¦

138	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
7.2. Марковские моменты. Случайная замена времени
в мартингале. В задачах теории случайных процессов важное зна-
значение имеет понятие марковского момента или момента остановки.
Фактически, марковский момент соответствует моменту времени пер-
первого появления некоторого случайного события, причем определить,
произошло оно или нет, можно по наблюдениям предыстории слу-
случайного процесса. Далее будем предполагать, что на вероятностном
пространстве {О,^7, Р} задан поток сг-алгебр {J~n}^ J~n Я: J~ •
Определение 7.6. СВ т, заданная на {?7, Т, Р} и принимающая
значения из множества {0,1, ...,оо}, называется марковским момен-
моментом (относительно {Fn})-> если для любого п ^ О
Если Р{т < оо} = 1, то марковский момент т называется моментом
остановки.
Замечание. Можно показать, что данное определение эквива-
эквивалентно следующему:
Определение 7.7. Значение случайной последовательности
{Хп} в случайный момент времени т определяется как
оо
Хт = J2 ХпПт = п},
п=0
где 1{т = п} — индикатор события {т = п}.
Заметим, что Хт является случайной величиной. Действительно,
для любого В	1
{хт ев}= \J{xneB}n{r = n}e т.
п=0
Процедура, описанная в определении 7.7, называется случайной за-
заменой времени.
Рассмотрим следующий типичный пример марковского момента.
Пример 7.9. Пусть X = {Хп,Тп} — стохастическая последова-
последовательность, множество В G ^(М1) и т — момент первого попадания
последовательности в множество В^ т. е.
т = inf{n ^0: ХпеВ},
причем, если Хп ф В для всех п ^ 0, то полагаем т = оо. Показать,
что случайная величина т является марковским моментом.

§ 7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	139
Решение. Для любого п ^ О
п-1
{г = п} = П {хк ?В}п {хп ев}е тп,
к=0
что и доказывает требуемое утверждение. ¦
Множество марковских моментов является замкнутым относи-
относительно некоторых простых операций.
Пример 7.10. Показать, что если т и а — два марковских момен-
момента (относительно потока {3~п}), то т + сг, min(r, а) и тах(т, а) также
являются марковскими моментами.
Решение. Для любого п ^ 0
{тш(т, а) ^ п} = {г ^ п} U {a ^ n} G Тп,
так как {т ^ п} G Тп, {а ^ п} G ^-*п, а ^"п замкнута относительно опе-
операции конечного или счетного объединения (см. п. 13.1). Аналогично,
{тах(т, а) ^ п} = {г ^ п} П {а ^ n} G Тп\
{т + а ^ п} = U {т = к} П {а = /} G J^n. ¦
/с, / > 0
fc + / < п
В п. 7.1 отмечено, что для всякого мартингала M{Xn} = M{Xq}.
Если ж:е заменить детерминированный момент времени п на некото-
некоторый случайный момент т, то указанное равенство может нарушиться.
Пример 7.11. Рассмотрим пример 7.6, в котором игрок исполь-
использует следующую стратегию игры: величина ставки Vn выбирается по
правилу
{2П, если ту! =772 = ... = 7fo_i =-1,
0	в остальных случаях.
Это означает, что он удваивает ставки, начиная со ставки V\ = 1, и
прекращает игру после первого выигрыша. Если 771 = щ = ... = т]п =
= —1, то
Хп = ? VnVn = JT (-2к-г) = 1-2".
к=1	к=1
Однако если ?7n+i = 1, то
Хп+1 = Хп + Уп+1 = A - 2п) + 2^ = 1.
Пусть г = inf{n ^ 1: Хп = 1}. Если p = q = 1/2, то Р{т = п} = 1/2п,
поэтому
n=l

140	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
и, следовательно, Р{т < оо} = 1. Далее, Р{ХТ = 1} = 1 по определе-
определению момента т, поэтому М{ХГ} = 1 / М{Х0} = 0. ¦
Пример 7.12. Пусть {?i,?2? • • • } — последовательность независи-
независимых одинаково распределенных случайных величин с М{|?&|} < оо;
т — некоторый момент остановки относительно Т^ = <j{?i, ... ,?п},
т ^ 1, М{т} < оо. Тогда
} М{т} .	G.10)
Если к тому же М{^} < оо, то
М{ [& + ... + ?т -тМ{6}]2} = D{6} М{г} .	G.11)
Соотношения G.10), G.11) называются тождествами Вальда. ¦
Пример 7.13. Применим тождества Вальда к исследованию за-
задачи об игре двух лиц (см. примеры 7.6, 7.11). Предположим, что
игроки располагают конечными начальными капиталами А ж В со-
п
ответственно, ставки фиксированы и равны 1. Если Sn = ^ щ, то
к=1
величины капиталов первого и второго игроков после n-го розыгрыша
будут
Xn = A + Sn, Yn = B-Sn.
Игра заканчивается, если Sn достигает уровня (—А) или В. В первом
случае разоряется первый игрок, во втором — второй. Определим
момент окончания игры как момент остановки:
г = inf {п ^ 1: Sn = -А или Sn = В}.
Найти вероятности разорения каждого из игроков, если р = q = 1/2.
Решение. Последовательность Sn есть последовательность со-
состояний марковской цепи, соответствующей модели случайных блу-
блужданий, у которой при р = q = 1/2 все состояния возвратны. Поэтому
за конечное время она достигает любого уровня и Р{т<оо} = 1,
М{т} < оо. Введем а = ~P{ST = -А} и /3 = Р{5Г = Б}, а + /9 = 1. Да-
Далее, при р = q = 1/2 мы имеем из G.10) с учетом M{?7i} = 0:
M{ST} = М{т} М{т7!} = 0 =
= -AP{Sr = -A} + BP{ST = В} = a(-A)+f3B.
Таким образом, а и /3 удовлетворяют системе уравнений
разрешив которую, получим
В
Б'

§ 7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	141
Для вычисления среднего времени игры М{т} применим тождество
Вальда G.11), которое в силу D{?7i} = 1, M{?7i} = 0 дает
M{S2} = М{т} D{r?i} = М{т} = аА2 + /ЗБ2 = АВ.
Таким образом, М{т} = АВ, т. е. среднее время игры быстро воз-
возрастает, если увеличиваются начальные капиталы игроков. ¦
Замечание. В примере 7.13 мы вычислили финальные веро-
вероятности состояний цепи Маркова, описывающей игру двух лиц (см.
пример 5.14), с использованием мартингальной техники.
7.3. Теоремы сходимости мартингалов и их приложения.
Рассматриваемые ниже результаты показывают, что последователь-
последовательности случайных величин, являющиеся мартингалами, при опреде-
определенных условиях сходятся с вероятностью 1 (Р-п.н.) и в среднем, т. е.
существует такая С В Х^, что
Хп П'Н"> Хоо и М{|ХП - Хоо|} —>¦ 0 при п —» ос.
Теорема 7.2. Если X = {Xn,J-n} — субмартингал, для кото-
которого найдется р > 1, такое, что supM{|Xn|p} < oo, то существует
случайная величина Х^, такая, что МЦХ^Ц < оо, причем
1)	Хп ^ЩХп \ Гп} (Р-п.н.);
2)	Хп —'—-> Xoq при п —)> оо;
3)	М{|ХП - Хоо|} -+ 0 при п -+ оо.
Утверж:дение теоремы мож:ет быть использовано для обоснования
сходимости оценок параметров в различных задачах математической
статистики.
Пример 7.14 (усиленный закон больших чисел). Пусть
независимые случайные величины ?i, ?2 ? • • • имеют одинаковые
математические ожидания М{^} = а и ограниченные дисперсии
= <j\ ^ D. Доказать, что
^	1 ^-^ .	П.Н.
ап = - 2_^ Як 	> а при п —» оо.
п k=i
Решение. Пусть щ = ?,к — а, тогда ~M.{r]k} = 0, ~D{r]k} = a2, ^ D.
Рассмотрим оценку ап:
^ — ST^ ? — V^ /" _u "\ — _u V^	П.Н.
пп ~ п ^ ~ п 2-~<^а ^J a п ^^ У а'
-, п
—	1 Х"^	П-Н- г\	тт	л-
если т]п = — 2^ Vk 	^ 0 при п —>• оо. Докаж:ем, что требуемая схо-
n fc=i
димость действительно имеет место.

142	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
Если ек = -!—, то {е^} независимы и М{е^} = 0. Пусть Хп = у^ gfc,
к	к=1
тогда из примера 7.2 следует, что {Хп, п ^ 1} образует мартингал
относительно потока Тп = о~{е\, ..., еп} = cr{?7i, ..., г]п}. Поскольку
и D{?fe} = ^
к=1
ОО	ОО -|
то supM{X^} = ^2 ^{?к} ^ D ^2 Т5 < °°- Тогда из теоремы 7.2 сле-
™>° k=i	k=i k
дует, что Хп 	у Aqo при п —у оо. Последнее означает, что
Здесь нам понадобится утверждение, известное как лемма Кроне-
кера: если числовые последовательности {ип} и {хп} таковы, что
оо	1 п
О < ип t оо при п —у оо, а ряд ^2 Хк сх°дится, то — 22 икхк —> О
п —у оо.
оо
Если обозначить х^ = щ(и)/к, Uk = к, то ^ Хк = Хоо(с<;), поэтому
1 А	1 A	fc=1
^^ х ч	^^	¦> 0 при п —^ оо.
Итак, Р{с<;: rjn(uj) —> 0} = 1, т. е. г/п —'-Ч> 0 при п —)> оо, что и тре-
требовалось доказать. ¦
Замечание. Оценка вп параметра в, построенная по наблюдени-
наблюдениям {г/i, 2/2? • • •, Уп}, называется сильно состоятельной, если вп —'—^ в
при п —>- оо. Предыдущий пример показывает, что выборочное сред-
среднее ап является сильно состоятельной оценкой математического ожи-
ожидания а.
Поведение квадратично-интегрируемого мартингала Х= {Хп,Тп}
в значительной степени определяется его квадратической характери-
характеристикой (компенсатором) (Х)п.
Обозначим через {(Х)^ = оо} событие, состоящее в том, что
неубывающая последовательность {Х)п не ограничена.
Теорема 7.3. Пусть X = {Xn,J-n} — квадратично-интегрируе-
квадратично-интегрируемый мартингал и (X) = {{Х)п, Тп-\\ — его квадратическая харак-
характеристика. Если РКХ)^ = оо} = 1, то
Хп п.н.
->¦ 0 при п —ь оо.
(х)п

§ 7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	143
Следующие примеры показывают применение этого результата
в задачах оценивания неизвестных параметров моделей наблюдения.
Пример 7.15. Пусть {хк} — числовая последовательность, а
Ук = хкв + ек, к = 1, 2, ..., га,
где {ек} — независимые центрированные ошибки наблюдений с дис-
дисперсией Dje^} = а2. Доказать, что оценка параметра #, построенная
по методу наименьших квадратов (МНК-оценка), является сильно
состоятельной при условии
у j xk = оо.
к=1
Решение. Найдем выражение для МНК-оценки вп, построенной
по наблюдениям {г/i, ..., уп}:
^	п
0п = argmin ^(у/с ~~ хк0) = argmm?(#).
6 k=i	в
^	dC@)	n
Найдем 0п из условия у ' = 0, т. е. V" хк(ук — хкв) = 0:
d0	k=i
-,	П	П
'в — —- V^	d — S^ 2
"~ dn ^ fe Ь ГД " - A, fe'
Из последнего выражения следует
On = ^ Е хкЫ0 + ek) = O+^-JT xkek = 0 + Авп.
dn k=i	dn k=i
Таким образом, нам достаточно показать, что А0п —'—^ 0.
п
Если Хп = Е хкек, то с учетом М{е^} = 0 мы заключаем, что
к=1
{Хп,Тп} — мартингал, где Тп = о{е\, - - - ,?п}? причем в силу приме-
п
ра 7.8 (Х)п = ^2 Т>{хкек} = a2dn. Поэтому (Х)п ') оо при п -^ оо,
к=1
если dn —>• оо. Тогда в силу теоремы 7.3 имеем А0п = а2—^-	'—Ч> 0
\ I п
при п —>• оо. Таким образом, вп —'—^ 0 при п —>• оо, что и требовалось
доказать. ¦

144	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
В заключение рассмотрим задачу оценивания неизвестного пара-
параметра в разностном стохастическом уравнении (задачу параметриче-
параметрической идентификации модели случайного процесса).
Пример 7.16. Пусть случайная последовательность {Xn, n ^ 0}
удовлетворяет уравнению авторегрессии первого порядка
хп+1 = ехп + fn+i, п ^ о, х0 = о,
где {Сп} — независимые центрированные случайные величины, та-
такие, что D{?n} = Dn ^ D > 0, Dn+1/Dn ^ Къ М{?} ^ Kj, а в -
неизвестный неслучайный параметр. Доказать, что оценка вп метода
взвешенных наименьших квадратов является сильно состоятельной.
Решение. Рассмотрим оценку метода взвешенных наименьших
квадратов, которая строится следующим образом. Для заданного
набора наблюдений {Хд, ...,ХП} оценка 0п выбирается так, чтобы
минимизировать сумму нормированных квадратических отклонений,
а именно:
2
go	Dk+1 ¦
Преобразования, аналогичные приведенным выше в примере 7.15,
дают следующий результат:
I 7 л Dk+i I	_
v ^=0	^ /е=0
Данную оценку можно записать в виде 0п = 0 + М"п/ (М)п , где
Пусть сг-алгебра ^*п порож:дена наблюдениями {Хо, ..., Хп}, тогда
М{Мп+1 |^П} = М^М?
п + 1
¦^п+1
= Мп,
т.е. {Mn,J-n} — мартингал. Нетрудно показать, что (М)п — квадра-
тическая характеристика указанного мартингала (см. задачу 12).

§ 7]	МАРТИНГАЛЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ	145
Докажем теперь расходимость (Р-п.н.) последовательности (М)п:
ОО^2	ОО / у	г)у	\2	f ОО -у2	ОО -у2
Поэтому из расходимости (Р-п.н.) ряда ^ —— следует, что с вероят-
к=1 к
ОО	у2
ностью 1 выполнено (М) = У^ —— = оо.
Пусть щ = ур, тогда Ш{щ} = 1, М{^} = —^-^- ^ — < оо.
1 п
Отсюда с учетом результата примера 7.14 получаем — ^2 Щ =
к=1
1 П /-2	г ОО s-2	^
1 -е-^ tk П.Н. л	-^ Г ^^ tк	1	-1
= — > т=г	> 1 при п —)> оо, что влечет Р< > ^- = оо > = 1.
ntiDk	xtiD* ;
Итак, РКМ)^ = оо} = 1, поэтому по теореме 7.3
^ л Мп п.н. „
п п		> 0 при п -^ оо,
что и означает сильную состоятельность оценки вп.
Заметим, что если {^п} одинаково распределены, то достаточно
потребовать только D{?n} = D > 0. Если же {?п} — гауссовская по-
последовательность, то остается лишь условие Dk+i/Dk ^ i^i, так как
7.4. Задачи для самостоятельного решения.
1. Пусть ? и ту — независимые и одинаково распределенные случайные
величины с М{|?|} < оо. Показать, что
+ Ч} = ^ (Р-п.н.).
Указание. Воспользоваться определением условного математического
ожи дания.
2. Пусть случайные векторы х,и, v имеют совместное гауссовское невы-
невырожденное распределение, причем и и v — независимы. Доказать, что
М{х | и, v} = М{х | и} + М{х | г;} - М{х}.
Указание. Воспользоваться теоремой о нормальной корреляции.
10 Б.М. Миллер и А.Р. Панков

146	СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ	[ГЛ. II
3.	Пусть {ХП1Тп) — мартингал. Доказать, что для любого m ^ 1 спра-
справедливо М{Хп+т | Тп\ = Хп (Р-п.н.).
Указание. Показать, что M{Xn+m | Tn} = M{Xn+m_i | Тп}, и вос-
воспользоваться методом математической индукции.
4.	Пусть {?n, n ^ 0} — гауссовская СП с параметрами тп^(п) и Щ(п, та).
Пусть также vn = {i?^@,1), ... ,Щ@,п)}, a Vn — матрица с элементами
R^(i,j), i,j = l,...,n. Доказать, что последовательность
vnV-\C - m?), n ^ 1,
где ?n = {^i, ... ,?п}*, rri^ = {m^(l), ... ,?тг^(п)}*, образует мартингал отно-
относительно потока сг-алгебр Тп = сг{^1, • • •, Сп}-
Указание. Воспользоваться теоремой о нормальной корреляции и
результатом примера 7.4.
5.	Пусть {Ск} — центрированный белый шум, а {щ} — такая СП, что при
каждом к ^ 1 совокупности случайных величин {?7i, ... ,щ} и {?&, ?fc+i, • • • }
независимы. Доказать, что если МЦту^^/е!} < оо, то последовательность
?п = ^^ щ?,кч n ^ 1 является мартингалом.
к=1
6.	Вывести соотноп1ения G.6)—G.8) для квадратично-интегрируемого
мартингала {Xn,JFn}.
7.	В примере 7.8 вывести соотношение G.9) для квадратической харак-
характеристики с использованием G.6).
8.	Объяснить, почему разность марковских моментов, вообще говоря,
марковским моментом не является.
9.	Доказать тождество Вальда для дисперсий (соотношение G.11)
в примере 7.12).
10.	Пусть {?i,?2, •••} — последовательность независимых одинаково
распределенных случайных величин с Р{^ = 0} = Р{^ = 2} = 1/2. По-
казать, что последовательность Xn = Y[& является мартингалом относи-
г=1
тельно потока ст-алгебр Тп = cr{?i, ... ,?п} и сходится (Р-п.н.) к конечной
случайной величине.
Указание. Показать, что {Хп} сходится к нулю с вероятностью 1.
11. Пусть независимые случайные величины {?i,?2, • • • } имеют распре-
распределение Р{?т = 1} = Р{?т = -1} = —^г, Р{^т = 0} = 1	-. Показать,
2mz	mz
что последовательность Хп = ^ ^т сходится (Р-п.н.).
m=l
12.	Доказать, что G.13) является квадратической характеристикой мар-
мартингала G.12).
13.	Пусть 0п — с.к.-оптимальная оценка для СВ 0 по наблюдени-
наблюдениям {?i, . ..,?п}> М{|^|2} < оо. Доказать, что если 0п '> в, то такж:е и
^ п.н. п
вп 	у в при п —у оо.
Указание. Показать, что вп — квадратично-интегрируемый мартин-
мартингал относительно Т^ = cr{^i, ... ,^п}-

ГЛАВА III
СЛУЧАЙНЫЕ ФУНКЦИИ
В данной главе будут изучаться случайные процессы с непрерыв-
непрерывным временем, которые обычно называют случайными функциями.
В дальнейшем для обозначения случайной функции будем использо-
использовать сокращение СФ.
8. Элементы анализа случайных функций
8.1. Непрерывность случайных функций. Пусть случайный
процесс ?(t) определен на некотором связном подмножестве Т дей-
действительной оси М1, т. е. является процессом с непрерывным време-
временем. Такие процессы далее будем называть случайными функция-
функциями (СФ). В данном параграфе также всюду предполагается, что для
любого t G Т выполнено M{|?(t)|2} < оо. Очевидно, что в этом случае
существуют и конечны математическое ожидание m^(t), дисперсия
D^(t) и ковариационная функция Щ(г,т) при всех ?,т ЕТ. По умол-
умолчанию будем также считать, что СФ ?(t) — вещественная.
Определение 8.1. Случайная величина г\ называется среднеква-
дратпическим (с.к.) пределом СФ ?(t) в точке to е Т•> если
V\2} -+ О ПРИ t^t0.
Указанный вид сходимости будем далее обозначать ?(t) '> rj при
t —> to или rj = l.i.m.?(?), а случайную величину г\ будем называть
t—>to
с.к.-пределом ?(t) при t —> to-
Определение 8.2. Случайная функция {?(?), t G Т} называет-
называется непрерывной в среднеквадратическом смысле (с.к.-непрерывной)
в точке to G Т, если ?(t) '> ^(to) при t —^ to.
Определение 8.3. Случайная функция {^(t), t G Т} называется
с.к.-непрерывной на Т, если она с.к.-непрерывна в каждой точке
toe Т.
ю*

148	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Пусть {?(?,a;), t Е Т} — некоторая траектория СФ ?(?). Как по-
показывают рассмотренные далее примеры, из того, что ?(t) с.к.-непре-
с.к.-непрерывна на Т, в общем случае не следует, что все или почти все функции
?(?, о;) являются непрерывными.
Определение 8.4. Случайная функция называется непрерыв-
непрерывной на Т, если Р{о;: ?(?, о;) — непрерывная на Т функция} = 1.
Из определения 8.4 следует, что почти все траектории непрерыв-
непрерывной СФ ?(t) являются непрерывными (в обычном смысле) функциями.
Очевидно, что для каждого to Е Т
т.е. непрерывная СФ ?(t) для каждого to Е Т почти наверное (п.н.)
сходится к ?(?о) ПРИ t —^ to. Соответствующий вид сходимости бу-
будем обозначать ?(t) —'—Ч> ?(to), t —^ to. Таким образом, непрерывная
СФ ?(t) является также почти наверное непрерывной в каждой точке
to Е Т. Заметим, однако, что из п.н.-непрерывности ?(t) на Т в общем
случае не следует ее непрерывность, т. е. непрерывность почти всех ее
траекторий.
Рассмотрение различных видов непрерывности случайных функ-
функций вызвано наличием различных видов сходимости последователь-
последовательностей случайных величин. Кроме того, для различных видов непре-
непрерывности (а также дифференцируемости, интегрируемости и т.д.)
имеются соответствующие критерии, позволяющие установить непре-
непрерывность случайной функции. Для с.к.-непрерывности соответствую-
соответствующий критерий является весьма простым.
Теорема 8.1. Для с.к.-непрерывности случайной функции ?(t)
в точке to Е Т необходимо и достаточно, чтобы Tn^(t) было непре-
непрерывно в точке to, а Щ(г,т) непрерывна в точке (to, to).
Заметим сразу, что из с.к.-непрерывности ?(t) в силу теоремы 8.1
следует, что дисперсия D^(t) = ii^(t,t) — непрерывная функция.
Таким образом, для исследования с.к.-непрерывности СФ
достаточно исследовать непрерывность ее моментных характеристик
первого и второго порядка, что можно сделать, используя стандарт-
стандартные методы математического анализа.
Пример 8.1. Случайная функция ?(t) задана соотношением
где {Vk} представляют собой некоррелированные случайные величи-
величины с параметрами М{Т4} = га*;, D{T4} = Dk, a {<?&(?)} — непрерыв-
непрерывные на Т неслучайные функции. Исследовать ?(?) на непрерывность.
Р е ш е н и е. Заметим, что в силу (8.1) при каждом со G Г2 выполне-
п
но ?(t,cj) = ^2 Vk(u))(fk(t), где P{oj: Vk(oj) < ос} = 1. Таким образом,

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	149
?(?, со) — линейная комбинация непрерывных функций с п.н.-конечны-
п.н.-конечными коэффициентами. Следовательно, ~Р{со: ?(?,с<;) непрерывна} = 1,
т.е. СФ ?(?) непрерывна.
Для исследования с.к.-непрерывности найдем Tn^(t) и -R^(?, т). Оче-
Очевидно, что
к = 1
= Е Dk<pk(t)<pk(r),
k=n=i	fc=i
так как по условию cov{14, V{\ = 0 при к ф I. Отсюда вытекает, что
Tn^(t) и R^(t^r) непрерывны на Т и Т х Т соответственно и, следова-
следовательно, ?(?) с.к.-непрерывна на Т. ¦
Заметим, что в данном примере понятие с.к.-непрерывности и
непрерывности совпадают. Рассмотрим теперь случай, когда ?(?)
в некоторой точке ?о Е Т является разрывной как почти наверное,
так и в среднем квадратическом.
Пример 8.2. СФ ?(?) задана на Т = [0,1] следующим образом:
= Г
Vu если * < 1/2,
У2, если ? ^ 1/2,
где Vi и У2 — независимые одинаково распределенные случайные
величины со средним т и дисперсией D > 0. Исследовать непрерыв-
непрерывность ?(?) в точке ?о = 1/2.
Решение. Для всякого со Е Q выполнено ?(?, со) —)¦ V\(uS) при
? —)> ?о — 0 и ?,{t,uo) —)> Т^(о;) при ? —>• ?о + 0. В силу независимости
{Уь ^} и условия D > 0 имеем: Р{с<;: V\{uS) / Т^(о;)} > 0 и, следо-
следовательно,
V{co\ ?(t,Lj) —> ?(to,uj) при ? —^ ?0} < 1.
Таким образом, ?(i) не является п.н.-непрерывной в точке ?о = 1/2.
Теперь исследуем с.к.-непрерывность ?(?) на Т:
M{Vi}, если t < 1/2,
М{У2}, если t ^ 1/2,
поэтому m^(t) = гд, так как M{Vi} = М{У2} = гтг по условию. Сле-
Следовательно, m^(i) непрерывна на Т. Найдем теперь ковариационную
функцию R^(t,r). Если тах(?,т) < 1/2, то
Аналогично, R^(t,r) = D при тш(?,т) ^ 1/2. Если лее ? < 1/2 ^ т,
то Rg(t,r) = cov{Vi, V2} = 0. Отсюда получаем, что R^(t,r) —)> D при

150	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
t, т —>• to так, что ?,т < to или ?,т > to- Если же ?, т —>• to так, что
t < to, а г > to, то Щ(г, т) —> 0. С учетом D > 0 получаем, что ^(t, т)
разрывна в точке (to, to). Итак, ?(t) не является с.к.-непрерывной
в точке to = 1/2.
Заметим, что если V\ и V2 таковы, что P{Vi = V2} = 0, то
почти все траектории ?(t,cj) терпят разрыв в точке to = 1/2.
Если же P{Vi = V2} = сх > 0, то с вероятностью а траектории
?(?, о;) будут непрерывными. Например, если P{Vi = 1} = р > 0,
a P{Vi = 0} = 1 - р, то P{Vi = V2} = p2 + A - рJ = а > 0. Отсюда
Р{с<;: ?,(t,uj) непрерывна} = а > 0. ¦
Покажем теперь, что СФ ?(t) может быть с.к.-непрерывной даже
в случае, когда почти все ее траектории разрывны.
Пример 8.3. Пусть СФ ?(t) определена на Т = [0,1] следующим
образом:
Г Vi, если t < г,
\ V2, если t ^ г,
где г — случайная величина, равномерно распределенная на Т = [0,1],
VxylVi — гауссовские С В с одинаковыми средними m и дисперсиями
Z) > 0. Случайные величины г, V\ и V2 независимы в совокупности.
Доказать, что СФ ?(t) с.к.-непрерывна на [0,1], хотя почти все ее
траектории разрывны.
Решение. Для вычисления Tfi^(t) введем две вероятностных
гипотезы:
H1 = {t<r} и H2 = {t^ r}.
По условию P{#i} = 1 - t и Р{Я2} = t.
По формуле полного математического ожидания (см. п. 14.5)
имеем
i} + P{#2} M{C(t) | Я2} =
Таким образом, функция m^(i) непрерывна на Т.
Обозначим т\ = max(ti,t2), r2 = min(ti,t2) и рассмотрим следую-
следующие гипотезы:
Я1 = {г1<г}, Я2 = {г2>г}, Я3 = {r2 ^r ^ri}.
По условию P{#i} = 1 - п, Р{Я2} = т2, Р{Я3} = ri - т2 = |ti - t2|.
Вычислим теперь ковариационную функцию

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	151
Для к = 1,2 имеем M{f(*i)f(*2) | Hk} = M{VkVk} = D. Если же
к = 3, то M{C(?i) l(t2) | Щ} = Mj^i V2) = 0 по условию. Итак,
*2) = A - n) D + т2 Я = D A - (п - r2)) = D A - |ti - *2|).
Отсюда Щ{Ь1^2) —> D = R^(t,t) при ti,t2 —>• ? для всякого t ET. Та-
Таким образом, ?(?) с.к.-непрерывна всюду на Т.
Покажем теперь, что почти все траектории СФ ?(t) разрывны.
Итак, если 0 < г (со) < 1 для некоторого ио G Г2, то в точке ? = г (со) тра-
траектория ?(?,и;) изменяет свое значение с V\(co) на Т^(а;). По условию
P{cj: 0 < г (а;) < 1} = 1 и P{cj: ^(cj) / V2(co)} = 1. Поэтому
Р{со: ?(tu и) ф ?(t2,u) Для *i < г (а;) < t2} = 1,
что означает разрывность траекторий ?(?) с вероятностью 1. ¦
Пусть теперь ^(t) G Шр при каж:дом t Е Т, где р ^ 1. В этом случае
?(?) называется р-мерной случайной функцией.
Определение 8.5. р-мерная СФ {^(t), t G Г} называется
с. к.-непрерывной в точке to Е Т (на Т), если все ее компоненты
{?&(?), /с = 1, ... ,р} с.к.-непрерывны в точке to Е Т (на Т).
Пример 8.4. Пусть Л = {Ai, ..., Ар}* Е Шр — неслучайный век-
вектор, а ?(?) — с.к.-непрерывная р-мерная СФ. Показать, что случайная
р
функция rj(t) = А*?(?) = ^ ^k?k(t) с.к.-непрерывна на Т.
Реп1ение. Функция m^it) = ^ \kmk(t) непрерывна на Т, как
fc=i
линейная комбинация непрерывных функций mk(t) = М{^(?)}. Ис-
Исследуем теперь непрерывность ковариационной функции R^t^r) =
р р
= J2J2Xk^Rki(t,r), где Rki(t,r) = cov{^k(t)^i(r)}. Из леммы
fc=i/=i
Лоэва (см. п. 14.4) следует, что если ?&(?) ') Cfc(^o)? 6(т) '> 6(^о)
при t, г —>• to 5 то
Таким образом, функции Rki(t,r) непрерывны в произвольной точке
(to, to) и, следовательно, R^t, r), как линейная комбинация непрерыв-
непрерывных функций, также непрерывна. Теперь из теоремы 8.1 следует, что
rj(t) с.к.-непрерывна на Т. ¦
Замечание. Заметим, что если в примере 8.4 СФ ?,k(t) непре-
непрерывны, то rj(t) также непрерывна, поскольку все ее траектории суть
р
линейные комбинации непрерывных функций: r](t,co) = ^ \k^k(t^co).
fc=i

152	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Действительно,
р
Р{о;: rj(t,Lj) непрерывна} = Р{ Q {си: ?k(t,uj) непрерывна}} = 1,
к=1
что и означает непрерывность СФ rj(t).
В заключение данного пункта рассмотрим одно утверждение, по-
позволяющее судить о непрерывности траекторий ?(?). Для этого нам
понадобится следующее определение (см. также п. 1.3).
Определение 8.6. Случайные функции ?(?) и rj(t) называются
стохастически эквивалентными на Т, если
Г{со: ф,и) ф 7i(t,u)} = О VteT.
Можно показать, что стохастически эквивалентные СФ имеют
одни и те же конечномерные распределения и, следовательно, все их
вероятностные характеристики совпадают (см. п. 1.3).
Теорема 8.2 (Колмогоров). Пусть ^(t) — случайная функция,
принимающая числовые значения и заданная на отрезке Т = [а, Ь].
Если существуют положительные константы К, а и /3, такие, что
для всех t,r Е Т
mo найдется непрерывная случайная функция ?(?), стохастически
эквивалентная ?(?).
Обычно на практике стохастически эквивалентные случайные
функции отождествляют, т. е. подразумевается, например, что вместо
?(?) в расчетах используется ее непрерывная модификация ?(t) (если,
конечно, последняя существует).
Пример 8.5. Пусть ?(?) — гауссовская СФ, такая, что m^(t) = 0
и М{|?(?) - ?(т)|2} = \\t - т\ для всех ?,т G Т = [0,1]. Показать, что
?(?) имеет непрерывную модификацию.
Решение. Пусть п = ?(?) — ?(т). В силу гауссовости ?(?) случай-
случайная величина г/ такж:е является гауссовской, причем М{?7} = m^{t) —
-	m^r) = 0, а D{r?} = M{|C(t) - ?(т)|2} = A|t - т\ = Dv. Известно,
что для центрированной гауссовской величины справедливо равенство
М{п4} = Щ. Поэтому М{п4} = М{\ф) - ^(т)|4} = Щ = 3A2|t -
-	т|2. Если положить « = 4, /3 = 1иК = ЗА2, то М{|? (?) - <f(r)|a} =
= K\t — г|1+^и требуемое утверж:дение следует из теоремы 8.2. ¦
Заметим, что в условиях примера 8.5 СФ ?(t) также является
с.к.-непрерывной, так как НтМ{|?(?) — С(г)|2| = A lim \t — r\ = 0, т.е.
t—Ьт	t—Ьт
?(t) —'—^ ?,(r)i t —Ь т для любого т G Т. Более того, если в условиях
теоремы 8.2 потребовать, чтобы а ^ 2, то СФ ?(?) будет одновременно
с.к.-непрерывной и потраекторно непрерывной.

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	153
8.2. Дифференцирование случайных функций. Для СФ по-
понятие дифференцируемости и, следовательно, производной молено
ввести различными способами. Мы будем рассматривать производные
двух видов: производную в среднем квадратическом (с.к.-производ-
(с.к.-производную) и потраекторную производную.
Пусть ?(?) — гильбертова СФ, определенная на открытом интер-
интервале ТСМ1, имеющая среднее т^ (t) и ковариационную функцию
я« (*,«)•
Определение 8.7. Случайная величина ?(to) называется
с.к.-производной случайной функции ?(t) в точке tg Е Т, если
Если указанный с.к.-предел существует, то СФ ?(t) называется
с.к.-дифференцируемой в точке to-
Если ?(t) с.к.-дифференцируема в каждой точке t E Т, то будем
говорить, что ?(t) с.к.-дифференцируема на Т, а семейство случайных
величин {?(?), t Е Т} будем называть с.к.-производной СФ ?(t) на Т.
Теорема 8.3. Для того чтобы случайная функция ?(t) была
с.к.-дифференцируемой в точке to E Т, необходимо и достаточно,
чтобы существовали производная —^^- в точке to и обобщенная
at
смешанная производная второго порядка — ^ '—- в точке (to,to).
Замечание. Обобщенная производная определяется как
-|- /I, to) — -Tt^to, to ~h 0) -\- xt^to, to) I •
dtdr
Достаточным условием существования обобщенной сменсанной
производной является непрерывность хотя бы одной из частных про-
д (дЩ(г,т)\ д
изводных: т— 	77—
dt V дт
Если ?(i) дифференцируема на Т, то ее с.к.-производная ?(?) имеет
математическое олсидание rnAt) и ковариационную функцию -R^(t, т),
определяемые формулами
Пример 8.6. Пусть центрированная СФ ?(t) имеет ковариацион-
ковариационную функцию R^{t,r) = 2e~a^~r) , где а > 0. Вычислить дисперсию
D^{i) ее с.к.-производной ?(?)

154	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение. Поскольку Tn^(t) = 0, a it^(t,r) бесконечно диффе-
дифференцируема, СФ ф) с.к.-дифференцируема в силу теоремы 8.3. Для
нахождения RAt^r) воспользуемся формулой (8.3):
Следовательно,
и дисперсия ф) вычисляется по формуле Dg(t) = R^(t,t) = 4а. Ш
Критерий с.к.-дифференцируемости весьма легко проверяем и по-
позволяет также определить математическое ожидание и ковариацион-
ковариационную функцию с.к.-производной. К сожалению, явный вид с.к.-про-
с.к.-производной в общем случае, используя только результат теоремы 8.3,
получить не удается. Поэтому нам понадобится следующее определе-
определение.
Определение 8.8. Случайная функция ?(?) называется диффе-
дифференцируемой (потраекторно) на Т, если почти все ее траектории —
дифференцируемые функции, т. е.
Р{с<;: ?(t,u)) дифференцируема на Т} = 1.
Очевидно, что если ? (t) — потраекторная производная ?(?), а
ф) — с.к.-производная, то P{f'(?) = ?(*)} = 1, т.е. СФ ф) и ?(i)
стохастически эквивалентны. Действительно, при всяком t G Т в силу
совпадения с вероятностью 1 пределов [ф + К) — Ф)]/Ь, —'—^ ? (?) и
[Ф + h)- ф)]/Н ^^ ф) справедливо ф) = ?(i) (Р-п.н.).
Пример 8.7. СФ ф) задана соотношением (8.1), т.е.
k=l
где {(fkit)} — неслучайные дифференцируемые функции, a {V&} —
случайные коэффициенты, причем MJV^2} < оо, к = 1, ...,п. Найти
с.к.-производную Ф).
Решение. Из (8.4) следует, что траектории ф, lj) СФ ф) имеют
п
вид ?(?,и;) = ^ Vk(oo)(pk(t), t G Т, поэтому ? (t) существует и имеет
траектории ?;(t,c<;) = ^ "\4(c<;)(^/c(t), где (^^(t) =	. Отсюда сле-
fe=i
дует, что если ?(?) с.к.-дифференцируема, то ее с.к.-производная

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	155
при каждом t Е Т имеет вид
№ = itV>*Mt) (Р-п.н.).	(8.5)
k=i
В силу MJV^2} < оо из (8.4) следует, что функции
определены и имеют вид
k=l	k=ll=l
где rrik = M{14}, Rki = cov{T4, V/}. Очевидно, что функции
и R^(t^r) дифференцируемы необходимое число раз (как линейные
комбинации дифференцируемых функций). Поэтому ?(t) существует
п
и определяется соотношением (8.5). При этом mAt) = ^ ткфкA), а
n n	к=1
RAt,r) = ^ ^ Rki(pk(t)(pi(r), что вытекает из (8.3). ¦
fc=l/=l
Следующий пример показывает, что операция с.к.-дифференциро-
с.к.-дифференцирования является линейным преобразованием.
Пример 8.8. Для случайной функции ?(?) = ^ #fc?fcW? где а^ —
к=1
числовые коэффициенты, ?&(?) — с.к.-дифференцируемые случайные
функции, вычислить ?(t).
Решение. Вычислим ?(?) по определению 8.7:
при
h	h
к=1	к=1
в силу свойств с.к.-сходимости. Таким образом,
(8-6)
Формула (8.6) показывает, что с.к.-производная линейной комбинации
с.к.-дифференцируемых функций является линейной комбинацией их
с.к.-производных, что и означает линейность операции с.к.-дифферен-
с.к.-дифференцирования, ш
Замечание. Полученный в примере результат может быть обоб-
обобщен в следующем направлении: если детерминированная функция
(f(t) дифференцируема на Т, а СФ ?(t) с.к.-дифференцируема на Т,
то СФ rj(i) = ip(i)?(i) имеет с.к.-производную

156	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Оказывается, что далеко не все случайные функции дифференци-
дифференцируемы далее в среднеквадратическом смысле.
Пример 8.9. Центрированная СФ ?(?) имеет ковариационную
функцию Rg(t,r) = Dm.m(t,r), D > 0. Показать, что она нигде не
дифференцируема в с.к.-смысле.
Решение. По определению
Г t, если t ^ т,
mm(?, т) = <
{ т, если t > т,
поэтому
=
О, если t ^ т,
1? если ? > т.
Отсюда (/?(?, т) —> 0 при т —)> t + 0 и (/?(t, г) —> 1 при т —^ t — 0. Таким
образом, при t = т функция ^(t,r) является разрывной по перемен-
переменной t и, следовательно, производная -^-(t,r) при t = т не существует.
Следовательно, 	 ^Д = ь>	 v —- не определена при t = т ни
для одного ? G М1, т. е. ?(?) нигде не имеет с.к.-производной. Заметим,
что, используя понятие обобщенной производной, можно записать
где S(х) — дельта-функция Дирака. Таким образом, формально
СФ ?(?) является таким случайным процессом, что Яа(г,т) = 0 при
любых t ф т, a Dg(i) = R^(t,t) = .D?@) = оо. Это означает, что се-
сечения СФ ?(t) представляют собой некоррелированные случайные
величины с бесконечной дисперсией. Такой процесс называется белым
шумом (см. п. 1.4). ¦
Если ?(?) — гауссовская СФ, то ?(t) — таклее гауссовская в силу
следующего утверждения.
Теорема 8.4. Если {?(?), t G Т} — с.к.-дифференцируемая гаус-
гауссовская СФ, mo ?(t) таксисе является гауссовской СФ с математиче-
математическим ожиданием и ковариационной функцией, определенными в (8.3).
Пример 8.10. Для гауссовской СФ {?(?), t G Ш1} с математиче-
математическим ожиданием ui^(t) = t и ковариационной функцией R^(t, г) = 4?т
вычислить Р{СB) > 2}.
Решение. По теореме 8.4 ?(?) является гауссовской СФ, причем

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	157
Поэтому при t Е Ш1 сечение ?(?) имеет гауссовское распределение
Л/"B?;4). Следовательно, ?B) ~ ЛГD; 4) и
Р{?B) > 2} = 1 - Ф \ ~т^ ' )=1- #(-1) - 1 - 0,1587 = 0,8413,
X
где Ф(х) = 	 е~ / dt — функция Лапласа (интеграл вероятно-
л/2тг J
— оо
стей) (см. пп. 14.6 и 15.1). ¦
8.3. Интегрирование случайных функций. Понятие инте-
интеграла от случайной функции будем также изучать в двух следующих
вариантах: интеграл в среднеквадратическом смысле (с.к.-интеграл)
и потраекторный интеграл.
Пусть СФ ?(?) определена на Т С Ш1. На отрезке [а, Ь] С Т постро-
построим некоторое разбиение а = tg ^ t\ ^ ... ^ tn—i ^ tn = 6, а на каж-
каждом из промежутков этого разбиения выберем произвольную точку
Определение 8.9. Если при п —>- оо и max (^ — t^_i) —^ 0 су-
существует предел в среднеквадратическом
п	с.к.
не зависящий от способа разбиения {^} и выбора точек {т^}, то
СФ ?(t) называется с.к.-интегрируемой на [а, 6], а случайная вели-
величина г\ называется ее с.к.-интегралом по [а, Ь] и обозначается
77 =
Для с.к.-интегрируемости имеется весьма простой критерий.
ь
Теорема 8.5. Для существования с.к.-интеграла ?(t) dt необ-
а
ходимо и достаточно, чтобы существовали следующие интегралы
Римана:
ъ
Ь,	(8.8)
ъ ъ
/2 =[[R^(t,r)dtdr,	(8.9)

158	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
где
Теорема 8.6. Если СФ ?(t) с.к.-интегрируема наТ, то
= |Щ{г,т)dt, тет,
{b	d	Л	b d
U(i)dt,U(r)dr\ = HR^t,r)dtdT, [c,d\ С Г,
b b
Из определения 8.9 следует, что с.к.-интегрирование является ли-
линейным преобразованием ?(?). Отсюда с учетом свойств с.к.-сходимо-
с.к.-сходимости гауссовских случайных величин (см. п. 14.6) получаем, что если
ъ
?(t) — гауссовская СФ, то с.к.-интеграл ?(t) dt представляет собой
а
гауссовскую случайную величину со средним 1\ и дисперсией /2,
определенными в (8.8), (8.9).
Рассмотрим свойства с.к.-интеграла на примерах.
Пример 8.11. Доказать, что всякая СФ ?(?), с.к.-непрерывная на
конечном промежутке [а, 6], является с.к.-интегрируемой на [а, Ь].
Решение. Если ?(t) с.к.-непрерывна на [а, 6], то функция m^{t)
непрерывна на [а, 6], поэтому 1\ в (8.8) существует как интеграл от
непрерывной функции по конечному отрезку. В силу с.к.-непрерыв-
с.к.-непрерывности ?(t) функция Щ(г,т) непрерывна при t = т. Последнее условие
достаточно для того, чтобы Щ(Ь, т) была непрерывной всюду на [a, b] x
х [а, Ь]. Таким образом, 12 также существует и, следовательно, ?(?)
с.к.-интегрируема на [а, Ь] в силу утверждения теоремы 8.5. ¦
Пример 8.12. Пусть {?(?), t ^ 0} имеет характеристики m^(t) =
= mt, Щ(г, s) = Dts, где D > 0. Вычислить математическое ожидание
и ковариационную функцию случайной функции
»?(*)=

8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	159
Решение. По условию т^ (?), Rg (?, г) непрерывны. Следователь-
Следовательно, ?(?) с.к.-интегрируема на любом конечном промежутке [0,?] при
t ^ 0. Тогда по теореме 8.6 находим:
t
mn{t) = M{V(t)} =
0
t	s	t s
Rv(t,s) = cav{J?(ri)dTi,j?Gs)dr2} = J|
0	0	0 0
t s	t	s
t
= \\ Щ{т1,т2)<1т1йт2 = D \ ndTi \ т2 dr2 = -^t2s2,
0 0	0
D .
Для с.к.-интеграла справедливы многие свойства обычного инте-
интеграла от неслучайных функций.
1) Линейность интеграла:
J E aktk(t) dt = JT ак | 6W dt,	(8.10)
-•k=l	fc=l
где {a^} — неслучайные коэффициенты, а {?,k(t)} — с.к.-интегрируе-
с.к.-интегрируемые на Т случайные функции.
2)	Формула интегрирования по частям:
t	t
| ф(т)?(т) dr = ф)ф) - р(*оЖ*о) - J <р(т)?(т) dr,	(8.11)
to	t0
где ф(т) — непрерывно дифференцируемая неслучайная функция,
а ?(t) — СФ, имеющая с.к.-непрерывную с.к.-производную.
3)	Правило дифференцирования по верхнему пределу: если ?(t) —
t
с.к.-непрерывная СФ, то с.к.-производная СФ rj(t) = ?,(т) dr при
о
каждом t G Т имеет вид
(Р-п.н.).	(8.12)
о
Пример 8.13. Доказать формулу (8.12).

160	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение. Пусть h > 0, тогда
t+h	t	t+h
At, = r,(t + h)-r,(t)= | ar)dr-^(r)dr= J ?(r) dr.
0	0	t
Покажем, что M{\Ar]/h - ?(?)|2} -» 0 при h -> 0.
Если m^(t) = 0, то по теореме 8.6
M{Ar/2} = f f
t t
для некоторых <7i, (J2 G [t, t + /г]. Аналогично, для аз G [t, t + /г]
М{Дту?(?)}=
3, t) -\-R^(t, t) -+ 0 при
h —> 0, так как R^{(Ji^(J2) —t R^t^t), R^(as^t) —> R^(t^t) в силу того,
что &k —> t ПРИ h —>• 0, к = 1, 2, 3, а функция ^(t, т) непрерывна. Итак,
мы показали, что (rj(t -\-К) — rj(i))/h ') ^(t) при h —> 0.
t o	t
Если m^(t) ф 0, то ?7(?) = ^(т) dr + тп^т) dr и по доказанному
о	о
о
7)(?) = С(^) + rn^(t) = €(t)- Формула (8.12) полностью доказана. ¦
Замечание. Пусть ?(?) такова, что почти все ее реализации
интегрируемы по Риману на множестве Т, т. е.
Р{о;: существует интеграл Римана t]R(uj) = ?,(t,uj) dt} = 1.
т
Тогда r]R является случайной величиной (т. е. измеримой функцией
от со). Если же ?(?) является к тому же с.к.-интегрируемой, то по-
траекторный интеграл r]R и с.к.-интеграл r\ = ?(t) dt совпадают с ве-
т
роятностью 1. Сформулированное утверждение зачастую позволяет
явным образом вычислить с.к.-интеграл.
Пример 8.14. СФ ?(t) задана формулой
?(t) = иг sin i/t + U2 cos ft, v > 0, t ^ 0,
где C/i, t/2 — независимые гауссовские случайные величины с нулевым
средним и дисперсией D > 0. Найти явный вид с.к.-интеграла
0

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	161
и вычислить его математическое ожидание m^it) и дисперсию D^it).
Решение. Для и Е ?1 траектория СФ ?(т) имеет вид
?(т, ио) = Ui(uo) sinz/r + U2(uj) cosvt
и является интегрируемой на [0, t] функцией. Поэтому
t
= U
t ^ 0.
Заметим, что ?(t) с.к.-непрерывна, как линейная комбинация непре-
непрерывных неслучайных функций со случайными коэффициентами, име-
имеющими конечные вторые моменты (см. пример 8.1). В силу приме-
примера 8.11 с.к.-интеграл r](t) существует и совпадает с потраекторным
интегралом r]R(t,uo)\
ф) = -[C/i(l-cosi/?) + ?/2smz/?] (Р-п.н.).	(8.13)
Теперь, используя (8.13), нетрудно вычислить m^it) и D^iyi):
mv(t) = -[M{C/i}(l-cosi/t) + M{C/2}sini/t] =0,
x A — cosvt) smvt] = — [A — cosz/tJ + sin2 i/t] = —^-A — cosvi).
Таким образом, при каж:дом t ^ 0 случайная величина rj(t) является
гауссовской с распределением A/"@;2D(l — cosz/t)/z/2), как с.к.-инте-
с.к.-интеграл от гауссовской СФ
8.4. Дифференциальные уравнения со случайной правой
частью. Введенные выше понятия с.к.-производной и с.к.-интеграла
позволяют рассмотреть проблему корректного описания линейного
дифференциального уравнения со случайными возмущениями в пра-
правой части и случайными начальными условиями:
= a(t)ri(t) + 6(t)e(*), t ^ 0,	(8.14)
r/@) = v,	(8.15)
где rj(t) — с.к.-производная rj(i), ?(?) — с.к.-непрерывная при t ^ 0
случайная функция, a(t), b(t) — непрерывные неслучайные функции,
а v — некоторая случайная величина.
11 Б.М. Миллер и А.Р. Панков

162	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Определение 8.10. Случайная функция rj(i), ?^0 является
решением уравнения (8.14) с начальным условием (8.15), если при
каждом t ^ 0 выполнено
t	t
ф) = у + | а(г)ф) dr + | Кт)С(г) dr,	(8.16)
о	о
где в правой части (8.16) все интегралы понимаются в с.к.-смысле.
Для явного построения решения (8.16) введем вспомогательную
неслучайную функцию 0(t):
Г 9(t)=a(t)e(t), *>0,
I 0@) = 1.
Известно, что 6(t) из (8.17) такова, что 0(t) Ф 0 при любом t ^ 0,
если a(t) кусочно непрерывна. Следующий пример показывает, как
выглядит общее решение уравнения (8.14).
Пример 8.15. Доказать, что случайная функция
= O(t)v + 0{t) | в-^тЩт^т) dr,	(8.18)
о
где 6{t) — решение уравнения (8.17), удовлетворяет уравнению (8.14).
Решение. Для доказательства вычислим с.к.-производную rj(t)
функции rj(i), определенной в (8.18), пользуясь полученными в пре-
предыдущих пунктах свойствами операции с.к.-дифференцирования:
= jt [o(t) v + e{t) | е-1(т)ь(тШт)
0
t	t
= 9(t) v + e(t) f 6» (rN(r)C(r) dr + 0(t) -?¦ f f в-г(т)Ъ(т)?(т) dr].
j	(XL LJ	J
о	о
Применяя правило дифференцирования с.к.-интеграла по верхнему
пределу (8.12) с учетом 6(t) = a(tN(t), получаем
t
rj(t) = a(t)\0(t)iy-\-0(t) [e^CtWr^Mdr] +
L	J	J
о
\	= a(t)V(t)

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	163
Таким образом, rj(t) удовлетворяет (8.14) при всех t > 0. Осталось
проверить выполнение начального условия: 7/@) = 6@I/ = z/, посколь-
поскольку 6@) = 1 в силу (8.17). Итак, ri(t), определенная в (8.18), является
решением задачи (8.14)—(8.16), что и требовалось доказать. ¦
Выражение (8.18) позволяет выписать явный аналитический вид
решения уравнения (8.14) во многих практически важных случаях.
Пример 8.16. СФ r?(?), t ^ 0 удовлетворяет уравнению
•q{t) = аф) + ?, 7/@) = i/,	(8.19)
где ?, v образуют гауссовский случайный вектор, причем тп^ = {}
mv = M{z/}, Dg = D{?}, Dv = D{i/}, p = cov{?, г/}. Найти закон рас-
распределения случайной величины rj(t) при любом t > 0.
Решение. В данном случае для 6(t) имеем
0(t) = a6(t), 0@) = 1,
поэтому 6(t) = eat. Общее репгение (8.18) уравнения (8.19):
t	t
v(t) = eati/ + eat I e~aTi dr = eati/ + ?ea* | e"at dr = eati/ + ^ (
Таким образом, rj(t) — гауссовская случайная величина, как линейное
преобразование гауссовского случайного вектора {г/,?}*, т.е. rj(t) ~
~ ^[(m^t)] D^t)), где параметры m^t) и D^t) определяются следу-
следующим образом:
m4(t) = M{V(t)} = eatmv + ^ (eat - l) ,
Dn{t) = T>{rj(t)} = e2atDv + g- (eat - lJ + ^ (e2a* - eat) . ¦
Замечание. Рассмотрим асимптотическое поведение решения
уравнения (8.19) при t —>• 00. Если a < 0, то
7/(?) '> р- при t —^ оо,
поскольку eati/ ') 0 и ^ (eat — 1) /а ') ^/|ск|. Таким образом,
дифференциальная система (8.19) выступает по отношению к вход-
входному сигналу ? как усилитель с коэффициентом усиления к = 1/|ск|,
если время t достаточно велико.
Заметим, что в случае, когда СФ ?(t) имеет кусочно непрерывные
(следовательно, интегрируемые) траектории, формула (8.18) может
11*

164	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
рассматриваться как потраекторное решение уравнения (8.14), т.е.
для почти всех и G ?1 выполнено
t
ri(t, u>) = 0{t)v{uj) + 0{t) 10 (т)Ь(т)?(т, Ш) dr.	(8.20)
0
Формула (8.20) задает «пучок» реализаций решений уравнения
(8.14), который может быть получен, например, непосредственным ре-
решением обыкновенных дифференциальных уравнений, описывающих
каждую траекторию:
Рассмотрим теперь векторный случай, когда система (8.14) состо-
состоит из п линейных дифференциальных уравнений:
r,(t)= A(t)rj(t) + B(t)at), t>0,
= v,
где rj(t) — с.к.-производная n-мерной СФ r)(t), ?(t) — m-мерная
с.к.-непрерывная СФ, v — n-мерный СВ, а матричные функции
A{t) G MnXn, B(t) G RnXm имеют неслучайные кусочно непрерывные
компоненты.
Общее решение уравнения (8.21) имеет вид
(8.22)
где в(?) — матричная функция Коши, удовлетворяющая системе
однородных дифференциальных уравнений
1 е(о) = /,
S~1(t) — матрица, обратная к в(?). Интеграл в правой части (8.22) по-
понимается в с.к.-смысле и применяется к случайной векторной подын-
подынтегральной функции покомпонентно. Заметим, что Э-1(?) существует
при каждом t ^ 0, если A(t) имеет кусочно непрерывные компоненты.
Пример 8.17. Вычислить математическое ожидание m^i) и ко-
ковариационную матрицу Kfjft) решения rj(t) системы (8.21), считая, что
при каждом t ^ 0 случайные величины z/, ?(t) являются некоррелиро-
некоррелированными, а функции m^(t), ^(?1,^2) известны.

§ 8]	ЭЛЕМЕНТЫ АНАЛИЗА СЛУЧАЙНЫХ ФУНКЦИЙ	165
Решение. Применим к обеим частям (8.22) оператор математи-
математического ожи дания:
t
т„(*) = M{r}(t)} = M{0(t)i/} + 6(t) М^в-^тЩтШт) dr} =
Из последнего соотношения следует, что m^ii) является решением
системы обыкновенных дифференциальных уравнений
m^t) = A^m^t) + B(t)rri?(t)
с начальным условием 777,^@) = mv.
Аналогично, для K^ft) = cov{?7(t), f](t)} с учетом некоррелирован-
некоррелированности v и ?(?), t ^ 0 получаем
t t
о о
t t
0 0
где Rv = cov{z/, г/}, а Щ(т1,т2) = cov{?(ti),?(t2)}. К сожалению,
в общем случае матрица K^it) не является решением какого-либо
дифференциального уравнения.
Если же предположить, что Щ{т\, т2) = V^ti) ^(г2 — ti), где
У (t) — функция, значениями которой являются неотрицательно-опре-
неотрицательно-определенные матрицы, то говорят, что ?(?) — m-мерный белый шум
с матрицей интенсивностей V(t). Подставив формально
в выраж:ение для Kv(t), получим
*(t). (8.23)
Мож:но показать, используя определение матрицы О(?) и диффе-
дифференцируя обе части (8.23) по ?, что
Г Kr,(t) = A(t)Kr,(t) + Kv(t)A*(t) + B(t)V(t)B*(t),
\ Kv@) = Rv.

166	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Заметим, однако, что правомочность проделанных выкладок
в рамках рассмотренной теории с.к.-интегрирования мы обосновать
не можем. Это будет сделано далее, в § 11, посвященном теории
стохастических дифференциальных уравнений. ¦
8.5. Задачи для самостоятельного решения.
1.	Доказать, что r](t) = (p(t)t;(t) + ф(г) — с.к.-непрерывная СФ, если (p(t),
ф(г) — непрерывные детерминированные функции, a ?(t) — с.к.-непрерыв-
с.к.-непрерывная СФ.
2.	Пусть СФ ?(?) с.к.-непрерывна на конечном промежутке Т = [а, Ь].
Доказать, что найдется такое конечное С, что М{|?(/;)|2} ^ С для любого
t е Т.
3.	Известно, что ?(?) = 0 с вероятностью 1 при каждом t E Т. Показать,
что в этом случае существует константа cGl1, такая, что ?(t) = с (Р-п.н.)
при каждом t (E Т.
4.	Найти с.к.-производную ?(?) для СФ ?(?) = Asm(vt + ip), где A,ip —
случайные величины с конечными вторыми моментами, ai/ = const.
Ответ. ?(t) = Avcos(vt + ф).
5.	Доказать, что из с.к.-дифференцируемости СФ ?(?) следует ее
с.к.-непрерывность, а обратное утверждение неверно.
6.	Доказать, что R^(t,r) = cov{f(t), ?(т)} = ^ф^.
7.	Показать, что центрированная гауссовская случайная функция ?(?)
R^(t,s) = A + \t — 5|)е~'*~в' является с.к.-дифференцируемой, доказать
независимость сечений ?(?) и ^(t).
Указание. Показать, что R^(t, s) = A — \t — s\) е~'*~8' и R^(t,s) =
= (t-s)e-|t-e|.
8.	Пусть центрированная СФ ?(?) имеет ковариационную функцию
т
R^(t,r) = a2tr. Вычислить М{ту2}, где ту = [ f (t) sinGrt/T) eft.
о
Ответ. сг2Т4/тг2.
9.	Привести пример СФ, которая не является с.к.-непрерывной на от-
отрезке, но тем не менее с.к.-интегрируема на нем.
Указание. Воспользоваться результатом примера 8.2.
10.	Доказать, что если СФ ?(t) с.к.-дифференцируема, а ?(?) с.к.-непре-
с.к.-непрерывна, то для с.к.-интеграла справедлива формула Ньютона-Лейбница:
(T)dT = Z(t)-Z(to) (Р-П.Н.).
Указание. См. пример 8.13.
t
11.	Вычислить дисперсию интеграла f](t) = С(т) dr, если СФ ?(t) имеет
о
ковариационную функцию R^(t,r) = De~a^~T\

9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	167
Ответ. DM) = — \t+-(e~at -1)}.
a I a	J
12. Пусть ?(?) = Ut -\-V, где U,V — случайные величины с конечными
вторыми моментами. Решить дифференциальное уравнение
T)(t) + drj(t) = /3?(t), 77@) = О,
где а, /3 — постоянные коэффициенты.
Ответ. n(t) = \ (e~at + ta - l) U +- (l - e~at) V.
9. Стационарные случайные функции
9.1. Основные характеристики стационарных случайных
функций. Рассмотрим комплексную гильбертову случайную функ-
функцию ?(?), где время t пробегает множество всех вещественных чи-
чисел R1.
Определение 9.1. Случайная функция {?(?), t G М1} называет-
называется стационарной в широком смысле, если для любых ?, т G М1
М{?(*)} = М{?@)} , cov{^ + r),e(r)} = cov{^)^@)}. (9.1)
В дальнейшем стационарные в широком смысле функции будем
кратко называть стационарными случайными функциями (ССФ).
Кроме того, не ограничивая общности, предположим, что М{?(?)} = 0.
Определение 9.2. Комплексная функция
iJe(t) = cav{?(tU(O)}, teK1,	(9.2)
называется ковариационной функцией стационарной случайной
функции ?(?).
Из (9.1), (9.2) следует, что для любых ?, s G Ш1
- s).
Ковариационная функция R^(t) обладает свойствами, которые выте-
вытекают непосредственно из определения 9.2 и из общих свойств ковари-
ковариационной функции (см. п. 2.2):
1) ковариационная функция является неотрицательно-определен-
неотрицательно-определенной, т. е. для любых z\, ..., zn G С и t\, ..., tn G Ш1, n ^ 1, имеет место
неравенство

168	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
2) дисперсия D^ ССФ ?(?) постоянна и имеет вид
3) ковариационная функция Щ(г) является эрмитовой, т.е.
—t) = R^(t) для всех t G R1;
4)	\Щ(г)\ ^ Rz(O) для всех t G R1;
5)	|-R^(t) — ii^(s)|2 ^ 2R^@)[R^@) — HeR^(t — s)] для всех ^sGi1;
6)	ковариационная функция непрерывна всюду на Ш1, если она
непрерывна в точке t = 0.
Так же как и в случае дискретного времени, ковариационная
функция ССФ имеет спектральное представление.
Теорема 9.1 (Бохнер, Хинчин). Пусть {?(?), tGM1} — ССФ
с непрерывной ковариационной функцией R^(t). Тогда найдется
однозначно определенная вещественная ограниченная, монотонно
неубывающая функция i^(A), AgM1, непрерывная справа на Ш1 и
Ft(-oo) = 0, такая, что
(9.3)
Функция i^(A), определенная в теореме 9.1, называется спек-
спектральной функцией ССФ ?(?). Если F^(X) при каж:дом A G М1 пред-
ставима в виде
л
то вещественная функция f^(y) называется спектральной плотно-
плотностью ССФ ?(?). В этом случае Д(А) = —-F^(A) почти всюду на М1,
с/А
причем в силу монотонности -F^(A) спектральная плотность
неотрицательна. Кроме того, из (9.3) следует, что
tGM1,	(9.4)
поэтому дисперсия стационарной функции ?(?) имеет вид

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	169
Замечание. Введенные названия для спектральных характери-
характеристик i^(A) и Д (А) объясняются тем, что параметр А ЕЁ1 имеет смысл
частоты, а представление (9.3), называемое спектральным разложе-
разложением ковариационной функции, показывает распределение энергии
стационарной функции по частотам спектра.
Связь спектральных характеристик с ковариационной функцией
ССФ описана в следующей теореме.
Теорема 9.2. Пусть {?(?), t G М1} — стационарная случайная
функция с непрерывной ковариационной функцией Щ (?). Тогда
1) для любых точек непрерывности А, //, А ^ /j, спектральной
функции -F^(A) выполнено равенство
-Т
2) если ковариационная функция R^{t) интегрируема на М1, т. е.
\Rt(t)\dt< оо,	(9.5)
то спектральная плотность Д(А) существует и определяется
обратным преобразованием Фурье ковариационной функции:
e~iXtRt(t)dt.	(9.6)
Замечание. Для вещественной ССФ ?(i) ее ковариация
вещественная функция, причем условие эрмитовости превращается
в условие четности:
Тогда в силу (9.6) спектральная плотность принимает вид
Д(А) = - [ cos\tRz(t)dt, AEl1,
о
поэтому fg(А) такж:е является четной функцией, т. е. Д(А) = /%(—А), а
спектральная функция i^(A) имеет симметричные относительно нуля
приращения:

170	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
В этом случае формула (9.4) принимает вид
оо
= 2 [ cos At fe(\)d\, teR1.	(9.7)
о
Используя понятие интеграла по ортогональной стохастической
мере (см. п. 14.8), молено получить спектральное представление для
стационарной случайной функции, аналогичное разложению для ста-
стационарной последовательности.
Теорема 9.3. Пусть {?(?), t GM1} — ССФ с ковариационной
функцией Щ(г), допускающей спектральное разложение (9.3). То-
Тогда существует такая ортогональная стохастическая мера Zg(d\),
определенная на борелевской а-алгебре ^(М1), что имеет место пред-
представление
(9.8)
при этом для любого борелевского множества A Е Б(М})
(9.9)
Замечание. Если ?(t) имеет спектральную плотность Д(А), то
формула (9.9) принимает вид
9.2. Примеры ССФ. Приведем примеры некоторых наиболее
часто встречающихся ССФ, поясняющие введенные выше определе-
определения и модели.
Пример 9.1. Спектральная плотность вещественной ССФ
имеет вид
{2
h при |л|^Ло'
0 при |А| > Ао,
где Ао > 0. Вычислить ковариационную функцию и дисперсию

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	171
Решение. В силу четности спектральной плотности по форму-
формуле (9.7) для t ф 0 имеем
2 А°
Г	гг Г	гт
= 2 cos At fe(X) dX =— cos XtdX= —sinAot;
J	7Г J	Tit
о
о
Замечание. Отметим, что ковариационная функция обращается
в нуль в точках т\~ = тг/г/Ао, к Е Z. Это означает, что сечения
?(? + т&) — некоррелированные. Если Ао достаточно велико, то
называют широкополосным белым шумом и используют для аппрок-
аппроксимации белого шума с непрерывным временем (см. далее пример 9.3).
Пример 9.2. Существует ли стационарная случайная функ-
функция ?(?), имеющая ковариационную функцию
{а2 при \t\ ^ t0,
0 при \t\ > t0,
где сг > 0, t0 > 0?
Решение. Предположим, что такая ССФ существует. Так как
ее ковариационная функция удовлетворяет (9.5), ?(t) должна иметь
спектральную плотность
оо	2 *о	2
Д(А) = — [ e-iXtRe{t)dt= — [cos At (it = ^- sin At0.
2тг J	7t J	ttA
-oo	0
Теперь видно, что условие Д(А) ^ 0 не выполнено, поэтому Д(А) не
мож:ет быть спектральной плотностью. Таким образом, ССФ с задан-
заданной ковариационной функцией не существует. ¦
Пример 9.3. В гл.1 обсуждалось понятие стационарного белого
шума как процесса ?(t), имеющего ковариационную функцию
= a25(t).
Вычислить спектральную плотность для
Решение. Формально применяя преобразование Фурье к дельта-
функции, получаем

172	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Замечание. В данном параграфе мы будем далее использовать
понятие стационарного белого шума как процесса, имеющего постоян-
постоянную спектральную плотность во всем диапазоне частот — оо < Л < оо.
Пример 9.4. Ковариационная функция R^(t) ССФ ?(?) имеет вид
где D > О, а > 0. Показать, что ?(t) имеет спектральную плотность,
и вычислить ее.
Решение. Функция Щ (t) удовлетворяет условию интегрируемо-
интегрируемости (9.5), поэтому существует спектральная плотность
fj\) = ±_ [ e~iXtR^t)dt= ^- \ e
2тг J	2тг J
-sJ"
ОО
— iXt — ah
С?(е-« + е^)д4(Л+ Х '	^
2тг \гЛ + ск —гЛ + a/ тг(а2 + Л2)'
Замечание. Параметр а характеризует скорость уменьшения
корреляции между сечениями, поскольку при t ^> 1/а выполняется
Щ(г) ~ 0. Если сечения процесса не коррелируют при близких зна-
значениях ?, ?;, то такой процесс может быть хорошей моделью белого
шума. Действительно, если D и а стремятся к бесконечности так,
что D/а —> а2 > 0, то спектральная плотность Д(Л) приближается
к постоянной спектральной плотности а2 /тг во всем диапазоне частот
—оо < Л < оо.
Пример 9.5. Пусть ф) = f @) g(t), где М{?@)} = 0, D{?@)} = 1
и g(t) — некоторая комплексная неслучайная функция. При каких
условиях на g(t) случайный процесс ?(t) стационарен? Определить
ковариационную функцию такого процесса.
Решение. Из условия стационарности получаем соотношение
g(t)g(s)=g(t-s)g(O),
откуда (если использовать представление функции g(t) = p(t)
вытекает, что
p(t) = \д@)\ = 1, <p(t) - <p(t -s)= ф)
Если предполож:ить, что tp(t) дифференцируема в точке t = 0, то
откуда следует, что
g(t) = e
= eiXot

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	173
Поэтому ковариационная функция процесса ?(t) = ?@) е ot принима-
принимает вид
= eiXot.
Пример стационарной случайной функции можно построить, задав
ее непосредственное разложение по гармоническим функциям. Следу-
Следующий пример является обобщением предыдущего.
Пример 9.6. Рассмотрим случайную функцию
к=1
где — оо < Хк < оо — неслучайные различные числа, a Zk — некорре-
некоррелированные случайные величины, такие, что M{z^} = 0 и
<оо.	(9.10)
к=1
Показать, что ?(t) стационарна, определить ее ковариационную
функцию и построить ее спектральное разложение.
оо
Решение. Ряд ?(?) = ^ ZkelXkt сходится в среднеквадратиче-
к=1
ском смысле для любого t G М1 в силу условия (9.10). Из условия
центрированности и некоррелированности величин {z&} получаем
= 0 и
cov{?(i),?(s)} = М{
к=1	1=1
к=11=1	к=1
где а%, = MJIz^l2}. Таким образом, случайная функция ?(?) является
стационарной, а ее ковариационная функция имеет вид
(9.11)
fc = l
Соотношение (9.11) задает спектральное разлож:ение для Щ(г) и опре-
определяет соответствующую спектральную функцию
= E ^-
к: Afe^A

174	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Функция -F^(A) — кусочно непрерывная со скачками (в точках А&),
равными F^(Xk) — F^(Xk-) = а%, к = 1,2,... Заметим также, что фор-
формула, задающая ?(?) в условии данного примера, описывает спек-
спектральное разложение ?(t) вида (9.8), где ортогональная стохастиче-
стохастическая мера определяется выражением Z^(B) = ^ zk для любого
множества В G ^(М1). ¦	к: \кев
Следующий пример описывает модель, которая часто использует-
используется в теории случайных процессов, связанных с передачей информа-
информации, моделями надежности и массового обслуживания.
Пример 9.7. Пусть 0 = то ^ т\ ^ т^ ^ ... — случайные моменты
времени, образующие пуассоновский поток интенсивности Ао > 0, т. е.
{t/c+i — т&, к = 0,1, 2, ... } независимы и распределены по экспонен-
экспоненциальному закону с параметром Ао- Случайная функция ?(?) имеет
следующую структуру:
ф) = Ук, при te[rk,rk+1), к = 0,1,2,...,
где \Ук\ — последовательность центрированных некоррелирован-
некоррелированных случайных величин с одинаковыми дисперсиями D{14} = D > 0.
Предположим также, что величины {Vk} не зависят от моментов
времени {ту}. Показать, что случайная функция ?(?) является ста-
стационарной, и вычислить R{) Д(А)
Решение. Пуассоновский поток будет подробно описан в п. 12.1.
Здесь же нам понадобится следующее его свойство: если X — слу-
случайное число точек потока {т^}, попавших в промежуток [s,t),
где 0 ^ s < ?, то X имеет распределение Пуассона с параметром
S = Xo\t — s\:
xrn 6
Р{Х = т} = ——, m = 0,1, 2, ...
Для фиксированного t ^ 0 события Hk{t) = {t G [т^,г^_|_1)}, к =
= 0,1, 2, ..., образуют систему вероятностных гипотез (см. п. 14.1).
Тогда, применяя формулу полного математического ожидания, полу-
получаем
= Е
k=0
P{Hk(t)} = о.
k=0	fe=0

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	175
Для заданных 0 ^ s < t события {Hk(s)Hi(t), fc, / = 0,1, 2, ... } — так-
также система вероятностных гипотез, поэтому
к=0 1=0
где при к = I
М{?(*)?(я) | tffe(s)tffe(i)} = M{yfe2 | tffe(S)tffe(t)} = M{142} = D,
а при к ф I
M{?(t)?(s) | Hk(s)Ht(t)} = M{VkVt | Нк{з)Щ{1)} = т{УкУг} = 0.
Тогда cov{?(?),?(s)} = D~P{H}, где событие Н имеет вид
оо
Я = IJ Hk(s)Hk(i) = {тк ? [s,i) ни при каком к ^ 1} = {X = 0}.
к=0
Следовательно, cov{?(?),?(s)} = De~Ao|t~s| = Щ(г - s). Таким об-
образом, ?(t) — ССФ с ковариационной функцией Щ(г) = De~x°^ и
спектральной плотностью Д(А) = 2	—- (в силу примера 9.4). ¦
7г(Л0 + Л )
Замечание. Если в условиях примера 9.7 величины {V^} имеют
распределение Р{Т4 = 1} = Р{Т4 = —1} = 1/2, то случайный процесс
() называют телеграфным сигналом.
9.3. Линейные преобразования ССФ. Представим себе неко-
некоторую систему 5, осуществляющую преобразование сигналов, т. е.
функций, зависящих от времени. Функция, которая должна быть
преобразована, называется входом, а функция, которая получается
в результате преобразования, называется выходом системы S. Всякая
система задается классом С допустимых функций на входе и опера-
оператором L(X) = У, где X — допустимый вход, a Y — соответствующий
выход системы.
Определение 9.3. Система называется линейной, если
1)	класс С есть линейное пространство;
2)	оператор L является линейным, т. е. удовлетворяет принципу
суперпозиции:
L(aX1+f3X2) = аЦХг) +/3L(X2) Va,/3 G М1, ХЪХ2 е С.
Оператор L называют также линейным преобразованием.

176	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Пусть ССФ ?(?) имеет спектральное разложение (9.8) в виде ин-
интеграла по ортогональной стохастической мере Zg(d\), а -Р^(А) — ее
спектральная функция. Пусть также задана некоторая комплексная
функция Ф(А), A Е М1, такая, что
\Ф(Х)\2 dF^X) <oo.	(9.12)
Определение 9.4. Если случайная функция {С(^)? ?ЕМ } до-
допускает представление
оо
С(?) = [ ешФ(А)^(^А),	(9.13)
где Ф(А) удовлетворяет условию (9.12), то говорят, что ?(?) получена
из ?(?) с помощью стационарного линейного преобразования. Функция
Ф(А) в (9.13) называется частотной характеристикой этого преобра-
преобразования.
Непосредственными вычислениями нетрудно убедиться, что
оо
DC= | |Ф(Л)|2^(Л),	(9.14)
FC(A)= | |ФИ|2^И, А еМ1.	(9.15)
— оо
Если же ССФ имеет спектральную плотность Д(А), то ((t) такж:е
имеет спектральную плотность /<^(А), причем
/С(Л) = |Ф(Л)|2/€(Л), AGR1.	(9.16)
Если функция Ф(А) удовлетворяет (9.12), то процесс ((t) так-
ж:е является стационарным, причем соотношение (9.13) задает его
спектральное представление. Из свойств стохастического интеграла
(см. п. 14.9) следует, что ковариационная функция процесса ?(?) равна
(9.17)
Замечание. Аналогично случаю дискретного времени (см.
п. 3.3), можно показать, что для всякого t G М1 процесс CW? УДовле~
творяющий (9.13), является либо линейной комбинацией некоторых

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	177
сечений ССФ ?(?), либо с.к.-пределом таких комбинаций. Этим и
объясняется использование термина «линейное преобразование» для
обозначения (9.13). Заметим также, что если линейному преобразова-
преобразованию подвергается гауссовская случайная функция ?(?), а результатом
преобразования является вещественная случайная функция ?(?), то
("(?) — также гауссовская.
В прикладных задачах линейные преобразования обычно задают-
задаются не в частотной форме (9.13), а во временной. Приведенные ниже
примеры показывают, как устанавливается соответствующая связь
между этими описаниями, а также поясняются соотношения между
временными и частотными характеристиками линейных стационар-
стационарных преобразований.
Пример 9.8. Пусть процесс ((t) получен из ?(?) преобразованием
сдвига по времени на Т Е Ш1, т. е.
C(t)=?(t + T), teR1.	(9.18)
Показать, что (9.18) — стационарное линейное преобразование, и
найти его частотную характеристику.
Решение. В силу спектрального представления (9.8)
поэтому функция Ф(А) = егЛТ есть частотная характеристика этого
преобразования. ¦
Пример 9.9. Пусть задана функция /i(?), такая, что
оо
f \h(t)\
\dt< ос.	(9.19)
Показать, что с.к.-интегральное преобразование ССФ {?(s), sGM1}
оо
С(?) = [ h(t-s)?(s)ds, ?еМ\	(9.20)
является линейным стационарным преобразованием, и найти Ф(А).
Решение. Покажем, что ?(?) — гильбертов процесс:
M{|C(i)|2}= J \ h(t-.
— oo —oo
oo oo	oo	2
^ [ [ \h(t - si)| D{ \h(t - s2)\ds1ds2 = dJ [ \h(s)\ds) < oo.
— oo —oo
12 Б.М. Миллер и А.Р. Панков

178	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Поэтому М{?(?)} = h(t — s) ni? ds = 0, так как т^ = 0.
— оо
оо
Если?0) = [ eiX8Zz(d\), то
C(t)= [ h(t-s)( [ eiXsZ$(d\)^jds = f
— оо	—оо
оо
где Ф(А) = h(s)e s ds, причем
Следовательно, (9.20) — стационарное линейное преобразование
с указанной частотной характеристикой Ф(Л). ¦
Замечание. Стационарное линейное преобразование (9.20) ши-
широко используется при решении разнообразных прикладных задач,
связанных с обработкой информации. При этом h(t) обычно называ-
называется весовой функцией преобразования или импульсным откликом.
Пример 9.10. Пусть процесс ?(?) с.к.-дифференцируем. Найти
частотную характеристику преобразования ?(?) ь->• — ?(t) = ?(t) и ко-
ковариационную функцию процесса
Решение. Из общих условий дифференцируемости в среднем
квадратическом следует (см. п. 8.2), что если стационарный случай-
л.л.	d2Rz(t-s)
ныи процесс с.к.-дифференцируем, то существует 	^-	-
otos .
t=s=r
для любого rGR1. Последнее равносильно существованию R^ @), что,
в свою очередь, эквивалентно условию
-Д?@)= X2dFt(X) < ос.	(9.21)
— оо
Воспользовавп1ись результатом примера 9.8, получаем
оо iXh
	Г	 ==		Г	е Z^aAJ.	[v.ZZ)

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	179
Среднеквадратические пределы при /i^O в левой и правой частях
соотношения (9.22) существуют в силу предположения об с.к.-диффе-
ренцируемости ?(?) и условия (9.21). Итак,
= [ i\eiXtZs(d\).	(9.23)
Таким образом, процесс ?(?) получен из процесса ?(?) с помо-
помощью линейного преобразования, имеющего частотную характеристи-
характеристику Ф(А) = г А. В силу условия (9.21) случайный процесс ?(?) является
стационарным, имеет М{?(?)} = 0 и ковариационную функцию
RAt) =
Пример 9.11. Предположим, что стационарный процесс Y(i)
п раз с.к.-дифференцируем. Мы хотим найти т раз с.к.-дифференци-
с.к.-дифференцируемый процесс X(t), связанный с Y{t) линейным дифференциальным
уравнением с постоянными коэффициентами
,	(9.24)
j=o	k=o
где ajt, bj — заданные константы. Требуется определить условия, при
которых X(t) — стационарный случайный процесс, и найти частотную
характеристику преобразования Y(t) i—>- X(t), определяемого (9.24).
Реп1ение. Найдем представление для X{t) в виде линейного
преобразования процесса Y(t) с некоторой частотной характеристи-
характеристикой Ф(А):
оо
X(t)= I eiM<S>(\)ZY(d\),
где Zy{dX) — ортогональная стохастическая мера, дающая разло-
разложение Y(t). Используя спектральное представление для оператора
дифференцирования (9.23), получаем
оо	оо
iM(i\)k<b(\)ZY(d\) y(*)(t)= | eixt(iX)k
12*
= | eiM(i\)k<b(\)ZY(d\), y(*)(t)= | eixt(iX)kZY(d\),

180
СЛУЧАЙНЫЕ ФУНКЦИИ
[ГЛ. III
откуда
3=0
= J е
k=0
где -АB;) и -6B;) — алгебраические многочлены вида
к=0	j=0
Предположим, что многочлен B(z) не имеет чисто мнимых корней,
тогда
И; В(*А)"
По построению X(t) существует и является стационарным, если его
дисперсия конечна, т. е.
A(i\)
B(i\)
dFY{\) < oo.
Если процесс Y(t) имеет спектральную плотность jy(А), то процесс
X(t) таклсе имеет спектральную плотность /х(А) =
В(гХ)
Пример 9.12. Пусть линейная система описывается уравнением
где входной сигнал Y{t) — стационарный процесс, имеющий ту = 0
и спектральную плотность /у(А) = . 	—г. Найти спектральную
тг(ск + А )
плотность и ковариационную функцию процесса X(t).
Решение. Среднее значение процесса тх = 0. Частотная харак-
характеристика и квадрат ее модуля имеют вид
Ф(А) =
|Ф(А)|2 =
Спектральная плотность процесса X(t) следует из (9.16):

9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	181
Ковариационная функция процесса X(t) при а < а$/а\ есть
7	Г
Rx(t)= elXtfx(\)d\ = Ge-aM\ch(pot) + ^sh(Co\i
где
D
1	Г . aol о 1 Г«о 1
2	L aiJ	2 Lai J
ai J	ao(aai+ao)
Поэтому Dx = ^Rx(O) = G — дисперсия процесса X{t). ¦
Замечание. Если в (9.20) h(t) = 0 при t < 0, то линейное преоб-
преобразование называется физически реализуемым (фильтром), посколь-
поскольку в этом случае выходной сигнал ?(?) зависит лишь от прошлых
значений входного сигнала ?(s) при s ^ t.
Рассмотрим пример фильтра, обеспечивающего «экспоненциаль-
«экспоненциальное забывание» прошлой информации.
Пример 9.13. Пусть задана весовая функция линейного преоб-
преобразования (9.20)
[ 0	при t < 0,
где Т > 0 — параметр, определяющий скорость «забывания». Входной
Dot
сигнал Y(t) имеет спектральную плотность fy(А) = 2	—г-. Найти
спектральную плотность и дисперсию выходного сигнала
Х(?) = f
— оо
Решение. Из примера 9.9 следует
оо
Ф(А)= } Л(в)е-^Л,=
-оо	0
Спектральная плотность процесса X{t) имеет вид
Применяя результат примера 9.12 при ag = 1, &\ = Т, получаем

182	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Замечание. Процесс ?(?) есть результат прохождения стандарт-
стандартного белого шума через физически реализуемый линейный фильтр
с импульсным откликом /i(t), если спектральная плотность процесса
допускает представление
^	(9.25)
где Ф(А) = h(i)e iXt dt, \h(t)\dt < ос.
о	о
Действительно, такой спектральной плотностью обладает про-
процесс ?(?), который получен при прохождении через фильтр с частот-
частотной характеристикой Ф(А) стационарного процесса v(t) с постоянной
спектральной плотностью, равной 1/2тг. В силу примера 9.3 процесс
v(t) является стандартным белым шумом (т.е. а2 = 1).
Условие возможности представления некоторого стационарного
процесса в виде результата прохождения белого глума через физи-
физически реализуемый фильтр определяется следующей теоремой.
Теорема 9.4. Для того чтобы неотрицательная функция /(А)
допускала представление (9.25), необходимо и достаточно, чтобы
выполнялось условие
оо
А > -оо.	(9.26)
В заключение рассмотрим два примера использования теории ста-
стационарных линейных преобразований в задачах обработки сигналов.
Дело в том, что многие операции численной обработки сигналов мо-
могут быть сведены к линейным стационарным преобразованиям. Если
входной сигнал можно представить как сумму некоторого детермини-
детерминированного процесса (полезного сигнала) и стационарного случайного
процесса (шума), то результат обработки также есть сумма полезного
выходного сигнала и шума, а его характеристики можно определить
с помощью данной теории. В качестве первого примера рассмотрим
задачу численного дифференцирования.
Пример 9.14. Пусть случайная функция
Y(t) = f(t) + Z(t),
где /(?) — некоторая неслучайная дифференцируемая функция (по-
(полезный сигнал), а ?(?) — центрированная ССФ (помеха) с дисперсией
D^ = а2 и постоянной на [—Aq, Aq] спектральной плотностью
—— при |А| ^ Ао,
О при |А| > Ао,

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	183
подвергается численному дифференцированию с шагом h > 0:
x(t) = у(« + Ц-*Ч«).	(9.27)
Вычислить 7nx{t)i Dx(t) при h —>• 0.
Решение. В силу линейности преобразования (9.27)
1
1= Ai(tJ + А2(Г),
где первый сигнал является детерминированным, а второй случай-
случайным, причем
M{X2(t)} =
Поэтому
= M{X(t)} = f(t + h)h~ f{f) -^ /(t) при ft-^0,
a Dx(i) = Dx2(i), так как DXl(i) = 0.
Процесс X2(t) есть результат линейного преобразования стацио-
стационарного случайного шума ?(?). Воспользовавпсись его спектральным
оо
представлением ?(?) = elXt Z^(dX), получаем
где частотная характеристика Ф(Л) преобразования (9.27) и квадрат
ее модуля имеют вид
т-г	х /\\ 2A —cosA/i) л /лч
Поэтому }х2\Л) = 	тъ	 j?\A) ~ спектральная плотность про-
процесса X2{t). Тогда
оо
DXa=Dx=
х2 = ^х
— оо
_«^л)\ ^лз при
Xh I	3

184	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Замечание. Таким образом, при численном дифференцирова-
дифференцировании дисперсия шума выходного сигнала мало зависит от шага диф-
дифференцирования /г, а определяется в основном шириной Ад спектра
помехи во входном сигнале. Более того, даже при очень малой дис-
дисперсии а2 этой помехи дисперсия выходного сигнала может быть
большой, если помеха — широкополосный белый шум (т.е. Aq ^> 1).
Полученный результат объясняет неудачные попытки продифферен-
продифференцировать сигнал прежде, чем он отфильтрован от помехи.
Пример 9.15. Следящая система радиолокатора описывается
уравнением
y(i) = ke(t), /c>0,	(9.28)
где e(t) = x(t) —y(t)-\-v(t) — рассогласование; y(t) — выходной сигнал;
x(t) = Vo + V\t + V2t — полезный сигнал, Vo, Vi, V2 — независимые
гауссовские случайные величины с параметрами т$ = 4-104м, mi =
= т2 = 0, его = 104 м, <j\ = 150м/с, а2 = 2м/с2; v(t) — гауссовская
стационарная помеха, не коррелирующая с сигналом x(t) и имеющая
параметры mv = 0 и Rv{r) = Ае~(Х\Т\ где А = 360м2, а = 50с;
к = 25 с — коэффициент усиления.
Требуется найти математическое ожидание и среднее квадрати-
ческое отклонение погрешности воспроизведения следящей системой
полезного сигнала x(t).
Решение. Пусть S(t) = x(t) — y(t) — случайная ошибка воспроиз-
воспроизведения x(t). Тогда as = MJ5'2(t)} — искомая величина. Из (9.28)
с учетом выражения для e(t) следует
LJ \ L/ ) | LJ \ L J — JU \ L J | U \ L J •	I %J • ?j%j )
Из предыдущих примеров следует, что (9.29) описывает линейную
стационарную систему. Пусть y(t) = yi(t) + A(t), где yi(t) описывает
прохождение через систему полезного сигнала x(t), a A(t) — прохо-
прохождение помехи v(t). Очевидно, —y\(t) + yi(t) = x(i), откуда yi(t) =
= cq + C\t -\- c2t2, где
Со = Vo - уф + 2У2/к2, c1=V1- 2У2/к, с2 = У2.
Пусть Ax(t) = x(t) — y\(t) — искаж:ение системой полезного сигнала,
тогда
Vi
Из (9.30) следует, что M{Ax(t)} = 0, T>{Ax(t)} = ^ + ^ (t - I) =
= 36 + 0,0256 (t - 0,04J « 36 м2 (т. е. слабо зависит от ?).

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	185
Вычислим теперь дисперсию «остатка от помехи» Д(?). Частотная
характеристика преобразования (9.28): Ф(А) =	—, а спектральная
А. су
плотность помехи v{t) равна fv(X) = 2	г^-. Отсюда следует, что
спектральная плотность Д(?) имеет вид
Поэтому
ОО
ЯД = П{Д(()} = J /Д	(
— оо	—оо
Для вычисление интеграла / воспользуемся формулами из п. 15.2:
оо
f g(iX) ,,
J h{i\)h(-i\) '
— ОО
где g(z) = 1, h(z) = z2 + (а + k)z + сеЛ^, причем многочлен h(z) —
устойчивый, т. е. его корни лежат в левой полуплоскости. Отсюда
ао = 1, а\ = а + /с, п2 = се/с, &о = 0, bi = 1, следовательно,
i = 7Г
и DA =	 = 100м2. Очевидно также, что M{A(t)} = 0.
Итак, ms = M{x(t) — y(t)} = 0, поэтому в силу некоррелирован-
некоррелированности процессов Ax(i) и A(t) получаем
а/ = B{x(t) - y(t)} = B{Ax(t)} + DAtt 136м2.
Таким образом, сгs ~ 11,7м — средняя квадратическая погреш-
погрешность работы следящей системы. ¦
9.4. Задачи для самостоятельного решения.
1.	Показать, что ССФ {?(?), t G I1} с.к.-непрерывна, если непрерывна
ее ковариационная функция R^(t).
2.	Найти m^(t), R^(t): Д(А), если ?(?) — телеграфный сигнал.
Ответ. mz(t) = О, Щ(Ь) = е~2ХМ f+f^ = 	^-
3. Для процесса CW? введенного в определении 9.4, показать стационар-
стационарность и вывести соотношение (9.17) для ковариационной функции.
Указание. Воспользоваться свойствами стохастического интеграла.

186	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
4.	Доказать, что если выполнено условие (9.21), то правая часть выра-
выражения (9.22) сходится в среднеквадратическом смысле при ^Ок правой
части соотношения (9.23).
5.	Пусть ?(/;) — центрированный стационарный процесс, а а — некоторое
действительное число. Показать, что процесс ?(?) = eiat^(t) также является
стационарным. Является ли стационарным процесс ?(?) cos at?
Ответ. Является только при а = 0.
iV
6.	Пусть ?(?) = ^2 ?k(t) — сумма ССФ ?&(?), допускающих спектраль-
к=1
ное представление со стохастическими мерами Zk(dX). Показать, что для
процесса ?(?) также имеет место спектральное представление с некото-
некоторой стохастической мерой Z(dX). Если процессы ?&(?) являются попарно
некоррелированными, показать, что спектральное распределение процесса
?(t) равно сумме спектральных распределений ССФ ?&(?). Привести при-
пример, показывающий, что для коррелированных процессов это утверждение
неверно.
оо
7.	ССФ ?(t) имеет спектральное представление ?(t) = ег l Z^(dX).
оо _	_оо
Пусть также ?(?) = ег^л^Ф(А) Z^(dX), где д(Х) — некоторая действитель-
— оо
ная функция, а Ф(А) удовлетворяет условию (9.12). Найти ковариационную
функцию процесса CW- Будет ли он стационарным?
оо
Ответ. Rc(t)= Г е^(л)*|Ф(А)|2^(А), где F^(X) - спектральная
функция ССФ ?(t).
8.	Частотная характеристика Ф(А) линейного преобразования имеет вид
1, если а < |А| ^6,
0 в противном случае,
где Ъ > а > 0. Найти весовую функцию h(t) этого преобразования и дис-
дисперсию выходного сигнала ?(?), если на вход поступает белый шум v(t)
с ковариацией Rv(t) = cr25(t).
„ , / ч sin bt — sin at „ ob — a
Ответ. Aim = 	, D* = a 	.
7Tt	7Г
9.	Показать, что функция, C(t), такая, что C(t) = 1 — |?|/?о при \t\ ^ to
и C(t) = 0 при \t\ > to, является ковариационной функцией некоторого
стационарного процесса. Найти его спектральную плотность.
^	г / х ч 1 — cos Xto
Ответ. Д(А) = -
10. Определить, являются ли следующие функции ковариационными
функциями некоторых стационарных процессов, и, если являются, найти
их спектральные плотности:
1)	C(t) = а2ехр{-сф|} cos fit, a > 0;
2)	С it) = cr2exp{-a|t|} (I + a\t\), a > 0;
3)	C(t) = cr2exp{-a|t|} (l + a\t\ + (°*?-\ , a > 0;

§ 9]	СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ФУНКЦИИ	187
4)	C(t) = сг2ехр{-сф|} (cospt - - sin/3|t|), a > 0;
5)	C(t) = a exp{—ск t } (cos fit -\	sin/3|t|), a > 0;
6)	C(t) = cr2exp{-a|t|} (chpt + - shP\t\), a^ f3.
Указание. Найти преобразование Фурье функций C(t). Поскольку
преобразования Фурье для всех функций являются неотрицательными и
интегрируемыми функциями, то по теореме 9.1 они являются ковариаци-
ковариационными функциями некоторых стационарных случайных процессов.
Ответ.
Z)
тг 3(а2 + Л2)
4) Л(А) ^
тг (А2 +О2 +C2J -4/52А2'
5)
тг
6) Л (А) = ^
11. Является ли с.к.-дифференцируемой ССФ ?(?) со спектральной
плотностью:
1) /(А) = а
2) /(А) =
А2 + (З2 '
1
где а > 0, C > 0.
Ответ. 1) нет; 2) нет.
12. Пусть ковариационная функция стационарного процесса ?(?) беско-
бесконечное число раз дифференцируема. Показать, что тогда:
оо
1) J Л2п^(Л) < оо Vn>0;
fc=o /e-
Указание. Использовать (9.21) и показать п. 1. Далее, используя
оо
спектральное представление процесса ?(?) = ег Z^(dX), показать, что
оо	_оо
^k\t) = (гА) е г Z^(dX). Затем записать спектральное разлолсение для
— оо
процесса ?(? + т) и воспользоваться разлолсением егХт в ряд Тейлора.

188	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
10. Случайные функции с ортогональными и
независимыми приращениями
10.1. Основные понятия и определения. Предположим, что
t ^ 0} — некоторая вещественная гильбертова случайная функ-
функция, т.е. М{?(?J} < оо для всех t ^ 0.
Определение 10.1. Приращением СФ ?(?) на промежутке (?, s],
где 0 ^ t ^ s, называется случайная величина
Д?D, *) = ?(«)-?(*)•	A0.1)
Определение 10.2. СФ ?(t) называется процессом с ортого-
ортогональными приращениями, если для произвольных моментов времени
0 ^ t\ ^ ti ^ ts ^ ^4 выполняется соотношение
cov{A?(ti,t2),Af(*3,*4)} = 0.	A0.2)
Известно (см. п. 14.7), что ковариация двух случайных величин
имеет смысл скалярного произведения. Поэтому условие некорре-
некоррелированности приращений A0.2) обычно называют условием их ор-
ортогональности, т. е. равенства нулю скалярного произведения этих
приращений. Заметим также, что из A0.2) в общем случае не следует
независимость соответствующих приращений.
Замечание. Из A0.1), A0.2) следует, что СФ ?(t) = ф) - ?@)
также является процессом с ортогональными приращениями. Дей-
Действительно, для любого промежутка (?, s] A?(t,s) = A?(?, s), т.е. все
свойства приращений процесса ?(?) автоматически переносятся на
приращения процесса ?(?). Поэтому без потери общности изложения
далее предполагается, что ?@) = 0. В этом случае говорят, что процесс
() выходит из нуля.
Оказывается, что условие ортогональности приращений процесса
означает, что ковариационная функция R^(t,s) имеет некоторую
специальную структуру. Изучим строение функции R^(t, s) при усло-
условии, что ?(?) — центрированный вещественный процесс с ортогональ-
ортогональными приращениями и дисперсией
АК*) = м{?(*J}, t^o.	(ю.з)
Предположим также, что ?(?) является с.к.-непрерывным. В этом
случае Dg(t) — непрерывная функция (см. п. 8.1).
Пример 10.1. Доказать, что функция D^(t) является монотонно
неубывающей.

10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	189
Решение. Пусть s ^ 0. Тогда для любого t ^ 0 с учетом ?@) = 0
а) = B{Z(t + а)} = D{(?(* + а) - ?(*)) + (?(t) - ?@))} =
, t + a) + Д?@, *)} = D{A?@, t)} +
2 cov{A?@, t), A$(t, t + s)} + ЩАф, t + s)}.
Учитывая, что приращения A?@,t) и A?(t, t + s) ортогональны, и
то, что Д?@,?) = ?(?), получаем
в) = D{C(i)} + D{A^(i,t + в)}
что и требовалось доказать. ¦
Рассмотрим ковариационную функцию -R^(t, т) = cov{?(t), ?(т)}
СФ ?(t). Известно, что D^(t) = R^{t^t) для всех ? ^ 0. Следующий
пример показывает, что для процессов с ортогональными прираще-
приращениями имеет место и обратное утверждение, а именно: ковариацион-
ковариационная функция Щ(г,т) может быть выражена через дисперсию D^(t)
(в общем случае это не так!).
Пример 10.2. Доказать, что для произвольного процесса с орто-
ортогональными приращениями ?(?) и любых ?, s ^ 0 справедливо соотно-
соотношение
, s) = ^(min(t, s)).	A0.4)
Решение. По-прежнему будем считать, что т^(?) = 0 и ?@) = 0.
Если t ^ s, то
+ cov{ ДС(О, t), A?(t, a)} = cov{?(t), ?(*)} = D((t).
Если ж:е t > s, то аналогично находим R^(t^s) = D^[s). Полученные
результаты можно записать одной формулой:
Из A0.2)—A0.4) следует, что при s ^ t приращение A^(t,s) явля-
является центрированной случайной величиной с дисперсией
Последнюю формулу для произвольных ?, s ^ 0 мож:но представить
в несколько более общем виде:
t, a)) - ?>{(min(t, s)).	A0.5)

190	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Замечание. Поскольку для с.к.-непрерывности центрированно-
центрированного процесса ?(t) в точке to необходимо и достаточно, чтобы кова-
ковариационная функция -R^(ti,t2) была непрерывна в точке (to,tg), то
с.к.-непрерывность произвольного процесса с ортогональными прира-
приращениями равносильна непрерывности функции D^(t).
Весьма важным частным случаем процессов с ортогональными
приращениями являются процессы с независимыми приращениями.
Определение 10.3. Случайная функция {?(?), t ^ 0} назы-
называется процессом с независимыми приращениями, если для любых
моментов O^ti ^?2 ^ ... ^ tn, n ^ 1 случайные величины
независимы в совокупности.
Замечания. 1) Очевидно, что в случае М{?2(?)} < оо при
всех t ^ 0 процесс с независимыми приращениями является также
процессом с ортогональными приращениями. Обратное утверждение
в общем случае несправедливо, однако всякий гауссовский про-
процесс с ортогональными приращениями также является и процессом
с независимыми приращениями (в предположении, что ?@) = 0).
Действительно, для гауссовского процесса ?(?) величины
образуют гауссовский случайный вектор с некоррелированными ком-
компонентами и, следовательно, эти величины независимы в совокупно-
совокупности (см. п. 14.6).
2) Можно доказать, что всякий процесс с независимыми при-
приращениями является марковским процессом. Однако для процессов
с некоррелированными приращениями в общем случае это утвержде-
утверждение несправедливо.
Следующий пример показывает важность понятия процесса с ор-
ортогональными приращениями для стохастического анализа вообще и
теории стационарных процессов — в частности.
Пример 10.3. Показать, что с помощью центрированного с.к.-не-
с.к.-непрерывного процесса ?(?) с ортогональными приращениями, заданно-
заданного на [0,Т] СМ1, ?@) = 0, можно задать ортогональную стохастиче-
стохастическую меру на борелевской а-алгебре подмножеств [0,Т].
Решение. Пусть So — алгебра, порожденная промежутками
А = (s,t) отрезка [0,Т] (см. п. 13.3). Покажем, что функция S°(-),
определенная по правилу
~°(Д) = Д?(М) = Ф)-?(*), Д = <М>,	(Ю.6)
обладает всеми свойствами элементарной ортогональной стохастиче-
стохастической меры на Sq (см. п. 14.8).

10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	191
Действительно,
М{~°(ДJ} = D{A?(i, я)} = Dt(s) - ОД < oo.
Если Ai — {t, t), A2 = (r, s), Ai П A2 = 0 и Ai U A2 — (t, s), то
S°(Ai U A2) = ?(s) - ?(t) = A?(*. t) + A?(r, s) = 5°(Д!) + 3°(A2).
Наконец, S°(-) обладает свойством ортогональности:
^AO S°(A2)} = cov{AC(*i, sO, A?(i2, s2)} = 0
для любых Ai = (ti,si), A2 = (^2,^2), таких, что Ai П А2 = 0. В си-
силу того, что любое множество A Е ?о можно представить в виде
п
А = U А&, где п < оо, а {А&} — непересекающиеся промежутки,
рассмотренные свойства функции S°(-) справедливы для любых мно-
п
жеств из ?q, если положить S°(A) = ^ Е!°(А&).
fc=i
Пусть функция т2(-) определена на промежутках соотношением
Дисперсия Dg(i) монотонно не убывает (см. пример 10.1), является
непрерывной (в силу с.к.-непрерывности ?(?)), а также Dg@) = 0, так
как ^@) = 0. Следовательно, Dg(t) — функция распределения (см.
определение 13.9), а ттг9(•) — порожденная ею мера.
Пусть {^4П} — такая последовательность множеств из ?q, что
Ап I 0 при п —> оо (см. п. 14.8), тогда
М{Е°{АпJ}=тA(Ап)^0 при п -+ оо
в силу непрерывности «в нуле» меры га2(-). Итак, S°(-) — элементар-
элементарная ортогональная стохастическая мера на ?q, а т^(-) — ее структур-
структурная функция.
Теперь S°(-) мож:ет быть продолж:ена до ортогональной стохасти-
стохастической меры S(-) (см. п. 14.8), определенной на борелевской сг-алгебре
^([0,Т]), которая является минимальной сг-алгеброй, содерж:ащей ^о?
т. е. В([0, Г]) = а(?0) (см. п. 13.3). ¦
В дальнейшем стохастический интеграл по мере ?(•), порожденной
случайной функцией ?(?) с ортогональными приращениями, будем
записывать следующим образом:
т	т
= l(p(t)E(dt)= \<p(t)d?(t),	A0.8)
о	о

192	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
где (p(i), t G [0,T], — неслучайная функция, такая, что
т
\\(p(t)\2dDf.(t) < оо.	A0.9)
о
Из общих свойств интеграла по стохастической мере (см. п. 14.9)
с учетом A0.7) получаем
т
{| #(*)}= 0,	A0.10)
2 Т
} \2	A0.11)
о
т
Наконец, если 1(ф) = i/j(i)d?(t), где ^(t), ? G [0,T], — неслучайная
о
функция, также удовлетворяющая условию A0.9), то
о
Если определить процесс rj(t) как интеграл с переменным верхним
пределом:
о
то нетрудно проверить, что rj(t) имеет ортогональные приращения,
откуда
min(t,s)
\<р(т)
Мож:но показать, что в рассматриваемом случае справедлив ана-
аналог формулы (8.11) интегрирования по частям для с.к.-интеграла:
т
= <р(Т)?(Т) - | <p(t)?(t) dt,	A0.12)
где (f(t) — функция, непрерывно дифференцируемая на отрезке [0, Т].
Отметим, что левая часть равенства A0.12) содержит стохастиче-
стохастический интеграл (от неслучайной функции), тогда как, в правой части
присутствует интеграл в среднеквадратическом (от с.к.-непрерывной
случайной функции).

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	193
10.2. Однородные процессы с ортогональными прираще-
приращениями. Пусть {?(?), t ^ 0} — выходящий из нуля вещественный
процесс с ортогональными приращениями.
Определение 10.4. Процесс ?(t) называется однородным, если
для любых ?, s ^ 0 закон распределения приращения Д?(?, t + s) зави-
зависит только от s, т. е. совпадает с законом распределения сечения ?(s).
Оказывается, что требование однородности позволяет получить
явный вид функций -R^(t, s) и D^(t).
Пример 10.4. Показать, что произвольный с.к.-непрерывный
невырожденный однородный процесс ?(?) с ортогональными прира-
приращениями имеет следующие характеристики:
2 сг>0,	A0.13)
s) = a2 min(?, s),	A0.14)
<t2|*-S|.	A0.15)
Решение. Из примера 10.1 следует, что для любых ?, s
выполнено равенство
s) = Dz(t) + В{Аф, t + s)}.
С учетом однородности процесса ?(?) и условия ?@) = 0 имеем
в)} =
Итак, D%(t + s) = D^(t) + D^(s) для любых t, s ^ 0, причем в силу
замечания после примера 10.2 функция D^(t) непрерывна. Получен-
Полученное уравнение имеет единственное решение на классе непрерывных
функций:
Dt(t) = a2t, a2 ^ 0.
Если ?(?) — невырожденный процесс (т.е. D^(t) >0 для некото-
некоторого t > 0), то сг2 > 0. Итак, равенство A0.13) доказано. Форму-
Формулы A0.14) и A0.15) следуют непосредственно из общих соотношений
A0.4), A0.5) с учетом A0.13). ¦
Замечание. Константу а2 в A0.13) обычно называют интен-
интенсивностью процесса ?(?). Если же а2 = 1, то процесс ?(?) называется
стандартным или процессом с единичной интенсивностью. Заметим
также, что структурная функция ttt,^(A) стохастической меры S(A),
построенной по стандартному однородному процессу ?(?) (см. при-
пример 10.3), совпадает с обычной мерой Лебега:
m^(dt) = dt,	A0.16)
что следует непосредственно из A0.7) и A0.13).
13 Б.М. Миллер и А.Р. Панков

194	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Рассмотрим пример однородного процесса с независимыми прира-
приращениями, который имеет важное значение при решении прикладных
задач, связанных с теорией надежности и теорией систем массового
обслуживания (см. § 12).
Определение 10.5. Однородный процесс {f](t), t ^ 0} с незави-
независимыми приращениями называется пуассоновским, если при каждом
t ^ 0 сечение rj{t) имеет распределение Пуассона с параметром At, где
А > 0:
P{V(t) = k} = &fe-xt, к = 0,1,2,...	A0.17)
Из определения 10.5 и общих свойств процессов с ортогональными
приращениями следует:
m^t) = At, Dr,(i) = At, t ^ 0;
Р{ф) ~ Ф) = к}= (Х(8И t))k е~х^\ O^tO, к = 0,1,2,...;
D{ry(s) - r](t)} = X\t -s\ t, s ^ 0.
Пуассоновский процесс имеет следующий физический смысл: при
всяком t > 0 величина rj(t) численно равна количеству событий из про-
простейшего потока интенсивности А (см. п. 12.1), произошедших к мо-
моменту t. Таким образом, реализации пуассоновского процесса имеют
вид кусочно постоянных функций, изменяющихся скачком на единицу
(вверх) в случайные моменты времени {ti,T2, ... }, соответствующие
появлениям очередных событий из потока. Поэтому rj{t) относится
к классу считающих случайных процессов.
Пусть теперь на Т = [0, +оо) задана детерминированная функция
v(t) > 0, которая предполагается интегрируемой по Лебегу на каждом
конечном промежутке. Пусть также
a(t) = li/(r)dr,	A0.18)
о
а {77(^M t ^ 0} — процесс с независимыми приращениями, такой, что
для всех 0 ^ t ^ s и ^ = 0,1, ... выполнено
P{Ar,(t,s) = k}= (()(*))*
В этом случае rj(t) называют неоднородным пуассоновским про-
процессом, а функцию v(t) — интенсивностью. Из определения 10.5
немедленно следует, что однородный пуассоновский процесс имеет
постоянную интенсивность v(t) = А > 0.

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	195
Из свойств распределения Пуассона следует, что
т„(*) = ?>„(*) = a(t), Rv(t,T) = о(тт(*,т)).
Из определения A0.18) a[t) следует, что D^ft) непрерывна на Т, поэто-
поэтому v(t) — с.к.-непрерывный процесс с ортогональными приращениями
(см. пример 10.2).
Неоднородный пуассоновский процесс несложно преобразовать
в однородный, о чем свидетельствует следующий пример.
Пример 10.5. Показать, что с помощью неслучайной замены
времени неоднородный пуассоновский процесс можно преобразовать
в однородный пуассоновский с интенсивностью Л = 1.
Решение. В силу условия v(t) > 0 заключаем, что a(t) — строго
монотонно возрастающая функция, а@) = 0. Обозначим через b(t)
функцию, обратную к a(t): a(b(i)) = t. Функция b(i) определена на по-
полуинтервале [0, а(+оо)) единственным образом. Введем процесс ?j(t) =
= rj(b(t)), тогда для 0 ^ t < s < а(+оо) имеем
- rj(t) = k} = P{r,(b(s)) - V(b(t)) = k} =
Таким образом, rj(t) — однородный пуассоновский процесс единичной
интенсивности в силу определения 10.5. Полученное преобразование
времени позволяет сводить решение задач для неоднородного пуас-
соновского процесса к соответствующим решениям для однородного
процесса. ¦
В конце п. 10.1 был определен стохастический интеграл по центри-
центрированному процессу ?(t) с ортогональными приращениями (?@) = 0).
Пусть r}(t) = rj(t) — a(t), где rj(t) — неоднородный пуассоновский про-
процесс интенсивности v(t). Тогда можно показать, что для любой непре-
непрерывной на [0,Т] функции (p(i) выполнено
| ф) 4(т) = Y, Ч>Ы - \ 4>{т)и(т) dr, t > 0,	A0.19)
где {ть} — случайные моменты скачков процесса rj(t). Стохастическая
ортогональная мера, порож:денная центрированным пуассоновским
процессом r)(t), называется пуассоновской мерой. Из A0.19) следует,
что стохастический интеграл от неслучайной функции по пуассонов-
пуассоновской мере можно вычислить аналитически.
В заключение выясним, может ли какой-нибудь процесс с некор-
некоррелированными приращениями быть дифференцируемым.
Пример 10.6. Показать, что невырожденный однородный про-
процесс ?(?) с ортогональными приращениями не имеет с.к.-производной
ни в одной точке t ^ 0.
13*

196	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение. Предположим, что с.к.-производная v(t) = ?(?) суще-
существует. Тогда Rv(t,r) = cov{v(t),v(r)} = — ^ ' , причем послед-
последняя производная по теореме 8.3 должна быть конечной при t = т.
Попытаемся вычислить Rv(t,r) с учетом, что it^(t,r) = а тт(?,т).
Очевидно, что
dRz(t,r) 2тт/ +ч	.т-. х Г 1, ж ^ О,
Г = И(Т-^ где 1^)=(
где 1^)=( о,
Тогда Ryfar) = ^- [аЧ(т - t)) = а25(т - ?), где а > 0, а 5(ж) есть
дельта-функция Дирака. Отсюда, Rv(t,t) = а25@) = оо, т.е. ?(?) не
имеет с.к.-производной в обычном смысле ни в одной точке t ^ 0. ¦
Замечание. Результат, приведенный в примере 10.6, будучи
негативным, имеет тем не менее важные последствия. Пусть про-
процесс v(t) таков, что mv(t) = 0, a Rv(t,r) = a25(t — г). В силу того
что S(t — т) = 0 при t ф т', можно заключить, что v(t) обладает тем
свойством, что любые его сечения, сколь угодно близкие по времени,
являются некоррелированными. Такой процесс уже встречался нам
раньше — это белый шум. К сожалению, Dv(t) = Rv(t,i) = оо и, сле-
следовательно, такой процесс физически нереализуем. Однако результат
примера 10.6 показывает, как белый шум появляется практически: это
есть результат попытки продифференцировать некоторую случайную
функцию с ортогональными приращениями. Наоборот, сам процесс
с ортогональными приращениями можно формально трактовать как
с.к.-интеграл от белого шума:
Оказывается, что последнему выражению можно придать аккурат-
аккуратный математический смысл, что будет сделано в § 11.
10.3. Мартингалы (непрерывное время). В §7 рассматри-
рассматривались случайные последовательности, являющиеся мартингалами
с дискретным временем. В данном пункте мы распространим это
понятие на случайные функции и рассмотрим мартингалы с непре-
непрерывным временем, которые тесно связаны с процессами, имеющими
ортогональные и независимые приращения.
Предположим, что на вероятностном пространстве {?1, J7, Р} зада-
задано некоторое семейство сг-алгебр {^i}5 t ^ 0.
Определение 10.6. Семейство {J~t\ называется потоком а-ал-
а-алгебр на {?7, Т, Р}, если Tt^T при каждом t ^ 0, причем
a) Tt С Ts, если 0 ^ t < s;

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	197
б) семейство {Tt} непрерывно справа, т.е.
Tt = Tt+ = П ?*, t > 0.
8>t
Замечание. Если {?(?), t ^ 0} — случайная функция, определен-
определенная на {Q,T, Р}, а Т^ = а{^{и), 0 ^ и ^ t} — сг-алгебра, порож:ден-
ная всевозможными конечными наборами сечений {?(?&), tk G [0,t],
fc = 1, ..., п}, то семейство {^ } удовлетворяет требованию а) опреде-
определения 10.6 по построению. Если же пополнить ^q событиями нулевой
вероятности Р и положить Tt = Т^_, то полученное семейство {Tt}
будет удовлетворять также и условию б) и, следовательно, будет
потоком а-алгебр. Далее предполагается, что указанные действия
выполнены, а под потоком {Т^} подразумевается «исправленный»
вариант {Tt}.
Определение 10.7. Если при каждом t ^ 0 случайная величина
?(t) измерима относительно Tt, то случайная функция {?(?), t ^ 0}
называется согласованной с потоком а-алгебр {Tt} (или Tt-согласо-
ванной).
Пусть {?(?), t ^ 0} согласована с потоком {^i} и, кроме того,
Определение 10.8. Случайная функция ?(t) называется:
а) мартингалом относительно {Tt}-, если
(Р-п.н.) при s ^ t;
б) субмартингалом относительно {Tt}, если
Tt} > i(t) (Р-п.н.) при s ^ t;
в) супермартингалом относительно {Tt}, если {—
мартингал.
Замечание. Если ?(?) является мартингалом относительно
то слова «относительно потока {^ }» зачастую будут опускаться.
Приведем примеры мартингалов с непрерывным временем.
Пример 10.7. Пусть на {^l,^7, P} задан поток сг-алгебр {Tt} и
случайная величина 7/, имеющая конечное математическое ожидание.
Показать, что случайная функция ?(t) = М{?7 | Tt}, t ^ 0, является
мартингалом относительно {Tt}.
Решение. По условию МЦтуЦ < оо, поэтому для любого t ^ 0
определено условное математическое ожидание ?(t) = М{?7 | Tt}, при-
причем ?(t) измерима относительно Tt- Таким образом, случайная функ-
функция ?(t) ^-согласована. Далее, используя свойства условного матема-
математического ожидания и неравенство Иенсена (см. п. 14.5), получаем
= М{|М{т, | Tt} |} < М{М{|г,| | Tt}} < М{|7?|} < оо.

198	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Теперь осталось проверить условие а) определения 10.8. Пусть
0 ^ t ^ s, тогда с учетом Tt С Ts имеем
M{?(s) | Tt} = M{M{^ | Ts] | Tt} = M{v I Tt) = ?(t).
Итак, ?(t) — мартингал относительно {Ft} в силу определения. ¦
Пример 10.8. Пусть {?(?), t ^ 0} — мартингал относительно {.Т7*},
а д(х) — выпуклая вниз функция, причем М{| #(?(?)) |} < oo. Показать,
что v(t) = #(?(?)), t ^ 0, является субмартингалом относительно {J~t}.
Решение. Результат следует непосредственно из неравенства
Иенсена (при t ^ s):
M{u(s) | Tt) = M{g(?(8)) | Tt) > g{m{Z{s) \ Tt}) = g(Z(t)) = u(t).
В частности, если ?(t) — мартингал, то случайные функции |()|
|^(t)|p (р > 1), ^+(t), где х+ = тах(ж,0), будут субмартингалами при
условии, что они имеют конечные математические ожидания. ¦
Свойства мартингалов и субмартингалов. Ниже предпола-
предполагается, что {?(?), t ^ 0} является мартингалом или субмартингалом
относительно фиксированного потока сг-алгебр {Ft}-
1) Функция ?(?) является мартингалом, если для s > t ^ 0
, и) P(dto) = | ?{t, ш) P(dw),	A0.20)
A	A
и субмартингалом, если
(s, о;) P(do;) ^ j ?(?, a;) P(da;)	A0.21)
A	A
для любого события А Е Ff
2)	Если ?(?) — мартингал, то М{?(?)} = const, а если ?(t) — суб-
субмартингал (супермартингал), то М{?(?)} — неубывающая (невозра-
стающая) функция.
3)	Если ?(t) — субмартингал, то для того чтобы ?(t) был мартин-
мартингалом, необходимо и достаточно, чтобы М{?(?)} = const.
4)	Неравенство Колмогорова для мартингалов. Если {?(?), t ^ 0}
образует мартингал с непрерывными справа траекториями, М{?(?)} =
= ттт,^, д{х) — неотрицательная выпуклая функция, а А С [0, +оо), то
для любого е > 0
P{SUP (,(?(*)) > 4 < SUPM{5(e(i))}/?.
teA	teA
В частности, справедлив усиленный вариант неравенства Чебышева:
P{sup |^(i) - m€| ^ e} < supD{C(i)} /?2.

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	199
Если ?(?) — неотрицательный субмартингал, траектории которого
непрерывны справа, а А С [0, +оо), то для любого е > 0
() e)
teA	teA
5) Пусть {?(?), t ^ 0} — субмартингал, траектории которого непре-
непрерывны справа, и supM{|?(?)|} < оо. Тогда с вероятностью 1 существу-
ет предел r\ = lim ?(?), причем МЦту!} < оо.
t—Уоо
Замечание. Из последнего свойства следует, в частности, что
всякий непрерывный неотрицательный супермартингал {?(?), t ^ 0}
(его математическое ожидание равномерно ограничено) в некотором
смысле вырождается. Действительно, почти каждая траектория это-
этого процесса при t —> оо сходится к некоторому конечному пределу
(в общем случае пределы различны для различных траекторий).
Аналогичное свойство имеет место также и для неположительного
субмартингала.
Следующий пример поясняет связь мартингалов и процессов
с независимыми приращениями.
Пример 10.9. Пусть {?(?), t ^ 0} — случайная функция с неза-
независимыми приращениями и постоянным математическим ожиданием.
Показать, что ?(?) является мартингалом относительно потока \Tt },
если f @) = 0.
Решение. Пусть Д?(?, s) = ?(s) — ?(?) для 0 ^ t < s. Покажем,
что Д?(?, s) не зависит от сг-алгебры Tt . Для этого достаточно дока-
доказать независимость указанного приращения от произвольного набора
сечений
№),...,№„),	A0.22)
где О = ?о ^ ti < ••• <^п ^^- Поскольку сечения A0.22) мож:но пред-
представить в виде линейного преобразования приращений
A?(to,*i), ...,ДС(*„-1,*„),	A0-23)
то требуемое утверждение следует из того, что приращения A0.23) не
зависят от Д?(?, s) по условию.
Теперь в силу независимости Д^(?, s) от Т^ и постоянства
находим
, з)

200	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
где ?(t) = M{?(?) ^i }, так как ?(t) измерима относительно Т% (см.
свойства условного математического ожидания в п. 14.5). Учитывая,
что М{|?(?)|} < оо по условию, получаем, что ?(t) — мартингал. ¦
Введенный в предыдущем пункте пуассоновский процесс дает нам
содержательный пример субмартингала.
Пример 10.10. Показать, что однородный пуассоновский процесс
rj(i) является субмартингалом относительно {Т?} и допускает пред-
представление вида
A(t),	A0.24)
где ^(t) — мартингал относительно {.Т7/7}, a A(t) — детерминированная
функция.
Решение. Согласно определению 10.5 приращение rj(s) — rj(t),
s > t, неотрицательно, причем M{|?7(t)|} < оо. Следовательно,
М{ф) | J?} - r,(t) = M{V(s) - ф) | F?} 2 0,
что доказывает субмартингальность процесса rj(i).
Поскольку NL{r](t)} = At, то процесс j(t) = rj(t) — Xt является цен-
центрированной СФ с независимыми приращениями, причем 7@) = 0.
Поэтому в силу результата примера 10.9 ^(t) представляет собой
мартингал относительно {^7}- Так как Т^ = Т^ при любом t ^ 0,
то j(t) — мартингал относительно потока {J~f}. Таким образом,
требуемое представление имеет вид A0.24), где
Замечание. Представление A0.24) субмартингала rj(t) анало-
аналогично разлолсению Дуба G.2) (для субмартингалов с дискретным
временем), полученному в п. 7.1. При этом детерминированная неубы-
неубывающая функция A(t) (-A(O) = 0) называется компенсатором субмар-
субмартингала T](t).
Далее будем предполагать, что траектории пуассоновского процес-
процесса непрерывны справа.
Пример 10.11. В условиях примера 10.10 оценить
Р{ sup |ту(?) - Xt\ ^е) для Т = 1, А = 2, е = 4.
[от]
Решение. Из примера 10.10 следует, что ^(t) — центрированный
непрерывный справа мартингал, причем MJ72(t)} = D{?7(t)} = At,
так как СВ rj(t) имеет распределение Пуассона с параметром fi = Xt.
Теперь воспользуемся неравенством Колмогорова:
Р{ sup \rj(t) - \t\ 2 е} < sup Щ±= sup ^ = ^.
te[O,T]	t€[O,T] e	t€[O,T] e	s

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	201
Отсюда при Т = 1, А = 2, е = 4 получаем
Р{ sup Ш-М\ ^s}^ i= 0,125.
te[o,T]	°
Последнее означает, что с вероятностью, не меньшей 0,875, макси-
максимальное отклонение реального числа скачков процесса rj(i) от ожида-
ожидаемого числа rn^it) = 2t на промежутке времени [0,1] будет не больше
четырех. ¦
Пусть теперь ?(?) — центрированная гильбертова случайная функ-
функция (т.е. М{|?(?)|2} < оо), являющаяся мартингалом относительно
потока сг-алгебр {Ft}- Такой процесс мы будем называть квадратично-
интегрируемым мартингалом. Между мартингалами этого типа и
процессами с ортогональными приращениями имеется тесная связь,
о чем свидетельствует следующий пример.
Пример 10.12. Доказать, что любой квадратично-интегрируе-
квадратично-интегрируемый мартингал является процессом с ортогональными приращени-
приращениями.
Решение. Пусть 0 ^ t\ < ?2 ^ ^з < ^4, тогда
*4) | Тч}} = 0,
где предпоследнее равенство справедливо в силу того, что прира-
приращение A^(ti,t2) измеримо относительно J~t3, а последнее — в силу
М{Д?(?з,?4) | Ft3} = 0, как показано в примере 10.9. Таким образом,
с учетом M{A?(?,s)} = 0 получаем cov{A?(?i,?2), A^(t3,?4)} = 0, т.е.
?(t) — процесс с ортогональными приращениями. ¦
Замечание. Если центрированный выходящий из нуля мартин-
мартингал является гауссовским, то он квадратично интегрируем и имеет
ортогональные приращения, которые (в силу гауссовости) являются
независимыми. Таким образом, всякий гауссовский мартингал имеет
независимые приращения. Наоборот, всякий центрированный выхо-
выходящий из нуля гауссовский процесс с независимыми приращениями
является квадратично-интегрируемым гауссовским мартингалом.
Для квадратично-интегрируемых мартингалов справедлив аналог
разложения G.5), которое выглядит наиболее просто, если рассматри-
рассматривается мартингал с независимыми приращениями.
Теорема 10.1. Пусть ?(t) — квадратично-интегрируемый
мартингал с независимыми приращениями. Тогда субмартингал
r)(t) = ?2(?) допускает единственное разложение
V(t) = M(t) + {0t,	A0.25)
где M(t) — мартингал относительно потока {Tt }, a (?)t — неубы-
неубывающая детерминированная функция {такая, что (?H = 0).

202	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Функция (?)t называется квадратической характеристикой мар-
мартингала ?(?).
Пример 10.13. Пусть {?(?), t ^ 0} — квадратично-интегрируе-
квадратично-интегрируемый мартингал (относительно \Tt . }) с независимыми приращениями,
f @) = 0. Показать, что (?)t = D^(t).
Решение. Вычислим М< ?2(s) — ?2(t) | Т^ \ при s ^ t. Исполь-
Используя независимость в совокупности случайных величин
Д?(М), Д?(<М), ?@),
мартингальное свойство М< A?(t,s) | Т^ > =0 и результат приме-
примера 10.2, получаем
, s) + 2Де@,t) + 2С@)]
, s)J \
Таким образом, процесс M(t) = ?2(?) — D^(t) удовлетворяет мартин-
гальному свойству, a M{|7kf(t)|} < оо в силу M{^2(t)} < oo. ¦
Естественным обобщением однородного пуассоновского процесса
rj(i), у которого все скачки равны 1, является обобщенный пуас-
соновский процесс Н(?), скачки которого образуют совокупность
независимых случайных величин {&}, не зависящих также и от f](t):
Ф)
Н(*) = ?&, *^0.
г=1
Таким образом, ^ = АН(г^) — величина скачка процесса Н(?) в мо-
момент т^, соответствующий г-му скачку процесса rj(t) на промеж:утке
[0,t], где г = 1, ... ,rj(i). Будем считать, что заданы параметры обоб-
обобщенного пуассоновского процесса:
X, fi = M{&} , I> = D{^} ,
где Л > 0 — интенсивность пуассоновского процесса rj(i).
Пример 10.14. Пусть H(t) — обобщенный пуассоновский процесс
с параметрами (A,^,D). Найти его математическое ожидание и дис-
дисперсию.

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	203
Решение. По формуле полного математического ожидания, ис-
используя независимость скачков {^} от r](t), находим
оо
M{H(t)} = Y M{H(t) | V(t) = n} P{V(t) =п} =
п=1
= n\P{f](t) = П} = J2 М{^^}Р{^^) =п} =
п=1	г=1
оо
= J2 niiV{q(t) = п} = /iM{r](t)} = ii\t.
n=l
Аналогично получаем выражение для M{H2(t)}:
оо
M{H2(t)} = Y M{H2(i) | r](t) = n}P{r)(t) = n} =
n=l
= E M{{-?ti)}PMt) = n} = Y{nD + (nnJ}P{V(t) = n} =
n=l	i=l	n=l
= M{rj(t)} D + M{r]2(t)} i? = XtD + (At + (AtJ)//2,
где учтено M< (^^i) f = ^D{^
1	г1
{^}) • Окончательно
г=1	г=1	г=1
находим выраж:ение для D{H(t)}:
M{H2(t)}-(M{H(t)}J = AtD + (At + (AtJ)/i
Следующий пример показывает, что обобщенный пуассоновский
процесс имеет независимые приращения.
Пример 10.15. Доказать, что обобщенный пуассоновский процесс
H(t) с параметрами (А, //, D) имеет независимые приращения.
Решение. Пусть to = 0 < t\ < ... < tn. Докажем, что прираще-
приращения AHj = H(tj) — H(tj_i), j = 1, ..., n, независимы. Для этого доста-
достаточно доказать равенство
Ф(гь ..., zn) = *i(*i)... *n(zn),	A0.26)
где Ф(^1, ..., zn) — характеристическая функция случайного вектора
{AHi, ...,AHn}*, a ^fj(zj) — характеристические функции случай-
случайных величин AHj, j = 1, ..., п (см. п. 14.3). Итак,
Ф(*ь ...,*„) = М{ехр(г JT ^АН,-) } = М{^(г/(^), ..., V(tn))} ,
A0.27)

204	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
где функция </?(mi, ..., тп) определяется выражением
{/ n	\	^1
ехр(^г J2 ziAHjJ ^l) = ти • • • ,Фп) =mnj
A0.28)
для натуральных аргументов mi ^ ... ^ тп. Используя обозначение
m) = ^ ^, в силу независимости скачков {&} от rj(t) и неза-
j	j
висимости величин {AHj(m), j = 1, ..., п} находим
= f[ М{ехр(г^АН,-(ш))} = f[ Щг^~т^\ A0.29)
где Ф^(^) — характеристическая функция случайной величины ^-.
Теперь из A0.27)—A0.29) с учетом независимости приращений пуас-
соновского процесса rj(t) получаем
) = М{
i
Повторяя дословно проделанные выкладки для функции Ф^(^), на-
находим
Ф^(^) = M^^Zj^M-^tj-i))}.	A0.31)
Теперь требуемое равенство A0.26) следует из A0.30) и A0.31). ¦
С помощью обобщенного пуассоновского процесса можно опреде-
определить важный класс квадратично-интегрируемых мартингалов.
Теорема 10.2. Пусть Н(?) — обобщенный пуассоновский процесс
с параметрами (A,^,D). Тогда процесс
Н(?) = Н(?) - fiXt
есть квадратично-интегрируемый мартингал с квадратической ха-
характеристикой
(H>t = (D + n2)\t.

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	205
Еще один класс квадратично-интегрируемых мартингалов молено
построить следующим образом.
Пример 10.16. Пусть задана последовательность независимых
случайных величин {^}, таких, что М{^} = 0 и М{#2} < оо. Пусть
также задана детерминированная возрастающая последовательность
моментов времени {т^}. При каких условиях процесс
?(*) = ? ь
является квадратично-интегрируемым мартингалом?
Решение. На каждом интервале [0,?], таком, что число
N(t) = sup{i: Ti ^ t} конечно, процесс ?(?) является квадратично-
интегрируемым мартингалом с квадратической характеристикой
N(t)
Если же N(t) = оо, то ?(?) — квадратично-интегрируемый мартингал,
если ^М{?2} < оо. ¦
Замечание. Построение процесса ?(?) очень напоминает постро-
построение обобщенного пуассоновского процесса с той лишь разницей,
что у последнего скачки происходят в случайные моменты времени.
Траектории обоих процессов также весьма похожи и представляют
собой кусочно постоянные непрерывные справа функции. Однако их
квадратические характеристики отличаются радикальным образом.
Квадратическая характеристика обобщенного пуассоновского процес-
процесса непрерывна, откуда следует его с.к.-непрерывность в каждой точ-
точке. Квадратическая характеристика процесса ?(?) разрывна во всех
точках {т^}, где испытывают разрыв траектории самого процесса.
10.4. Винеровский процесс. Данный пункт мы посвятим изу-
изучению свойств наиболее важного процесса, принадлежащего семей-
семейству случайных функций с ортогональными приращениями.
Определение 10.9. Случайная функция {w(i),t ^ 0} называет-
называется винеровским процессом, если:
а)	w@) = 0, M{w(i)} = 0;
б)	w(t) — однородный процесс с независимыми приращениями;
в)	w(t) — гауссовский процесс.
Из приведенного определения сразу следует, что при любом t > 0
сечение w(t) имеет распределение ЛГ(О; сг2?), а приращение Aw(t, s) —
распределениеЛГ(О; a2\t — s|), где Л/"(а; D) — гауссовское распределение
со средним а и дисперсией D. Указанные характеристики позволяют

206
СЛУЧАЙНЫЕ ФУНКЦИИ
[ГЛ. III
рассчитывать вероятности некоторых простых событий, связанных
с винеровским процессом.
Пример 10.17. Пусть w(t) — винеровский процесс с интенсив-
интенсивностью а2 > 0. Вычислить вероятность того, что в момент Т > 0
траектория w(t) окажется выше уровня х (т.е. V{w(T) > х}).
Решение. По условию ~M.{w(t)} = 0, a Dw(t) = a2t, поэтому w(t)
имеет распределение Л/"@;<72?). Отсюда величина w(t) = —-4= имеет
cr\Jt
стандартное гауссовское распределение Л/^О; 1). Следовательно,
где
) = —== е l I2 dt — функция распределения СВ w(T)
— оо
(функция Лапласа).
В частности, P{\w(t)\ ^ ЗалД} = ФC) - Ф(-3) « 0,997 для вся-
всякого t > 0, т. е. выход траектории винеровского процесса за пределы
области |ж| ^ ЗсгдД маловероятен (см. рис. 10.1). ¦
Рис. 10.1
Оказывается, что w(t) обладает многими интересными свойствами,
которые мы приведем без доказательства.
1)	Винеровский процесс является марковским процессом.
2)	Почти все траектории винеровского процесса — непрерывные
функции (рис. 10.1).

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	207
3)	Почти все траектории винеровского процесса не дифференциру-
дифференцируемы ни в одной точке.
4)	С вероятностью 1 на любом конечном отрезке [?, s], t < s, тра-
траектория винеровского процесса имеет неограниченную вариацию.
5)	Винеровский процесс описывает симметричное блуждание
частицы по действительной прямой (w(i) — координата частицы в мо-
момент t ^ 0):
P{w(t) > 0} = P{w(t) < 0} = - при t > 0.
Более того, если тх — случайный момент первого пересечения траек-
траекторией w(t) уровня ж, то дальнейшее блуждание также симметрично:
РМ*) > х | тх <: ?} = P{w(t) < х | тх <: t} = |.	A0.32)
6)	Пусть {y>k{t)}kLi — ортонормированный базис гильбертова про-
пространства L2[0,T] функций, квадратично-интегрируемых на отрезке
[0,Т], a {V^}^?=1 — гауссовский стандартный дискретный белый шум.
Тогда процесс
ос *
™(t) = Е ук\ Vk{r)dr, t е [0,Т],	A0.33)
k=i i
является стандартным винеровским процессом на [0, Т] (сходимость
ряда в A0.33) понимается в с.к.-смысле).
7)	Винеровский процесс w(t) является непрерывным гауссовским
квадратично-интегрируемым мартингалом с квадратической характе-
характеристикой (w)t = Dw(t) = a2t.
Приведенные свойства винеровского процесса w(t) позволяют ис-
исследовать более сложные его характеристики.
Пусть х > 0 — заданное число. Обозначим через тх случайный
момент первого пересечения уровня х траекторией винеровского про-
процесса w(i), упомянутый в свойстве 5:
тх = inf{? ^ 0: w(t) ^ х}.	A0.34)
Рассмотрим вероятностные характеристики СВ тх.
Пример 10.18. Найти закон распределения СВ тж, определяемой
соотношением A0.34). Выяснить, любой ли уровень х будет пре-
преодолен. Если да, то сколько в среднем придется ожидать момента
наступления этого события?
Решение. Пусть t > 0 таково, что w(t) > х > 0. В силу непрерыв-
непрерывности w(t) (см. свойство 2) это возможно, только если до момента t
траектория {ги(т), т ^ 0} уже пересекла уровень ж, т. е. произошло со-
событие {тх ^ ?}. Таким образом, случайное событие {w(t) > x} влечет

208	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
{тх ^ t}-, поэтому {w(t) > х} П {тх ^ ?} = {w(t) > х}. С учетом этого,
используя формулу умножения вероятностей, получаем
P{w(i) >x} = P{w(i) >x,rx^t} = P{w(i) >x\rx^t} V{rx ^ t}.
Итак,
P{w(t) >x\rx<:t} = P{w(t) > x} /V{tx ^ t} .	A0.35)
Из свойства симметрии винеровского процесса (см. свойство 5)
и соотношения A0.32) следует, что левая часть A0.35) равна 1/2.
Поэтому
Р{гж ^ ?} = 2 P{w(i) > х} ,	A0.36)
где Р{тж ^ t] = FTx(t) — искомая функция распределения СВ тж,
причем из примера 10.17 следует, что V{w(t) > х\ = 1 — Ф [ —— ).
\vVtJ
Таким образом,
((-JL))=yf J e-'/'dz.	A0.37)
x/ay/i
Из A0.37) следует, что FTx (t) — непрерывно дифференцируемая функ-
функция, т. е. СВ тх имеет непрерывную плотность вероятности:
-*'№'*\ t > 0.	A0.38)
Соотнопсения A0.37) и A0.38) позволяют сделать следующие вы-
выводы:
а)	Р{тж < оо} = 1 при любом конечном х > 0, т. е. траектория ви-
винеровского процесса рано или поздно пересечет сколь угодно высокий
барьер х\
оо
б)	М{тж} = tfTx(t)dt = оо, т.е. среднее время ожидания этого
о
пересечения бесконечно велико. ¦
В завершение рассмотрим пример, иллюстрирующий связь ви-
винеровского процесса с некоторой последовательностью случайных
блужданий частицы по дискретным точкам вещественной прямой.
В частности, мы выясним причину, по которой винеровский процесс
оказывается гауссовским.
Пример 10.19. Показать, что винеровский процесс w(t) можно
рассматривать как предел последовательности случайных блужданий
на прямой.

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	209
Решение. Под дискретным случайным блужданием на пря-
прямой будем понимать случайную последовательность {гип(т), т = 0,
At, 2 At, ..., nAt}, где t > 0, At = t/n, n ^> 1, обладающую следую-
следующим свойством: если точка в момент т имеет координату wn{r\ то
в следующий момент т + At она переходит либо в точку wn(r) + Aw,
либо в точку wn{r) — Aw, где Aw > 0 — (пространственный) шаг
блуждания, а само блуждание симметрично, т. е.
V{wn(r + At) = wn{r) +
= V{wn(r + At) = wn(r) - Aw} = 1/2. A0.39)
Пусть wn@) = 0 — начальная координата блуждающей точки и
п
к моменту времени t сделано п = t/At шагов. Тогда wn(t) = ^ ^nfc,
fc=i
где {wnk} — соответствующие случайные шаги. По построению слу-
случайные величины {wnk} независимы в совокупности и
V{wnk = Aw} = P{wnk = -Aw} = 1/2.
Отсюда ~M.{wnk} = 0, a ~D{wnk} = (AwJ. Поэтому wn(t) имеет следу-
следующие характеристики:
M{wn(t)} = J2 M{u;nfe} = 0;
k = l
Будем считать t фиксированным, a At и Aw устремим к нулю так, что-
чтобы	— = сг2 = const > 0, причем п =	> оо. Рассмотрим предел
(по распределению) последовательности wn(t) = ——у-. Из централь-
ayt
ной предельной теоремы (см. п. 14.6) следует, что
V{wn(t) ^ х} —>¦ Ф(х) при п —>• оо,
т. е. предельная величина w(t) имеет стандартное гауссовское распре-
распределение. Нетрудно показать, что для всякого набора чисел {\k}™=i
и моментов времени 0 ^ t\ ^ t<i ^ ... ^ tm ^ t СВ ^п = ^ A/C{
fc=i
такж:е в пределе имеет гауссовское распределение. Это означает, что
w(t) является гауссовской случайной функцией, а следовательно,
w(t) = w(t)<jyt — также гауссовская функция, причем M{w(t)} = 0,
~D{w(t)} = a2t, w@) = 0, а однородность и независимость приращений
14 Б.М. Миллер и А.Р. Панков

210	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
процесса w(t) следуют из способа построения блужданий {wn(t)}.
Таким образом, w(t) — винеровский процесс с интенсивностью а2 > 0.
Из полученного результата следует способ физической интерпрета-
интерпретации винеровского процесса w(t): если на промежутке [0, t] точка делает
случайные шаги с интервалом времени At, а величина шага равна Дги,
то при условии, что шагов совершается много, т. е. п = t/ At велико,
можно считать, что {wn(r) « ги(т), т Е [0, ?]}. При этом интенсивность
процесса блуждания определяется величиной а2 = (AwJ/At. Оче-
Очевидно, что если (AwJ = At, то в пределе мы получим стандартный
винеровский процесс. ¦
10.5. Задачи для самостоятельного решения.
1.	Пусть ?(?) — процесс с ортогональными приращениями, имеющий
математическое ожидание m^(t). Доказать, что процесс rj(t) = ?(?) — m^(t) —
~(?@) ~~ т?@)) — центрированный и имеет ортогональные приращения.
2.	Пусть ?i(?) и ?г(?) — независимые случайные функции с незави-
независимыми приращениями. Доказать, что ?(?) = ?i(?) + ?г(?) также имеет
независимые приращения.
3.	Пусть {?(t),Ft},t ^ 0, — субмартингал, a f(x) — непрерывная и моно-
монотонно неубывающая выпуклая вниз функция и М{|/(?(?)) |} < оо. Показать,
что {/(?(?)),-7"*}, t ^ 0, — такж:е субмартингал.
4.	Доказать свойства 1—3 мартингалов и субмартингалов из п. 10.3.
5.	Доказать теорему 10.2.
Указание. Воспользоваться результатами примеров 10.13-10.15.
6.	Пусть ?i(?), &(?) — квадратично-интегрируемые мартингалы отно-
относительно некоторого потока {.Ft}. Показать, что ?i(t) + ^(t) — такж:е
квадратично-интегрируемый мартингал относительно {Tt}.
7.	Пусть ?(t) — однородный процесс с независимыми приращениями,
выходящий из нуля, а Ф^(А; t) — его одномерная характеристическая функ-
функция. Доказать равенство
Ф^(А; t + s) = Ф^(А; *)Ф^(Л; s), t,s^O.
Указание. Воспользоваться тем, что характеристическая функция
суммы независимых случайных величин равна произведению их характе-
характеристических функций.
t
8.	Пусть rj(t) = rdw(r), где w(r) — стандартный винеровский процесс.
о
Вычислить m^ft) и Dv(t).
Ответ. rrin(t) = 0, Dv(t) = t3/3.
9.	Доказать, что стандартный винеровский процесс w(t) с.к.-интегриру-
t
ем на [0,/;], и найти Rrj(t,s), где rj(t) = w(r)dr.
о
Ответ. Rv(t, s) = а2C6 — а)/6, где а = min(?, s), b = max(t, s).

§ 10]	СЛУЧАЙНЫЕ ФУНКЦИИ С ОРТОГОНАЛЬНЫМИ ПРИРАЩЕНИЯМИ	211
10. Пусть rj(t) = max w(r), где w(r) — стандартный винеровский Про-
Протер]
цесс. Найти закон распределения случайной величины rj(t) при любом t > 0.
Указание. Учесть P{r](t) > ж} = Р{тх ^ t} и использовать решение
примера 10.18.
x/Vt
е~^' I2
Ответ. Fr,(t)(x) = л/2/тт Г е~^' I2 dz.
/
2/тт Г
11.	Доказать, что если {w(t), t ^ 0} — винеровский процесс, то для
п — 1
всякого е > 0 имеет место сходимость Р{ J^ |w(?fc+i) — w(tk)\ > ?} —> 1 при
fc=0
max |tfc+i — tk\ —^0, где 0 = to ^ ?i ^ ... ^ tn = 1 (неограниченность вариа-
вариации винеровского процесса на конечном интервале).
Указание. Вычислить математическое ожидание а и дисперсию ука-
указанной суммы и, воспользовавшись неравенством Чебышева, показать, что
п-1
Р{а - J2 K**+i) - w(tk)\ > a - е} -+ 0.
fc=0
12.	Доказать, что винеровский процесс является марковским.
Указание. Проверить выполнение условия марковости для гауссов-
ского процесса из примера 2.12.
13.	Доказать, что винеровский процесс является квадратично-интегри-
квадратично-интегрируемым мартингалом, и найти его квадратическую характеристику.
Ответ. (w)t = <J2t.
14.	Пусть {?(?), t ^ 0} — пуассоновский процесс с интенсивностью Л > 0.
Показать, что при At \. 0 выполнено:
P{C(t + At) - ?(t) = 0} = 1 - АД* + o(At),
P{C(t + At) - ?(t) = 1} = XAt + o(At), P{?(t + At) - C(t) > 1} = o(At).
Указание. Учесть, что е~Хх = 1 — Xx + o(x).
15.	Пусть {?(t), t ^ 0} — c.k.-непрерывный однородный процесс с ор-
t
тогональными приращениями, а функция <р(т) такова, что (р2 (г) dr < оо
г	°
для всех t ^ 0. Доказать, что процесс rj{t) = <р(т) d?(r) является с.к.-не-
о
прерывным процессом с ортогональными приращениями.
16.	Пусть w(t) — стандартный винеровский процесс. Показать, что
процесс
r)(t) = exp{w(t) - t/2} - 1
центрированный и имеет ортогональные приращения.
Указание. Воспользоваться тем, что М{е^} = eD^2 для ? ~AA@;D).
17.	Пусть rj(t) — однородный пуассоновский процесс с интенсивностью
А > 0. Показать, что ?(?) = ехр{т7(^) — at} — субмартингал относительно
потока {^}, если а ^ А(е — 1).
Указание. Вычислить M{?(s) | Т?} для s ^ t, предварительно дока-
доказав, что в условиях задачи M{exp{?7(s) — rj(t) — a(s — t)}} ^ 1.
14*

212	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
11. Стохастические дифференциальные
уравнения
11.1. Стохастический интеграл Ито. Выше мы познакоми-
познакомились с понятием стохастического интеграла от неслучайной функции
по стохастической мере, порожденной процессом с ортогональными
приращениями. Теперь мы расширим это понятие и рассмотрим стоха-
стохастические интегралы от случайных функций по стохастической мере,
порожденной винеровским процессом.
Пусть стандартный винеровский процесс w(t), t G [0, Т] = А задан
на вероятностном пространстве {?1, Т, Р}. Пусть также Б — сг-алгебра
борелевских множеств на действительной оси.
Выберем некоторое t G А и введем сг-алгебру событий Tt, поро-
порожденную случайной функцией {iu(s), s ^ t}.
Определение 11.1. Система событий Tt, являющаяся наимень-
наименьшей а-алгеброй, содержащей все события вида {w(s) G В} Vs ^ ?,
V В G 23, называется а-алгеброй, порожденной {w(s), s ^ t}. Для Tt
будем использовать обозначение Tt = a{w(s), s G [0,t]}.
Замечания. 1) Очевидно, что по определению Tt ^ Т при любом
t ^ Т (так как Т содержит все события вида {w(t) G В} при В G Б).
Кроме того, если 0 ^ s ^ t ^ T, то Ts^Tt, что также очевидно.
В этом случае говорят, что {Tf> t G A} — поток а-алгебр.
2) сг-алгебра Tt имеет ясный физический смысл: в Tt содержатся
все события, о наступлении которых можно узнать, наблюдая процесс
{w(s)} на промежутке [0, t] (естественно, речь идет о событиях, содер-
содержащихся в множестве Т и, следовательно, имеющих вероятность).
Определение 11.2. Случайная функция {/(?), t G А} назы-
называется неупреждающей относительно процесса {^(t), t G А}, если
при любом t G А случайная величина f(t) является ^-измеримой (т. е.
{/(?) G В} eTt для всякого В ? Б).
Для начала мы определим стохастический интеграл по винеров-
ской мере на конечном интервале А = [О, Т] для случайных функций
/(?) специального вида — простых функций.
Пусть интервал А разбит на промежутки {А&}, к = 1, ..., п: А =
п
= |J Afc, где Ai = [tbt2], A2 = (?2,?з], ... , An = (Wn+i].
fc=i
Определение 11.3. Случайная функция f(t) называется про-
простой, если она имеет вид
O, *ед,	(ил)
к=1

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	213
где /Afc (?) — индикатор промежутка Д&, т. е.
{1, если t e А/с,
О, если t ф А/с,
причем ?/с — случайные величины, такие, что М{|?/с|2} = D^ < оо.
Замечание. Из определения 11.3 следует, что функция f(t) —
неупреждающая, если ?д. измерима относительно J~tk, к = 1, ..., п.
Действительно, если t Е Д&, то /(?) = ?& измерима относительно J~tk->
но t/c < t и поэтому ^ife С ^, т. е. /(?) является .7^-измеримой.
Определение 11.4. Стохастическим интегралом от простой
неупреждающей функции f(t) по винеровскому процессу {w(t), t G A}
называется случайная величина
/(/) = [ f(t) dw(t) = J2 ZkAwk,	A1.2)
A	k=l
где Awjz = it;(t/c+i) — w(tk) — приращение винеровского процесса w(t)
на промеж:утке А/с-
Рассмотрим некоторые свойства стохастического интеграла /(/)
от простой неупреж:дающей функции f(t).
Пример 11.1. Доказать, что /(/) обладает следующими свой-
свойствами:
1)	/(ai/i + «2/2) = &il(h) + OL2l{h)t если cki, аг2 — неслучайные
числа, a /i(?),/г(?) — простые неупреж:дающие функции;
2)	М{/(/)} = 0;
А
Решение. Если /i (t), /2 (t) — простые случайные функции, при-
причем /i(t),/2(t) измеримы относительно J~t-, то этими ж:е свойствами
обладает также их линейная комбинация /(?) = cx\fi(t) + «2/2(^)? т- е.
/(t) — простая неупреждающая функция. Теперь свойство 1 следует
непосредственно из A1.2) и линейности операции суммирования.
Далее М{/(/)} = ? М{&Ди>*} , где
= M{efeM{Au;fe I Ttk}} = M{?k}M{Awk} = 0.
Здесь учтено, что Aw^ не зависит от J~tk по свойству независимости
приращений винеровского процесса, ~WL{w(t)} = 0и^ измерима от-
относительно Ttk- Отсюда следует справедливость свойства 2.

214	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Аналогично,
M{\?kAwk\2} = М{|6|2} M{\Awk\2} = Dk(tk+1 - tk).
Если к < Z, то M{^kAwkfiAwi} = M{?kAwkfi}M{Awi} = О, что
также верно и для к > I. Следовательно,
к = 1
= jr м{ы2} (tfc+i - tk) = |м{|/(*)|2} dt.
Таким образом, свойство 3 также выполнено. ¦
Для построения стохастического интеграла от более сложных
неупреждающих функций /(?) нам понадобится следующее утверж-
утверждение.
Теорема 11.1. Пусть {/(?),? G А} — с.к.-непрерывная функция.
1)	Если f(t) — неупреэюдающая, то найдется последователь-
последовательность простых неупреждающих функций {fn(t)}i такая, что
[м{|/(?) - fn(t)\2} dt ^ 0 при п^оо.	A1.3)
А
2)	Имеет место с. к.-сходимость последовательности стохасти-
стохастических интегралов /(/п):
при п^оо.	A1.4)
Теперь мы можем определить интеграл от /(?), t G А.
Определение 11.5. Случайная величина /(/) = \f(t)dw(t),
А
определенная в A1.4), называется стохастическим интегралом Ито
от случайной неупреждающей функции f(t).
Из A1.3), A1.4) и свойств с.к.-сходимости (см. п. 14.4) следует,
что /(/) для /(?) общего вида также обладает свойствами 1-3 (см.
пример 11.1). Заметим, что определение 11.5 корректно в том смысле,
что предел /(/) зависит лишь от /(?) и не зависит от конкретного вы-
выбора последовательности {fn(t)} простых неупреждающих функций,
аппроксимирующих /(?) в смысле соотношения A1.3).
Теорема 11.2. Если {/(t), t G A} — с.к.-непрерывная функ-
функция, заданная на конечном промежутке А = [О, Т] и неупреждающая
относительно потока а-алгебр {Tt}, где Tt = a{w(s), s G [0,t]}, mo
стохастический интеграл /(/) = /(?) dw(t) существует и облада-
А
em свойствами 1-3, приведенными в примере 11.1.

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	215
Замечание. Без ограничения общности можно считать, что
М{/(?)} = 0 на [О, Т], так как в противном случае
О
где mf{t) = М{/(?)}, а /(?) = f(t) — rrif(t) — центрированная случай-
случайная функция. При этом I{rrif) есть интеграл от неслучайной функции
о
по ортогональной стохастической мере (см. п. 14.9), а /(/) — интеграл
Ито. Последнее означает, что вместо с.к.-непрерывности СФ /(?) мы
о
можем требовать с.к.-непрерывность лишь /(?). При этом математи-
математическое ожидание rrif[t) может быть кусочно непрерывной функцией
(напомним, что с.к.-непрерывность f(t) влечет непрерывность rrif{t)
(см. п. 8.1)).
Интеграл /(/) для с.к.-непрерывной на А = [О, Т] функции f(t)
п
можно ввести и по-другому. Пусть А = II Д^. — разбиение интер-
к=1
вала А на п подынтервалов А& одинаковой длины h = Т/п. Пусть
{?fc}fc=i ~~ точки разбиения, тогда ?&+i — tk = h. Обозначим
In(f) = Е f(tk)Awk,	A1.5)
k=l
где Awk — приращение процесса w(t) на промежутке А&.
Теорема 11.3. Пусть выполнены условия теоремы 11.2, тогда
In(f) '> /(/) при п —>• оо, где /(/) — интеграл Ито, a In(f) —
интегральные суммы вида A1.5).
Заметим, что представление A1.5) зачастую более удобно для
практических вычислений. Рассмотрим использование интегральных
сумм A1.5) на примере.
Пример 11.2. Доказать, что
т
w{t)dw{t) = \{w\T) -T).	A1.6)
Решение. Заметим сразу, что Awk имеет распределение ЛГ(О; К)
(см. п. 10.4), поэтому M{|Awfe|2} =/г, а М{|А^|4} = ЗМ2{|А^|2} =
= 3/г2 по известному свойству гауссовского распределения. Заметим
также, что h = Т/п —>• 0 при п —>• оо.
Рассмотрим и преобразуем к-й член в интегральной сумме A1.5):
w{tk)Awk = \[w2{tk+1) - w2{tk)] - \

216	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Отсюда для In(w) получаем:
In(w) = ]Г w(tk)Awk = \[w\T) - w2@)} -\J	2
fc=i
T>\JT(AwkJ) = f^D
4i	j fei
}
fc=l	fc=l
}	2
= n-2h2 =
так как D{(AwfeJ} = M{(A^L} - M2{(A^J} = 3/г2 - /г2 = 2/г2.
n
Таким образом, ^^(Агу^) —'—^Т при п —^ оо, откуда в силу
к=1
w@) = 0 и теоремы 11.3
что и требовалось доказать. ¦
Замечания. 1) Рассмотренный пример показывает, что свойства
интеграла Ито отличаются от привычных свойств интеграла Стилтье-
са. Например, формула интегрирования по частями в общем случае
не имеет места. Действительно, если она была бы верна, то
±	1 ±
\ w(t) dw(t) = w2(t) - f w(t) dw(t),
т T
о
о
т.е. 21 (w) = w2(T), что неверно в силу результата примера 11.2.
2) В формуле A1.5) выбор точки tk для вычисления f(t) на Ак
(выбор левого конца промежутка Ак) является принципиальным.
Если выбрать в G [0,1], положить tek = A — 6)tk + 6tk+i и составить
интегральную сумму
In(f) = E fD)Awk,	A1.7)
к=1
то в условиях теоремы 11.3 справедливо утверж:дение:
Ien(f)^I°(f) при п^оо,
причем предельная величина 1 (/) в общем случае зависит от в
и называется стохастическим в-интегралом. Очевидно, что если

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	217
в = 0, то /°(/) — интеграл Ито. Если же в = 1/2, то интеграл /1//2(/)
называется интегралом Стратоновича. В условиях примера 11.2
можно показать, что /1//2(гс) = -и>2(Т), а /1(гс) = -(w2(T) +T), так
что значения указанных интегралов могут различаться очень суще-
существенно, если Т велико. Естественно, если /(?) — неслучайная кусочно
непрерывная функция, то значения всех ^-интегралов совпадают, а
интеграл /(/) обладает свойствами с.к.-интеграла по ортогональной
стохастической мере (см. п. 14.9).
3) Рассмотрим случайную функцию
v(t)=\f(T)dw(T), t?[O,T\,
т. е. интеграл Ито с переменным верхним пределом. В рамках приня-
принятых нами условий выполняются следующие утверждения:
а)	случайная величина ф) измерима относительно Tt\
б)	rj(t) — непрерывный центрированный процесс с ортогональными
приращениями, дисперсия которого имеет вид
в) rj(i) является мартингалом относительно потока {J~t}i t ^ 0,
(см. п. 10.3), т.е. для s ^ t справедливо М{?7(?) | Ts} = r]{s) (Р-п.н.).
Предположим, что случайная функция rj(i) может быть представ-
представлена для каждого t G [0, Т] в виде
<р(т) dr + | /(г) dw(r)
для некоторых подходящих случайных функций ^(т)? /(т)- Тогда
говорят, что rj(t) имеет стохастический дифференциал, а последнее
соотношение записывают в дифференциальной форме
11.2. Стохастическое дифференциальное уравнение. Фор-
Формула Ито. Введенное понятие стохастического интеграла Ито по-
позволяет рассмотреть новый класс дифференциальных уравнений со
случайной правой частью.
Пусть ф) в W1, /(?, x)GMn, сг(?, х) еШпХт — матричная функция
размера (п х га), w(t) G Шт — га-мерный стандартный винеровский

218	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
процесс, компонентами которого являются независимые стандартные
(скалярные) винеровские процессы, a v G W1 — случайный вектор
начальных условий.
Определение 11.6. Случайная функция ?(?) является решени-
решением стохастического дифференциального уравнения
<*?(*) = f(t, ?(*)) dt + a(t, ?(*)) dw(t)	A1.8)
на A = [О, Т] с начальным условием
?@) = v,	A1.9)
если ее молено представить для каждого t G [0, Т] в виде
t	t
?(t) = v + | /(г, ?(т)) dr + | а(т, ?(т)) dw(r),	A1.10)
о	о
где в формуле A1.10) первый интеграл в правой части понимается
в с.к.-смысле, а второй является интегралом Ито.
Замечание. Выражение A1.8) покомпонентно может быть пред-
представлено в виде
где ?(t) = {&(*)}fc=i, f(t,x) = {fk{t,x))l=1, a(t,x) = {<rki(t,x)}, k =
= 1, ...,n, z = l, ..., m. Очевидно, A1.10) принимает вид
i=1
A1.12)
Для того чтобы все интегралы в правой части A1.12) имели смысл
для некоторого процесса ?(?), t G А, и для каждой компоненты этого
процесса выполнялось бы при каждом t G А равенство A1.12), на
функции {Д(?,ж)}, {aki(t,x)} необходимо наложить некоторые огра-
ограничения.
п	п m
Обозначим \f(t,x)\2 = J2 fk(t,x), а И*,Ж)||2 = ? ?>&(*,я).
k=l	k=li=l
Теорема 11.4. Пусть случайная величина v не зависит
от {w(t), t G A}, M{|z/|2} < оо, а коэффициенты уравнения A1.8)
/(?, ж) и a(t,x) непрерывны по переменным t G A, x G W1. Пусть
также:
а) найдется такое К < оо, что при всех t G A, x G Мп
)|2 + И*,а;)||2 ^ i^(l + М2);	A1.13)

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	219
б) найдется такое С < оо, что при всех t G А, ж, у G Шп
\f(t,x) - f(t,y)\2 + \\a(t,x) - a(t,y)\\2 < C\x - y\2.	A1.14)
Тогда на A = [О, Т] существует и единственно (Р-п.н.) непрерывное
решение ?(t) уравнения A1.8) с начальным условием A1.9), причем
M{|?(t)|2}<L(l + M{|i/|2}), t?A,	A1.15)
где константа L зависит лишь от Т и К.
Замечания. 1) Под единственностью (Р-п.н.) непрерывного ре-
решения понимается следующее: если найдется случайная функция rj(t)
(почти все траектории которой непрерывны), удовлетворяющая урав-
уравнению A1.8), т. е.
dt + cr(?, rj(i)) dw(i), 77@) = 1/,
то P{sup \?(t) — rj(t)\ > 0} = 0, т. e. ?(?) и r/(t) — неотличимые случай-
teA
ные процессы (см. п. 1.3).
2)	Условие A1.13) накладывает ограничения на скорость измене-
изменения компонент функций /(t, ж), <т(?, ж) по х при |ж| —>• оо: |/(?,ж)|,
||(j(t, ж)|| не могут возрастать быстрее, чем линейная функция. Усло-
Условие A1.14), известное в математике как условие Липшица, ужесточает
требование непрерывности по переменной х коэффициентов уравне-
уравнения A1.8). Условия A1.14), A1.15) будут выполнены, например, если
функции /(?,ж), a(t,x) дифференцируемы по ж, причем \f'x(t,x)\2 +
+ ||сг^,(?, х)\\2 ^ С при любых t G A, x EW1 и некотором С < оо.
Условия теоремы 11.4 довольно жесткие, но относительно легко прове-
проверяемые. В принципе, они могут быть ослаблены, но соответствующие
результаты выходят за рамки данной книги.
3)	Процесс ?(t) при M||z/|2| < 00 является процессом с конеч-
конечными моментами второго порядка в силу A1.15). Более того, если
M{|z/|2fe} < 00 для к ^ 1, то найдется такая константа L& < оо, зави-
зависящая только от /с, Т и К, что для всех t G А
Другие свойства решения уравнения A1.8) будут описаны далее.
Определение 11.7. Стохастическое дифференциальное уравне-
уравнение вида
u(t) dt + bit) dw(t),
A1.16)
где a(t), u(t), b(t) — матричные детерминированные функции соот-
соответствующих размеров, называется линейным стохастическим диф-
дифференциальным уравнением.

220	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Пример 11.3. Показать, что линейное дифференциальное урав-
уравнение A1.16) с непрерывными коэффициентами a(t), u(t) и h(t) имеет
единственное решение на А = [0,Т].
Решение. Сравнивая A1.16) с A1.8), находим
/(?, х) = a(t)x + u(t), cr(t, х) = b(t).
Проверим выполнение условий теоремы 11.4.
а) Пусть Щ = тах|а^(?)|2, К™ = тах|^(?)|2 и К\ = тах|^/(?)|2,
z,j = I, ..., n, / = 1, ...,777,. Указанные максимумы существуют в силу
непрерывности функций а^(?), щ{Ь) и Ьц{Ь) на А.
|/(t,x)\2 = \a(t)x + u{t)\2 ^ 2\a(t)x\2 + 2|^(t)|2 ^ 2Ka\x\2 + 2Ки",
где Ка = Y;Kiji RU = Y;Ki- Аналогично,
\\a{t,x)\\2 = \\b{t)\\2 ^Kb = ^Кьи.
i,l
Отсюда
\f(t,x)\2 + \\a(t,x)\\2 <: 2Ka\x\2 + 2KU + Kb <: K(l + \x\2),
где К = max{2ifa, 2KU + К6}. Таким образом, A1.13) выполнено.
)||^)()||2 ||()()||2
- f(t,y)\2 = \a(t)(x - y)\2 <^Ka\x- y\2, Ух,ye Rn
Отсюда условие A1.14) теоремы 11.4 выполнено при С = Ка.
Итак, все условия теоремы 11.4 выполнены, и, следовательно,
уравнение A1.16) имеет единственное решение. ¦
Предположим, что задана скалярная детерминированная функция
д(х, ?), х G Mn, t G А. Применим преобразование
Ф) = д(?Ш)	(И-17)
к решению ?(?) уравнения A1.8). Процесс ?(?) по построению имеет
стохастический дифференциал (см. п. 11.1). Будет ли также и rj(t)
иметь стохастический дифференциал? Ответ на этот вопрос дает
следующая теорема.
Теорема 11.5. Пусть функция g{x,i) непрерывно дифференци-
дифференцируема на A not, дважды непрерывно дифференцируема по х и выпол-
выполнены условия теоремы 11.4, тогда
w(t).	A1.18)

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	221
Здесь
dt
vi(t,x) = (-^
V о* /
A1.19)
0о(х t)
где ^ ' — градиент функции g(x,t) no x, tr[-] — след матрицы.
(УХ
Формула A1.18) называется формулой стохастического диффе-
дифференцирования Ито. Соотношения A1.18), A1.19) позволяют иссле-
исследовать свойства различных нелинейных преобразований от решений
стохастических дифференциальных уравнений.
Пример 11.4. Вывести формулу Ито для случая скалярного
уравнения A1.8), т. е. п = т = 1.
Решение. Подставляя в A1.19) выражения —	= g'x(x, t);
= gft(x,t); cr(t)X)cr*(t)X) = сг2(?,ж), находим
Следовательно,
где коэффициенты /1? ai определяются из A1.20). ¦
Замечание. В заключение подчеркнем отличие правила диффе-
дифференцирования Ито от правила обычного дифференцирования. Пусть
?(?) — дифференцируемая неслучайная функция, a rj(i) =
тогда
) dt + д'х(ф),
Если лее ?(t) — случайная функция, удовлетворяющая стохастическо-
стохастическому дифференциальному уравнению, то по A1.20)
dv(t) = [д'ЛШ, t) dt + g'Mt), t) dC(*)] + \д'Ш), t)°2(t, №) dt.
Если последний член в формуле Ито отсутствует, то оба правила
дифференцирования совпадают. Это будет иметь место, например,
в случае g'^{^(t)^t) = 0, т. е. если g(x,t) = a(t) x — линейное преобразо-
преобразование. Очевидно также, что отсутствие диффузионного члена в урав-
уравнении A1.8), т.е. a(t,x) = 0, приводит к аналогичному результату.

222	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Приведем несколько примеров, показывающих эффективность ис-
использования формулы Ито в стохастическом анализе.
Пример 11.5. Используя формулу Ито, доказать, что
\w(t) dw{r) = ^[w2(t) - ?], t > 0.
о
Решение. Пусть ?(?) = w(i), тогда d?(i) = dw(i), ?@) = 0, т.е.
>v_) удовлетворяет стохастическому дифференциальному уравнению,
в котором f(t,x) = 0, a(t,x) = 1. Рассмотрим преобразование rj(t) =
= ?2(?), т.е. g(x,t) = х2. Тогда g't(x,t) = 0, g'x(x,t) = 2x, g"(x,t) = 2.
Подставим найденные выражения в A1.20):
/i(?, ж) = 1, (Ji(t,x) = 2х.
Отсюда drj(t) = dt + 2^(t)dw(t), причем 7/@) = ?2@) = 0. Переходя
к интегральной записи A1.10), получаем
о	о
откуда с учетом ?(т) = w{r) и rj(i) = ic2(t) следует
t
w2(t) = t + 2
= t
что и требовалось доказать. ¦
Заметим, что результат примера 11.5 согласуется с форму-
формулой A1.6), полученной в примере 11.2 непосредственным вычислением
интеграла I(w).
Пример 11.6. Решить стохастическое дифференциальное урав-
уравнение:
|	()
I № = 1.
Решение. Уравнение A1.21) имеет решение в силу теоремы 11.4.
Рассмотрим функцию ?(?) = ew^\ т.е. ?(t) = g(w(t),t), где g(x,t) =
= еж. Очевидно, что g[(x,t) = 0, g'x{x,i) = g"(x,t) = еж. Применим
правило дифференцирования Ито:

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	223
Отсюда d?(i) = - ф) dt + ?(?) dw(t), так как
Кроме того, ?@) = ew^ = 1, так как w@) = 0. Таким образом, ф) =
— е™(*) является решением уравнения A1.21).
Заметим также, что модель A1.21) удовлетворяет всем условиям
теоремы 11.4, поэтому мы можем утверждать, что полученное реше-
решение — единственное, а также для всех к ^ 1
М{\ф)\2к} = м1е2кги^\ < ос, t в А. ¦
Пример 11.7. Пусть ф) — решение уравнения
d?(t) = cos?(t) dt +cos ?(t)dw(t), ?@) = 0.
Показать, что rj(t) = sin?(t) также является решением некоторого
нелинейного стохастического дифференциального уравнения.
Решение. По условию g(x,i) = sin ж, поэтому g't{x,i) = 0,
gfx(x,t) = cos ж, gx(x,t) = —sin x. По условию также f(t,x) = a(t,x) =
= cosx. Воспользуемся формулами A1.18), A1.19):
/i(t, ж) = cos2 x — - sin ж cos2 x = cos2 x A — - sin ж),
o"i (?, ж) = cos2 ж = 1 — sin2 x.
Учитывая, что sin?(t) = r?(t), получаем
Г dri(t) = A - 772(t))(l - ^W) dt + A - V2(t)) dw(t),
{ 7/@) = sinC@) = 0.
Таким образом, rj(i) = sin^(t) является решением A1.22). Отметим,
что уравнение A1.22) не удовлетворяет условиям существования и
единственности решения, использованным в теореме 11.4. Тем не
менее это решение существует, и мы явным образом это проверили.
Данный результат не является противоречием, а указывает лишь на
то, что условия теоремы 11.4 являются достаточными для разреши-
разрешимости нелинейного стохастического дифференциального уравнения,
но не необходимыми. ¦
Следующий пример показывает, как формула Ито может быть
использована для вычисления моментных характеристик решения ?(?)
уравнения A1.8).
Пример 11.8. Предположим, что ?(?) является решением урав-
уравнения
d?(t) = аф) dt + Ъф) dw(i), f @) = v,	A1.23)
причем M{z/4} < ос. Вычислить j(t) =

224	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение. Пусть g(x,t) = ж2, тогда по формуле Ито получаем
уравнение для rj(i) = ?2(?):
dr](t) = Bа + b2)r](t) dt + 2bq{t) dw(i).	A1.24)
В силу М{?72@)} = М{г/4} < оо из неравенства A1.15) следует,
t
что М{?72(?)} < оо, поэтому М< rj(r)dw(r) > = 0. Отсюда, интегри-
о
руя A1.24) и вычисляя математическое ожидание от обеих частей,
получаем
t
Ъ2
M{rj(t)} = M{ry@)} + Bа + Ъ2) | М{ф)} dr.
о
С учетом того, что М{?7(?)} = 7W? имеем
о
Дифференцируя полученное соотношение по ?, находим
т.е. 7(t) =7@)exp{Ba + 62)t}, где 7@) = М{?2@)} = М{и2}.
Заметим, что если 2а + Ъ2 < 0, то 7(?) —* 0 ПРИ t ^ оо для любого
конечного 7@)- Последнее, в свою очередь, означает, что ?(?) '> 0
при t —^ оо для любого г/, такого, что М{г/4} < оо. Указанное свойство
уравнения A1.23) называется его стохастической асимптотической
устойчивостью в с.к.-смысле. ¦
Для численного моделирования процесса ?(?), заданного нелиней-
нелинейным стохастическим дифференциальным уравнением A1.8), можно
воспользоваться методом Эйлера. Для этого рассмотрим точки 0 =
= to<ti<t2<-..,B которых требуется вычислить значения про-
процесса ?(?). Теперь заменим в A1.8) дифференциалы на приращения:
d?(t) Ha?(?n+i)-?(?n), dt на tn+i-tn и dw(t) на w(tn+i) — w(tn). Тогда
где n = 0,l,..., a h = tn_|_i — tn = const — шаг дискретизации
@ < h <C 1). Так как последовательные приращения u>(?n+i) — w(tn)
m-мерного винеровского процесса независимы и имеют распределение
Л/"@; /г/), окончательно получаем
?(Wi) = K(*n) + h f(?(tn))] + Vha{tn, ?(tn)) vn, n = 0,1, ...,
где {vn} — стандартный m-мерный гауссовский белый шум.

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	225
11.3. Линейные стохастические дифференциальные урав-
уравнения. Рассмотрим подробнее процесс ?(?), удовлетворяющий ли-
линейному стохастическому дифференциальному уравнению
Г d?(t) = a(t)?(t) dt + u(t) dt + bit) dw(t),
{	A1.25)
с непрерывными коэффициентами a(t), u(t), b(t).
В примере 11.3 было показано, что это уравнение имеет единствен-
единственное решение. Найдем это решение явно.
Пример 11.9. Показать, что процесс
fe-^r^rjdr + e^) [е-^тЖ^'Мт) (п.2б)
является реп1ением уравнения A1.25), если матричная функция B(t)
удовлетворяет системе дифференциальных уравнений
Г e(t)=a(t)e(t),
\ 9@) = I.
Решение. Вычислим дифференциалы слагаемых в правой части
выражения для ?(?), используя правило с.к.-дифференцирования и
формулу Ито:
/ г л	\ Г • Г 1
d\P\(t\ P)~1(t^ii(t\ cIt\ — \Р)(^ й~ С
V J	/ L J
о	о
t	t
d(e(t) [в-^тЖ^Цт)) = ®(t) [в^
t
В последнем равенстве учтено, что для rj(t) = В~ (т)Ь(т) dw{r) по
о
определению справедливо drj(t) = S~1{t)b(t) dw(t), а по правилу Ито
в силу линейности преобразования g(rj(t),t) = G(t)rj(t) имеет место
d(e(t)ri(t)) = e(t)ri(t) dt + 9(t) dr)(t).
15 Б.М. Миллер и А.Р. Панков

226	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Итак, окончательно получаем
г) dr +
+ f 9 (т)Ъ(т) dw(r)] dt + u(t) dt + b(t) dw(t).
о
С учетом G(t) = a(t)S(t) и формулы A1.26) имеем
df (?) = a(t)?(i) dt + u(i) dt + b(t) dw(i),
причем начальное условие ?@) = 0@) z/ = v выполнено, поскольку
0@) = /. Таким образом, A1.26) действительно является решением
уравнения A1.25). Свойства матрицы ©(?) фундаментальных реше-
решений A1.27) обсуждались ранее в п. 8.3, поэтому мы считаем их из-
известными. ¦
Замечание. Можно показать, что решение A1.26) остается спра-
справедливым, если вместо непрерывности a(t), u(t) и b(t) предположить
их кусочную непрерывность.
В следующем примере обоснован практически важный метод вы-
вычисления моментных характеристик первого и второго порядков ре-
решения системы линейных стохастических дифференциальных урав-
уравнений — метод моментов.
Пример 11.10. Пусть процесс ?(?), удовлетворяющий A1.25),
в момент t G А имеет среднее тп^{?) = М{?(?)} и ковариационную
матрицу 7$W = cov{i{t)ii{t)} — М{(?(?) — m^(t))(^(t) — m^(t))*}, a
начальное значение ?@) = v не зависит от {w(t)}. Показать, что
гп? (t), 7^W являются рен1ениями следующих систем обыкновенных
дифференциальных уравнений:
= тп1/, A1.28)
= 7i/, (П.29)
где mv = М{г/}, 71/ = cov{z/, и}.
Решение. Воспользуемся формулой A1.26), дающей явный вид
решения
f ©-^r)^) dr,	A1.30)
так как M< G 1(rN(r) dw{r) > = 0 по теореме 11.2. Дифференциро-
о
вание выражения A1.30) по t дает уравнение A1.28).

11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	227
О
Вычитая A1.28) из A1.26), получаем для ?(?) =?(?) — m^{t)
A1.31)
t
Пусть rj{t) = \S~1(r)b(r) dw(r), тогда по свойству стохастического
о
интеграла от неслучайной функции имеем
cav{r,(t),T,(t)} = ]в-\т)Ь(т)Ь*(т) (е-\т))*с1т.
о
Учитывая независимость v от \w{t\ т ^ 0}, получаем
Дифференцирование последнего выражения по t приводит к системе
уравнений A1.29). Выполнение начальных условий проверяется непо-
непосредственной подстановкой t = 0 в выражения для m^(t) и 7^W- и
Уравнения A1.28), A1.29) для вычисления моментных характе-
характеристик m^(t) и 7^W процесса ?(t) называются уравнениями метода
моментов.
Рассмотрим использование полученных соотношений на примере
скалярного линейного стохастического дифференциального уравне-
уравнения с постоянными коэффициентами.
Пример 11.11. Пусть скалярная случайная функция {?(?), t ^ 0}
удовлетворяет уравнению
d?(t) = аф) dt + bdw(i), f @) = v.
Найти общее решение уравнения и вычислить т^ (t) и 7^ (t) с помощью
метода моментов. Рассмотреть поведение этих характеристик при
t —> оо, если а < 0.
Решение. Нетрудно проверить, что в данном случае О(?) = eot,
поэтому
t
?(t) = eatmv + beat \e~aT dw{r)
о
представляет собой общее решение рассматриваемого уравнения. Для
нахождения ui^(i) и 7^(^) применим метод моментов. Из A1.28) сле-
следует
15*

228
СЛУЧАЙНЫЕ ФУНКЦИИ
[ГЛ. III
Отсюда m^{t) = mveat. Аналогично из A1.29) находим
=7-
Решая последнее уравнение с учетом \а\ = —а, получаем
li(t) = е2аЧ + щ A " е2-) .
Так как а < 0, то е —>• 0 при t —>• оо, поэтому m^(t) —> О, 7^W "^ п—
2|а
для любых ти, 7^- ¦
Определение 11.8. Система дифференциальных уравнений
udt
A1.32)
с постоянными коэффициентами a, г/, b называется асимптотически
устойчивой, если все корни {А&} уравнения
det[a-А/] =0
A1.33)
лежат в левой полуплоскости, т. е. Re A& < 0.
Теорема 11.6. Если система A1.32) асимптотически устойчи-
устойчива, то существуют т^ и 7?, такие, что для всех rnv, 7^
nPu
00.
Предельные значения т^, 7^ удовлетворяют стационарным уравне-
уравнениям метода моментов:
+ и = 0,
6* = 0.
A1.34)
Пример 11.12. Двумерный процесс ?(?) =
творяет системе уравнений
Удовле-
Удовлеi{t) dt -
dt + gdw(t),
где се, E, о; и ^ — постоянные параметры.
Найти предельные значения mi, 71 моментов первого и второго
порядков компоненты ?i(?), если aa; > 0.
Решение. Из A1.32) следует, что
0
и =
5
0
ь =
0

11]
СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ
229
Проверим условия асимптотической устойчивости:
-Л	1
det[a — XI] = det
—ио —2асо — А
= Л2 + 2асо\ + и2 = 0.
Корни Ai?2 = —oloj ± v а2 со2 — со2 лежат в левой полуплоскости, так
как аи > 0 по условию. Следовательно, наша система A1.32) асим-
асимптотически устойчива. Тогда из теоремы 11.6
{т2 + 5 = 0,
2=0,
откуда mi = 2aS/uj. Так как 7? = 7| по определению, мы можем
7i к
. Тогда из A1.34) следует
72
ПОЛОЖИТЬ 7? =
0	1
-oj2 -2аио
7i к
к 72
7i к
к 72
0 -со2
0 0
0 92
= 0.
Данное матричное уравнение можно переписать в скалярном виде:
+ 72 -
= 0,
д2 = 0.
A1.35)
Разрешая A1.35) относительно 7ъ находим 71 = д2/D:acjs). Итак, при
достаточно больших t можно считать, что ?i(?) имеет постоянные
среднее M{?i(?)} = 2aS/oj и дисперсию D{^i(t)} = д2/(Ааси3). ¦
Если процесс ?(?) удовлетворяет системе линейных стохастических
дифференциальных уравнений A1.25), то мы можем найти закон
его одномерного распределения при известном законе распределения
начального условия v.
Пусть Фо(А) = M{exp(zA*z/)}, A Gln, — характеристическая
функция случайного вектора z/, а Ф^(А; i) = M{exp(iA*^(t))} — ха-
характеристическая функция сечения процесса ^(t), t ^ 0.
Теорема 11.7. Если ^(t) удовлетворяет системе линейных сто-
стохастических дифференциальных уравнений A1.25), то характери-
характеристическая функция Ф^(А; t) имеет вид
ФС(А; t) = Ф0(в*(*)А) ещ,[г\*т1{1) - \\*чЩ\} ,	A1.36)
где G(t) удовлетворяет A1.27), a {?tt|(?), 7^(^)} ~~ решения системы
дифференциальных уравнений метода моментов A1.28), A1.29) с ну-
нулевыми начальными условиями.

230
СЛУЧАЙНЫЕ ФУНКЦИИ
[ГЛ. III
Пример 11.13. В условиях примера 11.11 найти характеристиче-
характеристическую функцию Ф^(А; ?), если начальное значение v имеет равномерное
распределение на [—се, а], а > 0.
Решение. Так как ?(?) — скалярная функция, то А Е М1. Вычис-
Вычислим необходимые компоненты формулы A1.36):
Ф0(А) =
eiXxdx =
2)	в(?) = eat (см. решение примера 11.11);
3)	m%(i) = am%(t), m?@) = ти = 0, откуда rn%(t) = 0;
4)	7|(t) = 2a7l(t) + Ь\ 7f @) = 0, поэтому 7°(*) = щ ? ~ e2at);
5)	находим Ф^(А; t) по формуле A1.36):
Заметим, что
; 0) =	— = Фо(А). Если ж:е t —> оо, а пара-
метр а < 0 (т.е. уравнение асимптотически устойчиво), то
ехр |-
^ J =
где Фдг(А) — характеристическая функция гауссовского распределе-
распределения Л/"@; 62/2|а|). Таким образом, при а < 0 и достаточно больших t
можно считать, что ?(?) имеет гауссовское распределение. Естествен-
Естественно, при близких к нулю t точное распределение Ф^(А; i) не является
гауссовским. ¦
Замечание. Из теоремы 11.7 следует, что если начальное рас-
распределение Фо(А) — гауссовское, то для любого t ^ 0 случайный
вектор ?(?) имеет гауссовское распределение J\f{rn^(t)\^^(t))^ где па-
параметры ??2^(t), 7^№ — решения уравнения метода моментов. Если
лее г/ не является гауссовским вектором, но система уравнений такова,
что в (?)—>• 0 при ? —)> оо (условие асимптотической устойчивости
для нестационарных систем), то при t ^> 1 молено считать, что ?(?) ~
~ Af(m^(t); 7f№)> т-е- имеет место асимптотическая нормальность
решения устойчивого линейного стохастического дифференциального
уравнения.
В заключение рассмотрим решение линейного стохастического
дифференциального уравнения, порожденного не винеровским процес-
процессом w(i), а центрированным неоднородным пуассоновским процессом
= rf(t) -mr,(t),

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	231
где rj(t) — пуассоновский процесс интенсивности v(t) > 0, а т^{?) =
t
= z/(r) dr:
о
d?(t) = а(г)ф) dt + u(t) dt + b(t) drj(t),
A1.37)
?@) = i/.
В интегральной форме уравнение A1.37) имеет вид
t	t	t
ф) = у + |а(т)?(т) dr + Jгх(г) dr + J Ь(г) d^(t),	A1.38)
0	0	0
где последний интеграл в A1.38) — стохастический интеграл по
пуассоновской мере (см. п. 10.2). Используя формулу интегрирования
по частям (8.11) для с.к.-интеграла и A0.12) — для стохастического
интеграла по процессу с ортогональными приращениями, молено по-
показать, что формула A1.26) (с заменой w{r) на г](т)) остается в силе:
). A1.39)
Теперь, используя формулу A0.19) для вычисления интеграла от
неслучайной функции, окончательно получаем
0	Tk^t
где {тк} — случайные моменты скачков процесса г?(?).
11.4. Формирующий фильтр для стационарной случайной
функции. В данном пункте мы рассмотрим метод моделирования
стационарной случайной функции с дробно-рациональной спектраль-
спектральной плотностью с помощью стохастических дифференциальных урав-
уравнений — метод формирующих фильтров.
Определение 11.9. Гауссовская стационарная случайная
функция {ф), tEM}} имеет дробно-рациональную спектральную
плотность Д(А) в случае, если

232
СЛУЧАЙНЫЕ ФУНКЦИИ
[ГЛ. III
где
F(x) =
Н(х) =
к=0
к=0
причем корни многочленов F{x) и Н{х) лежат в левой полуплоскости.
Замечание. При выполнении указанных выше предположений
функция /^(А) интегрируема на R1, т.е.
Далее всюду предполагаем, что {?(?), t G М1} — вещественный
стационарный центрированный гауссовский случайный процесс
с дробно-рациональной спектральной плотностью Д(А) вида A1.40)
и ковариационной функцией
Щ{т)= \
A1.41)
Рассмотрим систему из п линейных стохастических дифференци-
дифференциальных уравнений для процесса rj{t) = {rji(i), ... ,r/n(t)}*, такого, что
rji(t) = ?(?). Структура этой системы описана в следующей теореме.
Теорема 11.8. Пусть rj(t) удовлетворяет системе из п линей-
линейных стохастических дифференциальных уравнений
dr](t) = Ar](t) dt + B dw(t), 77@) = v.	A1.42)
Здесь w(t) — скалярный стандартный винеровский процесс,
А =
0
0
0
-по
1
0
0
-ах
0
1
0
-а2 • • •
0
0
1
-an-i _
В =
- и
0
а
Ч.Т1 — тгь
Q.n-m+1
,an_i} — коэффициенты многочлена F(pc), а параметры
..., qn} определяются по рекуррентным формулам:
fc-i
г=п — ?тг
k = n-m
~~ коэффициенты многочлена Н(х).

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	233
Если случайный вектор v не зависит от {w(t), t ^ 0} и имеет
распределение Л/"@;^), где ковариационная матрица Rv удовлетво-
удовлетворяет системе алгебраических уравнений
ARV + RVA* + ББ* = 0,	A1.43)
то компонента г\\(?) вектора n(t) является стационарным гауссов-
ским центрированным случайным процессом со спектральной плот-
плотностью
f (Л) = д(л)= l \H(iX)\\
2тг |_P(zA)|
Замечания. 1) Так как спектральная плотность гауссовского
центрированного процесса однозначно определяет его конечномерные
распределения, процессы rii(i) и ?(?) стохастически эквивалентны
в широком смысле (см. п. 1.1).
2)	Обычно многочлен Fi^x), все корни которого лежат в левой
полуплоскости, называют устойчивым многочленом. Можно пока-
показать, что из устойчивости F{x) следует асимптотическая устойчивость
системы A1.42), поэтому O(t) —>• 0 при t —> оо, где О(?) — матричная
функция Коши, удовлетворяющая уравнению O(t) = AO(t), O@) = /,
следующему из A1.27).
3)	Решение системы уравнений A1.43) — процесс трудоемкий, но
не имеющий большого практического значения. Действительно, пусть
rj(t) удовлетворяет системе уравнений
drj(t) = A7j(t) dt + B dw(t), 77@) = 0.	A1.44)
Тогда из результатов примера 11.9 следует, что
rj(t) - rj(t) = Q(t)i/ ^4 0 при t -+ 00
в силу предыдущего замечания. Это означает, что по истечении неко-
некоторого времени процессы rj(t) и rj(t) практически не различаются,
причем различие тем меньше, чем больше времени прошло с начала
решения уравнения A1.42).
Определение 11.10. Система стохастических дифференциаль-
дифференциальных уравнений A1.42) (а также A1.44)) называется формирующим
фильтром для процесса ?(t) с дробно-рациональной спектральной
плотностью Д(Л) вида A1.40) или ковариационной функцией R^(r)
вида A1.41).
Рассмотрим использование описанных результатов на конкретных
примерах.
Пример 11.14. Построить формирующий фильтр для процесса
?(?), имеющего ковариационную функцию R^{r) = De~alrl, где D > 0,
а > 0.

234	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение.
— оо
Найденную спектральную плотность можно представить в виде
_ J |Я(гЛ)|2
2^ ' (а + гА)(а-гА) ~ 2^ ' |F(zA)|2 '
где H(x) = V2Da, F(x) = a-\- x. Тогда bo = V2Da, a$ = a, ai = 1.
Заметим, что многочлен F{x) устойчив в силу а > 0. Теперь,
используя утверждение теоремы 11.8, находим уравнение фильтра:
d?(t) = -аф) dt + V2Dadw(t),
Дисперсия i^ начального условия определяется из A1.43):
-2aRv + (V2DaJ = 0,
откуда Ru = D > 0. Ш
Пример 11.15. Поперечная компонента ?(?) скорости ветра в тур-
турбулентной атмосфере является стационарным процессом со спек-
спектральной плотностью
i^r • (ра+^л»)"	AL45)
где а^ — дисперсия скорости ветра, L > 0 — масштаб турбулентности,
v — модуль скорости движения летательного аппарата. Построить
формирующий фильтр для процесса ?(?).
Решение. Преобразуем A1.45) к виду, пригодному для прове-
проведения декомпозиции Д(Л), т.е. определения вида многочленов Н[х)
и F(x).
Обозначим /3 = f/L, тогда A1.45) мож:но записать как
(^	) 2тг	(^ + гЛJ(/3-гЛJ
С учетом требования устойчивости многочленов Н(х), F(x) получаем
Н(х) = Ьо + h%,	где b0 = awf3^, bi = awy/3f3;
F(x) = ao + a\x + ж2, где ao =/32, ai = 2/3.
Теперь по формулам теоремы 11.8 находим gi и g2:
- 2л/3).

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	235
Таким образом, мы получаем для rj(t) = {r]i(t), V2(t)}*, где r]i(t) =
систему уравнений
dr]2{t) = [-2f3rJ(t) - /З2^)} dt + aw^{l - 2^3) dw(t),
где u>(?) — стандартный винеровский процесс. ¦
В завершение пункта обсудим численный метод интегрирования
системы линейных стохастических уравнений, в котором используется
точная дискретизация по времени.
Пусть дана система линейных стохастических уравнений с посто-
постоянными коэффициентами (например, система уравнений формирую-
формирующего фильтра):
и пусть O = ?o<?i<?2<... — точки, в которых нужно вычислить
значения процесса ?(?). Положим ?(tn) = ?n, a tn — tn-\ — h = const.
Тогда случайная последовательность {?п} удовлетворяет следующему
разностному стохастическому уравнению:
?п = Ф?„-1+Фг>„.	A1.46)
Здесь Ф = В (/г), a B(t) — решение уравнения
<Э(?) = AG(t), 9@) = /,	A1.47)
матрица Ф такова, что ФФ* = G(h), где G(t) — решение уравнения
метода моментов:
G(t) = AG(t) + G(t)A* + ВВ\ G@) = 0,	A1.48)
{vn} — дискретный гауссовский стандартный белый шум.
Формулы A1.46)—A1.48) непосредственно следуют из A1.26),
A1.27), A1.29).
Заметим также, что матрицы ФиФне зависят от времени, поэтому
расчеты по формулам A1.47) и A1.48) проводятся только один раз.
Замечание. Если шаг дискретизации h = tn+i — tn, n = 0,1, ...,
мал, то для приближенного интегрирования уравнений формирующе-
формирующего фильтра можно использовать метод Эйлера (см. п. 11.2 и задачу 9).
Пример 11.16. Провести дискретизацию уравнения
с шагом по времени h = 0,1.

236	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение. В данном случае B(t) = e~2t, поэтому Ф = B(/i) =
= е~0'2 ж 0,819. Из формулы A1.48) находим, что
G(t) = -4G(*) + (V3J, G@) = 0.
Отсюда G(i) = -A - e~4t) и G{h) = -A - e'4) « 0,247. Так как
4	4
G(h) — скалярная величина, тоФ= \/G(h) & 0,497.
Итак, разностный вариант стохастического уравнения имеет вид
?п = 0,819 Cn-i +0,497 vn, Co = у,
где vn rsj Л/"@; 1) и не зависит от vm при п / т. Ш
Замечание. Метод формирующих фильтров вместе с рассмо-
рассмотренным методом численного решения линейных дифференциальных
уравнений дают нам практический способ численного моделирования
стационарных случайных функций с дробно-рациональной спектраль-
спектральной плотностью.
Если мы хотим дискретизировать линейное уравнение с перемен-
переменными коэффициентами, то следует соответственно обобщить форму-
формулы A1.46)-A1.48). Пусть
d?(t) = a(t)?(t) dt + b{t) dw(i), f @) = i/,
тогда
Здесь Фп = G(tn)9-1(tn_1), 9(t) = a(t)e(t), 6@) = /;
где
G(t) = a(t)G(t) + G(t)a*(t) + 6(tN*(t), t > tn-U G(tn_i) = 0,
а процесс {fn} остается по-прежнему стандартным белым шумом.
В заключение заметим, что нахождение Фп по G(tn) есть стан-
стандартная задача линейной алгебры, для решения которой имеются
многочисленные эффективные численные методы.
11.5. Стохастические дифференциальные уравнения и
диффузионные процессы. В п. 2.5 было дано определение одно-
однородного диффузионного процесса с вектором сноса а[х) и матрицей
диффузии Е(ж). Оказывается, между решениями стохастических диф-
дифференциальных уравнений и диффузионными процессами имеется
теснейшая связь, что объясняется следующим утверждением.

11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	237
Теорема 11.9. Пусть ?(t) — решение стохастического диффе-
дифференциального уравнения A1.8) с начальными условиями A1.9), где
f(t,x) = f(x) и a(t,x) = cr(x), т. е. уравнение однородно по времени.
Если условия теоремы 11.4 выполнены, то ?(t) является однородным
диффузионным процессом с вектором сноса а{х) = f(x) и матрицей
диффузии ?(ж) = а(х)а*(х).
Сформулируем условия, при которых переходная плотность
p^{x,t,y) и одномерная плотность р^(у; i) удовлетворяют уравнениям
Колмогорова-Фоккера-Планка.
Пусть /Ы = {ДЫ, ...,/„Ы}*, 2(у) = {2„(»)}у=1	„, где
^ij(y) = 5Z (Jik(y)(Jkj(y)' Введем следующий дифференциальный опе-
fc=i
ратор:
Чя] = - ± ^ШуЫу)) + \ Е Е ё^B«ЫвЫ), (ii-49)
где q(y) — достаточно гладкая скалярная функция.
Теорема 11.10. Пусть выполнены условия теоремы 11.4 и, кро-
кроме того, функции {/г(у)} непрерывно дифференцируемы, а функ-
функции {o~ij(y)} дважды непрерывно дифференцируемы. Если переходная
плотность p^(x,t,y) дважды непрерывно дифференцируема по у и
один раз непрерывно дифференцируема по t Е @,Т] при всех х G Шп,
то она удовлетворяет прямому уравнению Колмогорова:
dP^tiV) = L[p((x,t,y)], р((х,0,У) = S(y - х).	A1.50)
При этом одномерная плотность распределения р^(у; t) удовлетво-
удовлетворяет уравнению
Щ±^- = L[Pi{y- t)], Pi(y; 0) = ро(у),	A1.51)
где ро(у) — плотность распределения ?@).
Уравнения A1.50), A1.51) дают принципиальную возможность
вычислить конечномерные законы распределения процесса ?(?),
удовлетворяющего стохастическому дифференциальному уравнению
с коэффициентами, не зависящими от времени. Наиболее сложной
проблемой является отыскание условий, при которых плотности
рАх, ?, у) и рАу'ч i) существуют. Рассмотрим эту проблему на примере
линейного уравнения.
Пример 11.17. Скалярная случайная функция ?(?) удовлетворя-
удовлетворяет линейному стохастическому дифференциальному уравнению
d?(t) = аф) dt + bdw(i), f @) = v,
где v - M{mv\ 7^). Найти р^(ж, t, у) и р^(у; t).

238	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение. Предположим, что pJx,t,у) существует и является
достаточно гладкой, тогда из A1.50) следует (с учетом f(x) — ах ъ
а(х) = Ь):
dp(x,t,y)	д	ь2 d2p(x,t,y)
= -a(yp(xty)) + ¦ ^ .	A1.52)
Рассмотрим функцию
где тх (t), 7°№ являются решениями уравнения метода моментов:
{тх (t) = amx (i),	тх @) = х;
Если 7°W > 0; то Р^(ж, t, у) определена при всех t > 0. Непосред-
Непосредственной подстановкой выражения A1.53) в A1.52) с учетом A1.54)
можно показать, что pJx,t,y) удовлетворяет уравнению A1.52) и,
кроме того, pJx,t,y) —>- 8{х — у) при t —ь 0 (так как 7°(^) ~* 0 ПРИ
t —^ 0). Таким образом, вопрос о существовании p^(x,t,y) упирается
в условие 7°W > 0- Очевидно, что условие будет выполнено, если
Ъ ф 0, т. е. коэффициент диффузии Е = б2 > 0.
Пусть теперь рЛу\ i) при всех ? ^ 0 имеет вид
AL55)
где гтг^ (t), 7^№ опять определяются из уравнений метода моментов:
A1.56)
{
Если 7j(i) > 0 при всех t ^ 0, то нетрудно проверить, что
где ри(у) — гауссовская плотность начального вектора v. Из A1.56)
следует, что если 6/0, то "y^{t) > 0 выполнено при всех t > 0 для
любого 7i/ ^ 0- ¦

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	239
Замечание. Условие Ъ ф 0 вполне закономерно. Действительно,
пусть ф) е W1 и
d?(t) = Аф) dt + B dw(t), ?@) = у-	A1.57)
Тогда ^(i) = COV{?№??W} удовлетворяет уравнению
* + ВВ*, 75@) = 7„.
Молено показать, что 7^№ > О ПРИ любом 7i/ ^ О тогда и только тогда,
когда
гапк{Б, АВ, ..., А71'1 В} = п.	A1.58)
Условие A1.58) хорошо известно в теории управления и называется
условием полной управляемости системы A1.57). В случае п = 1
A1.58) означает В ф 0.
11.6. Фильтр Калмана—Бьюси. В п. 6.4 приведено решение за-
задачи с.к.-оптимального оценивания случайных последовательностей,
описываемых линейными разностными стохастическими уравнения-
уравнениями. В гауссовском случае эта задача имеет явное решение в форме
дискретного фильтра Калмана. Оказывается, что этот результат мож-
можно распространить и на случайные функции, описываемые линейными
стохастическими дифференциальными уравнениями.
Задача фильтрации. Рассмотрим пару случайных процессов
{x(i) G Mn, y(t) G Mm, te [0,T]}, описываемых системой линейных
стохастических дифференциальных уравнений
dx(t) =	+	^),
A1.59)
2{t)
с начальными условиями ж@) G Мп, у@) = 0. В уравнениях A1.59)
if1(t), w2(t) — стандартные винеровские процессы размерности &i, k<i
соответственно, х@) — гауссовский случайный вектор с параметрами
= mo, cov{x@), x@)} = 7о-
Случайные процессы w1^), w2(t) и случайный вектор ж@) независи-
независимы. В задаче фильтрации (оценивания) предполагается, что процесс
x(t) не наблюдаем, а наблюдать можно лишь процесс y(i), который
несет неполную информацию о процессе x(t). Задача фильтрации
состоит в определении с.к.-оптимальной оценки процесса x(t) по на-
наблюдениям процесса {y(s): 0 ^ s ^ t]. Так же как и в случае модели

240	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
с дискретным временем (п. 6.4), с.к.-оптимальной оценкой является
условное математическое ожидание, а именно:
m(t) = M{x(t) | Т*} ,
где
Fty = a{y(s):0^s^t}
есть сг-алгебра, порожденная значениями процесса y(s) до текущего
момента времени t (см. п. 11.1). Замечательный результат Калмана и
Бьюси состоит в выводе уравнений, описывающих эволюцию услов-
условного математического ожидания m(t).
Теорема 11.11 (Калман, Бьюси). Пусть в уравнениях A1.59)
матричные функции A(t), B(t), a(t), b(t) имеют кусочно непрерывные
компоненты, матричная функция b(t)b*(t) — равномерно невыро-
невырожденная, т. е. найдется константа с > 0, такая, что для любых
t G [0, Т] и A G Mm имеет место неравенство
\*b(t)b*(t)\^c\\\2.	A1.60)
Тогда условное математическое ожидание m(t) = М{ж(?) | J~t} есть
единственное решение системы стохастических дифференциальных
уравнений
dm(t) = A(i) m(i) dt + 7(t)a*(t)F(t)b*(t))-1[d2/(t) - a(i) m(i) dt],
A1.61)
7(t) = A(tO(t) + -y(t)A*(t) + B(t)B*(t) - 7(t)a*(t)F(tN*(t))-1a(tO(t)
A1.62)
с начальными условиями
m@) = m0, 7@) =70-	A1.63)
Оценка m{t) — несмещенная, т. е. М{ж(?) — m(t)} = 0. Детерми-
Детерминированная матричная функция ^(t) в уравнениях A1.61) и A1.62)
равна ковариации ошибки оценки m(t):
= cov{x(t) -m{t),x(t) -m(t)} = M{(x(t) - m(t)){x{t) -
а процесс
t
?(t) = \(b(s)b*(s))-1/2[dy(s) - a(s)m(s)ds], t G [0,T]
о
является стандартным винеровским.

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	241
Уравнения A1.61)—A1.63) описывают рекуррентный алгоритм
с.к.-оптимальной фильтрации гауссовского процесса ж(?), называемый
фильтром Калмана-Бьюси.
Замечания. 1) Процесс ?(?) называется обновляющим для про-
процесса наблюдений y(t). Его важность определяется тем, что он, яв-
являясь стандартным винеровским процессом, порождает ту же самую
сг-алгебру событий, что и процесс наблюдений у(?), т.е. Т% = Т^.
2)	Поскольку m(t) — несмещенная оценка для x(t) по наблю-
наблюдениям {y(s), s ^ ?}, то ковариационная матрица ^f(t) ее ошибки
Ax(t) = x(t) — m(t) характеризует точность оценки m(t). Поэтому
M{\Ax(t)\2} = tr[7(t)] в силу того, что M{Ax(t)} = 0.
Так как {ж(?), m(t)} — гауссовский процесс, Ax(t) ~ Af(O;j(t)).
В частности, Р< \\*Ax(t)\ ^ Зу/Г\^уЩ\> ж 0,997 для любого вектора
А ф 0. Заметим, что из A1.62) следует, что ^(t) — неслучайная функ-
функция времени, поэтому точность процедуры фильтрации может быть
рассчитана заранее, т. е. до начала процедуры обработки наблюдений.
3)	В силу линейности уравнений фильтрации A1.61), A1.62) для
практической реализации фильтра Калмана-Бьюси можно использо-
использовать процедуру дискретизации по времени из п. 11.4.
Рассмотрим некоторые примеры использования полученного ре-
результата.
Пример 11.18 (задача оценивания параметра). Найти с.к.-опти-
с.к.-оптимальную оценку гауссовской случайной величины д ^ Ы{т§\а§) по
наблюдениям случайного процесса у(?), удовлетворяющего стохасти-
стохастическому дифференциальному уравнению
dy{t) = ddt + GX dw(i), 2/@) = 0,
где cri ф 0.
Р е ш е н и е. Если ввести функцию x(t) = #, то пара функций {ж(?),
y(t)} удовлетворяет системе линейных стохастических дифференци-
дифференциальных уравнений
{dx(i) = 0,
A1.64)
dy(t) = x(t) dt + cri dw(t).
Тогда с.к.-оптимальная оценка для в есть
М{в | F*} = M{x(t) | Т?} = m(t).
Применяя теорему 11.11 и формулы A1.61), A1.62) с парамет-
параметрами A(t) = 0, B(t) = 0, a(t) = 1, b(t) = ai, получаем, что m(t) и
7(t) = М{(^ — т(t)J} удовлетворяют системе стохастических урав-
16 Б.М. Миллер и А.Р. Панков

242	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
нений
dm(i) = Щ- [dy(i) - m(t) dt], ra(O) = га0,
-^,	7@) =*l
Уравнение для j(t) имеет явное решение
Тогда m(t) удовлетворяет линейному стохастическому уравнению
решение которого имеет вид
t
0)т + \ФН с) °
о
t 9
, ,. ч Г Г erg , \
где Ф(^, s) = ехр< — ^	^ аг/ > — решение уравнения
Ф(з,з) = 1.
, что Ф(г, s)
нонсение в выражение для m(t), получаем
тт	ж/j. \ CFqS-\-<j\	j(t) „
Нетрудно видеть, что Ф(г, s) = —^	^- = ; ч. Подставляя это соот-
*
о	"	о	г	о х
Итак,
г	п
Пример 11.19 (наблюдение процесса Орнштейна-Уленбека).
Пусть скалярные процессы {ж(?), y(i)} удовлетворяют системе урав-
уравнений
I dx(t) = — ax(t) dt + с?гу (t),	ж@) ~ Л/ (гао; 7оM
1 dy(t) = x(t) dt-\-a dw (t),	y@) = О,

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	243
где а > О, а^О. Исследовать поведение с.к.-оптимального фильтра
при t —> oo и построить стационарный вариант процесса фильтрации.
Решение. Уравнение A1.61) фильтра Калмана—Бьюси для про-
процесса m(t) = M{x(t)|^r/} имеет вид
dm(t) = -am(t) dt + -^-[dy(t) - m(t) dt], ra(O) = m0,
a2
а уравнение A1.62) для дисперсии j(i) = М{(ж(О — m(i)J} ошибки
фильтрации есть скалярное уравнение Риккати
7@ = -2се7@ + 1 - ^, 7@) = 7о.
Это уравнение имеет явное решение
7(t) = 71 +	Gi-72)GQ-7i)
1У) Tl Go-72)e2^*-Go-7i)'
где /9 = уоЧ^2, 7i = <г2(Р ~ а), 72 = ~cr2(f3 + се).
С учетом условий примера заключаем, что /3 > 0, ji > 0 и
7о ~~ 72 > 0- Тогда из полученного выражения для ^y(t) при условии
j0 ф ^1 следует, что ^f(t) —>- 71 ПРИ ^ ~^ °°- Если же 70 = 7i? то т№ = ^
Таким образом, при t ^ 1 мож:но считать, что 7@ = 7ъ а уравне-
уравнение фильтрации становится стационарным, т. е.
dm{t) = -am(t)dt+?\[dy(t) - m(t) dt].
Последнее означает, что в данной задаче существует стационарный
вариант фильтра Калмана—Бьюси. С учетом полученного выражения
для 7i он принимает вид
dm(t) = -t3m{t)dt+{t3-a)dy(t). ¦
Замечание. Оказывается, что если в уравнениях A1.59), описы-
описывающих систему наблюдения, параметры А, В, а и Ъ не зависят от
времени, а матрица А устойчива, то результат, обнаруженный в при-
примере 11.19, является закономерным: при любом начальном условии
7о ^ 0 существует 7 = nm 7@? причем 7 не зависит от 7о и )^0.
t—^00
При этом уравнение фильтрации A1.61) принимает стационарный
(предельный) вид
dm(t) = Am(t)dt + K [dy(t) - am(t) dt],
где К = 7a*Fб*) — постоянный матричный коэффициент.
16*

244	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Задача экстраполяции. Одной из практически важных задач
является задача прогнозирования или экстраполяции. Пусть процес-
процессы {ж(?), y(i)} описываются линейной системой стохастических урав-
уравнений A1.59). Предположим, что наблюдению доступны значения
процесса y(t) лишь до некоторого момента времени s < ?, и требуется
с.к.-оптимально оценить x(t).
Тогда ms(t) = М{ж(?) | Т^} представляет собой искомую оценку,
которая называется с. к.-оптимальной оценкой прогноза или экстра-
экстраполяции. Покажем, как оценка прогноза выражается через оценку
{т(?),7(?)} фильтра Калмана-Бьюси.
В силу уравнения A1.59) процесс x(t) допускает представление
(см. п. 11.3)
t
^{t^Bi^dw1^),	A1.65)
где Ф(?, s) = C{t)S~1(sI а в(?) — матрица Коши фундаментальных
решений. Поскольку процессы ги1, w2 независимы, значения прира-
приращений винеровского процесса и?1 (г/) при и ^ s не зависят от значений
процесса у (и) при и < s. Поэтому
= 0
II	\ '	/	\	/	\	/	О	I
S
и, следовательно,
ms(t) = М{Ф(?, s)x(s) | ТУ} = Ф(?, s)M{x(s) \ Т%} = Ф(?, s)m(s).
A1.66)
Использование представления A1.65) позволяет получить выраже-
выражение и для ковариации ошибки оценки прогноза:
7S(?) = M{(x(i) - ms(t)))(x(t) - ms(i))*} =
t
= Ф(?,зO(з)Ф*(?, s) + l Ф(г, и)В(и)В*(и)Ф*(t, и) du. A1.67)
s
Соотнопсения A1.66), A1.67) можно представить в дифференци-
дифференциальной форме:
ms{t) = A(i)ms(i), ms(s) = m(s),
где ra(s) — c.k.-оптимальная оценка для ж(з), а 7E) — ковариационная
матрица ее ошибки.

§ 11]	СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ	245
11.7. Задачи для самостоятельного решения.
1. Пусть {/(г), т ^ 0} — с.к.-непрерывная неупреждающая случайная
функция. Доказать, что
является процессом с ортогональными приращениями, и найти его ковари-
ковариационную функцию.
min(t,s)
Ответ. Rr,(t,s) = | М{|/(т)|2} dr.
о
2.	Доказать, что нелинейное стохастическое дифференциальное урав-
уравнение
d?(t) = - arctg № dt + -Jg-, m = 0
имеет единственное решение.
3.	Решить стохастическое дифференциальное уравнение
Ответ. ?(t) =f@) exp{(a-b2/2)t
4. Пусть случайный процесс {?(?), t ^ 0} удовлетворяет стохастическо-
стохастическому уравнению
= a(t) ?(t) dt + a(t) ?(t) dw(t), P{^@) > 0} = 1
с кусочно непрерывными детерминированными функциями a(t) и cr(t).
Доказать, что
t	t
= С(О) exp{J[a(S) - iff2(e)] ds + Jff
Указание. Вычислить d?(i) по правилу дифференцирования Ито.
5. Доказать, что система двух стохастических дифференциальных урав-
уравнений
:*), б(о) = о,
= ~b(t)dt-ti(t)dw(t), 6@) = 1
имеет решение ^i(t)
6. Построить формирующий фильтр для центрированного гауссовского
стационарного процесса ?(?), имеющего спектральную плотность
, / ч _ ^ (а + 7^о)^>2 + (а -
где cjo = Ь2 — а2, а > 7^0, -D > 0.

246	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Ответ.
drji(t) = 772(t) dt + gi dw(t),
drj2(t) = -b2 rn(t) dt - 20772(t) dt + qi(b- 2a) dw(t),
где тух (t) = ?(*), gi
7. Пусть требуется оценить n-мерный гауссовский случайный вектор
в ~ ЛА(/х;7о) по наблюдениям случайного процесса y(t) ? Mm, удовлетворя-
удовлетворяющего стохастическому уравнению
dy(t) = a(tNdt + b(t)dw(t), y@) = 0,
где а(?), Ь(?) — неслучайные матричные функции, причем b(t)b*(t) — рав-
равномерно невырожденная. Вывести уравнения для с.к.-оптимальной оценки
m(t) = М{в | Tt) и матрицы 7(*) = М{(в - m{t)){0 - m(t))*} ковариации
ее оп1ибки.
Ответ.
dm(t) = 7(t)a*(t)F(tN*(t))[d?/(t) - a(t) m(t) dt], m@) = ц,
1	7@) = 70.
8. (Продолж:ение задачи 7.) Доказать, что в условиях предыдущей за-
задачи при положительно определенной матрице 7о > 0
Указание. Рассмотреть функцию G(t) = j~1(t) и убедиться, что
9. Пусть ?(?) удовлетворяет уравнению
= a(t) ?(t) dt + b(t) dw(t), f @) = 1/.
Обосновать приближенный метод дискретизации этого уравнения для ма-
малого шага дискретизации h (метод Эйлера):
f (*n+i) = A + a(tn)h) ?(tn) + Vhb(tn) vn, n = 0,1, 2, ..., f @) = 1/,
где tn = n/i, а {г»п} — стандартный гауссовский дискретный белый шум.
Указание. Заменить в исходном уравнении дифференциалы конечны-
конечными разностями.
10. Пусть {y(t), t ^ 0} — наблюдаемый процесс, удовлетворяющий урав-
уравнению
dy{t) = e-t/2f3edt + dw{t), y@) = 0,
где f3 > 0, 0 rsj А/"@; 1). Пусть 0t — с.к.-оптимальная оценка в по наблюдени-
наблюдениям {y(s), s ^ t}. Доказать, что 7(*) = М{(в - 0tJ} -> 1/A + /3) при t -> 00.
Указание. Воспользоваться алгоритмом Калмана-Бьюси.

12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	247
§12. Марковские случайные функции
с дискретным множеством состояний
12.1. Потоки событий. Понятие потока событий имеет ключе-
ключевое значение для построения математических моделей марковских
случайных функций с дискретным множеством состояний.
Определение 12.1. Потоком событий называется последова-
последовательность одинаковых событий, происходящих одно за другим через
промежутки времени случайной длины.
Пусть здесь и далее ? ^ 0, h > 0. Обозначим через Р(?, ? + h) веро-
вероятность появления хотя бы одного события на промежутке времени
[?,? + /г]. Предположим, что при каждом ? существует
= lim v ,	-.
h
Определение 12.2. Функция A(?) называется интенсивностью
потока событий (в точке ?).
Рассмотрим некоторые предположения о потоке событий, позволя-
позволяющие построить его содержательную математическую модель.
Определение 12.3. Пусть n(?i,?2) — случайное число событий
из потока, происходящих на промежутке [ti,^]- Поток называется од-
однородным или стационарным, если законы распределения случайных
величин n(?i,?2) и n(t\ + ?,?2 + s) совпадают при всех s ^ 0.
Замечания. 1) Очевидно, что однородность потока означает
P{n(s,s + ?) = m} = P{n@,?) = m} Vs, ? ^ 0, m = 0,1,2, ...
Поэтому поведение однородного потока можно изучать лишь на про-
промежутке [0,?]. Далее мы будем обозначать
=n@,?), ?^0.	A2.1)
2) Интенсивность однородного потока постоянна, т. е. Л(?) = Л:
хил v P(t,t + h) v P@,/i) л,пч Л
Л(?) = lim v T	L = lim \ ' = A@) = Л
^^o h	h^o h	v J
для всякого ? ^ 0.
Определение 12.4. Поток событий называется ординарным^ ес-
если для всех ? ^ 0, h > 0 справедливы соотношения
P{n(?, t + h) = l} = X(t)h + o(/i),
P{n(?,? + /i) > 1} = o(h),
где Л(?) — ограниченная функция, —j-^ —>- 0 при h —>- О.

248	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Замечания. 1) Требование ординарности означает, что события
в потоке следуют строго одно за другим и не происходят вместе:
и P{n(t,t + h) > 1} _ Ит o(h) _
ft™ P{n(t, t + h) = l} ~ ft™ X(t)h + o(h) ~
Последнее означает, что вероятность появления на интервале длины h
двух и более событий при малых h пренебрежимо мала по сравнению
с вероятностью появления одного события.
2) Если поток является однородным, то
P{n(?, t + К) = 1} = Aft + o(h).
Пусть выбраны произвольные точки 0 = to ^ t\ ^ ... ^ tm+i- Рас-
Рассмотрим совокупность случайных величин
бс = rb(tk,tk+1), к = 0,1, ..., т.
Определение 12.5. Поток событий называется потоком без по-
последействия, если случайные величины {?о>?ъ •••>?т} независимы
в совокупности.
Определение 12.6. Ординарный поток без последействия назы-
называется пуассоновским потоком событий. Если пуассоновский поток
является также и однородным, то он называется простейшим пото-
потоком событий.
Смысл термина «пуассоновский поток» проясняет следующее
утверждение.
Теорема 12.1. Пусть rj(i) — число событий в простейшем по-
потоке интенсивности Л на промежутке [0,?]. Тогда
P{r/(t) = т} = ехр{-А?} ^^, m = 0,1, 2, ...	A2.2)
тп.
Таким образом, при любых t ^ 0 случайная величина rj(t) имеет
распределение Пуассона с параметром At. Отсюда, в частности, сле-
следует, что г/A) распределена по Пуассону с параметром А.
Другие свойства пуассоновского потока рассмотрим на примерах.
Пример 12.1. Показать, что интенсивность простейшего потока
равна среднему числу событий, происходящих на интервале времени
единичной длины.
Решение. Пусть n(t,t +1) — число событий на интервале еди-
единичной длины. В силу однородности с учетом A2.1) имеем
n(t,t+l) = п@,1)
А"
Из теоремы 12.1 следует Р{?7A) = тп} = —- е Л, поэтому
ml
= у ^- е~х = А У — е~х = А.
^^n ml	^^n ml
га=0	т=0

§ 12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	249
Итак, M{n(?, t + 1)} = Л что и требовалось доказать. ¦
Пример 12.2. Пусть т — случайная длина интервала времени
между двумя последовательными событиями в простейшем потоке.
Доказать, что т имеет экспоненциальное распределение Е(\) с пара-
параметром Л:
Р{г ^ t} = 1-е~х\ ?^0.	A2.3)
Решение. Пусть r](t) определено в A2.1). Тогда в силу A2.2)
Р{т > ?} = Р{т?(?) = 0} = е~х\ t ^ 0.
Следовательно, функция распределения FT(t) случайной величины т
имеет вид
FT{t) = Р{т ^ t} = 1 - Р{т > ?} = 1 - е~х\ t ^ 0.
При этом fT(t) = —т^ = Ae~At, t ^ 0, — плотность распределения т.
Итак, т ~ .Е(Л), что и требовалось доказать. ¦
Следующий пример показывает, что распределение Е(Х) обладает
интересным свойством, тесно связанным с понятием отсутствия по-
последействия.
Пример 12.3. Показать, что в простейшем потоке распределение
времени от текущего момента до момента появления очередного собы-
события не зависит от того, сколько прошло времени от момента появления
последнего события до текущего момента.
Решение. Пусть s — текущий момент времени, т — время, от-
отсчитываемое с момента появления последнего события, а т\ = т — s —
время ожидания очередного события. Тогда для каждого t ^ 0
Р{Г1 >t\r^S} = %т{;;у} =е-^^-=е-л*=р{г > ,}¦
Таким образом,
P{n ^ t | т ^ s] = Р{т ^ t} = FT(t) = 1 -
~xt
Итак, условное распределение СВ т\ не зависит от s и совпадает
с распределением СВ т. Ш
Суммируя все свойства процесса r)(t), рассмотренные выше, мы
видим, что rj(t) — пуассоновский процесс, рассмотренный в п. 10.2.
Заметим, что свойство независимости приращений процесса r)(t) есть
просто другая формулировка условия отсутствия последействия по-
потока. Очевидно также, что rj(t) является марковским случайным про-
процессом (как всякий процесс с независимыми приращениями).
Пример 12.4. На телефонную станцию поступает простейший
поток заявок на переговоры. В среднем в одну минуту поступают
три заявки. Какова вероятность того, что в течение двух минут на
станцию не поступит ни одной заявки?

250	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Решение. Пусть N — случайное число заявок в одну минуту,
тогда по условию Л = M{7V} = 3. Если т — время ожидания очередной
заявки, то искомая вероятность равна
Р{т > 2} = 1 - Р{т ^ 2} = 1 - A - еЛ) = еЛ = е « 0,0025.
Поскольку Р{т ^ 2} « 0,9975, то почти наверняка в течение проме-
промежутка времени длиной в две минуты поступит хотя бы одна заявка
на переговоры. ¦
12.2. Вероятностное описание марковских случайных
функций с дискретным множеством значений. Пусть {?(?),
t ^ 0} — случайная функция, принимающая значения при каждом t из
множества Е = {жо,жъ • • • }• Далее без ограничения общности будем
считать, что х^ = &, к = 0,1, ...
Определение 12.7. Случайная функция {?(?), t ^ 0}, прини-
принимающая значения из множества Е, называется марковским процес-
процессом с непрерывным временем и дискретным множеством значе-
значений, если для любых моментов O^ti^...^tn_i^s^tn значений
zi, ..., zn_i, i,jEE выполнено
= 3
Определение 12.8. Вероятностью перехода марковского про-
процесса ?(?) называется функция
Pl3{s,t) = V{i{t)=J\^s) = i],	A2.4)
где ij e E.O^s^t.
Замечание. Из определения 12.8 непосредственно следуют свой-
свойства вероятности перехода:
1) Y^ Pij(s'l) = 1 для всех * G ^'
2) р• .(t, t) = 1 для всех г G
)()
Возмож:ные значения процесса ?(?), т.е. элементы множ:ества ?^,
часто называют такж:е состояниями процесса ?(?). Поэтому р^ -(s, t) —
вероятность перехода ^ из состояния i E E в момент 5 в состояние
j Е Е в момент ?.
Определение 12.9. Вероятностью %-го состояния ?(t) в мо-
момент времени t ^ 0 называется величина

12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	251
Очевидно, что тгi{i) ^ 0 и ^ тг^(^) = 1. Таким образом набор
образует распределение вероятностей состояний марковского
процесса ?(?).
Между переходными вероятностями и вероятностями состояний
имеется следующая связь.
Теорема 12.2. Пусть 0 ^ s ^ и ^ ?, тогда
Замечание. Соотношение A2.5) называется уравнением Колмо-
горова-Чепмена, общий вид которого был рассмотрен в п. 2.4.
Определение 12.10. Процесс ?(t) называется однородным, если
рг (s, s + i) = р{ @, t) для всех s,t ^ 0 и i,j E Е.
Предпололсим, что при каждом s ^ 0 переходная вероятность
pi-{s,t) дифференцируема по t при любых г, j G Е1.
Определение 12.11. Интенсивностью перехода \ij(i) ^ 0 из
состояния г в состояние j в момент t ^ 0 называется величина
= hm
du
A2.7)
Пример 12.5. Показать, что интенсивности переходов однород-
однородного процесса не зависят от времени.
Решение. В силу однородности p^(t,t + К) = р^(О,/г), поэтому
р.. @, К)
получаем \j\t) = lim —3—	 = А^-(О) = const. ¦
h
Далее мы будем рассматривать только однородные процессы, по-
поэтому основные обозначения принимают следующий вид:
\ф) = Xij, Pij(s, s + t)= Pij(t) Vs > 0.
Наибольший практический интерес при исследовании процессов
описанного выше типа представляет вычисление вероятностей его
состояний в любой момент t > 0, если задано начальное распреде-
распределение вероятностей состояний {тго(О), tti(O), ... }. Соответствующий
алгоритм и условия его применимости для однородного процесса
сформулируем в виде теоремы.
Теорема 12.3. Если для каждого г G Е выполнены условия:
1) sup \ki < ос;
2) sup
-A
ki
0 при h —>• 0,

252
СЛУЧАЙНЫЕ ФУНКЦИИ
[ГЛ. III
то тг(?) = {тго (t), 7Ti(t), • • • } является решением системы дифферен-
дифференциальных уравнений Колмогорова:
= ]Г \ki7Tk{t) - щ{
E,
A2.8)
причем с учетом условия нормировки
система A2.8) имеет при каждом тг(О) = {тг^тг^, ... } единственное
решение.
Замечание. Нетрудно видеть, что в случае конечности множе-
множества состояний Е условия теоремы 12.3 выполнены.
Пример 12.6. Вычислить вероятности состояний пуассоновского
процесса, используя уравнения Колмогорова.
Решение. Напомним, что rj(t) — число событий в простейшем
потоке к моменту t ^ О, причем г/@) = 0. Из результатов предыду-
предыдущего пункта следует, что P^(
к = г — 1, то
'¦. 0 при к > г, поэтому А^ = 0. Если
o(h) _
i-i,i = 1™
h
= A.
Если ж:е к < i — 1, то
Теперь очевидно, что условия теоремы 12.3 выполнены. Отсюда
,. o(h) -
ы = hm ~Y~ = 0.
7Г1 (t) = ЛТГО (t) - ATT! (t),
7Г2 (t) = ЛТП (*) - АТТ2 (t),
7Г1@)=0,
тг2@)=0,
A2.9)
Сделаем в A2.9) замену переменных 7г»(?) = е А*д
go(t) = 0,	д„@) = 1,
q^t) = Xqo(t), 9l@) = 0,
q2(t) = \qi(t), q2@) = 0,

12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	253
Отсюда qo(t) = 1, q^t) = Xt, q2(t) = {-^f, .. .,q.(t) = &?-, ... Сле-
(XtY
довательно, тгi(i) = exp{—At} .{ , i = 0,1,2, ... Заметим, что
полученный результат согласуется с утверждением теоремы 12.1. ¦
Пример 12.7. Предположим, что поток сбоев ЭВМ является про-
простейшим с интенсивностью А. Если ЭВМ дает сбой, то он немедленно
обнаруживается и производится ремонт, который длится в течение
случайного времени т с распределением Е(ц). Вычислить вероятность
того, что в момент времени t ЭВМ находится в рабочем состоянии.
Рассмотреть случай t —> оо.
Решение. Состояние ЭВМ в момент t будем отождествлять
со значением процесса ?(t) Е Е = {0,1} (?(?) = 0 означает, что ЭВМ
работает). Нетрудно заключить, что в силу свойств простейшего по-
потока и свойства распределения Е(/л) (см. пример 12.3) процесс ?(?) —
марковский.
Приведем общий способ рассуждений при вычислении интенсив-
ностей переходов на примере перехода из 0 в 1. Вероятность того, что
на интервале [0, h] будет ровно один отказ, составляет
Вероятность того, что на произвольном малом интервале [t,t-\- At] не
будет закончен ремонт, равна
P2(At) = e~^At = 1 - fi,At + o2(At) = 1 + О (At) -+ 1 при At -^ 0.
Очевидно, что если At ^ /г, то P2(At) ^ P2(h) = 1 + О (К). Поэтому
Xh + Ol(h) > Poi(h) > (Aft + о1(Л))A + O{h)) + o2(h),
где o2(h) — вероятность всех других мыслимых переходов из 0 в 1
на [0,/г] (например, «отказ —>- ремонт —^ отказ» и т.д.). Итак, из
полученных неравенств следует, что
Poi(h) = А/г + о(/г),
так как о1(/г)О(/г) = о(/г), о1(/г)о1(/г) = о(К). Отсюда
А01 = lim EsM = X.
Аналогичные рассуж:дения показывают, что А10 = /л.
Тогда система уравнений Колмогорова принимает вид
Г 7T0(t) = Д7Г1 (t) - A7T0(t),	7Г0@) = а,
<	A2.10)
1 Ti-i(t) = A7T0(t) - ^Tn(t),	tti(O) = 1 - a.

254	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
Подставляя тгх (t) = 1 — тго(?) в первое уравнение системы A2.10), по-
получаем
7го(*) = -(А + /х)тго(*) + м, 7го(О) = а,	A2.11)
где а — вероятность того, что в момент t = 0 ЭВМ исправна. Решая
уравнение A2.11), получаем искомую вероятность:
7го(?) = ае~^^ + —^— A - е-(А+^*) .	A2.12)
В силу того что II + Л > 0, е tA+^ —>> 0 при ? —>• оо. Отсюда получаем
So = lim 7T0(t) = —^-,
причем предел не зависит от а, т. е. от начального распределения.
Очевидно также, что
-> ^ = -±—, t ->¦ оо.
Д	/	Л + /Х
Величины тго = — — и tti = 1 — ttq = 	 называются пределъ-
Л + д	Л + д
ными вероятностями состояний процесса ?(?). ¦
В рассмотренном примере предельные вероятности существу-
существуют и не зависят от начального распределения вероятностей. При
определенных условиях предельные вероятности существуют и для
более сложных однородных процессов. Соответствующие результаты
обсуждаются в следующем пункте.
12.3. Эргодические свойства однородных марковских слу-
случайных функций.
Определение 12.12. Марковский процесс {?(?), t ^ 0} назы-
называется эргодическим, если для любого начального распределения
вероятностей состояний {тг^(О), k G Е} существуют предельные веро-
вероятности
пк = lim 7rk(t), k?E,	A2.13)
причем {7Г&5 & ? -??} не зависят от {тг^(О), к G Е} и удовлетворяют
условиям
?г* ^ 0, ^ 7Tfc = 1.	A2.14)
При этом набор вероятностей {тг/с, A; G ?^} называется стационарным
распределением процесса

§ 12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	255
Следующее утверждение содержит достаточные условия эргодич-
эргодичности однородного процесса ?(?).
Теорема 12.4. Если существуют состояние jo Е Е и конечное
время ?, такие, что одновременно для всех г Е Е, г / jo выполнено
условие
pijo(t) > S	A2.15)
для некоторого S > О, то процесс ?(t) — эргодический.
Замечание. Можно доказать, что в случае конечного множества
состояний Е условие A2.15) будет выполнено, если состояния процес-
процесса — сообщающиеся (см. пп. 5.2, 5.3).
Теорема 12.4 не дает конструктивного способа вычисления пре-
предельных вероятностей (стационарного распределения) {тг^}. Однако
если справедливы условия теоремы 12.3, позволяющие использовать
уравнения Колмогорова, мы получаем систему алгебраических урав-
уравнений для непосредственного вычисления стационарного распределе-
распределения {тг&}.
Теорема 12.5. Пусть выполнены условия теорем 12.3, 12.4,
тогда стационарное распределение {тг&, k Е Е} существует и удо-
удовлетворяет системе алгебраических уравнений Колмогорова
Yl ^ki^k ~ Щ J2 Xik = 0, г е Е,
2^ ^i = 1,
причем решение системы A2.16) единственно.
Замечания. 1) Система уравнений A2.16) получается из систе-
системы дифференциальных уравнений A2.8), если положить тг^(^) = О,
щ{1) = к{, i е Е.
2) Условия теоремы 12.5 выполнены, если процесс ?(t) имеет ко-
конечное число сообщающихся состояний.
Пример 12.8. В условиях примера 12.7 найти тгд и 5ri, не вычис-
вычисляя 7Го(?) И 7Ti(t).
Решение. Рассматриваемый процесс имеет два состояния (т.е.
Е = {0,1}), которые при Л > 0 и \± > 0 являются сообщающимися.
Поэтому мы можем воспользоваться теоремой 12.5 с учетом Aoi = А,
Аю = /х:
-Атг0 + fiiri = О,
АТГО - М7Г1 = О,
Видно, что первое и второе уравнения совпадают, поэтому следует
выбрать одно из них и решить его с учетом третьего уравнения

256	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
(условия нормировки):
—Атгд — дA — ttq) = 0.
Отсюда tFq = ———, a 7Ti = 1 — тго = 	• Полученный результат
А + \i	A + и
совпадает с соответствующим результатом примера 12.7. ¦
Для практического составления уравнений Колмогорова A2.8),
A2.16) удобно пользоваться графическим представлением процесса
в виде стохастического графа (см. п. 5.1). Вершинами графа являют-
являются состояния процесса, стрелками указываются возможные переходы,
а рядом с каждой стрелкой указывается соответствующая интенсив-
интенсивность перехода (рис. 12.1).
Пример 12.9. Простейший поток заявок интенсив-
.	ности А поступает в систему массового обслуживания,
tj	состоящую из двух параллельно работающих каналов.
Время обслуживания в первом и втором каналах имеет
распределение соответственно E(/j,i) и E(/j,2)- Предпо-
Предположим, что обслуживание в каналах происходит неза-
независимым образом, а заявка выбирает для обслужива-
обслуживания канал случайным равновероятным образом, если
Рис. 12.1 О5а канала свободны. Построить стохастический граф
процесса обслуживания ?(?) и найти стационарные ве-
вероятности его состояний (сделать расчет для случая fii = /z2)-
Решение. Процесс ?(?), описывающий работу системы, имеет
четыре возможных состояния:
0,	если в системе нет ни одной заявки,
1,	если первый канал занят, а второй свободен,
2,	если первый канал свободен, а второй занят,
3,	если оба канала заняты.
Проведем расчет интенсивностей возможных переходов. Пусть ги-
гипотеза Щ состоит в том, что выбран г-ж канал, где г = 1,2. Тогда
по условию V{Hi\ = ~Р{Н2} = 1/2. Пусть h > 0 — малый интервал
времени, тогда pol(h) = (А/г + o(h))~P{Hi}. Отсюда
01
01
h^o h	2
Аналогично, р02(/г) = —. Очевидно, чтор03(/г) = о(/г), поэтому Аоз = 0.
Далее, используя рассуждения из примера 12.7, получаем р13(/г) =
= А/г + о(/г), т. е. А13 = A, p12(h) = o(h) и А12 = 0. Аналогично, А23 = A.
Указанные переходы вызваны поступлением заявок в систему.

12]
МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ
257
Л/2
Л
Рассмотрим теперь переходы, вызванные завершением обслужива-
обслуживания заявок: plo(h) = (nih + o(/i))(l — Xh + o(/i)) = Mi^ + о(/г), поэтому
Аю = Mi- Здесь учтено, что для пере-
перехода из состояния 1 в состояние 0 на
интервале длины h необходимо, чтобы
на этом интервале обслуживание закон-
закончилось и не поступило ни одной новой
заявки. Аналогично, P2o(h) = М2^ + o(K)
и Л20 = М2- Если заняты оба канала,
то P3i(h) = (^2^ + o(h))(l - \i\h + o
= ^2^ + o(/i), т.е. Л31 = М2- Для перехо-
перехода 3 —)> 2 справедливо ps2(h) = fi\h -\- o(K)
и А32 = Mi- В°е прочие переходы имеют
нулевые интенсивности. Теперь мы можем построить стохастический
граф процесса ?(?) (рис. 12.2).
Для определения стационарных вероятностей воспользуемся си-
системой уравнений Колмогорова A2.16):
= 0,
= Л/2
Л
Рис. 12.2
+ М27Г2 —
0,5Лтг0
Л(тг1 +тг2) - (mi +М2)тгз
= 0,
= 0,
A2.17)
Если fii = fi2 = м? то из A2.17) следует tti = 7Г2, tti + 7Г2 = — ttq. Кроме
М
Л	Л2 ~
того, тгз = —(tti + 7Г2) = —^тго- Теперь, используя условие нормиров-
нормировки и обозначение р = —, получаем
М
= ( 1 + Р + у
-1
откуда 7Ti = 7Г2 = -тго, ^з = тго- Если, например, Л = д, то тго = 2/5,
TTi = 7Г2 = ТГЗ = 1/5- ¦
12.4. Процессы рождения и гибели. Рассматриваемый ниже
специальный класс марковских процессов имеет большое значение
при исследовании систем массового обслуживания.
Определение 12.13. Однородная марковская случайная функ-
функция {?(?), t ^ 0} называется процессом рождения и гибели, если ее
17 Б.М. Миллер и А.Р. Панков

258	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
стохастический граф имеет вид, представленный на рис. 12.3.
Далее мы будем рассматривать случай N < оо, так как при ре-
решении практических задач N всегда может быть выбрано столь боль-
большим, что построенная модель исследуемой системы будет адекватной.
Рис. 12.3
Теорема 12.6. Если {?(?), t ^ 0} — однородный процесс рожде-
рождения и гибели, то стационарное распределение {тгп}^=0 существует,
единственно и определяется соотношениями
_ I -, , л\ А1А2	, A1A2... Адг
lii Д1Д2	М1М2 • • • f^N j	A2 18^
^5г„_1} п= 1,2, ...,7V.
Замечания. 1) Формулы A2.18) дают аналитическое решение
соответствующей системы стационарных уравнений Колмогорова.
2) Если считать, что ?(t) при любом t ^ 0 численно равно количе-
количеству членов некоторой популяции, где N — максимально возможное
число ее членов, то из определения 12.13 следует, что Ап — интенсив-
интенсивность рождения при условии, что в популяции имеется п — 1 член, а
[in — интенсивность гибели при условии, что в популяции имеется
п членов.
Пример 12.10. Пусть интенсивности рождения и гибели таковы,
что An = nX, \in = n\i, n ^ N. Найти стационарные вероятности состо-
состояний и сравнить их между собой для различных Аи//.
Решение. Пусть р = —- = —. Из A2.18) следует, что при А / fi,
т. е. при рф\
+ eee+p) = _lzA_j	A219)
N 1 _ pN+1
так как ^ рп = 	по формуле суммирования для геометриче-
п=0	^
ской прогрессии. Далее, по формулам A2.18) выражаем все вероят-
вероятности тгп, п ^ 1 через тго:
жп = ржп-1=рпж0, n = l,2,...,N.	A2.20)

§ 12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	259
Рассмотрим случай Л > /i. Это означает, что р > 1 и, следователь-
следовательно, тгп > тгп_1. Таким образом,
г~	~т	1 — Р
= тах{тг0, ..., ttn\ =	iv+i P
iv+i P
ПРИ
_	_	_	1 — л
7г0 = minJTro, ..., tttv} =	^+1 -» 0 при TV -» oo.
Следовательно, в случае X > /а популяция имеет тенденцию к разви-
развитию, а ее гибель при больших N маловероятна.
Пусть теперь А < //, тогда р < 1 и ситуация меняется на противо-
противоположную: тго > TTi > • • • > тглг, причем тго —^ 1 — р > 0 при 7V —>• oo, a
тгдг —^ 0 при N ^ сю. Итак, в этом случае популяция имеет тенденцию
к деградации и гибели (например, если 2Л = д, то р = 1/2 и Р{?(?) =
= 0} « 1/2 при ? > 1 и 7V -^ оо).
Наконец, если Л = //, то в силу р = 1 имеем тг0 = tti = • • • = ^глг =
1
= —	, т.е. предельное распределение является равномерным дис-
дискретным. В этом случае состояние популяции является максимально
неопределенным. ¦
Рассмотрим пример использования модели рождения и гибели
для исследования системы массового обслуживания с ожиданием и
несколькими параллельными каналами обслуживания.
Пример 12.11. Пусть система обслуживания устроена так:
1)	на вход поступает простейший поток заявок интенсивности Л;
2)	в системе одновременно пребывает не более N заявок;
3)	обслуживание заявок ведут s независимых каналов, причем
время обслуживания в каждом канале случайно и распределено по
экспоненциальному закону с параметром //;
4)	если все s каналов заняты, то заявка может занять одно из N — s
мест в очереди и ожидать обслуживания неограниченно долго (если
есть хотя бы одно свободное место в очереди).
Требуется:
а)	показать, что процесс {?(?), t ^ 0}, где ?(t) — число заявок
в системе в момент ?, является процессом рождения и гибели;
б)	построить стохастический граф процесса;
в)	найти стационарные распределения вероятностей состояний;
г)	вычислить среднее число заявок, находящихся в системе, и
среднюю длину очереди (рассмотреть случай N —} оо).
Решение. Пусть ?(?) = п означает, что в системе обслуживания
в момент t находится п заявок, n = 0,l, ...,7V. Если n ^ s, то в оче-
очереди все места свободны. Если же s < п ^ 7V, то s заявок проходят
обслуживание, an-s ожидают обслуживания в очереди. Рассмотрим
состояние г / 0, N. Тогда для h > 0
Pi,i+i(h) = (АА + o(/i))(l -цк + o(h))r,
17*

260
СЛУЧАЙНЫЕ ФУНКЦИИ
[ГЛ. III
где г = min(i, s) — число занятых каналов обслуживания.
Отсюда Pii+1(h) = Xh + о(/г), поэтому Ai+i = A^+i = А;
г=1
Итак, /лi = A^_i = ^М, где г = min(z,s). Если г = 0, то до = 0? а
Aq = А. Если же i = TV, то ц^ = s^ и A^v = 0.
Стохастический граф процесса ?(?) представлен на рис. 12.4.
Применяя соотношения A2.18), получаем
Л к\ + *» ^l7s
fc=l
i.! u'
4Un-s/lu'
, если n = 0,
если n = l, ..., s,
если n = s + 1, ..., TV.
A2.21)
где р = А/д, 7s = p/s.
N
Пусть число заявок в системе равно L, тогда M{L} = ^ птгп
п=0
есть среднее число заявок в системе в стационарном режиме (т. е. при
t —> оо). Если Lq — число заявок в очереди, то M{Lq} =
N-s
п=0
средняя длина очереди.
Дальнейшие упрощения возможны при конкретном задании пара-
параметров 5, N и р. ш
А
Пример 12.12. Пусть выполнены условия примера 12.11 и, до-
дополнительно, А = ц (т. е. интенсивности поступления и обслуживания
заявок одинаковы). Сравнить средние длины очередей для случаев
s = 1 (один канал обслуживания) и s = 2 (два канала обслуживания)
в предположении N —>• оо.

§ 12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	261
Решение. Пусть сначала s = 2, тогда из предыдущего примера
следует (с учетом р = X/ц =1):
11/11	1
По формулам A2.21) тгп = п°г , п = 1, 2, ...,7V. Отсюда
п=1
При 0 < а < 1 имеем
— Л
а тг^ п. \ а ( 1- а
^V-o у ^v i« У а--J'
Поэтому при а = 1/2 получаем
7V-2
n=l
1 ~ V3-
Если же s = l и р = X/II = 1, то распределение процесса будет
равномерным:
~ / 1	1 *
7Г~ 17V + 1' •••'7V + 1
При этом
Таким образом, если s = 1, то M{Lg} —)> оо при 7V —^ оо, т.е.
средняя длина очереди неограниченно возрастает. Это является
неожи данным результатом, так как предположение А = //о равенстве
интенсивностей поступления и обслуживания заявок не выглядит
угрожающим. Если же s = 2, то M{Lg} —>• 1/3 при 7V —>• оо. Последний
результат представляет несомненный практический интерес, так
как показывает, что увеличение пропускной способности каналов
обслуживания в 2 раза приводит не просто к уменьшению очереди
(в 2 раза), но фактически к ее ликвидации. ¦

262	СЛУЧАЙНЫЕ ФУНКЦИИ	[ГЛ. III
12.5. Задачи для самостоятельного решения.
1.	Пусть {?(?), t ^ 0} — марковская однородная случайная функция
с дискретным пространством состояний. Доказать, что {г]п, п = 0,1, 2, ...},
где г\п = ?(п) является дискретной цепью Маркова, и найти ее переходную
матрицу.
2.	Пусть поток событий v(t) получен наложением п независимых про-
простейших потоков ?&(?), к = 1, ... ,гг с интенсивностями {А&, А; = 1, ... ,гг}.
п
Доказать, что v(t) — простейший поток с интенсивностью А = J^ A&.
к=1
Указание. Проверить однородность, ординарность и отсутствие по-
последействия для v(t).
3.	Частица блуждает по целым точкам действительной оси под воздей-
воздействием двух независимых простейших потоков с интенсивностями А и \±
следующим образом: если до момента t частица находилась в состоянии п,
а в момент t произошло событие из первого потока, то в этот момент частица
скачком перемещается в точку п + 1. Второй поток аналогичным образом
перемещает частицу в состояние п — 1. Вычислить вероятность того, что
очередное перемещение будет совершено изпвп+1.
Ответ. 	.
А + м
4.	В условиях примера 12.7 вычислить точно вероятность перехода
Poi(h) для произвольных А > 0, jLt > 0 и показать, что poi(h) = Xh + o(h).
(h, f -^-{e-Xh-e-»h) при A//,,
Ответ. pol(h) = < fjL- A v	y
[ Xhe~Xh	при А = /x.
5.	Процесс ?(?) покидает состояние i ? E под воздействием п незави-
независимых простейших потоков с интенсивностями А&, /с = 1, ..., п. Какова
вероятность того, что ?(?) останется в состоянии г в течение промежутка
времени Т > 0?
п
Ответ. е~лт, где А = У^ А&.
fe=i
6.	Поток событий является однородным и не имеет последействия. Ве-
Величина длины интервала времени между двумя последовательными собы-
событиями имеет экспоненциальное распределение Е(Х), А > 0. Доказать, что
данный поток — простейший.
Указание. Проверить свойство ординарности потока.
7.	Поток отказов прибора — простейший с интенсивностью А. Если
прибор отказал, то отказ обнаруживается в течение случайного времени,
имеющего распределение E(is). Ремонт осуществляется после обнаружения
отказа и продолжается случайное время с распределением Е{ц). Найти
стационарную вероятность того, что прибор исправен.
Ответ. 	.
v[x + Xv + Х[х
8.	Доказать, что однородная марковская случайная функция с конеч-
конечным числом сообщающихся состояний всегда имеет стационарное распре-
распределение вероятностей.
Указание. Проверить выполнение условий теоремы 12.5.

§ 12]	МАРКОВСКИЕ СЛУЧАЙНЫЕ ФУНКЦИИ	263
9.	Система массового обслуживания состоит из двух одинаковых ка-
каналов обслуживания с интенсивностями \i > 0, работающих параллельно.
Входной поток заявок — простейший пуассоновский поток с интенсив-
интенсивностью А. Найти дифференциальное уравнение, которому удовлетворяет
вероятность тг(?) того, что оба канала заняты. Вычислить стационарную
вероятность тг = lira тг(?) этого состояния.
t—>-оо
Ответ, тг = —	.
10.	Пусть выполнены условия задачи 9, однако каналы обслуживают
заявки последовательно. Вычислить стационарную вероятность того, что
система простаивает.
и?
Ответ. -
11.	Одноканальная система массового обслуживания с интенсивностью
обслуживания \i и простейшим потоком заявок интенсивности Л имеет
неограниченное число мест в очереди. Пусть ?(?) — число заявок, на-
находящихся в системе в момент времени t. При каких Л и \± существует
стационарное распределение вероятностей состояний процесса ?(?)? Найти
это распределение и определить среднюю длину очереди.
Ответ. Л < д, M{Lg} = 	, где р = —.
1 - Р	А*
12.	В условиях задачи 11 найти закон распределения времени Tq пре-
пребывания заявки в очереди.
Ответ. Р{Тд > t) = р ехр{-(>- А)*}.

ГЛАВА IV
МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ
В данной главе приводятся необходимые сведения из курсов функ-
функционального анализа и теории вероятностей, а также справочные
сведения, используемые для вычисления специальных интегралов.
13. Необходимые сведения из функционального
анализа
13.1. Алгебры и <т-алгебры множеств.
Определение 13.1. Система Л подмножеств некоторого множе-
множества X называется алгеброй, если
1)	0,Х G Л;
2)	А,В еА =*> Аив еА, Апв еА;
3)	АеА =* Х\А = АеА.
Свойство 2 выполнено для любого конечного набора подмножеств,
п	п
т. е. если Ак G Л, к = 1, ..., п, то |J Ak G Л, f^\ Ak e А.
к=1	к=1
Определение 13.2. Алгебра Л называется а-алгеброй, если
оо	оо
Ап е Л, п = 1,2, ... =*> U in g Л, р| Лп g Л.
п=1	п=1
Определение 13.3. Множ:ество X вместе с некоторой сг-алге-
брой его подмножеств Л называется измеримым пространством и
обозначается {X, Л}.
На одном и том же множестве X могут быть заданы различные
сг-алгебры его подмножеств. Примерами сг-алгебр являются системы
множеств
Ло = {0,Х}, Л° = {А: АСХ}.
При этом Ло — самая «бедная» сг-алгебра, называемая тривиальной, а
Л° — самая «богатая» сг-алгебра, состоящая из всех подмножеств X.

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	265
Теорема 13.1. Пусть на множестве X задана некоторая си-
система его подмножеств V. Тогда существует наименьшая а-алге-
а-алгебра, обозначаемая cr(V), содержащая все множества из V.
Система о~{Т>) является наименьшей в том смысле, что если А —
любая а-алгебра подмножеств X, содержащая систему V, то cr(V) С А.
Замечания. 1) Систему множеств о~(Т>) называют а-алгеброй,
порожденной системой множеств Т>.
2) Если {*4а} — произвольное семейство сг-алгебр на X, то А =
= П-4« также является сг-алгеброй. Очевидно, что cr(V) = Q Аа, где
а	а
{Аа} — семейство всех сг-алгебр, содержащих систему множеств Т>.
13.2. Меры (определения и свойства).
Определение 13.4. Пусть на множестве X задана некоторая ал-
алгебра его подмножеств А. Функция /j,(A), определенная на множествах
A G А, называется мерой, заданной на А, если
а)	/л(А) ^ 0 для всех А ? А;
б)	для любого счетного набора попарно непересекающихся мно-
оо
жеств Ап G А, п = 1, 2, ..., (т. е. А{ П А/, г / j), таких, что ^J An G А
п=1
выполнено свойство счетной аддитивности (а-аддитивности):
ОО	ч	ОО
U *п) = Е
п=1	п=1
Мера II называется конечной, если дополнительно выполнено условие
в) fj,(X) < оо.
Мера \i, заданная на алгебре А, обладает следующими свойствами:
1)	fi@) = 0.
2)	/л(А) ^ fi(B) для А,ВеА, таких, что АС В.
3)	[л(А U В) = fj,(A) + у(В) - fj,(A П В) для всех А, В G Л.
4)	Если Ап Е А, п = 1,2, ... — убывающая последовательность
оо
множеств, т. е. А\ I) А^ 2 • • • ? такая, что /jl(Ai) < оо и р| Ап G А, то
п=1
п=1
5) Если Ап Е А, п = 1,2, ... — возрастающая последовательность
оо
множеств, т. е. А\ С А^ С ... , такая, что |^J An G А, то
п=1
п=1
In) = Hi
/	П—Ь-

266	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Замечание. Если на алгебре А задана функция множества /л,
обладающая свойством аддитивности:
А,В еА, АПВ = 0 =^ /л(А U В) = /л(А) + /л(В),
то для доказательства того, что а является мерой на А, достаточно
проверить свойство 4 для случая, когда Р| Ап = 0, т.е. и(Ап) —} О
п=1
при п —)¦ оо.
Следующий результат является одним из наиболее важных резуль-
результатов теории меры.
Теорема 13.2 (Каратеодори). Пусть X — некоторое мно-
множество, А — алгебра его подмножеств и ц$ — мера на А. Если
существует последовательность множеств Хп Е А, таких, что
fio{Xn) <oo, X = {jXn,	A3.1)
п
то существует, и притом единственная, мера //, определенная
на о~(А), являющаяся продолжением до? т- е- такая, что
Замечание. Очевидно, что для конечной меры условие A3.1)
выполнено.
Определение 13.5. Множество X вместе с мерой /л, определен-
определенной на некоторой сг-алгебре А, называется пространством с мерой и
обозначается {X, А, /л}.
Всякую сг-алгебру А можно пополнить множествами вида A U N,
где А Е A, a N С Aq для некоторого Aq E А, имеющего нулевую меру:
/л(Ао) = 0. Нетрудно проверить, что система множеств А, содержащая
множества указанного вида, также является сг-алгеброй. Простран-
Пространство с мерой {X, А, /л} называется полным.
Определение 13.6. Пусть {X, А, /л} — полное пространство
с мерой. Если некоторое свойство V выполняется для всех х G Х0СХ,
где /л(Х \ Хо) = 0, то мы будем говорить, что свойство V выполнено
почти всюду [по мере /л).
13.3. Способы задания мер. Следующие примеры измеримых
пространств являются наиболее важными для теории вероятностей и
случайных процессов.
Дискретное измеримое пространство. Пусть множество X =
= {х\,Х2, •••} не более чем счетно, а Л — сг-алгебра всех подмно-
подмножеств X. Всякая мера \л на дискретном измеримом пространстве

13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	267
X, Л} задается числами fin = fi({xn}) ^ 0:
п: хпЕА
где A Е Л — любое подмножество X. Мера /j, конечна, если
, ОО	ч
= fj,^ IJ {хп}) =
п1
п=1	п=1	п=1
Измеримое пространство {М1, ^(М1)}. Пусть X = М1 — дей-
действительная прямая, а (а, Ъ) — промежуток, т. е. одно из множеств
вида
(а, Ъ], [а,Ь), (а,Ъ), [а,Ь],
где —оо^а^б^оо. Обозначим Л систему подмножеств ACI1, со-
состоящих из конечных объединений непересекающихся промежутков:
п
А= \J (а{,Ь{), п<ос.	A3.2)
Очевидно, что система Л образует алгебру, но не является а-ал-
а-алгеброй.
Определение 13.7. сг-алгебра, порожденная системой Л, обо-
обозначается Б(Ш1) и называется борелевской а-алгеброй множеств дей-
действительной прямой, а ее элементы — борелевскими множествами.
Аналогично вводится измеримое пространство {[а, 6], 13([а, 6])}, где
Б ([а, Ь]) состоит из множеств В С [а, 6], таких, что В G Б(М}). Система
?>([а,6]) называется борелевской а-алгеброй отрезка [а, Ь].
Определение 13.8. Мерой Лебега на Ш1 называется мера Л,
определенная на {М1, ^(М1)}, такая, что
А((а,Ь)) = b- a
для всех — ос ^ а ^ b ^ сю.
Из теоремы 13.2 следует, что мера Лебега на Ш1 существует и
единственна. Отметим, что мера Лебега на Ш1 не является конечной,
так как А(М1) = оо.
Конечная мера на борелевской сг-алгебре прямой или отрезка мо-
может быть задана с помощью функции распределения, которая опреде-
определяется следующим образом.
Определение 13.9. Функция F{x), x G М1, называется функцией
распределения на R1, если она обладает следующими свойствами:
1)	F(x) — неубывающая функция;
2)	F(-oo) = lim F(x) = 0, F(+oo) = lim F(x) < oo;
x—У — oo	x—)- + oo

268	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
3) F(x) непрерывна справа, т. е. lim F(x + К) = F(x) для всех
хеш.1.	^+0
Замечание. Для функции распределения на отрезке [а, Ь] свой-
свойство 2 принимает вид
F(a) = lim F(x) = О, F(b) = lim F(x) < oo.
x—ba	x^-b
Теперь с использованием функции распределения F(x) зададим
функцию множества /iq на промежутках (а, Ь):
К Ь]) = F(b) -
а, 6)) = F(b-) - F(a),	w([a, 6)) =
где F(x—) = lim F(x — /г). Далее, если А = |^J (a^,^), n < oo, где
промежутки (cLi^bi) попарно не пересекаются, то положим
/ п
( U
г1
г=1	г=1
Тем самым мы задали fiQ на системе Д, состоящей из множеств
вида A3.2). В силу свойств функции распределения F(x) (см. опре-
определение 13.9) до является конечной мерой на алгебре Л, поэтому по
теореме 13.2 может быть продолжена и притом единственным образом
до меры д, заданной на измеримом пространстве {М1, ^(М1)}.
Замечания. 1) С каждой конечной мерой //, заданной на
1	1, можно связать функцию
Fli(x)=t*((-oo,x\), ХЕШ1.
Из свойств меры (см. п. 13.2) вытекает, что F^ является функцией
распределения, причем FM(+oo) = lim F^x) = ^(М1).
х—)- + оо
2) Между функциями распределения и конечными мерами на
{М1,Б(М1)} существует взаимно однозначное соответствие, т.е. вся-
всякой конечной мере /i соответствует функция распределения i^(x), и
наоборот, для всякой функции распределения F{x) на М1 существует
конечная мера д, такая, что F^ = F.
Измеримое пространство {Мп, Б(Шп)}. Пространство W1 есть
прямое произведение п экземпляров прямых М1, т. е. W1 = М1 х ...
... х М1 — множество упорядоченных наборов вещественных чисел
х = {жь ... ,жп}*. Определим на этом пространстве систему подмно-
подмножеств Лп, образованную множествами
п
A = A1x...xAn=Y[Ak, AkeA,
k=i

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	269
где Л — алгебра подмножеств прямой вида A3.2). Нетрудно показать,
что Лп образует алгебру.
Определение 13.10. а-алгебра, порожденная системой Лп, обо-
обозначается Б(Шп) и называется борелевской а-алгеброй множеств Мп,
а ее элементы — борелевскими множествами.
Определение 13.11. Мерой Лебега на Шп называется мера Ап,
определенная на {Мп, В(Шп)}, такая, что
)
г=1	г=1
для всех —оо ^ ai ^ hi ^ оо.
Из теоремы 13.2 следует, что мера Лебега на Шп существует и
единственна. Отметим, что мера Лебега на W1 не является конечной,
так как АП(МП) = оо.
Конечная мера на борелевской сг-алгебре Шп может быть задана
с помощью п-мерной функции распределения, которая определяется
следующим образом.
Определение 13.12. Функция F{x\, ..., жп), х\, ..., хп Е М1,
называется п-мерной функцией распределения, если она обладает сле-
следующими свойствами.
1) F(x\, ..., хп) монотонна в следующем смысле:
A1...AnF(a;1, ...,xn)^0,
где А^ — оператор конечной разности по переменной Х{
a hi ^ 0, ..., hn ^ 0 произвольны.
2) Если хотя бы одна из переменных Х{ —Ь — оо, то
если все переменные Х{ —>- +оо, то
..,жп)^ F(+oo, ..., +оо) < оо.
3) F(x\, ..., хп) непрерывна справа по переменным Х{.
Из теоремы 13.2 и свойств n-мерной функции распределения
\, ..., хп) (см. определение 13.12) следует, что на измеримом про-
пространстве {Мп, 23 (Мп)} существует однозначно определенная конечная
мера //, такая, что F^ = F, где
j-oo,Xiij, х1,...,хп€Ш1.	A3.3)
1=1

270	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Верно и обратное, если /л — конечная мера на {Шп, 23(МП)}, то функция
F^ixi, ..., жп), определяемая соотношением A3.3), является п-мерной
функцией распределения. Тем самым между n-мерными функциями
распределения и конечными мерами на {МП,23(МП)} существует вза-
взаимно однозначное соответствие. В этом случае
13.4. Измеримые функции. Пусть {X, А} — некоторое изме-
измеримое пространство.
Определение 13.13. Вещественная функция /(ж), х G X, назы-
называется А-измеримой, если
Г1(в)еЛ \/веВ(м}),	A3.4)
где f~1(B) = {х G X: f(x) G В} — прообраз множества В.
Тем самым измеримость функции означает, что прообраз любого
борелевского подмножества М1 является измеримым множеством в X.
Замечания. 1) Очевидно, что постоянная функция f(x) = const
является измеримой относительно любой сг-алгебры.
2)	Индикаторная функция 1а(х) множества А, определяемая как
Г 1 при х е А,
\ 0 при х ? А,
является измеримой в том и только том случае, когда множество А
измеримо, т.е. А Е А.
3)	Условие Л-измеримости функции f(x) тем ограничительнее, чем
уже сг-алгебра *4, т.е. Д-измеримая f(x) является *4/-измеримой, если
AQA'.
Для проверки измеримости функции используется следующий
результат.
Теорема 13.3. Функция f(x), заданная на измеримом простран-
пространстве {X, *4}, является А-измеримой, если для всякого сЕШ1 изме-
измеримыми являются множества
{хеХ: f(x)^c}.
Функция <р(у), I/GM1, заданная на действительной прямой, назы-
называется борелевской функцией, если она 23(М1)-измерима. Примерами
борелевских функций являются все кусочно непрерывные функции.
Теорема 13.4. Пусть {X, А} — измеримое пространство.
Сложная функция h(x) = у?(/(ж)), х G X, является А-измеримощ
если функция /(ж), х G X, А-измерима^ а функция ip(y), у G М1, —
борелевская.

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	271
Простые арифметические операции над конечным или счетным
набором измеримых функций не выводят за рамки множества изме-
измеримых функций.
Теорема 13.5. Пусть функции /n, n = 1,2, ... определены на из-
измеримом пространстве {X, Л} и Л-измеримы. Тогда функции
АО) + /2О), fi(x)f2(x), I//1O) (при условии Д(ж) ф 0),
i(x),/2(x)}, sup/„(ж), inf/n(x)
n
также являются измеримыми.
Из приведенного результата следует, что множество
А = {хеХ: 3 lim /„(ж)},
п—)-оо
на котором существует предел последовательности измеримых функ-
функций {/п(ж)}, является измеримым, т.е. A G Л.
Следующее определение описывает важный пример измеримой
функции.
Определение 13.14. Измеримая функция /(ж), определенная
на измеримом пространстве {X, Л}, называется простой, если она
принимает конечное число значений.
Очевидно, что каждая простая измеримая функция f(x) допускает
представление
x), ^1,	A3.5)
fc=l
где Cfc G Ш1, Ak G Л и А^ П А,- = 0, г / 3-, т < оо.
Теорема 13.6. Д/ш всякой неотрицательной измеримой функ-
функции f(x) существует неубывающая последовательность неотрица-
неотрицательных простых измеримых функций {/п(ж)}, сходящаяся к /(ж),
т. е.
0 ^ fn(x) t f{x) при п —)> оо ^лл всех ж G X.
Результат, приведенный выше, является ключевым при построе-
построении интеграла Лебега.
Определение 13.15. Пусть f(x) — некоторая измеримая функ-
функция, определенная на измеримом пространстве {X, Л}. Система
Af = {f-1(B):BeB(R1)}
называется а-алгеброй, порожденной функцией f(x).
Нетрудно убедиться, что Л/ действительно является а-алгеброй,
причем Л/ С Л. Класс функций, измеримых относительно сг-алге-
бры Л/, имеет простое описание.

272	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Теорема 13.7. Функция д(х), хЕХ, является Л/-измеримой
тогда и только тогда, когда существует борелевская функция (f(y),
I/GM1, такая, что
g(x) = <p(f(x)) VxeX.
Определение 13.16. Две измеримые функции f[x) и д{х), за-
заданные на {X, Л, //}, называются эквивалентными, если f(x) = д{х)
почти всюду по мере а, т. е. а{х Е X: f(x) ф д(х)} = 0.
Определение 13.17. Последовательность {fn(x)} измеримых
функций, определенных на {X, Л, //}, называется сходящейся почти
всюду к функции f{x), если
а{хвХ: lim
п>оо
>-оо
Теорема 13.8. ?^слг/ последовательность {fn{x)} измеримых
функций сходится к f(x) почти всюду, то f(x) измерима.
Определение 13.18. Последовательность {fn(x)} измеримых
функций, определенных на {X, Л, fi}, называется сходящейся по ме-
мере II к измеримой функции f(x), если для любого е > 0
lim феХ: \fn(x) - f(x)\ > e} = 0.
п—>-оо
Соотношение между этими двумя типами сходимости определяет-
определяется следующими теоремами.
Теорема 13.9. Если последовательность {fn(x)} сходится
к f(x) почти всюду относительно конечной меры а, то /п(ж) схо-
сходится к f[x) no мере ц.
Обратное утверждение, вообще говоря, не верно, тем не менее
справедлив следующий результат.
Теорема 13.10. Если последовательность {fn(x)} сходится
к f(x) no мере, то существует подпоследовательность {fnk(x)},
сходящаяся к f(x) почти всюду.
13.5. Интеграл Лебега. Пусть {X, Л, fi} — полное пространство
с мерой. Определим вначале интеграл Лебега от простой измеримой
функции.
Определение 13.19. Интеграл Лебега от простой измеримой
функции f[x), имеющей вид A3.5), определяется равенством
.	A3.6)
X	k

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	273
Теперь распространим понятие интеграла Лебега на неотрица-
неотрицательную измеримую функцию f[x). В силу теоремы 13.6 существует
последовательность неотрицательных простых измеримых функций
{/п(ж)}, таких, что
О ^ fn(x) t f(x) при п —> оо для всех х Е X.	A3.7)
Определение 13.20. Интегралом Лебега от неотрицательной
измеримой функции f[x) называется величина
\f(x)n(dx)= lim \ fn(x) n(dx).	A3.8)
J	п-Юо J
X	X
Данное определение корректно, поскольку при заданной функции
f[x) предел A3.8) (конечный или бесконечный) существует для любой
аппроксимирующей последовательности A3.7) и не зависит от ее
выбора.
Для краткости будем обозначать
I{f)=\f{x)li{dx).
Пусть теперь f(x) — произвольная измеримая функция. Введем
обозначения
/+(ж) =тах{/(ж),0}, Г(х) = тах{-/(ж), 0}.
Тогда функции /+(ж) ^ 0, f~(x) ^ 0 также являются измеримыми,
причем f(x) = f+{x) — f~(x).
Определение 13.21. Если min{/(/+), /(/")} < оо, то интеграл
Лебега от f[x) существует (или определен) и имеет вид
X
Если |/(/)| < оо, то f(x) называется интегрируемой по мере /j, или
суммируемой.
Интеграл по множеству А ? А определяется как
f(x)n{dx)= \f(x)IA{x
a f(x) называется интегрируемой на множестве А, если интегриру-
интегрируема функция /(хIа{х).
Замечание. В соответствии с определением 13.21 интеграл Ле-
Лебега от неотрицательной функции f(x) определен всегда, при этом
О < /(/) < оо.
18 Б.М. Миллер и А.Р. Панков

274	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Перечислим свойства интеграла Лебега, непосредственно вытека-
вытекающие из его определения.
г
1)	Ia(%) n{dx) = /л(А) для всякого A Е А.
х
2)	Для всех а, /3 G М1
причем если правая часть имеет смысл, то интеграл в левой части
интеграл определен.
3)	Если /(ж), д(х) интегрируемы и f(x) ^ д(х), то /(/) ^ /(<?)•
4)	Если ц(А) = 0, то f /О) n(dx) = 0.
А
5)	Если f(x) = д(х) почти всюду по мере //, то /(/) = 1(д), причем
оба интеграла существуют или не существуют одновременно.
6)	Если h{x) ^ 0 интегрируема и |/(ж)| ^ h{x) почти всюду по
мере д, то f(x) интегрируема.
7)	Интегрируемость функции равносильна интегрируемости ее мо-
модуля, т. е.
|/(/)|<оо ^ /(|/|) < оо,
кроме того, |/(/)| ^/(|/|).
8)	Если f(x) ^ 0 и /(/) = 0, то f(x) = 0 почти всюду. В частности,
если /(|/|) = 0, то f[x) = 0 почти всюду.
9)	Если функция f(x) интегрируема на А, то она интегрируема на
любом измеримом множестве А' С А.
10)	Если f(x) = 0 почти всюду, то /(/) = 0.
11)	(Неравенство Чебышева). Если с > 0, то
X
12)	(Неравенство Минковского). Если р ^ 1, то
\f(x)+g(x)\'»(dx)) ^ (j \f(x)\'»(dx)) + (j \g(x)\P
X	XX
13)	(Неравенство Иенсена). Если ip(y), у G I1,- выпуклая вниз
функция и /jl(X) = 1, то
X	X
14) (Неравенство Гельдера). Если 1 < р, g < оо и —|— = 1, то
(J \f(x)\P
XXX

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	275
причем интеграл в левой части определен, если интегралы в правой
части конечны. При р = q = 2 неравенство Гельдера называется нера-
неравенством Коши-Буняковского:
2 »{dx) | \g{x)\2
\f{x)\2 »{dx) | \g{x)\2
X	XX
Теорема 13.11 (а-аддитивность интеграла Лебега). Если функ-
оо
ция f(x) интегрируема и X = |^J Ап, А{ П Aj = 0 при i / j-> то
71=1
X
J f{x)
где в правой части интегралы конечны, а ряд сходится абсолютно.
Из теоремы 13.11 следует, что для любой неотрицательной изме-
измеримой функции f(x) ^ 0 функция множества
v(A)=[f(x)fi(dx), AeA,	A3.9)
А
является мерой на измеримом пространстве {X, А}.
Теорема 13.12 (абсолютная непрерывность интеграла Лебега).
Пусть f(x) — интегрируемая функция, тогда для любого е > 0 су-
< е для всякого измеримого
ществует такое S > 0, что f(x) fi(dx)
А
множества А ? А, такого, что /л(А) < S.
Следующая теорема утверждает, что всякая мера v, абсолютно
непрерывная относительно меры //, допускает представление A3.9).
Определение 13.22. Мера v называется абсолютно непрерыв-
непрерывной относительно меры /i (сокращенно v ^C fi), если для любого
A G А из fi(A) = 0 следует, что v(A) = 0.
Теорема 13.13 (Радон, Никодим). Если v ^C ц, то существует
измеримая неотрицательная функция р(х), такая, что
= \
УАеА.
Функция р(х) называется производной Радона-Никодима меры v
по мере II и обозначается
/ ч dv , ч
Следующий результат дает правило замены меры в интеграле Лебега.
18*

276	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Теорема 13.14. В условиях теоремы 13.13 для любой измеримой
функции д[х) имеет место равенство
д{х) v{dx) = \ д(х) р{х)
х
где интегралы в левой и правой частях существуют или не суще-
существуют одновременно.
Тем самым интегрируемость функции д{х) по мере v равносильна
интегрируемости функции д(х) р[х) по мере \±.
Теперь рассмотрим вопрос о замене переменной под знаком инте-
интеграла Лебега.
Определение 13.23. Пусть f(x) — измеримая функция, опре-
определенная на пространстве с мерой {X, *4, //}. Тогда мера \± ? на
{Ш1,23(М1)}, задаваемая равенством
называется мерой, порожденной функцией /.
Нетрудно проверить, что функция множества \±^ действительно
является мерой на борелевской сг-алгебре B(M}).
Теорема 13.15 (формула замены переменной в интеграле Лебе-
Лебега). Пусть функция /(ж), х G X, измерима, а функция ^(у), f/Gt1,
является борелевской. Тогда справедливо равенство
X	Ш1
где интегралы в левой и правой частях существуют или не суще-
существуют одновременно.
Предельный переход под знаком интеграла Лебега. Сле-
Следующие результаты показывают, в каких случаях можно переходить
к пределу под знаком интеграла Лебега.
Теорема 13.16 (Лебег). Пусть последовательность {fn(x)}
сходится почти всюду к f{x), причем для всех п почти всюду выпол-
выполняется неравенство |/п(ж)| ^ ф(х), где функция ip(x) интегрируема.
Тогда предельная функция f(x) таксисе является интегрируемой и
lim fn{x) n(dx) = f{x)n(dx).
n—^oo J	J
X	X
Теорема 13.17 (Лёви). Пусть {fn(x)} — неубывающая после-
последовательность функций, т. е.
fi(x) ^ f2(x) ^ ... ^ fn(x) ^ ... ,

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	277
где fn(x) интегрируемы, а их интегралы ограничены в совокупности:
ЗК<оо: [ fn(x) fjb(dx) ^ К.	A3.10)
х
Тогда почти всюду существует конечный предел f[x) = lim /п(ж),
п—>-оо
такой, что функция f(x) интегрируема и
lim | fn(x) /i(dx) = | f(
n—yoo J	J
Теорема 13.18 (Фату). Если последовательность неотрица-
неотрицательных функций {fn(%)} сходится почти всюду к /(ж), причем
выполнено A3.10), то f(x) интегрируема и f(x)n(dx) ^ К.
х
Интеграл Лебега на прямой. Следующее утверждение пока-
показывает связь между интегралом Римана и интегралом Лебега.
Теорема 13.19. Если существует интеграл Римана
то f(x) интегрируема по мере Лебега Л на [а,Ь] и
/l(/)= J f(x)\(dx) = IR(f).
[а,Ь]
Заметим, что обратное утверждение в общем случае неверно.
Введем еще одно понятие интеграла, основанное на понятии инте-
интеграла Лебега.
Определение 13.24. Пусть /(ж), х G М1, — борелевская функ-
функция, a F{x) — функция распределения на М1 (см. определение 13.9).
Интеграл Стилтьеса от f(x) no функции распределения F(x) опре-
определяется следующим образом:
f(x)dF{x)=
где интеграл в правой части понимается как интеграл Лебега по ме-
мере //, имеющей функцию распределения F[x).

278	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
В большинстве практически важных случаев функция распреде-
распределения F[x) может быть представлена в виде
X
F(x) = Fa(x) + Fd(x), Fa(x)= | p(y)X(dy), Fd(x) = ? pk,
где функция p(y) ^ 0 интегрируема по мере Лебега на М1, а множество
точек {хк} не более чем счетно, причем р^ > 0.
Составляющая Fa(x) называется функцией абсолютно непрерыв-
непрерывного распределения или просто абсолютно непрерывной функцией.
В этом случае для почти всех х G М1 (по мере Лебега) справедливо
равенство -—F{x) = —Fa(x) = р(х), поэтому р{х) называется функ-
CLX	dX
цией плотности распределения. Заметим, что если ua(dx) — мера,
имеющая функцию распределения Fa(x), то плотность р{х) есть про-
производная Радона-Никодима меры fia по мере Лебега Л.
Составляющая Fd(x) называется функцией дискретного распреде-
распределения, при этом pk = FiyXk) — F(xk~) есть величина скачка функции
F{x) в точке ее разрыва х\~ G М1. Если число скачков конечно, то Fd{x)
кусочно постоянна.
Если f(x) — борелевская функция, то справедливо следующее
правило вычисления интеграла Стилтьеса:
f(x)dF(x)=
причем интеграл Стилтьеса конечен, если функция f{x)p[x) интегри-
интегрируема по мере Лебега, а ряд ^ f(xk)Pk сходится абсолютно.
к
В заключение рассмотрим пример меры на прямой, чрезвычайно
важный для приложения. Мера 5Хо(В), В G ^(M1), x$ G М1, определя-
определяемая равенством
Г 1, если х0 G Б,
\ 0, если хо ф В,
называется мерой Дирака, сосредоточенной в точке xq. Тогда инте-
интеграл по мере Дирака принимает вид
ж1
Последний интеграл часто записывают в виде
оо
J f(xM(x-xo)dx =

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	279
где 5(х) называют дельта-функцией Дирака. При этом, поскольку
функция
Г 1, если х ^ О,
Цх) = \
{ О, если х < О,
является функцией распределения меры Дирака #о, считают, что
выполнено равенство д(х) = —^^.
ах
13.6. Гильбертово пространство. Сначала введем понятие ли-
линейного пространства.
Определение 13.25. Непустое множество Н называется линей-
линейным пространством, если на Н определены две операции: сложение
элементов (+) и умножение элементов на числа (о).
Для любых элементов ж, у, z G Н и любых чисел а, /3 операции
сложения и умножения должны обладать следующими свойствами:
1)	х -\- у = у -\- х;
2)	(x + y) + z = x + (y + z);
3)	существует элемент О Е Н, такой, что 0 -\- х = х;
4)	существует элемент (—х) G i^, такой, что х + (—ж) = 0;
5)	ао(ж + ?/)=аож + О!о?/;
6)	(а -\- C) о х = а о х -\- [3 о у;
7)	(а/3) о х = а о (/3 о х);
8)	1 о ж = ж.
Если умножение определено на вещественные числа, то простран-
пространство называется вещественным или действительным, если умноже-
умножение определено на комплексные числа, то пространство называется
комплексным.
Замечание. Во всяком линейном пространстве нулевой эле-
элемент 0 единственен, а противоположный элемент (—х) однозначно
определяется элементом х G Н. В дальнейшем мы будем опускать
знак умножения (о), а выражение х + (—у) будем записывать в виде
х-у.
Далее без ограничения общности будем считать, что Н — ком-
комплексное линейное пространство, а множество комплексных чисел
обозначать С.
Определение 13.26. Подпространством М линейного про-
пространства Н называется подмножество, замкнутое относительно опе-
операций сложения и умножения, т. е.
а,/ЗеС, х,у?М => ах + (ЗуеМ.
Замечания. 1) Определение 13.26 означает, что подпростран-
подпространство М вместе с каждым конечным набором своих элементов
{#1, ... ,жп}, содержит любую их линейную комбинацию ct\X\ + ...
... + апхп, где «1, ..., ап G С. В частности, всегда верно О G М.

280	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
2)	Mq = {0} называется нулевым подпространством.
3)	Пересечение Р|Ма произвольного набора подпространств {Ма}
а
также является подпространством.
Определение 13.27. Линейной оболочкой C(N) некоторого
множества N С Н называется множество всех возможных линейных
комбинаций элементов из N.
Из определения 13.27 следует, что ?(N) является подпростран-
подпространством, причем ?(N) = P|Mq,, где {-Ма} — семейство всех подстро-
подстроек
странств, содержащих множество N.
Определение 13.28. Элементы {#!,..., жп} линейного про-
пространства Н называются линейно независимыми, если
«1, ..., ап G С, а.\Х\ + ... + апхп = 0 =>¦ а\ = ... = ап = 0.
Если для линейного пространства Н существует набор линейно
независимых элементов {ж1? ..., хп} С Н, такой, что выполнено
Н = ?{xi, ..., жп}, то {#1, ..., хп} называют базисом простран-
пространства Н, а число п — его размерностью (сокращенно п = dimiiZ").
В этом случае каж:дый элемент х G Н мож:ет быть представлен в ви-
виде: х = а\Х\ + ... + апхп, причем коэффициенты {а^} определяются
однозначно.
Определение 13.29. Функция (•,•), определенная на линейном
пространстве Н и принимающая числовые значения, называется ска-
скалярным произведением, если для любых элементов х,у, z G Н и любых
чисел а,/3 справедливы следующие свойства:
1)	(х,х) ^ 0 и (ж,ж) = 0 => х = 0;
2)	(ах + /3y,z) = а(х, z)
3) (у, ж) = (ж, 2/).
Определение 13.30. Пусть на Н определено скалярное произ-
произведение. Нормой элемента х G Н будем называть число
||ж|| = (х,Ху/2.	A3.11)
В этом случае говорят, что норма порождена скалярным произве-
произведением.
Непосредственно из определений вытекают следующие свойства
скалярного произведения и порожденной им нормы:
1)	||ж|| ^ 0; из ||ж|| = 0 следует х = 0\
2)	||аж|| = |а|||ж||;
3)	||ж + у|| ^ ||ж|| + ||у|| (неравенство треугольника);
4)	|(ж,2/)| ^ ||ж||||у|| (неравенство Коши-Буняковского), причем ра-
равенство достигается только, если ж, у линейно зависимы.
С помощью нормы можно ввести понятие сходимости последова-
последовательности элементов {хп} пространства Н.
Определение 13.31. Последовательность {хп} сходится к эле-
элементу х G Н при п —>• оо (сокращенно хп —>• ж), если ||жп — ж|| —^ 0.

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	281
Скалярное произведение является непрерывным в следующем
смысле:
Хп г X, ут 7 у	У \Хп, Ут) 7 уХ, у).
Определение 13.32. Последовательность {хп} называется фун-
фундаментальной, если
||жп ~ жт|| ^ 0 при п,т —> оо.
Определение 13.33. Линейное пространство с нормой A3.11)
называется полным, если любая фундаментальная последователь-
последовательность его элементов сходится к некоторому элементу этого прост-
пространства.
Определение 13.34. Линейное пространство со скалярным
произведением и нормой A3.11) называется гильбертовым простран-
пространством, если оно полно.
Определение 13.35. Подпространство М гильбертова про-
пространства Н называется всюду плотным, если для всякого элемен-
элемента х G Н существует последовательность {жп}, такая, что хп G М и
Замечание. Если пространство Н не является полным, то оно
всегда может быть пополнено, т. е. существует такое полное простран-
пространство Н, что Н С Н и Н всюду плотно в Н.
Простой критерий сходимости последовательности элементов
гильбертова пространства приводится в следующей теореме.
Теорема 13.20. Если Н — гильбертово пространство, то по-
последовательность {хп} сходится к некоторому элементу простран-
пространства Н тогда и только тогда, когда существует предел
lim (xn,xm).
п,т—>-оо
Определение 13.36. Подпространство М гильбертова про-
пространства Н называется замкнутым, если из того, что хп —> х, при
п —> оо, где хп G М, следует х G М.
Таким образом, замкнутое подпространство гильбертова про-
пространства само является гильбертовым пространством.
Рассмотрим важнейшие примеры гильбертовых пространств.
Конечномерное евклидово пространство W1. Его элемента-
элементами являются упорядоченные наборы вещественных чисел (п-мерные
векторы) х = {xi, ..., хп}*, Х\, ..., хп G М1. Скалярное произведение
и норма пространства W1 имеют вид
_	IFII = F = \l^xk
fe=i	fe=i
где у = {у\, ... ,Уп}*- Очевидно, что dimMn = п.

282	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Пространство 12» Его элементами являются бесконечные после-
последовательности комплексных чисел х = {xi,x2i ... }, таких, что
IMI = [52 \хк\ ) < ОО.
к=1
Скалярное произведение элементов ж, у Е 12 имеет вид
к=1
и порождает норму ||ж||, определенную выше. Заметим, что простран-
пространство /2 бесконечномерно.
Пространство L2{X, Л, /л}. Пусть {X, Л, /z} — некоторое про-
пространство с мерой. Тогда L^{X^ Л, д} определяется как множество
всех Л-измеримых комплексных функций /(ж), интегрируемых с ква-
квадратом по мере д, т. е. таких, что
а
<оо.	A3.12)
Объединим в один класс эквивалентности все функции /(ж), экви-
эквивалентные (по мере /л) данной функции /(ж), и в дальнейшем функции
f(x) различать не будем. Тогда из ||/|| = 0 следует / = 0, поэтому
выражение A3.12) определяет норму, порожденную скалярным про-
произведением
(/,9) = J
, f,ge L2{X, Л, м}.	A3.13)
х
Следовательно, L2{X, Л, /л} является гильбертовым пространством.
Отметим, что Ь2{Х, Л, /л} бесконечномерно, если мера /л не сосредо-
сосредоточена в конечном числе точек.
13.7. Ряды Фурье в гильбертовом пространстве. Пусть
далее Н — фиксированное гильбертово пространство.
Определение 13.37. Два элемента х, у ? Н называются орто-
ортогональными (обозначается х J_ г/), если (ж, у) = 0.
Определение 13.38. Система {ei,e2, ...} элементов простран-
пространства Н называется ортогональной, если ет _1_ еп при т ф п. Если
дополнительно ||еп|| = 1, п = 1, 2, ..., то система называется ортонор-
мальной.

§ 13]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ФУНКЦИОНАЛЬНОГО АНАЛИЗА	283
Определение 13.39. Ортонормальная система \е\, e<i, ... } С Н
называется базисом гильбертова пространства Н, если для каждого
х G Н существует, и притом единственное, разложение
X = ^ OLk^ki	A3.14)
fc=i
где ak G С, а сходимость ряда понимается в следующем смысле:
П	||
х — У2 CKfce^ —> 0 при п —)> оо.
Разложение A3.14) называется рядом Фурье для ж, а коэффици-
коэффициенты ak вычисляются по формулам
с*к = (х,ек), к = 1,2, ...,
и называются коэффициентами Фурье.
Из A3.14) также следует равенство Парсеваля:
fc=i
которое является обобщением теоремы Пифагора на бесконечномер-
бесконечномерный случай.
Теорема 13.21. Пусть {еп} — ортонормальная система эле-
элементов гильбертова пространства Н. Следующие утверждения
равносильны:
1)	{еп} — базис гильбертова пространства Н;
2)	линейная оболочка ?({еп}) всюду плотна в Н\
3)	если х _L еп для всех п, то х = 0.
В частности, система \егпхjyT/K, n G Z} является базисом про-
пространства L2Q—7г,тг], #([—7г,тг]), А), где А — мера Лебега.
13.8. Ортогональное проектирование в гильбертовом про-
пространстве.
Определение 13.40. Если N С Н — произвольное подмноже-
подмножество, то ортогональность х _1_ N означает, что х _1_ у для всех у G N.
Определение 13.41. Если М — замкнутое подпространство, то
его ортогональное дополнение М1- определяется как
М± = {хеН: х ±М}.

284	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
В силу непрерывности скалярного произведения М является
замкнутым подпространством.
Теорема 13.22. Пусть М — произвольное замкнутое подпро-
подпространство гильбертова пространства Н. Тогда любой элемент
х G Н имеет единственное разложение вида
где ух G М, zx G М±.
Определение 13.42. Элемент ух, определенный в теореме 13.22,
называется ортогональной проекцией х на М и обозначается тгм(ж).
Перечислим основные свойства проекции тгм{х)\
1)	ух = тгм(ж) G М, zx = x- тгм(ж) G М^;
2)	х Е М тогда и только тогда, когда ттм(х) = ж, а х G М1- тогда
и только тогда, когда тгм(ж) = 0;
3)	||ж — тгм(ж)|| ^ \\х — v\\ для всех v G -М;
4)	если {ei, в2, ..., еп, ... } — базис гильбертова пространства i7,
M = ?{ei,...,en}, т.е. М является линейной оболочкой системы
п
{еь ...,еп}, то тгм(ж) = 51(а;,е^)е^. Таким образом, тгм(ж) — п-я
м(ж) = 51(а;,е^)е^. Таким образом, тгм(
частичная сумма ряда Фурье для х.
Замечание. Свойство 3 означает, что тгм(х) — наилучшая ап-
аппроксимация (оценка) элемента х элементами из подпространства М,
а х — тгм{х) представляет собой ошибку указанной аппроксимации.
В частности, если М = ?{ei, ..., еп}, то тгм(ж) является наилучшей
оценкой среди всех оценок, представимых в виде линейной ком-
комбинации элементов {ei, ...,en}, т.е. является наилучшей линейной
оценкой.
Метод построения указанных аппроксимаций (с использованием
проекции тгм) называют методом наименьших квадратов.
§ 14. Необходимые сведения из теории
вероятностей
14.1. Случайные события и их вероятности.
Определение 14.1. Совокупность объектов {^l,^7, P}, где
Q — пространство элементарных событий со;
Т — а-алгебра подмножеств пространства ?1, образующих систе-
систему случайных событий;
Р — нормированная (т. е. Р{^} = 1) мера на Т*,
называется вероятностным пространством, а мера Р — вероят-
вероятностной мерой или просто вероятностью.

§ 14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	285
Замечания. 1) Предполагается, что {О,^7, Р} — полное вероят-
вероятностное пространство (см. п. 13.2).
2) Над случайными событиями из Т можно совершать действия
(аналогичные действиям над множествами), для которых мы будем
использовать следующие обозначения:
АПВ, А\В, А = п\А,
где событие А называется противоположным А.
Вероятность Р{-} обладает следующими свойствами:
1)	0 ^ Р{^4} ^ 1 для любого события A Е Т;
2)	Р{^} = 1, где ?1 — достоверное событие;
3)	Р{0} = 0, где 0 = ?1 — невозможное событие;
4)	Р{А + В} = Р{А} + Р{Б}, если АВ = 0, т.е. события А и В
несовместны;
5)	Г{А + В} = Р{А} + Р{Б} - Р{ЛВ} для любых двух событий
6) Р{А} ^ Р{Л}, если АС В (т.е. А — частный случай собы-
события В).
Замечание. Указанные свойства следуют из общих свойств ме-
меры (см. п. 13.2). Свойство 4 распространяется очевидным образом на
любое конечное или счетное множество несовместных событий:
]ГЛЛ = ]ГР{^}, АкеТ, АтАп = 0 при тфп.
k=i	k=i
Определение 14.2. События Аи В называются независимыми,
если ~Р{АВ} = Р{т4}Р{.В}. События {Ап} независимы в совокупно-
совокупности, если для любого конечного набора событий АПк1 к = 1, ..., т
к=1	к=1
где т может равняться оо.
Определение 14.3. Условной вероятностью события А относи-
относительно события В, такого, что Р{_??} > 0, называется величина
Г{А
Если события А, В независимы и имеют положительные вероят-
вероятности, то Р{А | В} = Р{А} и Р{Б | А} = Р{Б}.
Пусть события Hi, ..., Hn G Т удовлетворяют условиям:
a) ~P{Hk} > 0 при всех к;

286	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
б) НшНп = 0, если т ф п\
k=l
тогда для любого A Е Т справедлива формула полной вероятности:
Р{А} = ? Р{Нк}Р{А | Як}.
к=1
События {Нк} обычно называют вероятностными гипотезами.
14.2. Случайные величины и векторы.
Определение 14.4. Случайной величиной (СВ), определенной
на {^l,^7, Р}, называется числовая функция ?((*;), uj Е ^, измеримая
относительно .Т7.
Определение 14.4 означает, что для всякого борелевского подмно-
подмножества 5СМ1 множество
С1 {В) = {шеп: ?(ш) е в}	A4.1)
является случайным событием.
Далее для краткости будем опускать аргумент с<;:?, {^ G .6} и т. п.
В силу теоремы 13.5 сумма, разность, произведение и частное двух
случайных величин (при условии, что знаменатель не обращается
в нуль) также являются случайными величинами.
Определение 14.5. Две случайные величины ? и ту, заданные
на j^,^7, P}, называются эквивалентными, если
Р{? # V} = 0.
Если некоторое утверждение относительно СВ ? (или совокуп-
совокупности СВ) выполнено для всех lj E О,\А, причем Р{А} = 0, то го-
говорят, что это утверждение выполнено почти наверное по мере Р
(или с вероятностью 1). Мы будем сопровождать соответствующее
утверждение знаком (Р-п.н.). Например, если ? и rj эквивалентны, то
? = V (Р-п.н.).
Из теоремы 13.4 следует, что если ? — случайная величина, а #(ж),
хЕМ1, — борелевская функция, то #(?) также является случайной ве-
величиной, так как функция tj(cj) = д(?(ш)), и G О является ^-измери-
^-измеримой. В частности, любое непрерывное преобразование СВ ? приводит
к СВ rj (т.е. свойство ^-"-измеримости сохраняется).
Определение 14.6. Пусть ? — некоторая случайная величина.
Наименьшую а-алгебру, содержащую события вида
С1(В) = {?€В}, 5 6 6A'),	A4.2)
будем называть а-алгеброй, порожденной случайной величиной ?. Эта
сг-алгебра обозначается Т^, а также сг{?}.

§ 14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	287
По определению Т^ С Т. Введенная сг-алгебра Т^ состоит из всех
случайных событий A Е Т, о наступлении которых мы можем судить,
наблюдая С В ?.
Теорема 14.1. Пусть ц>(х) — произвольная борелевская функ-
функция, тогда СВ г\ = <р(?) является J-* -измеримой. Наоборот, если
некоторая СВ г\ является Т^ -измеримой, то существует борелев-
борелевская функция (f(x), такая, что г\ = <?>(?).
Определение 14.7. Функция Fg(x) = P{^x},iGM1, называ-
называется функцией распределения СВ ?.
Функция распределения F%(x) обладает всеми свойствами функ-
функции распределения меры на измеримом пространстве {М1, ^(М1)} (см.
определение 13.9, которое полностью применимо с учетом соотноше-
соотношения //(М1) = 1).
Для любой функции распределения F{x) существует полное веро-
вероятностное пространство {?l,T, P} и заданная на нем СВ ?, такая, что
F^x) = F(x).
Рассмотрим конкретные типы функций распределения.
Определение 14.8. Если СВ ? принимает значения из конеч-
конечного или счетного множества {а\, ...,ап, ...} с вероятностями со-
соответственно {pi, ... ,рп, ... }, где рп > 0, ^2рп = 1, то говорят, что
п
случайная величина является дискретной (или имеет дискретное
распределение). Ее функция распределения имеет вид
Таким образом, функция распределения дискретной СВ имеет раз-
разрывы первого рода в точках а&, a F^(a^) — Fg(a,k—) = Рк — величины
скачков. При этом для любого множества В G Б(М})
Р{?еБ}= ? Рк.
к: ак?В
Если множество значений, которые принимает дискретная СВ, конеч-
конечно, то ее функция распределения кусочно постоянна.
Функция множества Р^(.В) = Р{? G В} является мерой на Б(Ш1)
и называется законом распределения СВ ?. При этом F^(x) является
функцией распределения этой меры (см. п. 13.3). При определенных
условиях мера ~Р^(В) абсолютно непрерывна относительно меры Ле-
Лебега на В(М}), т.е. Fg(x) имеет плотность распределения р^{х).
Определение 14.9. Если функция распределения F^(x) случай-
случайной величины ? допускает представление
X	ОО
F{(x) = j Pf.{y)dy, где р^(у) ^ О, J p^(y)dy = l,

288	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
а интеграл понимается как интеграл Лебега, то СВ ? называется абсо-
абсолютно непрерывной (имеет непрерывное распределение). Для любого
множества В G В(М})
Функция Pg(y) называется плотностью распределения СВ ?.
Заметим, что функция F^(x) в данном случае не имеет разрывов
и почти всюду на М1 дифференцируема: —f^- = рЛх).
ах	^
В общем случае функция распределения F^{x) непрерывна справа
в каждой точке разрыва жЕЁ1. Для вычисления вероятности со-
события {? G В}, где В G ^(М1), следует вычислять интеграл Лебега-
Стилтьеса:
в
Предположим, что СВ ?1? ..., ?п определены на одном вероятност-
вероятностном пространстве {?1, Т, Р}. Тогда упорядоченный набор п случайных
величин ? = {?i, ... ,?п}* будем называть п-мерным случайным век-
вектором.
Определение 14.10. Наименьшую сг-алгебру, содержащую все
события вида
С1 (В) = {? G Б}, Be B(Rn),	A4.3)
будем называть а-алгеброй, порожденной случайным вектором ?. Эта
сг-алгебра обозначается а{?} или Т^.
Определение 14.11. Функция
называется функцией распределения п-мерного случайного вектора ?.
Функция распределения случайного вектора обладает всеми свой-
свойствами функции распределения меры на измеримом пространстве
{МП,23(МП)} (см. определение 13.12, которое полностью применимо
с учетом соотношения д(Мп) = 1).
Для любого борелевского множества В G B(Wl) вероятность слу-
случайного события {? G В} вычисляется как интеграл Лебега:
Р€(в) = Р{? е в} = \щ(Х1,...,хп).
в
Мера Р^(-) на В(Шп) — закон распределения случайного вектора ?,
заданный с помощью F^[x\, ..., хп). Если Р^(-) имеет плотность, т. е.
еВ}= \р^уъ ...,yn)dy1...dyn WB е
в

14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	289
ТО
^1	лп
i, ...,хп) = ••• Pt(yi, •••,yn)dyi...dy
— оо — оо
Определение 14.12. Случайные величины {?]_, . ..,?п} незави-
независимы в совокупности, если для произвольного набора множеств
В\, ..., Вп G Б(М}) случайные события {?i G Bi}, ..., {?n ? ^п} неза-
независимы в совокупности.
Теорема 14.2. Для того чтобы случайные величины {?i, ..., ?п}
были независимы в совокупности, необходимо и достаточно, чтобы
для всех х\, ..., хп G М1
к=1
Общий способ определения независимости случайных событий и
величин состоит в следующем. Пусть Т\ С Т и Тч Q F ~ некоторые
а-алгебры случайных событий. Системы Т\ и Тч называются незави-
независимыми, если независимы любые два события A G Т\ и В G Тч, т.е.
Р{АВ} = Р{А}Р{В}.
Теперь нетрудно определить понятие независимости СВ ? и rj:
? и ?7 независимы тогда и только тогда, когда независимы сг-алгебры
Т^ и Tv. В частности, СВ ? не зависит от случайного события А,
если А и ^-"^ независимы (т.е. независимы А и любое i? G .Т7^). Эти
понятия будут использованы в дальнейшем при построении условного
математического ожидания.
В общем случае случайная величина ? может принимать комплекс-
комплексные значения, т. е. ? = а + г/3, где а, /3 — СВ, заданные на {?1, Т, Р}, а
г2 = — 1. Изучение комплексной СВ фактически сводится к изучению
двумерного случайного вектора {а,/3}*.
Приведем примеры некоторых наиболее важных законов распре-
распределения.
1)	Дискретная СВ ? имеет биномиальное распределение с парамет-
параметрами (N;p), где 0 < р < 1, и обозначается ? ~ Bi(JV;p), если
pfd — rmX — гут rn N — m	— гл -i	дг
JT т ц — 111 Г — W дг JJ L[	,	lit — VJ,-L, ...,1V,
ДГ!
где С5У = ——	:	— — число сочетаний из N по тп, о = 1 — р. Рас-
iV m\(N — my
пределение Bi(l;p) называется распределением Бернулли.
2)	Дискретная СВ ? имеет распределение Пуассона с параметром
Л > 0 и обозначается ? ~ П(Л), если
Р{? = щ] = ^_ е-Л5 ш = 0,1, ...
ттг!
19 Б.М. Миллер и А.Р. Панков

290	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
3)	Непрерывная СВ ? имеет равномерное распределение на отрезке
[а, Ь] и обозначается ?~7?(а,6), если ее плотность распределения
имеет вид
{1/F —а), если хЕ[а,Ь],
0,	если х ф [а, Ь].
4)	Непрерывная СВ ? имеет экспоненциальное (или показатель-
показательное) распределение с параметром Л > 0 и обозначается ? ~ Е(Х), если
5) Непрерывная СВ ? имеет гауссовское (или нормальное) распре-
распределение с параметрами (га; а2), где а > 0, если
Для гауссовского распределения используется обозначение М{т] а2).
Числовые характеристики этих распределений приведены в следу-
следующем пункте.
14.3. Математическое ожидание.
Определение 14.13. Математическим ожиданием (или сред-
средним) СВ ?, определенной на {О,^7, Р}, называется число
A4.4)
Математическое ожидание определено, если интеграл Лебега
в правой части равенства A4.4) существует.
Таким образом, математическое ожидание СВ ? есть интеграл
Лебега от функции ?((*;) на Q по вероятностной мере Р. Если Р^(-) —
закон распределения СВ ? на Б(М}), a F^(y) — соответствующая функ-
функция распределения, то М{?} можно вычислить следующим образом:
причем первый интеграл понимается как интеграл Лебега по мере
Р^(-), а второй — как интеграл Лебега—Стилтьеса. Существование ин-
интегралов в правой части A4.5) вытекает из существования математи-
математического ожидания, и наоборот, из существования интегралов следует

§ 14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	291
существование математического ожидания. Формула A4.5) следует
из A4.4) и теоремы 13.15 о замене переменной в интеграле Лебега.
Если функция распределения Fg(x) является комбинацией абсо-
абсолютно непрерывной и дискретной составляющих, т. е. допускает пред-
представление вида
х
= J
2^ Pki
к: ак<х
где рЛу) ^ 0, a pk > 0 — величина скачка в точке разрыва а&, то A4.5)
принимает вид
СВ ? называется центрированной, если М{?} = 0.
Основные свойства математического ожидания вытекают из
свойств интеграла Лебега (см. п. 13.5).
1)	Математические ожидания М{?} и М{|?|} существуют и конеч-
конечны одновременно, причем |М{?} | ^ М{|?|}.
2)	М{/^} = /а(^) ~P(duj) = Р{А}, где 1а — индикатор события
АеТ.	°
3)	Если М{?} существует, то для любой константы Л
М{А?} = АМ{?}.
4)	Если М{?} и М{?7} существуют и конечны, то
г]} = М{?} + М{г]} .
5)	Если ? ^ г/, то М{?} ^ М{г]}.
6)	Если у?(ж) — борелевская функция, то
где математическое ожидание и интеграл существуют или не суще-
существуют одновременно.
7) Если М{?} определено, то для каждого A G Т существует
8) Если ? ^ 0 (Р-п.н.), а также М{?} < оо, то функция множества
}	{}, A G Т, является конечной мерой на Т.
19*

292	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
9) Если f ^ 0 (Р-п.н.), М{?} < ос и е > 0, то
10) Если М{|?|р} < оо при р > 0, то выполняется неравенство
Маркова
Если ? = {?]_, ... ,^п}* — n-мерный случайный вектор, то его ма-
математическим ожиданием называется вектор
Определение 14.14. Комплексная функция Ф^(А), A Gln,
= [ eiX*x
называется характеристической функцией распределения Fg(x).
Теорема 14.3. Характеристическая функция однозначно опре-
определяет функцию распределения, т. е. если СВ ? и СВ г\ име-
имеют одну характеристическую функцию Ф^(А) = Ф^А), A Gln, то
Fs(x) = Fr,(x), x eW1.
Использование аппарата характеристических функций позволя-
позволяет исследовать зависимость случайных величин в силу следующего
у тверждения.
Теорема 14.4. Случайные величины {^, г = 1, ...,п} независи-
независимы тогда и только тогда, когда
где Ф^(А1, ..., Ап) — характеристическая функция случайного век-
вектора ? = {?i, ...,^n}*, а Ф^(А^) — характеристическая функция
СВ &,1 = 1, ...,п.
Определение 14.15. Дисперсией D{?} СВ ^ называется число
Из определения и свойств интеграла Лебега следует:
1)	D{?} ^ 0;
2)	D{a? + b} - |a|2D{?}, если a,b- const;

14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	293
3) DJ]T f Л = Е В1Ы, если D{&} < оо, а СВ {?fe} - незави-
ki	ki
k=i	k=i
симы в совокупности;
{2}
5) если М{|?|2} < оо, то выполнено неравенство Чебышева
Определение 14.16. Ковариацией случайных величин ? и г\
называется величина
cov{?,7?} = М|(? -
где (•) — знак комплексного сопряжения.
Если ? = {?ъ ...,?п}* ~~ гг-мерный случайный вектор, то его
ковариационной матрицей называется матрица Rg = {cov{?^,?j}}.
Очевидно, что R% = М< ?? > — т^т^*.
Перечислим важ:нейш:ие свойства ковариации.
1) Если М{|?|2} < оо, М{|?7|2} < оо, то ковариация СВ ?, г\ суще-
существует и удовлетворяет неравенству Коши-Буняковского:
2)	Если М{?} = М{?7} = 0, то cov{?, 77} = (?, 77) — скалярное про-
произведение случайных величин ?,77.
3)	Если ? и rj независимы, то cov{?, 77} = 0.
){}	{}
5) D{? + т?} = D{?} + D{r/} + 2cov{?, 7?}.
Если cov{?, 77} = 0, то СВ ? и 77 называются некоррелированными
или ортогональными, что обозначается ? J_ 77.
Приведем числовые характеристики (т. е. математические ожида-
ожидания и дисперсии) случайных величин, рассмотренных в конце п. 14.2.
1)	Биномиальное распределение с параметрами (JV;p):
гп? = TVp, D^ = Npq.
2)	Распределение Пуассона с параметром Л > 0:
3) Равномерное распределение на отрезке [а, Ь]:
а + Ъ ^ (Ь-аJ

294	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
4)	Экспоненциальное распределение с параметром Л > 0:
5)	Гауссовское распределение с параметрами (т;сг2), а > 0:
га? = 777,, D% = a2.
14.4. Последовательности случайных величин. Будем да-
далее предполагать, что случайные величины {?п, п = 1,2, ...} заданы
на одном и том лее вероятностном пространстве {^l,^7, P}.
Определение 14.17. Последовательность случайных величин
{?п} называется сходящейся почти наверное (Р-п.н.) к СВ ?, если
P{cjGft: lim fn(u;) = f(a;)} = l.
В этом случае используются обозначения: ?п —)> ? (Р-п.н.) или
. п.н. .	.	.
?п 	> ?, п —^ оо, а такж:е говорят, что ^п сходится к ? с вероят-
вероятностью 1.
Следующие результаты вытекают из теорем о предельном пере-
переходе под знаком интеграла Лебега и задают правила предельного
перехода под знаком математического ожидания.
Теорема 14.5. Если последовательность {?,п} сходится к ?
(Р-п.н.) и найдется СВ ту, такая, что |?п| ^ г\ (Р-п.н.) для всякого п
и М{?7} < оо, то
— ?|| —)> U при п —>• оо.
Теорема 14.6. Пусть ?7, ?i, ?г> • • • — случайные величины.
1)	/^сли in^ V для всех п ^ 1, где М{?7} > —оо, и ?n f С (P-n.w.),
> М{?п} | М{?} njm п —^ оо.
2)	/^сли ?п ^ ?7 длл всех гг ^ 1, где М{?7} < оо, гл ?п ^ ? (Р-n.n.), шо
п —^ оо.
Теорема 14.7. Пусть последовательность {?п} неотрицатель-
неотрицательных случайных величин сходится (Р-п.н.) к СВ ?, причем суще-
существует такая константа К < оо, что М{?п} ^ X для всех п. Тогда
М{?} существует и М{?} ^ X.
Определение 14.18. Последовательность {?п} случайных вели-
величин называется сходящейся по вероятности к СВ ?, если для любого
lim
п—)-оо

§ 14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	295
Теорема 14.8. У любой последовательности случайных величин
{Сп5 п — 1? 2, ... }, сходящейся по вероятности к ?, найдется подпо-
подпоследовательность {Cnfc}5 такая, что ?>Пк —'—-> ? при к —> оо.
Определение 14.19. Последовательность {?,п} случайных вели-
величин называется фундаментальной по вероятности, если для любого
lim P{|fn-fm| >s} = 0.
п,т—Уоэ
Теорема 14.9. Для сходимости последовательности {?п} по ве-
вероятности необходимо и достаточно, чтобы последовательность
была фундаментальной.
Аналогичный критерий существует и для сходимости (Р-п.н.).
Теорема 14.10. Для сходимости последовательности {?п}
(Р-п.н.) необходимо и достаточно, чтобы последовательность была
фундаментальной (Р-п.н.), т. е. для любого е > 0
lim P{sup |?n+fe - fn| > s} = 0.
Определение 14.20. Последовательность {?п} случайных вели-
величин называется сходящейся в среднем порядка р > 0 к СВ ?, если
lim M{|?n-?|P} = 0.
п—)-оо
При р = 2 этот вид сходимости называется сходимостью в среднем
квадратическом (или с.к.-сходимостью) и обозначается ? = l.i.m. ?п
п—>-оо
или ?п ') ?, п —^ оо. Среднеквадратическая сходимость имеет осо-
особое значение в теории случайных процессов.
Приведем важнейшие свойства с.к.-сходимости.
1)	Критерий Коши. Для того чтобы существовал с.к.-предел ?
последовательности СВ {?п} ПРИ п —> °°? необходимо и достаточно,
чтобы {?п} была фундаментальной в с.к.-смысле:
- ?т|2} —>• 0 при п,т ^оо.
2)	Пусть ?п ') ? при п —^ оо, причем М{|?п|2} < оо, тогда
{|?|2} <оои
lim
п—)-оо
lim М{|?„|2} = М{|1л.т.е„|2} = М{|?|2} .
3) Если {?n}? {Vn} — последовательности СВ, М{|?п|2} < оо,
9 1	/- С.К. ^	С.К.
}<оои(п 	^ ?,, г]п 	> г] при п -> оо, то
при п -» оо.

296	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
4) Лемма Лоэва. Последовательность СВ {?п} имеет с.к.-пре-
с.к.-предел тогда и только тогда, когда существует lim М{? ?m} = с.
При этом с = IVN ?r k где ? = l.i.m. ?n.
Наиболее слабый вид сходимости — сходимость последовательно-
последовательности по распределению.
Определение 14.21. Последовательность {?п, п = 1, 2, ..^слу-
..^случайных величин называется сходящейся по распределению (или слабо
сходящийся) к СВ ?, если для любой равномерно ограниченной непре-
непрерывной функции /(ж), xGM1,
Если через Fn(x) обозначить функцию распределения ?п, а через
F(x) — функцию распределения ?, то для слабой сходимости последо-
последовательности {Сп} к ? необходимо и достаточно, чтобы Fn[x) —>• F[x)
при п —^ оо в каждой точке х G М1, в которой .Р(ж) непрерывна. При
этом, если F(x) — непрерывная функция, то {Fn(x)} сходится к F(x)
равномерно на Ш1, т. е.
sup \Fn(x) - F(x)\ -^ 0, п -^ оо.
хеш1
Соотношения между всеми типами сходимости описываются тео-
теоремой.
Теорема 14.11. Справедливы следующие утверждения:
1)	сходимость (Р-n.n.) ^=> сходимость по вероятности;
2)	сходимость в среднем порядка р > 0 ^=> сходимость по веро-
вероятности;
3)	сходимость по вероятности ^=> сходимость по распреде-
распределению;
4)	если ?п слабо сходится к константе а, то ?п сходится к а
и по вероятности.
14.5. Условное математическое ожидание. Пусть задано ве-
вероятностное пространство {?1, Т, Р}, Q — некоторая сг-алгебра случай-
случайных событий, т. е. Q С Т, а ? — СВ, такая, что М{|?|} < оо.
Определение 14.22. Условным математическим ожиданием
СВ ? относительно Q называется случайная величина, обозначаемая
{ | Я} и удовлетворяющая следующим условиям:
1)	М{? | Q} является (/-измеримой;
2)	для любого множества A G Я выполняется равенство
Теорема 14.12. Условное математическое ожидание СВ ? опре-
определено единственным образом (Р-п.п.).

14]
НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ
297
Свойства условного математического ожидания. Следую-
Следующие свойства условного математического ожидания непосредственно
вытекают из определения 14.22.
1) Если f = С = const (Р-п.н.), то М{? | Q} = С (Р-п.н.).
l
(Р-п.н.), то
{|||}
Q} ^ М{г] \ Q} (Р-п.н.).
(Р-п.н.).
4) Если а, Ь — константы, а ?, т\ — случайные величины, такие, что
М{|Ш < оо, М{|?7|} < оо, то
2) Если
3)
bq\Q} = а
ЬМ{г] \ Q} (Р-п.н.).
— тривиальная сг-алгебра, тогда
5) Пусть Q =
6)	Если СВ ? измерима относительно Q, то М{? | 6} —
7)	М{М{С | д}} = М{?} (Р-п.н.).
8)	Если Qx С д2, то
д2}
(Р-п.н.).
9) Если^саь то
м{м{? | д2}
д2}
11) Пусть ту измерима относительно 5 и
10) Если СВ ? не зависит от С? (т. е. Т^ не зависит от д), то
< оо, тогда
12)	Неравенство Иенсена. Пусть д(х) — выпуклая вниз функция,
такая, что М{|д(?)|} < оо, тогда
д(М{? | д}) < М{5@ | 6} (Р-п.н.).
13)	Пусть г] — произвольная ^-измеримая случайная величина.
Если М{|?|2} < оо, М{|ту|2} < оо, то
М{|С - М{С | G} |2} ^ М{|С - г/12} (Р-п.н.).
Определение 14.23. СВ М{? | Т71} = М{? \ г/}, где Т71 = а{г]},
называется условным математическим ожиданием СВ ? относи-
относительно св г] ешп.
Теорема 14.13. Существует борелевская функция g(x), x G Мп,
такая, что М{? | 77} = g(rj) {Р-п.н.).

298	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Пусть ? — оцениваемая СВ по наблюдениям, образующим случай-
случайный вектор г] G Mn, a g(x), х G Мп, — борелевская функция. Тогда
будем говорить, что ? = ^(ту) — допустимая оценка для ? по наблюде-
наблюдениям П.
Определение 14.24. Допустимая оценка ? = «7G7) называется
с.к.-оптимальной оценкой для ? по наблюдениям ту, если для любой
допустимой оценки ? = дG?) выполнено
Теорема 14.14. Пусть М{|?|2} < оо, тогда с.к.-оптимальная
оценка имеет вид
?=M{ti\V} (Р-п.н.).
Замечание. Предположение о том, что д(х) — борелевская функ-
функция, означает, что ? = g(rj) — случайная величина. Утверждение тео-
теоремы 14.14 имеет важное практическое значение, так как мы получаем
общий алгоритм построения с.к.-оптимальной оценки ? для СВ ? по
наблюдениям 77.
Определение 14.25. Пусть A G Т и Р{^4} > 0. Условным мате-
математическим ожиданием СВ ? относительно случайного события А
называется СВ
А} = Щ^± = ^ | ?И P(du;).	A4.7)
Пусть события Hi, ..., Hn образуют систему вероятностных ги-
гипотез (см. п. 14.1). Если М{?} существует, то его можно вычислить по
формуле полного математического ожидания:
k=l
где М{? | Н^} вычисляется по формуле A4.7).
В заключение пункта рассмотрим практический способ вычисле-
вычисления функции М{? | 77 = у} = д(у), у G Мп, где ? G Mm, 77 G W1. Пусть
существует совместная плотность распределения р^ (ж, г/) случайных
векторов ? и т/. Тогда
д(у) = \ хрЁ1(х | y)dx,	A4.8)
где Р^|Г7(^ | у) = ?>? ^(ж, y)/pv(y) — условная плотность СВ ? n]9u усло-
условие, что Т] = у; р (у) = р^ (ж, у) dx — n-мерная плотность СВ 7/,

§ 14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	299
причем р (у) ф 0. Если же Рг](у) = 0, то полагают, что р>. (х | у) = 0.
Формула A4.8) позволяет вычислить реализацию оценки ? = ^(tj) при
условии, что имеется реализация у Е Мп случайного вектора наблю-
наблюдений г] еШп.
14.6. Гауссовские случайные величины и векторы.
Определение 14.26. Функция
2тг
— оо
называется интегралом вероятностей или функцией Лапласа.
Определение 14.27. Случайная величина ? Е Ш1 называется
гауссовской или нормальной с параметрами (т;сг2), где а > 0, если
A4.9)
Так как функция Лапласа Ф(х) непрерывно дифференцируема
на R1, распределение F^{x) гауссовской СВ имеет плотность
Из определения 14.27 следует, что
= то, D{0 = a2.
Для обозначения гауссовской СВ будем писать ? ~ Л/"(т;а2). Ве-
Вероятность попадания ? в произвольный интервал (ск,/3) С11 молено
вычислить по следующей известной формуле:
fa~rn\
	 .
V сг /
-Ф
Случайная величина ? с распределением ЛГ(О; 1) называется стан-
стандартной гауссовской. Из A4.9) следует, что ее функция распределения
совпадает с Ф(х).
Замечание. Свойство гауссовости распределения сохраняет-
сохраняется при линейном преобразовании СВ ?. Пусть ? ~ J\f{m^D^)^ a
г] = се? + /3, где a^GM1, тогда 7/ ~ ^(т^ D^), где m^ = cem^ + ^;
Для описания гауссовского случайного вектора (т. е. упорядочен-
упорядоченной системы гауссовских СВ) удобно воспользоваться аппаратом ха-
характеристических функций.

300	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Пусть ? = {?i, ... ,?п}* — вещественный случайный вектор с ма-
математическим ожиданием т^ = {ттт,^, ..., т^п}* и ковариационной
матрицей Щ = {cov{&, ?j}}ij=i, ...n. Пусть также ж = {жь ..., жп}* G
G Мп, -^(ж) — n-мерная функция распределения СВ ?, а г — мнимая
единица, т.е. г2 = —1.
Теперь мы можем ввести понятие гауссовского случайного вектора.
Определение 14.28. Случайный вектор ^Gln имеет п-мерное
гауссовское распределение с параметрами (m^Rg), если его характе-
характеристическая функция имеет вид
где ni? — математическое ожидание, а R% — ковариационная матрица.
Замечания. 1) Нетрудно проверить, что любая компонента ?&
гауссовского вектора ? имеет распределение M{rrik\ -Dfc)? где rrik — k-й
элемент вектора га^, a D^ — к-й диагональный элемент матрицы Rg.
2) Если матрица R% > 0 (т.е. положительно определена), то F^(x)
имеет плотность распределения р^(ж), х G W1:
Pi(x) = B7r)-"/2(det[^])-1/2exp [-\(x -
где det[i?^] > 0 — определитель матрицы Щ.
Гауссовские векторы обладают серией замечательных свойств,
важнейшие из которых перечислены ниже.
1)	Если cov{?, 77} = М{??7*} — ттг^ттг* = 0, а вектор 7 = {?*, ??*}* —
гауссовский, то ? и ту — независимы.
2)	Пусть ? - Я(т^ Щ), а г] = А? + 6, где A G MmXn, 6 G Mn, тогда
г] ^^/{rn^Rrj), где
77?^ = Агп? + b; Rr, = АЩА*.
3)	Пусть {?п} ~~ последовательность гауссовских случайных векто-
векторов. Если ?п ') ?, п —>• оо, то ? ~ ЛГ(гп?; R^), где ттт^ = lim
п>-о
a -R^ = lim cov{?n,?n}, причем указанные пределы существуют и
п—>-оо
конечны.
4)	Если {?п} — последовательность гауссовских СВ и ?п —^^> ?,
п —^ оо, то ?п —^^> ?, п —>- оо (в общем случае это не верно!).
5)	(Теорема о нормальной корреляции). Пусть 7 = {С*5?7*}* ~~
гауссовский вектор, такой, что R^ > О, тогда
а) условное математическое ожидание имеет вид
г;} = т^ + R^R~\v ~ гпг,)',	A4.10)
б) ? _1_ ^ — ^, т. е. ^ и ^ — \ — независимы]

14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	301
в) если Д? = ? — ?, то
= 0,	'
г) условное математическое ожидание ? имеет гауссовское рас-
распределение с параметрами (m^R^R^Rt), где
Rf: = cov{?, ?} , Rfr = cov{?, r/} , Rr] = cov{r7, 77} .
Замечание. Теорема о нормальной корреляции дает явный
вид A4.10) с.к.-оптимальной оценки ? = М{? | п} для ? по наблюде-
наблюдениям п в гауссовском случае. Заметим, что ? линейно зависит от rj.
6) Если {7, С, г]} составляют гауссовский вектор, а ? и г/ — некор-
некоррелированные, то
7) Если компоненты вектора ? = {?ь • • • ,?п}* ~~ гауссовские и
независимые в совокупности, то ? — гауссовский случайный вектор.
Пусть {?&, к ^ 1} — последовательность независимых одинаково
распределенных случайных величин с М{?/С} = а и D{?/C} = cr2 > 0.
Обозначим Sn = ?i + ... + ?п. Очевидно, что М{5П} = па, D{5n} =
= па2 > 0. Тогда СВ (п = (Sn — па)/(ал/п) является центрированной
(М{?п} = 0) и нормированной (D{("n} = 1) суммой случайных вели-
величин {?fc, к ^ п}.
Теорема 14.15 (Центральная предельная теорема). Последова-
Последовательность случайных величин {Cm n ^ 1} сходится по распределе-
распределению к стандартной гауссовской случайной величине ?, т. е.
Р{(п ^ х} —> Ф(х) при п —> оо равномерно по х G Ш1.
Замечание. Любая последовательность случайных величин,
слабо сходящаяся к некоторой гауссовской СВ, называется асимпто-
асимптотически нормальной. Центральная предельная теорема устанавлива-
устанавливает свойство асимптотической нормальности для последовательности
центрированных и нормированных сумм произвольных независимых
одинаково распределенных случайных величин, имеющих конечные
дисперсии.
14.7. Гильбертово пространство случайных величин с ко-
конечным вторым моментом. Для вероятностных приложений наи-
наиболее важным является пространство l~i случайных величин ?, опре-
определенных на одном и том же вероятностном пространстве {^l,^7, P},
центрированных и имеющих конечный второй момент:
> < оо.

302	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Если ?, г] G 14, то положим
?, г?} .
Справедливы следующие свойства операции (•, •):
1)	(?,0 ^ 0; если (?,?) = 0, то ? = 0 (Р-п.н.);
2)	« + Ь/7, С) = а(?, С) + Ь(^? С) Для любых а, 6 G С;
3)(гу,О = (Щ?
где ?,ту,С G 7/.
Тем самым (•, •) является скалярным произведением и определяет
норму в пространстве ?/:
Если (п ^ ^, п Ч оо в ?{, то М{|?п - ?|2} —» 0. Таким образом,
сходимость в И означает с.к.-сходимость. В силу свойств с.к.-сходи-
с.к.-сходимости заключаем, что если {?п} фундаментальна, то она сходится
к некоторой СВ ?, причем ||?||2 = М{|?|2} < оо, т. е. ? G 1~L. Послед-
Последнее означает, что И, — пространство со скалярным произведением,
полное относительно сходимости по норме, порожденной этим произ-
произведением. Итак, 1-L — гильбертово пространство случайных величин
с конечным вторым моментом.
Если ?, rj G 7i и (?, г/) = 0, то эти СВ называются ортогональными,
что обозначается как ? J_ rj. Понятие ортогональности играет важную
роль в задачах оценивания случайных величин.
Пусть ?, 77i, ... ?7п ? 14• Предположим, мы хотим оценить случай-
случайную величину ? по наблюдениям r\ = {r/i, ... ,r/n}*. Как следует из
теоремы 14.14, такой оценкой является М{? | r/i, ...,?7n}. Однако
вычисление условного математического ожидания требует знания
совместного закона распределения всех СВ {?,r/i, ...,?7n}, что до-
довольно редко выполняется на практике. Если доступная инфор-
информация ограничена лишь первыми двумя моментами совместного
распределения и оно не является гауссовским, то можно определить
наилучшую в среднеквадратическом смысле линейную оценку для ?,
т.е. с.к.-оптимальную линейную оценку.
Определение 14.29. Случайная величина
называется с. к.-оптимальной линейной оценкой для ? по наблюдени-
наблюдениям {r/i, ..., 7/п}, если для любой линейной функции l(yi, ..., г/п) имеет
место неравенство

§ 14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	303
Теорема 14.16. Пусть ?, r/i, ... ,rjn G 7i, a Rv = cov{?7,77} —
положительно определенная матрица. Тогда с. к.-оптимальная ли-
линейная оценка ? вычисляется по формуле
? = R^R-'v,	A4.11)
где Щ^ = cov{?,?7}. При этом
не - й2 = м{|е - ??} = г>* - Щп^Цг,- A4-12)
Замечания. 1) Формулы A4.11), A4.12) идентичны формулам
теоремы о нормальной корреляции, что не случайно. Действительно,
для любой конечной совокупности случайных величин из 7i суще-
существует семейство гауссовских случайных величин, имеющих те лее
моменты первого и второго порядка. Для этих гауссовских величин
с.к.-оптимальная оценка для ? есть условное математическое ожида-
ожидание, которое по теореме о нормальной корреляции является линейной
функцией от наблюдений. Поэтому параметры, определяющие эту ли-
линейную функцию, одновременно определяют и наилучшую линейную
оценку в И.
2)	Заметим, что для с.к.-оптимальной линейной оценки ? также
справедливо ? _1_ ? — ?.
3)	Если через T~L(tj) обозначить замкнутое линейное подпростран-
подпространство, порожденное случайным вектором 77, а через 7г^(гу)(') ~~ опеРатоР
ортогонального проектирования на T-L(rj) (см. п. 13.8), то очевидно, что
с.к.-оптимальная линейная оценка
Оператор тг^/ ч называют также оператором условного матема-
математического ожидания в широком смысле и обозначают М{ • | rf\. Та-
Таким образом, ? = М{? | г]} — с.к.-оптимальная линейная оценка.
14.8. Ортогональная стохастическая мера. Пусть задано ве-
вероятностное пространство {О,^7, Р} и некоторое множество ^СМ1
с алгеброй ?q его подмножеств. Пусть также 8 = сг{?о} — минималь-
минимальная сг-алгебра, содержащая до-
доопределение 14.30. Комплексная функция Z0(A) = Z0(uj; A),
где uj G О, A G ?о, называется элементарной стохастической мерой,
если выполнены следующие условия:
1) Zq(A) — центрированная случайная величина с конечным вто-
вторым моментом, т.е. M{Zq(A)} = 0 и M{|Zq(A)|2} < 00 для всех

304	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
2)	если Ai П А2 = 0, где Аь А2 G ?0, то
Z0(Ai U А2) = Z0(Ai) + Z0(A2) (Р-п.н.);
3)	если {Ап} — последовательность множеств из ?q, таких, что
оо
Ai D А2 D • • • 2 An Э ... и р| Ап = 0 (т. е. Ап | 0 при п -» оо), то
п=1
M{|Z0(An)|2} -^ 0 при га -> оо.
Среди всех элементарных стохастических мер особый интерес для
наших целей представляет ортогональная стохастическая мера.
Определение 14.31. Элементарная стохастическая мера Zq(А),
Ag^Oj называется ортогональной, если для любых непересека-
непересекающихся множеств Ai, A2 G Sq выполнено Zq(Ai) J_ Zq(A2), т.е.
Стохастическая мера ^о(') тесно связана с некоторой неслучайной
мерой, которая определена на S = сг{?о} и вводится следующим обра-
образом. Пусть
Нетрудно проверить, что то (А) — конечная мера на ?q. Тогда по
теореме Каратеодори (см. п. 13.2) ее молено единственным образом
продолжить до меры т, определенной на 8.
Определение 14.32. Конечная мера т(А), A G ?, называется
структурной функцией элементарной ортогональной стохастической
меры Zo(A), A E So.
Оказывается, меру Zq(-) можно единственным (Р-п.н.) образом
продолжить до ортогональной стохастической меры Z(-), определен-
определенной на 8.
Теорема 14.17. Пусть Zq(A), A E 8q, — ортогональная эле-
элементарная стохастическая мера. Тогда существует единственная
(Р-п.н.) ортогональная мера Z(A), A G 8, такая, что для любого
A G So выполнено Zq(A) = Z(A) (Р-п.н.), причем
где т(') — структурная функция меры Zq(-).
Замечания. 1) Мера Z(-) является а-аддитивной в среднеква-
дратическом смысле, т. е. если Ап G^,n = l,2, ..., Ат П А& = 0 при
т ф к и А = Y^ Дп G ?, то
п=1
С	N	о Л
M||Z(A)- J2 z(An)\ } ^0 при

14]	НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ	305
2) Меру 777,(А) также будем называть структурной функцией орто-
ортогональной стохастической меры Z(-) на ?, так как для любого A Е S
следует
следует
т(Д) =
14.9. Стохастический интеграл по ортогональной мере.
Пусть ортогональная стохастическая мера Z(-) и ее структурная
функция га(-) заданы на S. Рассмотрим следующие два гильбертовых
пространства:
1) пространство L<i комплексных неслучайных функций /(А),
А Е Е, с интегрируемым квадратом по мере т:
< оо.
Пространство L<i является гильбертовым со скалярным произве-
произведением и соответствующей нормой:
</,?> = J ДАМА) m(dA),
Е
2) пространство % случайных величин с конечным вторым момен-
моментом (см. п. 14.7).
Следующее утверждение будет использовано при построении
стохастического интеграла.
Теорема 14.18. Пусть f E Li, тогда найдется последователь-
последовательность простых функций fn E L2, такая, что
||/n(A)-/(A)||L2-K) при п^оо.	A4.13)
Определим стохастический интеграл на множестве простых функ-
функций, а потом распространим это понятие на все функции из L2,
пользуясь утверждением теоремы 14.18.
Определение 14.33. Пусть /(А), А Е Е — простая функция, т. е.
(А),	A4.14)
fc = l
где fk е С, Ак е S и Ак П А/ = 0 при кф1. Тогда СВ
Hf) = E fkZ(Ak)
к=1
называется стохастическим интегралом от простой функции /(А)
по мере Z(-).
20 Б.М. Миллер и А.Р. Панков

306	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
Из определения следует, что /(/) G 71, причем
М{|/(/)|2} = ? \fk\2m(^k) = f \f(X)\2m(d\) < оо.
k=i	JE
Тем самым пространства 7i и L<i связаны следующим важным соот-
соотношением:
для любой простой / Е 1^2.
Пусть последовательность функций {/п} аппроксимирует / G
в смысле A4.13). Тогда
)|| = \\Jn ~ Jrn\\L2 -^ U При П^ОО
в силу фундаментальности {/п}. Таким образом, последовательность
{/(/)} фундаментальна в 7i и, следовательно, сходится в 7{ (т.е.
в с.к.-смысле) к некоторому пределу, который мы обозначим /(/) G 7i.
Определение 14.34. Случайная величина /(/) G 7i называется
стохастическим интегралом на Е от функции f G L<i no ортого-
ортогональной стохастической мере Z(-) и обозначается
/(/) = | /(A) Z(d\).
Е
Непосредственно из определения /(/) и свойств ортогональной
стохастической меры следуют основные свойства стохастического ин-
интеграла.
Теорема 14.19. Пусть /, д и fn G L^. Тогда справедливо
1) M{J(/)} = 0;
3) I(af + bg) — al(f) + Ы(д) (Р-п.м.), где a,beC;
5) cov{/(/),/(<?)} = (/,^> = J/(AMA)m(dA);
6) если /n ^ /, n ^ ос 6 L2, mo /(/n) ') /(/), n -^ oo.
Свойства 1-6 широко используются в пп. 3.3, 4.2, 4.3, 9.3 при
построении спектральных разложений стационарных процессов и изу-
изучении линейных преобразований последних. Кроме того, применением
таких интегралов можно ограничиться при изучении линейных сто-
стохастических дифференциальных уравнений (см. пп. 8.4, 11.3).

15]	ВЫЧИСЛЕНИЕ СПЕЦИАЛЬНЫХ ИНТЕГРАЛОВ	307
15. Вычисление специальных интегралов
15.1. Интеграл вероятностей. Для вероятностного анализа
гауссовского случайного процесса весьма часто приходится вычислять
интеграл вероятностей (функцию Лапласа)
A5.1)
=
Обычно процедуру вычисления Ф(х) сводят к определению зна-
значения функции Ф$(х), которая отличается от Ф(х) только нижним
пределом:
X
Ф0(х) = —L [ e~*V2 dt, х^О.	A5.2)
V 2тг J
Из A5.1), A5.2) следует:
{1/2 + Ф0(х), если х ^ 0,
A5.3)
1/2-Ф0(-х), если х < 0.
Для приближенного вычисления Фо (х) можно воспользоваться сле-
следующим соотношением:
причем A5.4) применяется при х ^ 3, а для х > 3 можно использовать
асимптотический ряд:
е~х2/2
1-3 1-3-5 1-3-5-7
Соотнопсения A5.3)—A5.5) позволяют вычислять значение функ-
функции Ф{х) с любой точностью, варьируя число членов в разложени-
разложениях A5.4), A5.5).
20*

308	МАТЕМАТИЧЕСКОЕ ПРИЛОЖЕНИЕ	[ГЛ. IV
15.2. Интегралы от дробно-рациональных функций. Вы-
Вычисление дисперсии стационарной случайной последовательности
с дробно-рациональной спектральной плотностью сводится к вычис-
вычислению интеграла от дробно-рациональной функции
где F{x) и Н{х) — многочлены следующего вида:
{Fix) = а0
{	+ „,
A5.7)
Н(х) = Ъо + Ьгх + ... + &ржр, р ^ 1,
причем многочлен Н(х) — устойчивый, т. е. все его корни лежат вне
круга единичного радиуса с центром в начале координат. В этом
случае интеграл A5.6) при любом р ^ 1 может быть вычислен ана-
аналитически с использованием алгоритма
Po k=0 ^
где коэффициенты {«^}, {/3$ } вычисляются по рекуррентным форму-
формулам (для к = р,р — 1, ..., 0):
где обозначено jf = /3^_-/^.
Соотношения A5.9) реализуются со следующими начальными
значениями:
аР = аг; /3? = Ь{, г = 0,1, ...,р,	A5.10)
где {а^}, {^} — коэффициенты многочленов F(x) и Н(х) соответ-
соответственно.
Для вычисления дисперсии стационарной случайной функции
с дробно-рациональной спектральной плотностью приходится вычис-
вычислять интеграл
оо
J hn(i\)hn(-i\)

15]
ВЫЧИСЛЕНИЕ СПЕЦИАЛЬНЫХ ИНТЕГРАЛОВ
309
где дп(х) и hn(x) — многочлены следующего вида:
Г дп(х) = Ъ0х2п~2 + blX2n~4 + . . . + Ьп_ь
[ hn(x) = аохп
A5.12)
... + а„,
причем многочлен hn(x) таков, что все его корни имеют отрица-
отрицательные действительные части (т. е. лежат в левой полуплоскости) и
clq ф 0. В этом случае для любого n ^ 1 интеграл A5.11) вычисляется
аналитически следующим образом:
1„=7г(-1)-1
A5.13)
где
n = det
^2,2
A5.14)
/m r = aira-r, причем считается, что а& = 0, если к < 0 или к > щ
= det
A5.15)
В частности, для случаев п = 1ип = 2из A5.13)—A5.15) следуют
аналитические формулы
Jl=7T
Ьо
/2 =
аосца-2
Заметим, что в силу ограничений, наложенных на многочлен
hn(x), определитель Dn ф 0, поэтому интеграл A5.11) сходится.

СПИСОК ЛИТЕРАТУРЫ
1.	Боровков А. А. Теория вероятностей. — М.: Эдиториал УРСС, 1999.
2.	Вентцель А.Д. Курс теории случайных процессов. — М.: Нау-
Наука, 1996.
3.	Вентцель Е.С., Овчаров Л.А. Теория случайных процессов и ее
инженерные приложения. — М.: Высшая школа, 2001.
4.	Гихман И.И., Скороход А.В. Введение в теорию случайных процес-
процессов. — М.: Наука, 1977.
5.	Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслу-
обслуживания. — М.: Наука, 1987.
6.	Дэвис М.Х.А. Линейное оценивание и стохастическое управление. —
М.: Наука, 1984.
7.	Климов Г.П., Кузьмин А.Д. Вероятность, процессы, статистика.
Задачи с решениями. — М.: Изд-во МГУ, 1985.
8.	Колмогоров А.Н., Фомин СВ. Элементы теории функций и
функционального анализа. — М.: Наука, 1976.
9.	Королюк B.C. и др. Справочник по теории вероятностей и матема-
математической статистике. — М.: Наука, 1985.
10.	Крамер Г., Лидбеттер М. Стационарные случайные процессы. —
М.: Мир, 1969.
11.	Лебедев А.А. и др. Статистическая динамика и оптимизация
управления летательных аппаратов. — М.: Машиностроение, 1985.
12.	Льюнг Л. Идентификация систем. Теория для пользователей. —
М.: Наука, 1991.
13.	Люстерник Л.А., Соболев В.И. Краткий курс функционального
анализа. — М.: Высшая школа, 1982.
14.	Мельников А.В. Финансовые рынки: стохастический анализ и рас-
расчет производных ценных бумаг. — М.: Изд-во ТВП, 1997.
15.	О стрем К. Введение в стохастическую теорию управления. —
М.: Мир, 1973.
16.	Пакшин П. В. Дискретные системы со случайными параметрами и
структурой. — М.: Наука, 1994.
17.	Панков А.Р. Рекуррентная условно-минимаксная фильтрация про-
процессов в разностных нелинейных стохастических системах // Известия
РАН. Техническая кибернетика. 1992. № 3. С. 71-77.
18.	Пугачев B.C. Лекции по функциональному анализу. — М.: Изд-во
МАИ, 1996.
19.	Пугачев B.C. Теория вероятностей и математическая статистика. —
М.: Наука, 1979.
20.	Пугачев B.C., Синицын И.Н. Стохастические дифференциальные
системы. — М.: Наука, 1990.
21.	Розанов Ю.А. Введение в теорию случайных процессов. — М.: На-
Наука, 1982.

СПИСОК ЛИТЕРАТУРЫ	311
22.	Розанов Ю.А. Теория вероятностей, случайные процессы и матема-
математическая статистика. — М.: Наука, 1985.
23.	Семенов В.В., Пантелеев А.В., Бортаковский А.С. Математиче-
Математическая теория управления в примерах и задачах. — М.: Изд-во МАИ, 1997.
24.	Сосулин Ю.Г. Теория обнаружения и оценивания стохастических
сигналов. — М.: Советское радио, 1978.
25.	Ширяев А.Н. Вероятность. — М.: Наука, 1989.
26.	Ширяев А.Н. Основы стохастической финансовой математики. —
М.: Фазис, 1998.
27.	Hitter F.S., Lieberman G.J. Introduction to Stochastic Models in
Operations Research. — N.Y.: McGraw-Hill, 1990.
28.	Merton R. Continuous-Time Finance. — Cambridge: Blackwell, 1990.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Аддитивность 266
—	счетная 265
Алгебра 264
Алгоритм рекуррентной фильтра-
фильтрации Калмана 111
—	с.к.-оптимальной нелинейной филь-
фильтрации 117
—	субоптимальной нелинейной филь-
фильтрации первого порядка 123
—	условно-оптимальной нелинейной
фильтрации 126
Асимптотическая нормальность 230,
301
Базис гильбертова пространства 283
—	линейного пространства 280
Белый шум гауссовский 16
	дискретный 16, 57, 98
	многомерный 106
	с непрерывным временем 27,
156
	стандартный 57, 106
	стационарный 57, 106, 171
	широкополосный 171
Броуновский мост 49
Вектор сноса (дрейфа) 46, 236
Вероятности предельные 254
—	финальные 93
Вероятностные гипотезы 286
Вероятность 284
—	перехода 40, 250
	за один шаг 83
—	состояния 84, 250
—	условная 285
Винеровский процесс 33, 205
Время возвращения в состояние 90
Дельта-функция Дирака 279
Дисперсия 292
—	случайного процесса 22
Единственность (Р-п.н.) решения
стохастического дифференциаль-
дифференциального уравнения 219
Закон больших чисел 69
	усиленный 141
—	распределения 287
Импульсный отклик 178
Интеграл Лебега 273
—	Стилтьеса 277
—	в среднем квадратическом 157
—	вероятностей 15, 299
—	по ортогональной стохастической
мере 306
—	стохастический Ито 214
	Стратоновича 217
Интенсивность гибели 258
—	однородного процесса с ортого-
ортогональными приращениями 193
—	перехода 251
—	потока событий 247
—	рождения 258
Квадратическая характеристика
136, 202
Классификация состояний марков-
марковской цепи 88
Ковариация 293
Компенсатор субмартингала 136,
200
Коэффициенты Фурье 283
Критерий Коши с.к.-сходимости 295
—	регулярности стационарной по-
последовательности 76
—	с.к.-дифференцируемости 153
—	с.к.-интегрируемости 157
—	с.к.-непрерывности 148
—	сходимости в гильбертовом про-
пространстве 281
—	эргодичности марковской случай-
случайной функции 255
	цепи Маркова 90, 91
Лемма Кронекера 142
—	Лоэва 296
Линейная комбинация 279
—	независимость 280

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
313
—	оболочка 280
—	регрессия 111
—	система 175
Линейное преобразование 60, 65, 175
	стационарное 60, 70, 176
	физически реализуемое (фильтр)
71, 181
Марковская случайная функция
с дискретным множеством зна-
значений 250
	однородная 251
	эргодическая 254
Марковское свойство 40, 83
	, альтернативная формулировка
86
Мартингал 131, 197
—	квадратично-интегрируемый 136,
201
Математическое ожидание (среднее)
290
	векторного случайного процес-
процесса 25
	случайного вектора 292
	процесса 22
	условное 296
	в широком смысле 303
	относительно случайного со-
события 298
	случайной величины 297
Матрица диффузии 46, 236
—	интенсивностей белого шума 165
—	ковариационная 293
	условная 117
—	переходная 83
—	стохастическая 85
Мера 265
—	Дирака 278
—	Лебега (на R1) 267
	на Шп 269
—	абсолютно непрерывная 275
—	вероятностная 284
—	конечная 265
—	нормированная 284
—	ортогональная стохастическая 304
—	пуассоновская 195
—	элементарная стохастическая 303
Метод Эйлера 224
—	моментов 226
—	наименьших квадратов 284
	обобщенный 115
—	статистического моделирования
127
—	формирующих фильтров 231
Множество борелевское 267, 269
—	состояний 83
Модель наблюдения Калмана 112
	стационарная 115
Модификация (версия) случайного
процесса 19
	непрерывная 152
Момент марковский 138
	остановки 138
Независимые случайные величины
289
—	события 285
—	сг-алгебры 289
Неравенство Гельдера 274
—	Иенсена 274, 297
—	Коши-Буняковского 275, 280, 293
—	Маркова 292
—	Минковского 274
—	Чебышева 274, 293
Норма 280
—	в пространстве 1-L 52, 75, 302
Опорная траектория 122
Ортогональная проекция 284
Ортогональное дополнение 283
Ортогональные элементы 282
Отсутствие последействия 39
Оценка метода наименьших квадра-
квадратов 143
—	наилучшая линейная 115, 284, 302
—	несмещенная 68
—	прогноза с.к.-оптимальная 244
—	с.к.-оптимальная 110, 298
—	сильно состоятельная 142
—	состоятельная 68
—	фильтрации с.к.-оптимальная 117
Плотность переходная 41
—	распределения вероятностей 288
—	условная 298
	ненормированная 118
Подпространство всюду плотное 281
—	замкнутое 281
—	линейное 279
—	нулевое 280

314
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Пополнение пространства 281
Последовательность весовая 65, 70
—	предсказуемая 131
—	стохастическая 131
—	фундаментальная 281
	по вероятности 295
	почти наверное 295
Поток событий 247
	без последействия 248
	однородный (стационарный)
247
	 ординарный 247
	простейший 248
	пуассоновский 174, 248
Поток сг-алгебр 131, 196, 212
Почти всюду 266
Почти наверное (с вероятностью 1)
286
Прогноз абсолютно точный 75
—	наилучший линейный 75
—	с.к.-оптимальный 244
—	тривиальный 76
Прогнозирование 244
Продолжение меры 266
Производная Радона-Никодима 275
—	в среднем квадратическом 153
—	обобщенная 156
Прообраз 270
Пространство вероятностное 284
—	гильбертово 281
—	измеримое 264
	дискретное 266
—	линейное 279
	вещественное (действительное)
279
	комплексное 279
—, порожденное случайной последо-
последовательностью 75
—	с мерой 266
—	случайных величин с конечным
вторым моментом 52, 302
—	элементарных событий 284
Процесс Орнштейна-Уленбека 242
—	броуновского движения 33
—	рождения и гибели 257
Пуассоновский процесс 194
	неоднородный 194
	обобщенный 202
Равенство Парсеваля 283
Разложение Вольда 76
—	Дуба для субмартингала 136
Размерность линейного простран-
пространства 280
Распределение Бернулли 289
—	Пуассона 289
—	абсолютно непрерывное 278
—	биномиальное 289
—	вероятностей состояний 84, 251
—	гауссовское (нормальное) 290
	п-мерное 300
—	дискретное 287
—	непрерывное 288
—	равномерное 290
—	стационарное 91, 254
—	экспоненциальное (показатель-
(показательное) 290
Ряд Фурье 283
С.к.-интеграл 157
С.к.-предел 147, 295
С.к.-производная 153
С.к.-сходимость 295
Семейство конечномерных распре-
распределений случайного процесса 13
Сечение случайного процесса 11
Симметричное блуждание 207
Система элементов ортогональная
282
	ортонормальная 282
Скалярное произведение 280
	в пространстве 1-L 52, 75, 302
Случайная величина 286
	(абсолютно) непрерывная 288
	гауссовская (нормальная) 299
	стандартная 299
	дискретная 287
	центрированная 291
Случайная замена времени 138
Случайная последовательность 12
	авторегрессии—скользящего
среднего порядка (р, q) 99
	авторегрессионная порядка р 98
	 гильбертова 65
	детерминированная 76
	 подчиненная 76
	почти периодическая 55
	скользящего среднего поряд-
порядка q 99
	 стационарная 53

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
315
	двустороннего скользящего
среднего 57
	 линейная 57
	одностороннего скользящего
среднего 57
	регулярная 75
	сингулярная 75
	скользящего среднего поряд-
порядка р 57
Случайная функция 12, 147
	дифференцируемая (потраек-
торно) 154
	непрерывная (потраекторно)
148
	почти наверное 148
	неупреждающая 212
	простая 212
	регулярная 12
	с. к.-дифференцируемая 153
	с.к.-интегрируемая 157
	с.к.-непрерывная 147
	согласованная 197
	 стационарная 167
Случайные величины независимые
289
	некоррелированные 293
	ортогональные 293, 302
	 эквивалентные 286
Случайные процессы неотличимые
20
	эквивалентные 19, 152
	в широком смысле 18
Случайный вектор 288
	гауссовский (нормальный) 300
Случайный процесс 11
	вещественный (действитель-
(действительный) 12
	выходящий из нуля 188
	гауссовский 25, 29
	гильбертов 23
	диффузионного типа 46, 237
	комплексный 12
	марковский 39
	однородный 40
	обновляющий 76, 241
	с дискретным временем 12
	конечными моментами вто-
второго порядка 23
	независимыми приращения-
приращениями 190
	непрерывным временем 12
	ортогональными приращени-
приращениями 188
	однородный 193
	стационарный в узком смысле
38
	широком смысле 38
	считающий 194
	центрированный 22
Смешанный момент порядка к слу-
случайного процесса 26
Событие достоверное 285
—	невозможное 285
—	противоположное 285
События независимые 285
—	несовместные 285
Состояние апериодическое 88
—	возвратное 88
—	невозвратное 88
—	несущественное 88
—	нулевое 88
—	периодическое 88
—	существенное 88
Состояния сообщающиеся 88
Спектральная плотность 54, 168
	дробно-рациональная 231
—	функция 54, 168
Спектральное разложение ковариа-
ковариационной функции 54, 169
	стационарной последовательно-
последовательности 59
	функции 170
Среднеквадратическая погрешность
68, 75
Стохастический граф 85, 256
—	дифференциал 217
Субмартингал 131, 197
Супермартингал 131, 197
Сходимость в среднем квадратиче-
ском 295
	порядка р 295
—	относительно нормы 280
—	по вероятности 294
	мере 272
	распределению (слабая) 296
—	почти всюду 272
—	почти наверное (с вероятно-
вероятностью 1) 294
Телеграфный сигнал 175

316
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Теорема Бохнера-Хинчина 168
—	Герглотца 54
—	Калмана 112
—	Калмана-Бьюси 240
—	Каратеодори 266
—	Колмогорова о существовании
непрерывной модификации 152
	случайного процесса 18
—	Лёви 276
—	Лебега 276
—	Радона-Никодима 275
—	Фату 277
—	о сг-аддитивности интеграла Лебе-
Лебега 275
	виде наилучшей линейной
оценки 303
	с.к.-оптимальной оценки 110,
298
	в гауссовском случае 110
	замене переменной в интеграле
Лебега 276
	нормальной корреляции 111,300
	связи различных видов вероят-
вероятностной сходимости 296
	существовании интеграла Ито
214
	решения стохастического диф-
дифференциального уравнения 218
	сходимости мартингала 141
—	об абсолютной непрерывности ин-
интеграла Лебега 275
Тождества Вальда 140
Траектория (реализация) случайно-
случайного процесса 12
Управляемость (полная) 239
Уравнение Колмогорова-Фоккера-
Планка 47, 237
—	Колмогорова-Чепмена 40, 251
—	дифференциальное со случайной
правой частью (линейное) 161
	, с постоянными коэф-
коэффициентами 179
—	диффузии 48
	с дискретным временем 119
—	стохастическое дифференциальное
218
	линейное 219
	, порожденное пуассонов-
ским процессом 230
	 разностное 106
	стационарное, асимптотиче-
асимптотически устойчивое 106
—	характеристическое 98
Уравнения Колмогорова алгебраи-
алгебраические 255
	дифференциальные 252
—	стационарные метода моментов
107, 228
	фильтра Калмана 115
	Калмана-Бьюси 243
Условие Липшица 219
Условия согласованности семейства
конечномерных распределений 17
Устойчивость (асимптотическая) 99,
228
—	многочлена 233
—	нестационарной системы 230
—	стохастическая 224
Факторизация спектральной плот-
плотности 105
Фильтр Калмана (дискретный) 112
	линеаризованный 123
	расширенный 124
—	Калмана-Бьюси 241
—	формирующий 105, 233
—	экспоненциального сглаживания
69
Формула дифференцирования с.к.-ин-
с.к.-интеграл а по верхнему пределу 159
—	интегрирования по частям для
с.к.-интеграла 159
	стохастического интег-
интеграла 192
—	полного математического ожида-
ожидания 298
—	полной вероятности 286
—	преобразования спектральной
плотности при линейном преоб-
преобразовании 61, 176
—	стохастического дифференциро-
дифференцирования Ито 221
Функции эквивалентные 272
Функция Коши 164
—	Лапласа 15, 299, 307
—	абсолютно непрерывная 278
—	борелевская 270
—	весовая 178
—	выборочная 12

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
317
-	дискретного распределения 278
-	дисперсионная 22, 106
-	дробно-рациональная 308
-	измеримая 270
-	интегрируемая (суммируемая) по
мере 273
-	ковариационная 22
-	векторного случайного процес-
процесса 25
-	взаимная 25
	комплексного случайного про-
процесса 23
	стационарной случайной после-
последовательности 53
	функции 167
корреляционная 53
неотрицательно-определенная 24,
36, 53, 167
-	плотности распределения 278
простая 271
распределения 267
-	вероятностей 287
	случайного вектора 288
структурная 304
характеристическая 292
-	А;-мерного распределения слу-
случайного процесса 26
эрмитова 36, 53, 168
Центральная предельная теорема
301
Цепь Маркова (дискретная) 83
	апериодическая 89
	конечная 42, 83
	неразложимая 89, 92
	 однородная 84
	эргодическая 91
Частотная характеристика 60, 73,
176
Экстраполяция 244
n-мерная плотность распределения
случайного процесса 13
—	функция распределения 269
	случайного процесса 13
^-интеграл 216
сг-аддитивность 265
сг-алгебра 264
—	борелевская 267, 269
—, порожденная системой множеств
265
—, — случайной величиной 286
—,	функцией 212
—, — случайным вектором 288
—, — функцией 271
—	тривиальная 264

Учебное издание
МИЛЛЕР Борис Михайлович
ПАНКОВ Алексей Ростиславович
ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
В ПРИМЕРАХ И ЗАДАЧАХ
Редактор Н. Б. Бартошевич-Жагелъ
Оригинал-макет: К. В. Семенихин
ЛР № 071930 от 06.07.99.
Подписано в печать 20.11.01. Формат 60x90/16.
Бумага офсетная № 1. Печать офсетная.
Усл. печ. л. 10. Уч.-изд. л. 10. Тираж 2000 экз.
Заказ №
Издательская фирма «Физико-математическая литература»
МАИК «Наука/Интерпериодика»
117864 Москва, Профсоюзная, 90
Отпечатано с готовых диапозитивов в Московской
типографии № 6 Министерства РФ по делам печати,
телерадиовещания и средств массовых коммуникаций
109088 Москва, Южнопортовая ул., 24
ISBN 5-9221-0206-0
9785922 102063