/
Автор: Розанов Ю.А. Прохоров Ю.В.
Теги: теория вероятностей и математическая статистика математика теория вероятностей
Год: 1967
Текст
ПРАВОЧНАЯ
АТЕМАТИЧЕСКАЯ
ИБЛИОТЕКА
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
ОСНОВНЫЕ ПОНЯТИЯ
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
СЛУЧАЙНЫЕ ПРОЦЕССЫ
СПРАВОЧНАЯ МАТЕМАТИЧЕСКАЯ БИБЛИОТЕКА
Ю. В. ПРОХОРОВ, Ю. А. РОЗАНОВ
ТЕОРИЯ
ВЕРОЯТНОСТЕЙ
ОСНОВНЫЕ понятия
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
СЛУЧАЙНЫЕ ПРОЦЕССЫ
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА 1967
517.8
П 84
УДК 519.2
АННОТАЦИЯ
Книга представляет собой обзор важнейших
результатов, методов и направлений современной
теории вероятностей. Основные понятия теории
вероятностей, важнейшие теоретико-вероятностные
модели, некоторые методы оптимального регулиро-
вания, линейная фильтрация, элементы теории
передачи стационарных сообщений по каналам
связи — вот далеко не полный перечень разделов,
представляющих интерес для читателей, интере-.
сующихся теорией вероятностей, но не являющихся
специалистами в этой области. В книге есть и раз-
делы, предназначенные читателям, работающим в
области теории вероятностей и смежных направле-
ниях; сюда относятся основания теории, некоторые
аспекты общей теории случайных процессов, пре-
дельные теоремы и др.
Книга рассчитана на инженеров, физиков и
математиков, а также на аспирантов и студентов
старших курсов соответствующих специальностей.
2-2-3
160-67
ОГЛАВЛЕНИЕ
Предисловие ................................. 7
ГЛАВА I
ОСНОВНЫЕ ПОНЯТИЯ ЭЛЕМЕНТАРНОЙ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Опыт с равновероятными исходами...................... 9
1. Опыт с конечным числом равновероятных исходов . . 9
2. Некоторые комбинаторные формулы.........«... 12
3. «Геометрические» вероятности...................... 16
§ 2. Пространство элементарных событий и закон сложения веро-
ятностей ................................................ 19
1. Комбинация событий.............................. 19
2. Пространство элементарных событий................. 20
3. Закон сложения вероятностей.............• . . . . 23
§ 3. Связь различных событий.............................. 26
1. Условные вероятности.............................. 26
2. Независимые события............................... 32
3. Количество информации...................’......... 34
§ 4. Случайные величины................................... 39
1. Случайные величины и их распределения вероятностей 39
2. Математическое ожидание, дисперсия и коэффициент
корреляции......................................... 44
3. Целочисленные величины и производящие функции . . 49
§ 5. Некоторые распределения вероятностей................ 50
1. Распределения вероятностей, связанные с законом Пуас-
сона .......................•........................ 50
2. Распределения вероятностей, связанные с нормальным
законом.............................................. 53
3. Распределения вероятностей, связанные с испытаниями
Бернулли............................................. 62
4. Некоторые распределения вероятностей, возникающие в
схеме симметричного случайного блуждания............. 67
Г Л А В А II
ПРОСТРАНСТВА И МЕРЫ
§ 1. Некоторые сведения об измеримых и топологических про-
странствах ............................................. 72
1. Измеримые и топологические пространства......... 72
2. Линейные пространства........................... 85
4
ОГЛАВЛЕНИЕ
§ 2. Распределения и меры................................ 92
1. Меры в измеримых пространствах..................... 92
2. Меры в топологических пространствах............... 97
3. Согласованные распределения.......................101
§ 3. Меры и интегралы....................................106
1. Интеграл и его свойства...........................106
2. Абстрактные меры и интегралы .....................119
ГЛАВА III
ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Пространства элементарных событий. Распределения веро-
ятностей и характеристические функции..................130
1. Основные теоретико-вероятностные схемы..........130
2. Связи различных событий и случайных величин .... 136
3. Случайные процессы и их распределения вероятностей . 148
§ 2. Основные типы случайных процессов..................155
. 1. Случайные процессы как кривые в гильбертовом про-
странстве ...........................................155
2. Гауссовские случайные процессы...................164
3. Мартингалы и стохастические интегралы...........176
4. Марковские случайные процессы...................182
5. Однородные и стационарные случайные процессы . . . 189
ГЛАВА IV
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Распределения и их характеристические функции .... 194
1. Однозначность соответствия между распределениями и
характеристическими функциями.......................194
2. Формулы обращения...............................197
3. Свойства распределений, выраженные в терминах харак-
теристических функций...............................200
§ 2. Оценка близости распределений по близости их характери-
стических функций 205
1. Равномерные расстояния......................... 205
2. Многомерный случай...............................208
§ 3. Моменты и семиинварианты...........................209
1. Формальные соотношения...........................209
2. Проблема моментов................................212
3. Неравенства......................................213
4. Сходимость моментов..............................215
§ 4. Безгранично делимые распределения и их связь с предель-
ными теоремами 217
1. Определение, связь с предельными теоремами......217
2. Свойства безгранично делимых законов.............221
§ 5. Последовательности независимых случайных величин (об-
щие свойства) ’ . . . 222
ОГЛАВЛЕНИЕ
5
§ 6. Последовательности независимых случайных величин. Схо-
димость к нормальному закону..............................227
1. Условия сходимости................................227
2. Уточнения.........................................229
3. Биномиальное распределение........................233
4. Многомерный случай...............................234
§ 7. Последовательности независимых случайных величин. Схо-
димость к устойчивым законам..............................235
1. Определение устойчивых законов и некоторые их свой-
ства ................................................235
2. Условия сходимости. Уточнения.....................237
§ 8. Локальные теоремы для решетчатых распределений . . . 240
1. Асимптотическая равномерная распределенность .... 240
2. Целочисленные одинаково распределенные слагаемые 241
§ 9. Локальные теоремы для плотностей.........243
§ 10. Вероятности больших отклонений. Неравенства и асимпто-
тические формулы......................................245
§11. Заключительные замечания.......................249
ГЛАВА V
МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
§ 1. Марковские процессы с конечным или счетным числом со-
стояний (цепи Маркова).................................255
1. Марковское свойство и переходные вероятности .... 255
2. Классификация состояний однородной марковской цепи 267
3. Эргодические свойства однородных марковских цепей 273
4. Общие скачкообразные марковские процессы........280
§ 2. Ветвящиеся случайные процессы....................282
. 1. Общее описание случайного ветвящегося процесса . . . 282
2. Ветвящиеся процессы с одним типом частиц........285
§ 3. Случайные процессы с независимыми приращениями . . . 296
1. Последовательности сумм возрастающего числа незави-
симых случайных величин............................296
2. Процесс броуновского движения...................301
3. Структура случайных процессов с независимыми прира-
щениями ...........................................312
§ 4. Диффузионные процессы............................320
1. Дифференциальные и стохастические уравнения .... 320
2. Поведение однородных диффузионных процессов в гра-
ничных точках. Эргодические свойства...............328
3. Преобразования диффузионных процессов...........340
4. Обратное уравнение Колмогорова и распределения веро-
ятностей некоторых функционалов от диффузионного
процесса...........................................346
5. Многомерные диффузионные пр$цессы...............349
§ 5. Общие марковские процессы и их характеристики .... 355
1. Полугруппы, отвечающие переходным функциям, и их
инфинитезимальные операторы........................355
6
ОГЛАВЛЕНИЕ
2. Инфинитезимальные операторы, гармонические и эксцес-
сивные функции......................................358
§ 6. Управляемые марковские процессы...................362
1. Управляемые марковские последовательности........362
2. Управление по неполным данным....................368
3* Управляемые диффузионные процессы................372
ГЛАВА VI
СТАЦИОНАРНЫЕ ПРОЦЕССЫ
§ 1. Спектральная теория гармонизуемых процессов.......375
1. Линейные преобразования . . . . :................375
2. Регулярные стационарные процессы.................382
3. Линейное прогнозирование стационарных процессов . . 389
4. Физическая интерпретация спектрального представления 406
5. Многомерные стационарные процессы . ............409
6. Обобщенные стационарные процессы и процессы со ста-
ционарными приращениями.............................418
7. Гармонизуемые случайные процессы. Некоторые нели-
нейные преобразования ............................. 425
§ 2. Стационарные в узком смысле процессы..............433
1. Эргодические свойства............................433
2. Общие эргодические свойства. Приложение их к мар-
ковским процессам...................................438
3. Спектральные условия эргодичности некоторых стацио-
нарных процессов . ............................447
§ 3. Гауссовские стационарные процессы.................452
1. Некоторые свойства траекторий.................. 452
2. Выходы стационарного гауссовского процесса за опре-
деленный уровень................................. • • • 455
3. Эквивалентность распределений вероятностей гауссов-
ских стационарных процессов.........................459
§ 4. Элементы математической теории передачи информации
по стационарным каналам связи......................464
1. Основные результаты о возможности передачи инфор-
мации ..............................................464
2. Формулы для количества информации................472
Литература..............................................481
Указатель...............................................488
ПРЕДИСЛОВИЕ
Эта книга по своему замыслу предназначена служить спра-
вочником, по которому можно было бы ориентироваться в том
громадном материале, который к настоящему времени накоплен
теорией вероятностей. Основное содержание книги касается
таких разделов, как основания теории вероятностей, пре-
дельные теоремы и случайные процессы.
В приводимой библиографии дается список основных книг
по теории вероятностей и ее приложениям. [В виде исклю-
чения в самом тексте книги даны ссылки на некоторые по-
следние работы, по нашему мнению, не нашедшие доста-
точного отражения в монографической литературе (при этом
мы вовсе не желаем подчеркнуть приоритет того или иного
автора).] Некоторые ссылки указывают на непосредственное
использование материала соответствующей работы.
Считаем здесь уместным сделать некоторые рекомендации
по выбору имеющейся на русском языке литературы, со ссыл-
ками на соответствующие разделы настоящего справочника.
Для первого знакомства с различными вопросами теории
вероятностей может служить университетский учебник Б. В. Гне-
денко «Курс теории вероятностей», изд. 4-е, М., «Наука»,
1965, и книга В. Феллера «Введение в теорию вероятностей
и ее приложения» (перев. с англ.), I, изд. 2-е, М., «Мир»,
1964 (глава I, § 1 главы V). Широкий круг вопросов охва-
тывается в монографии М. Лоэва «Теория вероятностей» (пе-
рев. с англ.), М., ИЛ, 1962 (главы II, III; § 2 главы VI).
Основаниям теории вероятностей посвящена книга А. Н. Кол-
могорова «Основные понятия теории вероятностей», М. — Л.,
ОНТИ, 1936. Несколько специальные вопросы затрагиваются
в книге Е. Б. Динкина «Основания теории марковских про-
цессов», М., Физматгиз, 1959 (§§ 1.2, 2.4 главы III). Пре-
дельным теоремам посвящены книги Б. В. Гнеденко, А. Н. Кол-
могорова «Предельные распределения для сумм независи-
мых случайных величин», М. — Л., Гостехиздат, 1949, и
8
ПРЕДИСЛОВИЕ
И. А. Ибрагимова, Ю. В. Линника «Независимые стационарно
связанные величины», М., «Наука», 1965. Фундаментальной
монографией по случайным процессам является книга: Дж.
Л. Дуб, Вероятностные процессы (перев. с англ.), ИЛ, 1956
(§§ 1.2, 1.3, 2.3 главы III; • § 2.2 главы VI); основные
классы случайных процессов подробно рассматриваются
в книге: И. И. Гихман, А. В. Скороход, Введение в теорию
случайных процессов, М., «Наука», 1965 (§§ 1.4, 2, 3, 4,
5 главы V; § 1 главы VI). Специальным классам случайных
процессов посвящены монографии: К. Л. Чжун, Однородные
цепи Маркова (перев. с англ.), «Мир», 1964; Т. Харрис, Тео-
рия ветвящихся случайных процессов (перев. с англ.), «Мир»,
1966; А. В. Скороход, Случайные процессы с независимыми
приращениями, М., «Наука», 1964; Е. Б. Дынкин, Марков-
ские процессы, М., Физматгиз, 1963; Ю. А. Розанов, Ста-
ционарные случайные процессы, М., Физматгиз, 1963. С воп-
росами общей теории меры и интегрирования (глава II)
можно познакомиться по книгам П. Халмоша «Теория меры»
(перев. с англ.), М., ИЛ, 1963, и Н. Данфорда, Д. Шварца
«Линейные операторы» (перев. с англ.), М., ИЛ, 1962.
В тексте сравнительно мало снабженных индексами ссылок
и формул. При этом, например, § 2.3 указывает на 3-й пункт
2-го параграфа текущей главы. При ссылке на другую главу
указывается ее номер. Формулы нумеруются отдельно в ка-
ждой главе: например, (1.2) указывает на 2-ю формулу § 1.
При написании книги мы имели полезные контакты со
многими специалистами теории вероятностей. Пользуемся слу-
чаем выразить нашу благодарность Р. Л. Добрушину, В. М. Зо-
лотареву, В. В. Сазонову, Р. 3. Хасьминскому, И. Н. Чен-
цову, А. Н. Ширяеву и особенно Л. Н. Большеву, взявшему
на себя нелегкий труд редактирования этой книги.
Ю. В. Прохоров, Ю, А. Розанов
ГЛАВА I
ОСНОВНЫЕ ПОНЯТИЯ ЭЛЕМЕНТАРНОЙ ТЕОРИИ
ВЕРОЯТНОСТЕЙ
§ 1. Опыт с равновероятными исходами
1. Опыт с конечным числом равновероятных исходов.
Частота и вероятность. Рассмотрим такой простой опыт,
как бросание монеты. Он имеет два взаимно исключающих друг
друга исхода: выпадение «герба» и выпадение «решетки». Обо-
значим эти исходы русскими буквами Г и Р соответственно.
Наблюдатель не может проанализировать и учесть те много-
численные факторы, которые влияют на результат рассматри-
ваемого опыта: исход бросания монеты случаен, и заранее
нельзя с уверенностью сказать, выпадет ли Г или Р. Но,
несмотря на случайность исхода в каждом отдельном испы-
тании, при многократном повторении опыта можно наблю-
дать замечательную закономерность. Именно, при п-кратном
бросании монеты число выпаданий «герба» п(Г) таково, что
отношение п(Г)//г приблизительно равно 1/2. Ниже в табл. 1
приведены результаты такой серии испытаний, когда монета
подбрасывалась в общей сложности 10 000 раз. При этом
отдельно рассматривались серии по п = 100 испытаний и
в каждой серии регистрировалось соответствующее количе-
ство и (Г) выпадений «герба»*).
Указанное число Р(Г)= 1/2 является вероятностью вы-
падения «герба» в каждом отдельном испытании. Определить
эту вероятность можно было бы и без длинной серии испы-
таний, основываясь на том, что по отношению к условиям
*) См. В. Феллер, Введение в теорию вероятностей и ее при-
ложения, изд. 2-е (перевод с англ.). М., «Мир», 1964.
JO
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
Таблица 1
Число гербов л (Г) в сериях по я = 100 испытаний Общее число гербов в се- рии из 1000 испытаний
54 46 53 55 46 54 41 48 51 53 501
48 46 40 53 49 49 48 54 53 45 485
43 52 58 51 51 50 52 50 53 49 509
58 60 54 55 50 48 47 57 52 55 536
48 51 51 49 44 52 50 46 53 41 485
49 50 45 52 52 48 47 47 47 51 488
45 47 41 51 49 59 60 55 53 50 500
53 52 46 52 44 51 48 51 46 54 497
45 47 46 52 47 48 59 57 45 48 494
47 41 51 59 51 52 55 39 41 48 484
опыта исходы Г и Р равнозначны, другими словами, они
являются равновероятными: Р (Г) == Р (Р) — 1/2.
Что такое вероятность^ Какой смысл вкладывается в это
понятие?
Накопленные практикой многочисленные наблюдения поз-
воляют следующим образом охарактеризовать вероятность.
Предположим, что рассматривается некоторый опыт или явле-
ние, в котором в зависимости от случая происходит или не
происходит интересующее наблюдателя событие А, Предпо-
ложим, что условия опыта (условия, при которых происходит
рассматриваемое явление) могут быть воспроизведены много-
кратно, так что в принципе осуществима целая серия одина-
ковых и независимых друг от друга испытаний, в каждом из
которых в зависимости от случая происходит или не проис-
ходит событие А. Обозначим буквой п число всех опытов
в такой серии испытаний, и пусть п(Л)— число тех испыта-
ний, которые привели к наступлению события А. Отношение
п(А)/п называется частотой события А в данной серии опы-
тов. Как показывает практика, при больших п частоты л(Л)/я
в различных сериях испытаний оказываются приблизительно
одинаковыми. Существует некоторое значение Р (Л), называ-
емое вероятностью события А, около которого группи-
руются указанные частоты п :
Р(Л)«-^-. (1.1)
Ij § I. ОПЫТ С РАВНОВЕРОЯТНЫМИ ИСХОДАМИ Ц
Подсчет вероятностей, В случае, когда рассматриваемый
опыт имеет равновероятные исходы, вероятность Р (Д) собы-
тия Л, связанного с этим опытом, может быть вычислена по
следующей простой формуле:
Р(Л) = ^-, (1.2)
где N — общее число равновероятных и взаимно исключаю-
щих друг друга исходов, N (Д)— число тех из них, кото-
рые приводят к наступлению события Д.
Пример. Предположим, что опыт заключается в броса-
нии двух игральных костей, грани которых занумерованы циф-
рами .от 1 до 6. Какова вероятность того, что на обеих ко-
стях выпадет одинаковое количество очков? Каждый исход
этого опыта может быть описан парой чисел (а, Ь)— на пер-
вой кости а очков, на второй кости b очков. Очевидно, все
эти исходы равновероятны. Всего их N = 36. Событие А —
«выпадает одинаковое количество очков» — происходит тог-
да и только тогда, когда наступает один из исходов (a,
при котором а = Ь. Таких исходов М(Д)= 6. Следовательно,
вероятность события А есть Р (Д) = 6/36 = 1/6.
Отметим, что установить связь некоторого события с теми
или иными исходами соответствующего опыта — это самостоя-
тельная задача наблюдателя. Что считать исходами опыта,
вследствие которых наступает или не наступает рассматривае-
мое событие Д? Вопрос этот порой бывает совсем не про-
стым и требует тщательного анализа как условий задачи, так
и условий эксперимента.
Пример. Парадокс де Мере. В результате многократ-
ных наблюдений игры в кости француз де Мере подметил,
что при одновременном бросании трех игральных костей более
часто выпадает комбинация, дающая в сумме 11 очков, чем
комбинация, дающая в сумме 12 очков, хотя — с его точки
зрения — эти комбинации были равновероятны. Де Мере рас-
суждал следующим образом: 11 очков можно получить шестью
различными способами (6-4-1, 6-3-2, 5-5-1, 5-4-2, 5-3-3,
4-4-3), и столькими же способами можно получить 12 очков
(6-5-1, 6-4-2, 6-3-3, 5-5-2, 5-4-3, 4-4-4), а равенство числа
исходов, в результате которых наступают события Ах и Д2,
означает равенство их вероятностей Р(Д^ и Р(Д2). Ошибка
де Мере была указана знаменитым Паскалем, который
12 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
заметил, что рассматриваемые де Мере исходы в данной задаче
не являются равновероятными. Нужно учитывать не только
выпадающие очки, но и то, на каких именно костях они вы-
пали. Например, занумеровав кости и выписывая выпадающие
очки в соответствующей последовательности, видим, что ком-
бинация 6-4-1 выпадает, когда наступает один из шести исхо-
дов (6, 4, 1), (6, 1, 4), (4, 6, 1), (4, 1, 6), (1, 6, 4), (1, 4, 6),
а комбинация 4-4-4 выпадает лишь при одном-единственном
исходе (4, 4, 4). Равновероятными в данном опыте являются
исходы, описываемые тройками чисел (а, Ь, с), где а — число
очков на первой кости, b—число очков на второй кости,
с — число очков на третьей кости. Нетрудно подсчитать, что
всего имеется N = 216 равновероятных исходов. Из них собы-
тию Xj — «сумма выпавших очков равна И» — благоприят-
ствуют W (Л0 = 27 исходов, а событию Л2—«сумма выпав-
ших очков равна 12» — благоприятствуют лишь Af(Л2)= 25
исходов. Это и объясняет подмеченную де Мере тенденцию
к более частому выпадению 11 очков *).
2. Некоторые комбинаторные формулы.
Примеры подсчета вероятностей. Как правило, изу-
чение теоретико-вероятностных схем с конечным числом
равновероятных исходов сводится к решению чисто комби-
наторных задач. Ниже даны наиболее употребительные ком-
бинаторные формулы.
Комбинации элементов из различных групп\ выбор
с возвращением. Имеется г групп элементов: первая группа
содержит пх элементов ап.......а1п, вторая — п2 элемен-
тов а21........................а2п и т. д., последняя, r-я группа содержит пг
элементов аг1....агп . Составляются комбинации из г эле-
ментов таким образом, что в каждую комбинацию входит
лишь по одному элементу из каждой группы. Число всех
комбинаций аЛ. , а^,...... а . такого типа есть AZ =
и, tit
= nfo . . . nr.
Пусть из некоторой совокупности, содержащей п эле-
ментов аг.....ап, производится выбор, при котором после-
довательно выбирается один из элементов at (возвращаемый
каждый раз обратно в общую совокупность), так что за
*) См. Э. Б о р е л ь, Вероятность и достоверность, М., Физмат-
гиз, 1961.
2] § 1. ОПЫТ С РАВНОВЕРОЯТНЫМИ ИСХОДАМИ 13
г шагов регистрируется выборка а., а., ..., а.. Число
Ч l2 1г
всевозможных комбинаций а., а., .... а., где каждый
Ч 12 1Г
элемент aik выбирается из соответствующей «группы» — общей
совокупности на £-м шаге,—есть N = nr.
Число размещений', выбор без возвращения. Имеется
п элементов ах.....ап. Составляются всевозможные ком-
бинации по г элементов типа а. , . . ., а. с учетом порядка
внутри каждой из них, другими словами, г из п элементов
размещаются по г местам. Число всех таких комбинаций
(размещений) есть
N==7^=7)T==n(n~ О ••• (« — '•+!)•
Подобные комбинации образуются, например, при последо-
вательном выборе без возвращения элементов at , .... at
из некоторой общей совокупности ах, .... ап.
Число сочетаний. Пусть в комбинациях а.........а. ,
Ч 1г
составляемых из общей совокупности av .... ап объема п,
не учитывается порядок элементов, так что комбинации
с одними и теми же элементами считаются равными. Число
различных комбинаций составляет
и называется числом сочетаний из п по г.
Размещение по ячейкам. Имеется п различных элемен-
тов, которые размещаются по г различным ячейкам. Каждое
размещение можно описать комбинацией (Zp z2, ..., zrt),
где ik означает номер ячейки, в которую попадает &-й пред-
мет. Число всевозможных размещений есть N = гп.
Если размещения удовлетворяют тому требованию, что
в ячейку с номером i попадают ровно nL элементов
(х= 1, ..., г и пх + . . . 4“ пг — т0 число всех таких
размещений составляет
N —-------------.
щ! л2! ... пт\
Размещение по ячейкам неразличимых предметов.
В случае, когда по ячейкам размещаются неразличимые между
14 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
собой элементы, каждое размещение определяется количе-
ством элементов, попадающих в соответствующую ячейку, и
описывается комбинацией (лр /z2* •••> nr)> где ni — число
элементов в Z-й ячейке. Число всевозможных таких разме-
щений есть
При дополнительном требовании, когда ни одна из ячеек
не остается пустой (при этом предполагается, что п^г),
число всевозможных размещений составляет
N =
(п — 1)! __гг-1
(г—l)!(zz— г)! л-1’
Формула Стирлинга. Во всех приведенных выше фор-
мулах встречается выражение п\ — п(п—.1) ... 1. Непо-
средственное вычисление такого произведения при больших и
весьма трудоемко. Существует сравнительно простая формула,
дающая приближенное значение для л!, называемая форму-
лой Стирлинга: при больших п
nl — • ппе~п.
Здесь и далее соотношение ап ~ между величинами
ап и p/z означает, что -^—->1 при п->оо. Относительная
Рл
погрешность формулы Стирлинга при всех 1
неравенствами
оценивается
1
1 < г12" — 1.
О <------—------
У2лп ппе~п
Об уточнении формулы Стирлинга см. § 5.2.
Пример. Партия из 100 деталей проверяется контро-
лером, который наугад отбирает 10 деталей и определяет
их качество. Если среди выбранных контролером изделий
нет ни одного бракованного, то вся партия принимается;
в противном случае она посылается на дополнительную про-
верку. Какова вероятность того, что партия деталей, со-
держащая 10 бракованных изделий, будет принята кон-
тролером?
Число всевозможных способов выбрать 10 деталей из
партии объема 100 равно числу сочетаний из 100 по 10 и
2]
§ 1. ОПЫТ С РАВНОВЕРОЯТНЫМИ ИСХОДАМИ
15
составляет N = - Естественно считать, что исходы
такого выбора равновероятны *). Событие А — «партия дета-
лей принимается контролером» — наступает в том случае,
когда все 10 выбираемых наугад деталей образуют группу
только из доброкачественных изделий, общее число которых
равно 90. Следовательно, число исходов, приводящих к на-
ступлению события А, равно числу сочетаний из 90 по 10,
90!
что составляет 7V (Л) — . Партия принимается, если
происходит один из N (Л) равновероятных исходов, общее
число которых есть ДЛ Следовательно, вероятность того, что
партия будет принята контролером, есть
р — 81 • 82 .,, 90 ~ Л__П10 л 349
г И)— 91 ,92 юо ю ) ~
(на самом деле, с точностью до трех десятичных знаков,
Р(Л)= 0,331).
Пример. Рассмотрим игру в преферанс, когда стар-
шие 32 карты карточной колоды случайным образом рас-
пределяются (сдаются) между тремя игроками, получающими
по 10 карт, и «прикупом», куда кладутся две карты. Какова
вероятность того, что в «прикупе» окажутся два «туза»£
Число различных комбинаций из двух карт, которые могут
оказаться в «прикупе», равно числу сочетаний из 32 по 2,
32!
что составляет ~ “‘Язоу ~ 496. ® карточной колоде имеется
ровно 4 «туза», и число различных комбинаций, дающих
два «туза», равно числу сочетаний из 4 по 2, что соста-
41
вляет N (А) — = 6. Следовательно, искомая вероятность
есть Р(Л) = 6/496 ^0,012.
Предположим, что один из игроков — «играющий»
имеет 5 старших карт одной масти (скажем, имеет 5 «чер*
вей»), исключая «даму». При объявлении ранга игры «играю-»
щему» приходится учитывать возможность образования
у одного из «вистующих» — противников — комбинации из
трех оставшихся «червей» (такую комбинацию называют
«третьей дамой»). Какова вероятность этого события?
*) Собственно говоря, в этом и заключается точный смысл
предположения, что контролер отбирает детали «наугад».
16 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
о кт 201
Всего имеется N — С 20 = равновероятных случаев
распределения 20 карт на две равные группы по 10 карт,
которые «сдаются» каждому из двух «вистующих». Если
всю комбинацию «третья дама червей» зафиксировать у какого-
либо определенного «вистующего», то число совместимых
с этим случаев распределения равно числу сочетаний из 17
17’
оставшихся карт по 7, что составляет N (Л) = . Сле-
довательно, вероятность появления у данного «вистующего»
. м п/лх 8-9.10
комбинации «третья дама червей» есть Р(Д) = 'in" on —
10 * It/* £\J
= 2/19^0,105. Вероятность появления у одного из двух
«вистующих» (безразлично у какого) «третьей дамы червей»
будет, очевидно, вдвое больше.
3. «Геометрические» вёроятности. В случае опыта
с равновероятными исходами, которых имеется конечное
число, вероятность Р(Л) связанного с данным опытом со-
бытия А определяется как «доля» тех исходов, которые
приводят к наступлению этого события (см. формулу (1.2)).
Аналогичным образом подсчитывается и вероятность в более
сложных опытах, когда имеется бесконечное число равно-
значных исходов.
Рассмотрим несколько примеров подсчета так называемых
«геометрических» вероятностей.
Пример. Предположим, что на отрезок длины L дей-
ствительной прямой наугад бросается точка, которую обозна-
чим Какова вероятность того,
г, Я >т? что она упадет не дальше, чем на
________' _____... 1 —। расстоянии /, от середины указан-
ие L.J ного отрезка (рис. 1)?
Здесь имеется бесконечно мно-
Рис 1
ъ го возможных исходов: ведь точ-
ка £ может попасть в любую точку
рассматриваемого отрезка длины L. Кроме того, условия опыта
таковы, что £ с одинаковой вероятностью может оказаться в
любой точке х этого отрезка. Событие А — «точка £ находится
от середины на расстоянии не больше /» — наступает в резуль-
тате попадания в любую точку х, отстоящую от середины не
далее, чем на величину Z. «Доля» таких точек х во всем отрезке
может быть определена как отношение L(A)/L, где L —
3]
§ 1. ОПЫТ С РАВНОВЕРОЯТНЫМИ ИСХОДАМИ
17
длина всего рассматриваемого отрезка, L (Л) = 2Z— длина
отрезка, попадание в который влечет за собой наступление
события А. Таким образом, искомая вероятность Р(Л) есть
Р(4) = ^={
если
если
2Z < Л,
2Z>£.
Пример.
Предположим, что на отрезок длины L бро-
саются наугад и независимо друг от друга две разные точки.
Какова вероятность того, что расстояние между ними будет
не больше Z?
Чтобы ответить на этот вопрос, обратимся к следующей
модели. Координату первой точки отложим на отрезке (О, L)
оси xv а соответствующую
координату £,2 другой точки
отложим по оси х2 (рис. 2).
Можно считать, что точка (|Р|2)
бросается наугад в квадрат со
стороной длины Л. Искомая
вероятность совпадает с веро-
ятностью события А, которое
состоит в том, что случайно
брошенная точка (|р £2) попа-
дает в область квадрата, огра-
ниченную прямыми с уравне-
ниями х2 = х1±/. На рис. 2
эта область оставлена неза-
штрихованной. «Доля» тех ис-
ходов, в результате которых наступает интересующее нас
событие А = { | — ^2|^^}»может быть определена как
отношение S (Л)/5, где S — площадь всего квадрата, а
S (Л) — площадь той области его, попадание в которую ведет
к наступлению события А (5(Л)—площадь незаштрихован-
ной фигуры):
— (L — /)2
L2
Пример. Задача об агле. Предположим, что на пло-
скость (х, у), «разлинованную» прямыми, параллельными
оси х и отстоящими друг от друга на расстоянии L, наугад
2 Ю. В. Прохоров, Ю. А. Розанов
18 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
бросается игла длины I (рис. 3). Какова вероятность того,
что игла пересечет одну из начерченных линий?
Будем считать иглу отрезком длины I. Обозначим бук-
вой а угол наклона этого отрезка к. оси х, и пусть р— рас-
стояние его нижнего конца до ближайшей сверху линии
(см. рис. 3). Интуитивно ясно, что аире одинаковой
вероятностью и независимо
одно из возможных значений
в соответствующих пределах
0<Са л и 0 р £. Сово-
друг от друга могут принять
купность всех возможных исходов (а, р) геометрически пред-
ставляет собой прямоугольник (рис. 4). Событие А — «игла
пересекает одну из начерченных линий» — наступает ггогда
и только тогда, когда значения аир таковы, что р<^ / sin а.
«Доля» тех исходов (а, р), которые ведут к наступлению
события А, может быть определена как отношение S(A)/St
где S — площадь всего прямоугольника, 5 (Л)— площадь под
кривой р— /sinа, т. е. площадь области тех значений (а, р),
которые приводят к наступлению события А, Таким образом,
искомая вероятность Р(4) выражается формулой
Р(Л) = ^Д,
л
где S —лЛ, 5(Л) = / J sina^/a — 2/, т. е. Р (Д) = 2//(лЛ).
о
Во всех рассмотренных примерах мы основывались на
чисто интуитивных соображениях, касающихся условий опыта,
которые кратко определялись как «бросание наугад». В пер-
вом примере фактически подразумевалось, что вероятность
попадания точки | в интервал А не зависит от того, где
|| § 2. ПРОСТРАНСТВО ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 19
этот интервал расположен на рассматриваемом отрезке длины £.
Во втором и третьем примерах подразумевалось, что вероят-
ность попадания точки с координатами (£р £2) или (а, р)
внутрь некоторой фигуры А на квадрате
или на прямоугольнике 0<Са<;л, не
зависит от ее расположения. Выполнение этих теперь уже
точно сформулированных условий опыта достаточно оче-
видно.
2/
Стоит отметить, что выражение р (Л) =для вероят-
ности пересечения брошенной иглой какой-либо линии на
плоскости использовалось для определения числа л методом
случайных испытаний. А именно, производилась большая
серия опытов, и соответствующая частота п(А)1п приравни-
валась вероятности Р (Л) (здесь п — число опытов, п(Л) —
число тех из них, в которых игла пересекала одну из ли-
ний). Для 1 — L при п~ 10 000 соответствующее значение
2/ п о , г-
л оказалось равным 3,15.
§ 2. Пространство элементарных событий
и закон сложения вероятностей
1. Комбинация событий. События Л! и Л2 называются
равными: Л1 = Л2, если осуществление события Л! влечет
за собой осуществление события Л2 и, наоборот, осуще-
ствление Л2 влечет за собой осуществление ЛР События
Л| и Л2 называются несовместными или непересекаю-
щимися, если наступление одного исключает возможность
наступления другого, иначе говоря, Л1 и Л2 не могут про-
изойти одновременно.
Пример. При бросании двух игральных костей рав-
ными оказываются события — «выпадает четная сумма
очков» и Л2—«на каждой грани выпадают очки одной и
той же четности». Аналогичные события в другом опыте,
когда бросаются не две, а три игральные кости, уже не будут
равными.
Объединением или суммой событий А} и Л2 называемся
событие Л, которое означает осуществление хотя бы одного
нз событий Лр Л2: Л = Л1 (J Л2, где U— специальный сим-
вол объединения. Аналогично определяется объединение
2*
20 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
многих событий Лр Л2, обозначаемое как А — (J Ak.
k
Пересечением или произведением событий Xj и Л2 назы-
вается событие А, которое означает осуществление и собы-
тия и события Л2: А = Xj f| А2, где П — специальный
символ пересечения. Аналогично определяется произведение
многих событий Лр Л2, обозначаемое как А ~ Q Ak
k
или А — Аг • Л2 • ... Разностью событий АТ и Л2 назы-
вается событие А, которое означает, что происходит собы-
тие Лр но не происходит событие Л2: А = АТ \ Л2. Допол-
нительным к событию А называется событие Л, которое
означает, что событие Л не происходит.
Пример. Рассмотрим опыт с бросанием двух игральных
костей. Событие А — «выпадает четная сумма очков» — есть
объединение непересекающихся событий Л! — «на каждой
грани выпадает четное число очков» — и Л2— «на каждой
грани выпадает нечетное число очков». При этом Ах = А \ Л2
и Л2 = Л\Лр Дополнительным к событию Л является
событие А — «выпадает нечетная сумма очков»; дополнитель-
ным к Л! является событие Л! —«хотя бы на одной грани
выпадает нечетное число очков», и дополнительным к собы-
тию Л2 является событие Л2— «хотя бы на одной грани
выпадает четное число очков». При этом Л! \ А — Л! • А — Л2
и Л2\ А = Л2 • А = Лр
2. Пространство элементарных событий. Предположим,
что среди всех возможных событий Л, которые в данном
опыте по воле случая происходят или не происходят, можно
выделить совокупность так называемых элементарных со-
бытий. или элементарных исходов, обладающих следую-
щими свойствами. Во-первых, все они взаимно исключают
друг друга — являются непересекающимися — и в результате
данного опыта обязательно происходит одно из этих элемен-
тарных событий. Во-вторых, каково бы ни было событие Л,
по наступившему элементарному исходу можно судить о том,
происходит или не происходит это событие. Элементарные
исходы обычно обозначаются греческой буквой со, а их со-
вокупность Q называется пространством элементарных
событий.
2| § 2. ПРОСТРАНСТВО ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 21
Пример. При бросании двух игральных костей элемен-
тарным исходом можно считать пару чисел <о = (а, д), где
а___число очков на первой кости, b — число очков на вто-
рой кости, 1<^а, При бросании иглы на разлино-
ванную плоскость (см. задачу об игле) элементарный исход
можно описать точкой <о = (а, р), где а есть угол наклона
иглы, а р—расстояние от ее нижнего конца до ближайшей
сверху линии; пространство Q в этом случае будет геомет-
рически представлять собой прямоугольник О а л; 0
р L на плоскости переменных (а, р).
Пусть Q — пространство элементарных исходов со рас-
сматриваемого опыта или явления. Для каждого связанного
с этим опытом события А можно выделить совокупность тех
элементарных исходов со, наступление кЬторых влечет за со-
бой наступление события А. Обозначим совокупность (иначе:
множество) этих элементарных исходов со тем же символом Л,
что и соответствующее событие. Очевидно, событие А насту-
пает тогда и только тогда, когда наступает один из элемен-
тарных исходов о, входящий в указанное множество А; дру-
гими словами, событие А равно событию, которое состоит
в том, что наступает какой-либо элементарный исход со,
входящий в множество А (принадлежность о множеству А
указывается символической записью о)£Л). Можно ото-
ждествить событие А с соответствующим множеством А
элементарных исходов со.
Достоверное событие Л, наступающее в результате лю-
бого из элементарных исходов со, при таком отождествлении
событий и множеств совпадает с пространством Q: Л — Q.
Невозможное событие Л, не наступающее ни при каком
элементарном исходе со, совпадает с пустым множеством,
обозначаемым обычно символом 0: Л = 0.
Введенные ранее понятия объединения, пересечения и т. д.
приобретают теперь большую наглядность: Л! U Л2 есть
объединение множеств Аг и Л2, Л! П Л2 — их пересечение,
Л = Q \ Л — множество элементарных исходов, дополняющее
множество Л до всего пространства элементарных событий Q.
Событие Л1 влечет за собой наступление события Л2 тогда
и только тогда, когда Аг входит (содержится) в Л2, что
записывается как Л! с Л2 или Л2 =5 ЛР
Для более отчетливого уяснения отношений между теми
или иными событиями часто оказывается удобным условное
22 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
представление пространства элементарных событий Q в виде
некоторой области на плоскости; при этом элементарные
исходы (о изображаются точками плоскости, лежащими внутри
Q, а события (определенные совокупности точек со) изобра-
жаются в виде некоторых фигур. На рис. 5 показаны раз-
личные соотношения между событиями и Л2, которые
представлены в виде фигур на плоскости, лежащих внутри
прямоугольника Q, условно изображающего пространство
Рис. 5.
элементарных событий. Заштрихованная фигура изображает
событие Л, причем на рис. а), б) и в) А = U ^2» на Рис- г)
Л = Aj П Л2, на рис. д) А = Аг \ Л2 и на рис. е) А = Л2 = Лr
Используя наглядные свойства таких фигур, можно легко
увидеть, что имеют место следующие общие связи между
различными соотношениями событий. Именно, если Аг с Л2,
то А1^А2, если Л = Л11|Л2, то Л — Q Л2; если Л =
= Лт П Л2, то Л = А} U Л2. Вообще, если справедливо неко-
торое соотношение между какими-то событиями, то будет
справедливо и соотношение, получаемое из первоначального
переходом к дополнительным событиям и заменой знаков
объединения U. пересечения П и включения с на соот-
ветствующие «обратные» знаки П > U и => (знаки равен-
ства — остаются неизменными). Например, равносильны сле-
дующие соотношения:
(J ЛА = В с pj Cft; Q Ak = В 3 Q Ck\ U Ak = В с |J Ck.
к к к k к к
3) § 2. ПРОСТРАНСТВО ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 23
3. Закон сложения вероятностей. Рассмотрим несов-
местные события Лр Л2 и их объединение А — Аг U Л2.
Представим себе, что проводится серия одинаковых и неза-
висимых между собой опытов, результатом каждого из кото-
рых могут быть указанные события Л, Аг или Л2. Пусть п —
число всех испытаний, п(Л), п^А^ и п(Л2)— число тех из
них, которые привели к наступлению соответствующих со-
бытий Л, Л1 и Л2. Если в каком-то опыте произошло со-
бытие А, то это значит, что произошло или событие Лр или
событие Л2 (одновременно Аг и Л2 произойти не могут, так
как по условию они являются несовместными). Поэтому числа
л (Л), п^А^ и п(Л2) связаны между собой равенством
«G4) = nG4j)4-n^2).
Следовательно, частоты рассматриваемых событий таковы, что
п (А)[п = п (А^/п + п (А2)1п.
При достаточно большом числе испытаний п частоты прак-
тически совпадают с соответствующими вероятностями (см.
по этому поводу § 1.1), так что вероятности рассматривае-
мых событий Л, Л1 и Л2 должны быть связаны между собой
равенством
Р(Л) = Р(Л1)+Р(Л2). (2.1)
Формула (2.1) выражает частный случай закона сложения
вероятностей, согласно которому вероятность объединения
несовместных событий (в конечном или счетном числе) равна
сумме их вероятностей: Р { U Ak} = S Р (ЛД
k k
Вероятности различных комбинаций событий. Если
соотношения между различными событиями наглядно описы-
ваются соотношениями между изображающими их фигурами
на плоскости (см. рис. 5), то свойства, вероятностей вполне
аналогичны свойствам площадей этих фигур. В частности,
Р(Л1\Л2) = Р(Л1)-Р(Л1пЛ2), I
Р(Д2\ Л1) = Р(Д2)_ [ (2.2)
Р (Лх и л2) = Р (Л0 + р (Л2) - Р (Л! Л Л2). )
Пусть Лр Л2.....Лл — некоторые события и
А = Р(Л). Ра = Р (AjAj), Pijk — P (,AiAjAk), ...
24 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
Положим
50== 1» = 2 Pl’ ^2=2 Pij* S Pijk’ • • ••
где суммирование идет по всем различным группам индексов
(по различным группам событий). Имеет место формула
(п \
□ Л,) = 5,-52 + 53- ...
Z = 1 /
Вероятность PQ того, что ни одно из событий Av Л2, ...
.. ., Ап не осуществится, есть
P0=1_qi_50-5i + 52 - 53+ ... +(-1)"5„.
Вообще, вероятность Рт того, что осуществится ровно
tn событий из Лр Л2, ...» Ап (0 w п), может быть вы-
числена по формуле
= — Crc + lS/nn + . • + (—1) тСп Sn.
Вероятность Qm наступления по крайней мере tn событий
из Лр Л2, . . ., Ап (0<т<п) выражается в терминах сумм
$т’ Sw + p . . формулой
Qm = $т — С*т^/п4-1 + Ст + 1$т+2 — • • • (— 1) $п
(здесь, как и всюду, Ckm означает число сочетаний из tn
по k, причем если k > т, то Ckm — О).
Пример. Задача о совпадениях. Пусть имеется п ячеек
и п некоторых элементов; каждая ячейка и каждый элемент
снабжены соответствующим номером i (1 i п). Элементы
случайно размещаются по ячейкам так, что каждая ячейка
содержит ровно один элемент; все такие размещения счи-
таются равновероятными. Совпадением называется любое
из событий Лр состоящее в том, что элемент с номером I
попал в ячейку с тем же номером. Чему равна вероятность
хотя бы одного совпадения?* Вероятность Рт ровно т сов-
падений? Как меняются эти вероятности с увеличением числа
элементов п?
Событию Л; благоприятствуют (п—1)! всевозможных
размещений п—1 элементов по п—1 местам (ячейка с но-
§ 2. ПРОСТРАНСТВО ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 25
мером I занята элементом с тем же номером); событию AtAj
благоприятствуют (п — 2)! размещений (ячейки с номерами i
и j заняты соответствующими элементами) и т. д. Всего воз-
можных размещений п!, так что
. _ (/2 —1)! (az — 2)! __ (/2-3)!
Z7/ П\ ’ Pij п\ ’ Pijk
п\
k\(n — k)\
Сумма Sk содержит ровно
одинаковых слагаемых,
(n — k)\ о 1
каждое из которых равно -—-у--, и потому 5^ = —.
Следовательно, вероятность наступления хотя бы одного со-
бытия из Л2, ... Ап (другими словами, вероятность
хотя бы одного совпадения) есть
Полученное выражение представляет собой отрезок из n 1
первых членов ряда для 1—е~\
+ ... (г — 2,718 . . .).
Таким образом, lim Qj — 1—е~1 — 0,632 ...
п -> оо
Аналогично для
т 1
1
-—г е
т\
1 i m Р т
п 1
т. е. Р.п ж —г е
т ml
Лемма Бореля—Кантелли. Пусть Лр Л2, ... Лл, . ..—
некоторая последовательность событий и Qm — вероятность
того, что осуществится по крайней мере т событий из
Лр Л2, ..., Лл, ... Вероятности Qm (т—\, 2, . . .) моно-
тонно убывают, и
lim Qm~Q
tn -> оо
есть вероятность того, что‘осуществляется бесконечное число
событий из Лр Л2......Ап, ...; если
Si = 2 р (Л,) < сю,.
1 = 1
то Q = 0.
2G ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
§ 3. Связь различных событий
1. Условные вероятности. При анализе того или иного
явления перед наблюдателем часто возникает вопрос о том,
как влияет на возможность осуществления некоторого собы-
тия А наступление некоторого другого события В. Простей-
шими примерами связи событий А и В могут служить
следующие два крайних случая: наступление В ведет к обяза-
тельному осуществлению события А, или, наоборот, насту-
пление В исключает возможность осуществления события А.
В теории вероятностей характеристикой связи событий А
и В служит так называемая условная вероятность Р (Л | В)
события А при условии В, определяемая как отношение
Р(Л|В) = -^^- (3.1)
(предполагается, что вероятность события В положительна).
Величина Р (Л | В) может рассматриваться как вероят-
ность осуществления события Л в новых условиях — именно
при условии наступления события В, Поясним это на при-
мере опыта с конечным числом равновероятных элементар-
ных исходов со. Пусть W - число всех элементарных исходов,
N (В) — число тех из них, которые приводят к наступлению
события Bt a N (АВ)— число тех элементарных исходов,
которые приводят к осуществлению и события Л и собы-
тия В, В этом случае вероятности событий В и АВ есть
N (В) г» / л о\ N (АВ)
Р(В) = —и Р(ЛВ) =—-у— , так что условная веро-
ятность Р (Л | В) выражается формулой
= (3-2)
Здесь N (В) — число всех элементарных исходов со, возмож-
ных при условии наступления события В, a N (АВ)— число
тех из них, которые приводят к осуществлению события Л.
В соответствии с общей формулой (1.2) равенство (3.2)
определяет вероятность события Л в новых условиях, кото-
рые возникают при наступлении события В.
Условные вероятности обладают всеми свойствами, при-
сущими обычным вероятностям. Именно,
О < Р(Л | В)< 1.
Ij § 3. связь РАЗЛИЧНЫХ СОБЫТИЙ 27
Если событие В ведет к обязательному осуществлению со-
бытия А: В с А, то .
Р(Д|В)=1.
Если наступление события В исключает возможность осу-
ществления А: А-В=0, то
Р(Д | В) == 0.
Если событие А есть объединение непересекающихся собы-
тий Др А2, . ..: Д = иДл, то
k
Р(л|В)=2р(Л|В).
k
Формула полной вероятности. Для нахождения веро-
ятности того или иного события А часто бывает удобно сна-
чала подходящим образом выбрать некоторое событие В и
определить условную вероятность R (Д | В) как вероятность
события А в новых условиях, когда достоверно известно,
что событие В произошло. Если имеется некоторая полная
система несовместных событий В — В1, В2, ... (т. е.
система таких непересекающихся событий, хотя бы одно из
которых обязательно осуществится), то вероятность Р(Д)
события А выражается в терминах соответствующих услов-
ных вероятностей Р (Д | В) при помощи так называемой фор-
мулы полной вероятности: 4
р (Л) = s р (Л | Bk) р (Вк). о --------Л/
к
(3.3) Г/J 4
Пример. Представьте се- /
бе странника, идущего из не-
которого пункта О и на раз- Рис. 6.
ветвлении дорог выбирающего
наугад один из возможных путей. Схема дорог изображена
на рис. 6. На этом рисунке указан также некоторый пункт Д
и ведущие в него пути. Какова вероятность, что странник
попадет в этот пункт? Как показано на рисунке, странник
обязательно проходит через один из промежуточных пунктов
Вх, В2, В3, В4. Обозначим Bk событие, состоящее в том,
что при своем движении он попадет в пункт Bk. События
28
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ (1
Bv В2, В3, В4 образуют полную систему. Очевидно, эти со-
бытия равновероятны, так как по условию странник выбирает
один из путей OBV ОВ2, ОВ3, ОВ4 наугад. Таким образом,
Р(В^)—1/4. Если странник попадает в Bv он может прийти
в А лишь по одному из трех равновероятных направлений
движения из пункта Bv так что условная вероятность до-
стигнуть А при условии равна 1/3. Если обозначить
буквой А событие, состоящее в том, что странник приходит
в пункт А, то, как было сказано, Р(Д 1^)= 1/3. Аналогично,
согласно рис. 6,
Р(4|£2)=1/2, Р(Д[В3)=1, Р(Д|В4) = 2/5,
и по формуле полной вероятности Р (Д)= 1/4 (1/3+1/2 +
+ 1 + 2/5)= 61/120.
Пример. Задача о наилучшем выборе. Предположим,
что имеется некоторая совокупность из т предметов, сра-
внивая которые наблюдатель может установить, какой из них
лучше или хуже. Задача состоит в том, чтобы выбрать пред-
мет как можно лучше. Предположим, что эта задача осло-
жняется тем, что, осмотрев и отвергнув некоторый предмет,
нельзя к нему снова возвращаться. Тогда, в частности,
можно случайно отвергнуть абсолютно наилучший предмет
в надежде найти еще более лучший при дальнейшем осмотре.
(Представьте себе, например, разборчивую невесту, которая
либо принимает предложение сватающегося жениха, и тогда
на этом выбор заканчивается, либо отвергает его, и тогда
отвергнутый жених безвозвратно потерян для невесты.)
Рассмотрим одно естественное правило выбора: не оста-
навливаться на том предмете, который хуже какого-
нибудь уже ранее осмотренного предмета. Будем считать,
что наблюдатель руководствуется этим правилом, так что при
последовательном осмотре имеющихся предметов он может
сразу выбрать первый из них (и на этом процесс выбора
закончится). Если он этого не сделал, то он продолжает
осмотр до тех пор, пока на каком-то шаге не окажется
предмет, который будет лучше всех осмотренных ранее.
Наблюдатель может выбрать этот наилучший среди осмо-
тренных предметов (и на этом процесс выбора закончится),
а может продолжить осмотр в надежде найти предмет еще
лучше и т. д. Конечно, при этом не исключено, что на са-
11
§ 3. СВЯЗЬ РАЗЛИЧНЫХ СОБЫТИЙ
29
мом деле будет отвергнут абсолютно наилучший предмет, и
тогда вообще ничего не будет выбрано. Но если число
имеющихся предметов велико, то едва ли кто-нибудь согла-
сится взять первый попавшийся предмет, не испытав счастья
найти что-нибудь получше.
Предположим, что, следуя описанному правилу, наблюда-
тель сделал выбор, остановившись на А-м осмотренном пред-
мете, т. е. последний из k осмотренных предметов оказался
лучше всех предшествующих и на него-то и пал выбор.
Какова вероятность того, что этот выбранный предмет является
наилучшим среди всей совокупности как осмотренных, так и
еще не осмотренных предметов?
Обозначим В событие, состоящее в том, что среди k
осмотренных предметов последний оказался наилучшим.
Наблюдателю известно о том, что событие В произошло.
Обозначим А событие, состоящее в том, что А-й по счету
предмет является наилучшим среди всех имеющихся предме-
тов. Нас интересует условная вероятность Р(А | В) собы-
тия А при условии наступления события В. Эта условная
вероятность выражается формулой (3.2), поэтому для вычи-
сления Р (А | В) нужно найти вероятности событий В и АВ.
Очевидно, событие А содержится в В, так что пересечение АВ
совпадает с самим событием А. Описанные условия выбора
таковы, что следует считать равновероятными все имеющиеся
возможности расположения предметов. Вероятность события В
совпадает с вероятностью того, что при случайной переста-
новке k отличимых друг от друга элементов (они отличаются
по качеству) на фиксированном А-м месте окажется наилуч-
ший из этих А элементов. Такая вероятность равна д
где А!—число всех перестановок' из А; (А—1)! — число
перестановок из (А—1) элементов, совместимых с тем усло-
вием, что на А-м месте зафиксирован наилучший элемент.
Итак,
Р(В)
(А —1)! _ 1
А! ~ k *
Аналогично вычисляется вероятность события А, которая
совпадает с вероятностью того, что при случайной переста-
новке т отличимых друг от друга элементов на фиксирован-
ном А-м месте окажется вполне определенный элемент —
30 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
наилучший предмет из всей имеющейся совокупности т пред-
метов. Таким образом,
Р (Л) = р (АВ) = -<w~,1)!- = —,
4 7 v 7 ml т
и искомая условная вероятность есть Р (Л | В) — k/m.
Пример. Задача о разорении игрока. Рассмотрим
игру в так называемую «орлянку», когда игрок выбирает
«герб» или «решетку», после чего бросается монета. Если
выпадает та сторона монеты, которая была названа игроком,
то он выигрывает, получая, скажем, 1 рубль; в противном
случае он столько же проигрывает. Предположим, что началь-
ный капитал игрока составляет х рублей и игрок ставит себе
целью довести его до некоторой суммы в а рублей. Игра
продолжается до тех пор, пока игрок не наберет заранее
определенную сумму а либо пока он не разорится, проиграв
весь имеющийся у него капитал. Какова вероятность того,
что в конце концов игрок разорится, так и не набрав желае-
мую сумму а рублей?
Ясно, что эта вероятность зависит от начального капи-
тала х и конечной суммы а. Обозначим р(х) вероятность
того, что, имея х рублей, игрок все-таки разорится. Тогда
вероятность разорения при условии выигрыша на первом
шаге в наших обозначениях будет так как после
выигрыша капитал игрока станет равным х 1. Аналогично
вероятность разорения при условии проигрыша на первом шаге
равна р(х—1), так как после проигрыша капитал игрока
станет равным х—1. Обозначим Вх событие, заключающееся
в том, что игрок выиграл на первом шаге; Я2— событие,
заключающееся в том, что он проиграл. И пусть событие А
означает разорение игрока. Условные вероятности разорения
в принятых нами обозначениях выражаются формулами
• р(А 1730 = 1). Р(А\В2) —р(х—\).
События Вх и В2 образуют полную систему, так как на
первом шаге игрок либо выигрывает, либо проигрывает, при-
чем, очевидно, Р(В1) —Р(В2)~ 1/2.
Формула полной вероятности дает следующее уравнение
для вероятностей р(х):
P(x)~^lp(x-]-l)-\-p(x—l)] (О^х^а),
11 § 3. связь РАЗЛИЧНЫХ СОБЫТИЙ 31
причем р(0)=1, р(а) = 0. Решением этого уравнения
является линейная функция
Р (х) = С!-1-С2х,
коэффициенты которой должны быть определены из указан-
ных граничных условий:
(0) = = 1, p(a) = ClA-C2a = 0i
откуда получаем окончательное выражение длч искомой
вероятности разорения р(х) при начальном капитале х:
(0<
Урновая схема. Рассматривается урна с шарами белого
и черного цвета. Первоначально урна содержит а белых и b
черных шаров. Из нее наугад вынимается один шар, и затем
в урну добавляется с шаров того же цвета, что и вынутый
шар, и d шаров другого цвета. При этом параметры с и d
могут быть и отрицательными, что соответствует дополни-
тельному уменьшению количества шаров определенного цвета.
При условии, что вынут белый шар, вероятность вынуть шар
того же цвета при следующем испытании равна d »
вероятность вынуть черный шар равна - При
условии, что вынут шар черного цвета, вероятность вынуть
белый шар при следующем испытании равна »
Ь 4- с
вероятность вынуть черный шар равна с । •
Пример. Модель диффузии. Имеется два резервуара А
и В, наполненных соответственно «белыми» и «черными»
молекулами. Молекулы случайно переходят из одного резер-
вуара в другой. Считается, что одновременный переход двух
и более молекул невозможен и на каждом шаге переход из А
в В или из В в А совершается с вероятностями, пропор-
циональными количеству молекул в А и В. Перед нами
урновая схема с параметрами с —— 1 и d = 1. При условии,
что в текущий момент в резервуаре А имеется а молекул и
резервуаре В имеется b — N— а молекул, на следующем
32 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ (2
шаге с вероятностью a/N в А будет содержаться а — 1
молекул и с вероятностью b/N в А будет содержаться а-|-1
молекул.
2. Независимые события. Рассмотрим два независимых
опыта. Понятно, что это значит: никакой исход одного опыта
никак не влияет на исходы другого. Если событие /Ц связано
только с первым опытом, а событие А2 связано только со
вторым опытом, то наступление события Д1 не влияет на
возможность осуществления А2 и, наоборот, событие А2 не
влияет на Av В этом смысле можно сказать, что события Лг
и А2 независимы друг от друга. Какова вероятность совме-
стного осуществления таких событий?
Для того чтобы ответить на этот вопрос, обратимся
к эмпирически установленному факту, согласно которому
частота какого-либо события в большой серии независимых
испытаний приблизительно совпадает с его вероятностью
(см. по этому поводу § 1.1). Мысленно представим себе, что
имеется большая серия независимых испытаний, в каждом из
которых проводятся оба рассматриваемых опыта. Если число
всех испытаний равно п, а п^А^)— число тех испытаний,
которые привели к одновременному наступлению событий Л1
и А2, то искомая вероятность Р(Л1Д2) может быть вычислена
приближенно по формуле
Р(Л1Д2)«п(Л1Л2)/п.
Рассмотрим теперь только те испытания, при которых
осуществляется событие Л2. Пусть число таких испытаний
есть п(А2). Имеет место приближенное равенство
Р(Л2) п(Л2)/п.
При достаточно большом п велико и число п(Л2) тех испы-
таний, в которых осуществляется событие Л2. Но событие Л2
связано только со вторым опытом, который проводится неза-
висимо от первого опыта и связанного с ним события Лг
В серии из п(Л2) испытаний, завершающихся наступлением
события Л2 во втором опыте, будем рассматривать резуль-
таты первого опыта. Число тех испытаний, которые приводят
к наступлению события Лр равно указанному выше числу
п^А^А^у так что
2] § 3. СВЯЗЬ РАЗЛИЧНЫХ СОБЫТИЙ 33
Полученные соотношения дают возможность выразить вероят-
ность совместного осуществления независимых событий А1
и А2 через вероятности Р(А) и Р(Л2) этих событий:
Р (А А } ж ” (А А) ”(АА) . "(А)
1 2' п п (Л2) п
Но п(Л2)/п Р(Л2), следовательно,
Р(Л1Д2) = Р(Д1).Р(Д2). (3.4)
Отвлекаясь от физических условий того или иного опы-
та, в теории вероятностей называют независимыми всякие
два события Ат и Л2, для которых имеет место равен-
ство (3.4),
Это определение независимости событий хорошо согла-
суется с введенным ранее понятием условной вероятности.
Именно, событие А} является независимым от события А2
тогда и только тогда, когда наступление события Л2 не влияет
на вероятность наступления события Av точнее, когда услов-
ная вероятность P(A|H2) события Аг (при условии насту-
пления события Л2) равна безусловной вероятности этого
события:
Р(Л1|Л2) = Р(Д2)
(события Ах и А2 здесь можно поменять местами).
Пример. Рассмотрим следующий опыт. Из карточной
колоды, содержащей 36 карт, наугад вытягивается одна карта.
Пусть событие А} состоит в том, что это «пики», а событие
А) — что это «дама». Являются ли независимыми эти собы-
тия? Едва ли здесь легко дать ответ, основываясь лишь на
интуиции. Элементарные же подсчеты показывают, что вероят-
ность Р(А) вытащить одну из имеющихся в колоде 9 карт
пиковой масти есть 9/36=1/4, вероятность Р(Л2) вытащить
одну из четырех «дам» есть 4/36 = 1/9, вероятность Р(Л1Л2)
извлечь «даму пик» есть 1/36, т. е. Р(Л^о) = Р(А) • Р(А)-
Таким образом, в данном случае, события А и А2 являются
независимыми.
Пример. Предположим, что бросаются две игральные
кости. Пусть событие А состоит в том, что «нечетная грань
выпадает на первой кости», Л2— «нечетная грань выпадает
на второй кости» и А3 — «сумма выпавших очков является
3 IO. В. Прохоров, Ю. А. Розанов
31 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
нечетной». Естественно считать, что исход бросания одной
кости никак не влияет на исход бросания другой, так что
события /Ij и Л2 независимы друг от друга, причем Р(Л!) =
= Р (Л2) = 1/2- При одном из условий или Л2 событие А3
наступает тогда и только тогда, когда на второй или первой
кости соответственно выпадает четное число очков, и легко
видеть, что
р (Д31 Ах) = р (Д31 Д2) = Р (Д3) = 1/2.
Таким образом, и Л2, ^2 и ^з* и представляют
собой пары независимых событий. В то же время при условии
одновременного наступления событий и А2 событие Л3
просто невозможно, так что нельзя считать событие Л3 неза-
висимым от совокупности событий А} и Л2.
Говорят, что события Лр Л2, . . . являются взаимно
независимыми, если вероятность пересечения событий
Ai[t ...'Ain при любых различных Zp ... 1п равна чпроиз-
ведению вероятностей отдельных событий:
Р(Л,, ...4,J = P(4,1)...P0,J
Закон 0 или 1. Пусть Лр Л2, . . . —некоторая последо-
вательность взаимно независимых событий, и пусть В — лю-
бое событие, наступление которого зависит от исходов «бес-
конечно удаленных» событий Лл, Лл+1, ..., где п может
быть взято сколь угодно большим. Вероятность Р (В) любого
такого события равна 0 или 1.
Пример. Пусть В означает, что происходит бесконеч-
ное число событий из Лр Л2, . .. Согласно закону «нуля
или единицы», вероятность Р(В) события В равна 0 или 1.
оо
Если ряд из вероятностей рассматриваемых событий S Р (Л z)
/=о
расходится, то Р (В) = 1; если же данный ряд сходится, то
Р(В) = 0. Этот результат носит название леммы Бореля —
Кантелли.
3. Количество информации. Как количественно оценить
ту или иную информацию? Если речь идет об информации,
которая заключена в некотором письменном тексте, то при
самом грубом подходе предположительно можно измерить ее
длиной текста. При этом, конечно, нужно выбрать какой-то
3]
§ 3. связь РАЗЛИЧНЫХ СОБЫТИЙ
35
подходящий способ записи, какое-то подходящее правило
кодирования информации.
Пусть имеется W каких либо объектов. Для их обозна-
чения воспользуемся так называемым двоичным кодом, сопо-
ставив с каждым объектом соответствующую кодовую комби-
нацию вида (alt ad), где символы aL принимают одно
из двух возможных значений 0 или 1 и длина d всех кодо-
вых комбинаций одна и та же. Всего имеется 2^ различных
кодовых комбинаций такого типа. Следовательно, чтобы раз-
личать N объектов, нужно выбрать длину d кодовой комби-
нации так, чтобы имело место неравенство N 2d. Наи-
меньшее d, при котором такое неравенство справедливо,
есть натуральное число, удовлетворяющее соотношению
О d — log^ < 1.
Видно, что величина
/ = log2/V
характеризует длину наиболее экономных кодовых комбина-
ций, при помощи которых можно описать N различных
объектов.
Рассмотрим опыт, результатом которого может быть одно
из N несовместных событий Др ..., AN, имеющих вероят-
ности
Р1 = Р(>11).....Pn = P(An),
где рх-}- . . . pN= 1. Предположим, что проводится п
независимых и одинаковых испытаний, в каждом из кото-
рых наступает одно из рассматриваемых событий Др . . ., AN.
Сообщение об исходе п испытаний можно условно записать
в виде последовательности (Д/ , А; , . . ., А; 1 где А; —
X 1 2 П/ R
то событие из Др ..., Д;У, которое имело место при &-м
испытании. Так как частота п(Д)/;г события А в большой
серии испытаний практически совпадает с его вероятностью
Р(Д), то в сообщении (Д/у, Д/2> • • •> Д/я) событие Аг прак-
тически встречается п} р} • п раз, событие Д2 встречается
п2 ~ р2 • я раз, . . ., событие AN встречается nN pN • п раз.
Только такие исходы и рассматриваются ниже.
Число всех исходов, в которых событие Аг наступает
ровно П) раз, событие Д2 наступает п2 раз, . . ., событие AN
3*
36 гл. L ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ |3
наступает ровно nN раз (jii... п), есть
W =________—______
" nfyl...nK’.-
При 11—>оо и пх ж ppi, п2~ р2п, ...» nN^ pNn, используя
формулу Стирлинга, получаем
10g2 Nn ~ П >Og2 « — S flpl log2 (п-Pl) 4-
Z=1
/ ____ N . • ____\
+ 1о&2 V — 2 1°&2 V^ni ’
\ Z-l “ /
N
IOg2^ ~ ~ ” 2 Pi ^2 Pi-
/ = 1
Если для обозначения сообщения (Л^, Л/2..........вос-
пользоваться двоичным кодом, то, как было показано выше,
длина наиболее экономной кодовой комбинации будет при-
ближенно равна
</„ л: log2 N„ « — п 2 Pi 10g2 Pi-
i = 1
В среднем на каждое из п испытаний это составит величину
N
KPi......Pn) = — S Pt log2 Pi- (3-5)
i — 1
В теории вероятностей величина Д определяемая формулой
(3.5), принята за количество информации, которую в сред-
нем несет сообщение о наступлении одного из событий
Лр . . Лдг в каждом отдельном испытании. Для равновероят-
ных событий эта величина есть
N
1 = — S 7/ 10g2 7/ = 10g2 N-
/ = 1
К выражению (3.5) для количества информации I (рр pN)
можно прийти и совсем другим путем, отправляясь от не-
скольких простых требований, которые естественно предъя-
вить к величине, количественно оценивающей информацию.
3] § 3. СВЯЗЬ РАЗЛИЧНЫХ СОБЫТИЙ 37
Именно, во-первых, функция /(pv pN) не должна ме-
няться при любой перестановке аргументов pv pN, так
как при этом система событий Лр AN остается неиз-
менной. Во-вторых, если уже известно, что произошло собы-
т
тие (т. е. если наступил один из исходов
.... Л,/7), то, согласно принятым обозначениям, количе-
ство информации должно выражаться величиной
Л==^(А/71........Pm'.Qv 0....0).
т
где = S Pk — Р <А) и A/tfi = Р (А I #1) суть вероятности
/? = 1
исходов ^z(i=l, ...» т) при условии Bv Аналогично при
N
условии наступления события В2 = JJ Ak количество
k-m-y 1
информации должно выражаться величиной
/2 = /(°......°- А«+1/?2.....Pjv/ft)-
N
где q2— 2 Pk— Р(^)- Естественно потребовать, чтобы
^ = «4-1
среднее количество информации I (pv .. ., pN) было связано
с количествами и /2 соотношением
I(Pi...........................Pmi<h> °- •••• 0)-Ь
Ч- (о.........о. Pm+ilq2.......рМ)-
Если считать функцию I(рр рл) непрерывно завися-
щей от аргументов рх...............pNi то перечисленные требования
определяют / (рр . . ., pN) однозначно с точностью до по-
стоянного множителя. Именно, функция / (рр ...» pN) обяза-
тельно должна иметь вид
N
I(Pl.....Pn) = — С SPfelOgPft.
где с — некоторая постоянная (основание системы логариф-
мов может быть выбрано произвольным).
Экспериментальное подтверждение правильности определе-
ния количества информации было получено в результате
Достаточно большого практического опыта. Было обнаружено,
38 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
в частности, что передача информации в живом организме
происходит таким образом, что затрачиваемое на это время
пропорционально количеству информации, вычисляемому по
формуле (3.5). Примером подобного рода может служить
один из простейших опытов по определению среднего вре-
мени психических реакций. Опыт заключается в том, что
перед испытуемым человеком зажигается одна из W лампо-
чек, которую он должен указать *). Проводится большая
серия испытаний, в которых z-я лампочка зажигается с опре-
деленной вероятностью pL (i— 1, . . ., N). Оказывается, сред-
нее время, необходимое для правильного ответа испытуемого,
N
пропорционально именно величине / =—Sftlogft (а не
/ = 1
числу лампочек АЛ как можно было бы ожидать).
Вообще, количество информации о событиях Др А2, . . .,
которое несет сообщение о наступлении одного из событий
В2.........определяется формулой
Р (Д/В/)
1 = Zj р 1о£ р (Л() р (в})
О J
(здесь Др Д2, • • • и ^2» • • • — некоторые полные системы
непересекающихся событий).
Пример. Предположим, что в некотором пункте за
весенне-летний сезон примерно в один из пяти дней бывает
дождь, в остальные дни — ясная погода. Предположим, что
накануне каждого дня дается прогноз погоды. Естественно,
этот прогноз может оказаться ошибочным. Предположим, что
прогноз дождя бывает ошибочным приблизительно в поло-
вине всех случаев (правильно предсказать маловероятное
событие — дождь — весьма трудно), а прогноз ясной погоды
действует точнее и оказывается ошибочным лишь в одном
случае из десяти.
Каково количество информации, которое в среднем несет
в себе прогноз погоды?
Введем следующие обозначения: Д!— дождь, Д2-—ясная
погода, Вх — прогноз дождя, В2—прогноз ясной погоды.
*) См. А. М. Я г л о м, И. М. Я г л о м, Вероятность и информа-
ция, изд. 2-е, М., Физматгиз, 1950.
1]
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
39
Следует положить
Р(А)=1/5,
Р (Л, | 50 =1/2,
Р(Л2) = 4/5,
Р(Л,|В2)=1/10.
По формуле полной вероятности
р (Л0 = р (Л! I В,) р (504- р (»11р (50
находим, что
Р (50 =1/4,
Р(А1В1)—1/8,
Р(А>50=1/8,
Р (50 = 3/4,
Р(Л1В2)= 3/40,
Р(Л2В2) = 27/40,
откуда, согласно формуле (3.6), искомое количество инфор-
мации есть
, 1,5,3 1,1, 5,
/ — у log2 у + 40 log2 -% + j log2 j 4-
27 9
+ “jQ-l°g2-g-0,120 (двоичных единиц).
Насколько больше информации нес бы абсолютно без-
ошибочный прогноз? Для ответа на этот вопрос следует
положить Вх — Лр В2~ Л2, и тогда, согласно формуле (3.5),
получим
114 4
I — — -p-log-H--г-log0,722 (двоичных единиц),
о о э □
§ 4. Случайные величины
1. Случайные величины и их распределения вероят-
ностей. Числовая величина £, значение которой может ме-
няться в зависимости от случая, называется случайной вели-
чиной. В рамках общей теоретико-вероятностной схемы,
когда предполагается, что имеется некоторое пространство Q
элементарных исходов со, случайной величиной £ называют
функцию от элементарных исходов со:
Различают два основных типа случайных величин: дискрет-
ные и непрерывно распределенные. Дискретная величина
£ = £ (со) в зависимости от элементарных исходов со принимает
40 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
конечное или счетное число различных значений х с соответ-
ствующими вероятностями
Pl {1 = х}
(здесь символом = обозначено событие, состоящее
в том, что случайная величина £ принимает значение х, т. е.
{£ = х} = {со: £ (со) = х] ). Вероятность события хг х",
состоящего в том, что случайная величина £ принимает одно
из значений х, лежащих в пределах х'^х^х", есть
Р!х'<£<х"} =2р^(х)
(суммирование производится по конечному или счетному числу
значений х, которые может принимать дискретная случайная
величина £); Р|(х)как функция всех возможных значений х
случайной величины £ называется распределением вероят-
ностей этой величины.
Пусть | — произвольная случайная величина. Функция
F^(x), определяемая для всех х на действительной прямой
как
Ft (х) = р {£ х j (— со < х < со),
называется функцией распределения вероятностей случай-
ной величины При любых хг и х" (х' < х")
Р {*' < £ < И = (х") - (х').
Для дискретной величины £ функция распределения ^(х)
является кусочно-постоянной (рис. 7).
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
41
Если функция распределения F|(x) случайной величины £
является непрерывной, то величина £ принимает каждое
отдельное значение х лишь с вероятностью, равной нулю.
Если функция распределения /^(х) не только непрерывна,
но и дифференцируема, то р^ (х) = ~ F^ (х) называется
плотностью распределения вероятностей (или короче —
плотностью вероятности), а сама ^ — непрерывно распре-
деленной случайной величиной. Плотность распределения
является неотрицательной функцией р^(х) такой, что при
любых х' и х" (х' < х")
х”
Р {*' < S < х"} = | (х) dx.
хг
В обозначениях функции распределения и плотности вероят-
ности индекс | часто опускают и пишут просто F (х) и р(х).
На рис. 8 изображен гра-
фик некоторой непрерыв-
ной функции распределе-
ния F|(x). Всякая не-
прерывная монотонная
функция Р%(х) такая,
что lim F% (х) — О,
%->-оо
lim F^(x)—1, может
л->оо
служить функцией рас-
пределения.
Пример. Предполо-
жим, что на отрезок [а,#]
действительной прямой наугад бросается точка Вероят-
ность попадания в заданный отрезок [xz, х"] есть
Р{х'<£<х"} = V22~
I ъ J b — а
Видно, что случайная величина £ имеет
деления р (х) вида
р оо ==
п₽и
О при
х' х" Ь).
плотность распре-
а х
х <Z а, х > Ь.
42 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
Такое распределение вероятностей называется равномерным
(на отрезке [а, ).
Совместное распределение вероятностей. Пусть £ =
= (|1....£я)— совокупность нескольких случайных вели-
чин или, как еще говорят, векторная случайная величина,
причем являются дискретными величинами. Собы-
тие {£j=Xp 1п = хп], состоящее в том, что случай-
ные величины £р принимают соответствующие зна-
чения .................. хп, имеет определенную вероятность
Р(Хр хп) = Р {£,! — Хр ...» =
Вероятности Р(хр хп), где переменные хр хп
пробегают все возможные значения случайных величин
1р •••> Lz» образуют так называемое совместное распреде-
ление вероятностей этих величин. Вероятность события
{x'<^i<^x", . xn'^^n'^-x"n]i состоящего в том, что
случайные величины лежат в соответствующих
пределах х'<^<х'', х'г<£л<х", есть
= S • • • 2 .....хп).
-ч 4
Пусть случайные величины . . ., являются непре-
рывно распределенными. Если существует неотрицательная
функция /?(Хр хп) от Хр .... хп такая, что для всех
x'<Xi, . . х'п^хп
Р {xi xi > • • • > х'п Хп} ~
А'1 хп
= /•••/ P(xi.......xn)dx} ... dxn,
Л1 хп
то она называется плотностью совместного распределения
вероятностей величин
Пусть случайная величина г| есть функция от ...»
П=Ф(&1. • • •. L)- Тогда
Р(/<К/)= S-..S ра,......................
..*п)<У'
и
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
43
для дискретных величин ..(суммирование произво-
дится по всем тем хр . .., хп, для которых выполнено не-
равенство у'<<Ф(хр .... и
Р{У<П<У')= /•••/ Р(х\......x,t)dx1 . . . dxn
...
для непрерывных £р (интегрирование производится
по области переменных хр ...» xiv в которой у'<Сф(хр ...
.... хл)4Л
Независимые величины. Случайные величины ........£л
называются независимыми, если взаимно независимы все-
возможные события вида {х' <; х"}......{х' х"}.
Дискретные случайные величины £р . .., независимы
тогда и только тогда, когда их совместное распределение
вероятностей таково, что
Pi(xl.....х„) = Р^(хг) ... Pin(xn)
(здесь P^(xk) есть распределение отдельно взятой величины
k=\t ..., it). Непрерывные случайные величины неза-
висимы тогда и только тогда, когда плотность их совместного
распределения такова, что
....xn} = PlSx^ ••• PbSx^
(здесь Pik(xk) есть плотность распределения отдельно взя-
той величины ^k, k=l, riy
Пример. Пусть и —независимые случайные
величины с плотностями распределений рх(х) и р2(х). Ка-
ково распределение вероятностей случайной величины
Совместная плотность распределения случайных величин
?>i и £2 есть /^(Xj)- р2(х2)- Имеем:
Р {у' < п <У'} = J j
у' < Л-! + Х2<
Pi ОД p2(x2')dx1 dx2 —
У"
= J J Pl (у — X)p2(x)dx dp.
y' L —oo
44
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
|2
Видно, что случайная величина т] имеет плотность распре-
деления р (у) вида
оо
Р<У) = J Р^У — х) р2(х) dx.
Таким образом,' плотность р (у) есть свертка (композиция)
исходных плотностей р} (х) и р2 (х).
Например, если и равномерно распределены на
отрезке [0, 1], то плотность р (у) величины Л = есть
(рис. 9)
( у при 0 у 1,
[ 2 — у при 1 <^у <С2.
2. Математическое ожидание, дисперсия и коэффициент
корреляции. Математическим ожиданием или средним
значением случайной величины £ называется постоянная,
обозначаемая символом М£, и определяемая равенством
для дискретной £,
— со
оо
J xp^(x)dx для'непрерывной
— оо
Пример. Пусть £ принимает с равными вероятностями
одно из М возможных значений х — ..., хп, Тогда ее
среднее значение есть
2] § 4 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ 45
Если £ — случайная величина, равномерно распределен-
ная на отрезке [a, />], то ее среднее значение есть
ь
МЧ~ С % А & “Ь"
ъ J b — а 2
а
Пусть 1]—некоторая случайная величина, являющаяся
функцией от П = ф(5р £„). Тогда
2 • • • 2ф(*1................ х„)
— оо —оо
для дискретных £р . %п,
М^ ==: оо оо
J / <РО1.....*я) А(*1. • • •• хп)(1хг ... dxn
—оо —оо
для непрерывных £р
Простейшие свойства математического ожидания'.
a) Ml = 1;
б) для любой постоянной с
М(с|) = сМ£;
в) для любых £1 и £2, имеющих математические ожида-
ния M£i и М^2,
МС^ + ^-М^ + М^;
г) если случайные величины ^==^(<0) и ^2 = ^2((о) та-
ковы, что (со) <1 (со) при всех элементарных исходах со,
то
М^<М|2;
д) если и Ъ>2~ независимые случайные величины, то
Дисперсией случайной величины £ называется постоянная,
обозначаемая символом Ds и определяемая равенством
D^ —M(s —а)2, а = М£.
Простейшие свойства дисперсии:
a) D1 = 0;
46 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
6) для любой постоянной с
D(61) = c2Dl;
в) если и —независимые случайные величины, то
Da, + ^) = D61 + DU
Неравенства Чебышева, Если случайная величина £ при-
нимает лишь неотрицательные значения и математическое ожи-
дание существует, то, каково бы ни было 8 > О,
Р(Г<М< jivu.
Это неравенство часто называют первым неравенством Че-
бышева. Второе неравенство, по сути дела, есть следствие
первого. Именно, если существует дисперсия DL то, каково бы
ни было 8 > О,
где я=Мс,. Второе неравенство Чебышева показывает, что
если дисперсия D£ достаточно мала (скажем, D£<C6e2), то
с вероятностью, не меньшей чем 1 — б, зависящее от случая
значение £ = £ (со) будет отличаться от своего среднего зна-
чения не более чем на е, т. е.
Р | а — е 7^ а ~81 1 — б.
Закон больших чисел. Пусть — независимые
случайные величины, имеющие одно и то же распределение
вероятностей, в частности одни и те же математические
ожидания а~ и дисперсии o2=D^> k—\, п.
Каковы бы ни были 8 > 0 и б > 0, при достаточно боль-
шом п зависящее от случая арифметическое среднее
п
4-Уи®) с вероятностью, не меньшей 1 — б, будет отли-
Tl Jsaef!.
к~\
чаться от математического ожидания а лишь не более чем
на 8.
Этот факт является следствием второго неравенства Че-
бышева, согласно которому
n f 1 < (У2
Р — 7Хъ — а 8 > 1-----г.
2] § 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ 47
о2
Иными словами, если п , то с вероятностью не менее
чем 1—б будут справедливы неравенства
п
п
рассматривав-
практически совпадает
Если мы практически пренебрегаем возможностью насту-
пления событий вероятности менее 6 и не делаем различия
между величинами, отличающимися не более чем на е, то
при достаточно больших п I например, при можно
считать, что арифметическое среднее
мых случайных величин ..., %Г1
с их математическим ожиданием:
Этот факт носит название закона больших чисел.
Частота и вероятность. Предположим, что проводится
серия одинаковых и независимых между собой испытаний,
в каждом из которых может осуществиться либо исход А,
либо исход А. Если определить случайные величины
положив в k-м испытании = 1 при наступлении события А
и ^ — 0 при наступлении события Л, то частота п^А^/п
события А в серии из п испытаний будет совпадать с ариф-
метическим средним величин
”(Л) 1 у
п п
k == 1
Вероятность события А совпадает с математическим ожида-
нием каждого из слагаемых: Р(Л)—М^. Поэтому,
согласно закону больших чисел,
/г(Л)/п^Р(Л),
когда число испытаний п достаточно велико.
48 гл. Г. ОСНОВНЫЕ понятия ТЕОРИИ ВЕРОЯТНОСТЕЙ |2
Связь различных случайных величин. Коэффициент
корреляции. Простейшей характеристикой связи случайных
величин и £2 является так называемый коэффициент кор-
реляции, определяемый формулой
где
= a2 = Ms2> aj=Dgi, o| = D£2.
Для независимых величин и коэффициент корреляции
равен 0. В общем случае он всегда лежит в пределах
— 1 r 1 • Если г = —1 или г = 1, то £,9 — линейная
функция от
?>2 = г (£1 — ^1) + Я2.
Вообще, каков бы ни был коэффициент корреляции, вели-
чина f2=r ~(£i— tti) + ^2 дает наилучшее линейное при-
ближение для случайной величины £2, наилучшее в том
смысле, что
М (h - fo)2 = min М (£2 - - с2)2,
с2
где min берется по всевозможным постоянным q и с2. Ана-
логично величина Г
г ~(^2— «2) + с1 является наилучшим
°2
линейным приближением для
Случайные величины и £,2 называются некоррелиро-
ванными. если их коэффициент корреляции равен 0. На-
пример, не коррелированы наилучшее линейное приближе-
ние |2 и разность
Коэффициент корреляции случайных величин и £2,
грубо говоря, характеризует лишь «степень линейной зави-
симости» и ^2- Пусть, например, — симметрично рас-
пределенная . величина с плотностью такой, что
—х)= р^(х), и пусть 5,2=1^ |. Тогда, хотя величина |2
ч является функцией от коэффициент корреляции величин
3| § 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ 49
и £2 будет равен 0, поскольку
= J xp^{x)dx = О,
— ос
М^2 = J х Iх I Pi (*)dx = °-
3. Целочисленные величины и производящие функции.
Пусть £ — целочисленная случайная величина, принимающая
в зависимости от случайного исхода одно из значений
k 0, 1, 2, . . . с соответствующими вероятностями P^{k).
Функция ф^(г) переменной z, определяемая фор-
мулой
<^(О= 2 Pi{k)zk,
fe=O
называется производящей функцией распределения случайной
величины Она является аналитической функцией от zt
\z\ <1, и приведенная формула дает ее разложение в сте-
пенной ряд. Распределение вероятностей однозначно
определяется своей производящей функцией:
= (* = 0, 1, 2, ...),
(г)
где ф<~> (0)— значение производной -2-— в точке z — 0.
s dz*
Производящая функция ф^(^) при фиксированном z совпа-
дает с математическим ожиданием случайной величины rj —
ф|((г)=
Если случайная величина £ имеет математическое ожи-
дание и дисперсию D£» то
0£ = ф"(1)+фЩ)-[фГ (1)J2-
Пусть \п — независимые случайные величины
с производящими функциями ф. (г), . . ., ф. (г), и пусть
^ = 11 + ••• +£/т Имеет место следующая формула:
q^GO — q^GO • • • ф^О)-
4 Ю. В. Прохоров, IO. А. Розанов
50 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
Пусть ср д2, •••—независимые случайные величины,
имеющие одно и то же распределение вероятностей с про-
изводящей функцией (p(z), и £ = ^-1- ... +£v—сумма
некоторого числа этих величин, где число слагаемых v является
случайным, но не зависящим от J2, ..., и имеет распре-
деление вероятностей с производящей функцией ф(г). Про-
изводящая функция (p$(z) суммы £ может быть найдена
по формуле
Ф«(*) = Ф [фО)Ь
Сходимость распределений. Пусть — последователь-
ность случайных величин, и пусть Pn(k)— распределение
вероятностей и фДг)— производящая функция*) случайной
величины (п — 0, 1, 2, ...). Распределение вероятно-
стей P(k) называется предельным для Pn(k) при п —>оо, если
Игл Pn(k) = P(k) (6 = 0, 1, 2, ...).
л->оо
Сходимость Pn(k)—>P(k) имеет место тогда и только тогда,
когда
ф„Сг) = фЩ
л->оо
равномерно по г в каждом круге 1, где —•
производящая функция предельного распределения.
§ 5. Некоторые распределения вероятностей
1. Распределения вероятностей, связанные с законом
Пуассона.
Распределение Пуассона. Так называется распределение
вероятностей вида
P(k') = ±Te-a (£ = 0, 1,2,.. .).
Оно определяется одним-единственным положительным пара-
метром а. Если £ — случайная величина, имеющая распреде-
ление Пуассона, то соответствующий параметр а есть среднее
*) Обозначения Рп (k) и (рл (г) представляют собой более про-
стую форму записи распределения вероятностей Р^ (k) и произво-
дящей функции (г).
1] § 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 51
значение этой случайной величины:
Й = М* = ^kP(k).
/?=0
Производящая функция ф(г) пуассоновского распределе-
ния имеет вид
ф(г) —
Функция распределения Пуассона F(x) в точках
х = 0, 1, 2, ... выражается формулой
F= S тт е~а=-(TTW ГуХе~У dy-
k = 0 а
Однородный поток событий. Предположим, что с тече-
нием времени t регистрируется наступление некоторых собы-
тий. Например, регистрируются требования, последовательно
поступающие на некоторую систему обслуживания (скажем,
поступают запросы в справочное бюро, к бензозаправочной
станции подъезжают автомашины и т. п.).
Предположим, что рассматриваемый поток событий об-
ладает следующими свойствами:
а) вероятность отдельного события за малый промежуток
времени А/' есть X • А/+ о (Af), где X—некоторая положи-
тельная постоянная и о (Af)— бесконечно малая более высо-
кого порядка, чем А/;
б) вероятность наступления более чем одного события
есть о (А/);
в) количества событий ^(А^, . . ., £(А„), наступивших на
непересекающихся временных интервалах Др . ..,Art, пред-
ставляют собой взаимно независимые случайные величины.
Рассмотрим фиксированный промежуток времени (0, t).
Если разбить его на п равных частей Ар . . ., Ап, то общее
число £ (/) наступивших за время t событий можно предста-
вить в виде
п
Ik СЧ).
/? = 1
где случайные величины ^(Ал) (£=1, ...» п) независимы и
имеют одинаковое распределение вероятностей с производящей
4*
52 гл. f. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ |1
функцией фЛ(2г), которая с точностью до малых высшего
порядка (по сравнению с 1/п) есть
Производящая функция ф(г) случайной величины £(/) есть,
следовательно,
/ \ г /мп Fi । — О । (1
ф(О — [ф„(О] =Р ч———- + ° (v)j •
Переходя к пределу при п —>оо, получаем окончательную
формулу:
= lim f 1 ^1 — tfW-i),
п->со L п J
Следовательно, ф(г) есть производящая функция распре-
деления Пуассона с параметром a —kt. Таким образом,
общее число наступающих за время t событий является слу-
чайной величиной, распределенной по закону Пуассона:
= = (fe = 0, 1, 2, ...),
где введенная ранее постоянная к равна среднему числу со-
бытий, наступающих за единицу времени:
Показательное распределение. В рассмотренном выше
потоке событий, скажем потоке требований, поступающих
на некоторую систему обслуживания, время ожидания пер-
вого требования является случайным. Обозначим это время т.
Распределение вероятностей случайной величины т таково, что
р (т > = р U (0 = 0} = е~и (t > 0).
Это распределение вероятностей называется показательным.
Оно имеет плотность вида
| ke~Kt при t 0,
р (0 | q ПрИ / < о.
Среднее значение случайной величины т — среднее время
ожидания — есть
оо
Mr= J tp(t)dt
о
21
§ 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ
53
Сложнее распределение Пуассона, Пусть имеется не-
которая целочисленная случайная величина v, распределенная
по закону Пуассона с параметром а — Mv, и совокупность
£2, ... целочисленных одинаково распределенных случай-
ных величин, не зависимых между собой и от числа v. Рас-
пределение вероятностей суммы £ — 4“ • • • 4* случайного
числа слагаемых £р носит название сложного пуас-
соновского распределения. Производящая функция ф(г)
этого распределения дается формулой
ф(г) —
где ср (г)—производящая функция распределения отдельных
слагаемых.
2. Распределения вероятностей, связанные с нормаль-
ным законом.
Нормальное распределение. Пусть £р ..., — незави-
симые одинаково распределенные случайные величины, и пусть
с, = 4“ . . . 4- 1п. Если сами слагаемые £р .... доста-
точно малы, а число их п достаточно велико, точнее, если
при п —>оо математическое ожидание М£, и дисперсия D?,
величины £ = 4* • • • + in таковы, что М|—a, ~ о2, то
i (х-аУ~
е~ dx
У 2л ц J
для любых х' и х" (xf < х"). Предельное распределение
вероятностей, описываемое плотностью вида
] U-Q)2
Р (х) = \лг- е 2“2 (— со < х < со),
У 2л о
называется нормальным или гауссовским распределением.
Оно определяется двумя параметрами а и о. Если £— слу-
чайная величина, распределенная по нормальному закону с па-
раметрами а и о, то есть среднее значение этой
величины, o2=D£ — ее дисперсия:
1 f" fx-a)2
а = -^=- хе 2(j2 dx,
/2л о J
— оо
] f
о2 = (х — а)2 е 2°! dx.
/2л a J 7
— ОО
54
ГЛ. Г. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
[2
T-г Х--- а
Преобразованием и = —-— нормальное распределение с про-
извольными параметрами а и о приводится к стандартному
нормальному закону с параметрами а = о = 1 и плотностью
__1
/2л"
(— оо < и < оо),
график которой изображен на
Имеются таблицы функции
рис. 10.
нормального распределения *)
Если х —> сю, то имеет место
1 Г -4 “2
Ф(х)=——=- е 2 du
v 7 /2л J
— оо
(--СЮ < X < оо).
Функция Ф(х) удовлетво-
ряет тождеству .
Ф(х)4-Ф(— х)=1.
асимптотическая формула
1—Ф(х)~—2 /1
х /2л \
1 . 1-3 1-3-5
Г2 X4 Xй
Для конечных значений х абсолютная погрешность этой фор-
мулы не превосходит первого отброшенного члена. Например,
4, то
если х
1 ——- /
0 2 Н
х /2л \
1
— [1—ф(х)]<—Х^=е~ * <2- 10-7
х7 У 2л
*) См. Л. Н. Б о л ь ш е в, Н. В. Смирнов, Таблицы- матема-
тической статистики, М., «Наука», 1965. В книге «Таблицы вероят-
ностных функций» (том И, М., Изд-во ВЦ АН СССР, 1959) даны
значения функции 2Ф(х)—1 с 15 десятичными знаками. Восьми-
значные таблицы функции, обратной Ф (х), приведены в сборнике:
Т. Л. Келли, Статистические таблицы, М., Изд-во ВЦ АН СССР,
1966.
§ 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ
55
Если £ — случайная величина, распределенная по нор-
мальному закону с параметрами а и о, то
Р [а + ох' а + ох"} ~ Ф(х") — Ф(х')
при любых х' и х" таких, что х' < х". В частности, при
х" — — х' — X
Р [а — ох ъ я + — 2Ф (х) — 1.
Численные значения этих вероятностей приведены в таблице 2.
Логарифмически нормальное распределение. Так назы-
вается распределение вероятностей неотрицательной случайной
величины £, логарифм log£ которой распределен по нор-
мальному закону. Плотность логарифмически-нормального
распределения имеет вид
Р(х)
log е
У2л ох
(log х-а)2
2о2
(О < х < оо),
где параметры а и о суть a = Mlog^, o2=Dlog£. На
рис. 11 изображены графики плотностей р(х), соответствую-
щие значениям а=1, о = 0,1, 0,3 и 0,5.
Моменты случайной величины £, подчиняющейся логариф-
мически нормальному закону с параметрами а и о, выра-
жаются формулой
56 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
Таблица 2
X 00 01 02 03 04 05 06 07 08 09
0,0 0,000 008 016 024 032 040 048 056 064 072
1 080 088 096 103 111 119 127 135 143 151
2 159 166 174 182 190 197 205 213 221 228
3 236 243 251 259 266 274 281 289 296 303
4 311 318 326 333 340 347 354 362 369 376
0,5 0, 383 390 397 404 411 418 425 431 438 445
6 451 458 465 471 478 484 491 497 503 510
7 516 522 528 535 541 547 553 559 565 570
8 576 582 588 593 599 605 610 616 621 627
9 632 637 642 648 653 658 663 668 673 678
1,0 0, 683 688 692 697 702 706 711 715 720 724
1 729 733 737 742 746 750 754 758 762 766
2 770 774 778 781 785 789 792 796 799 803
• 3 806 810 813 816 820 823 826 829 832 835
4 838 841 844 847 850 853 856 858 861 864
1,5 0,866 869 871 874 876 879 881 884 886 888
6 0,890 893 895 897 899 | 011 031 051 070 090
7 0, 9 109 127 146 164 181 199 216 233 249 265
8 281 297 312 328 342 357 371 385 399 412
9 426 439 451 464 476 488 500 512 523 534
2,0 0, 9 545 556 566 576 586 596 606 615 625 634
1 643 651 660 668 676 684 692 700 707 715
2 722 729 736 743 749 756 762 768 774 780
3 786 791 797 802 807 812 817 822 827 832
4 836 840 845 849 853 857 861 865 869 872
2,5 0, 9 876 879 883 886 889 892 895 898 012 040
6 0, 99 068 095 121 146 171 195 219 241 264 285
7 307 327 347 367 386 404 422 439 456 473
8 489 505 520 535 549 563 576 590 602 615
9 627 639 650 661 672 682 692 702 712 721
3,0 0, 99 730 739 747 755 763 771 779 786 793 800
1 806 813 819 825 831 837 842 848 853 858
2 0, 99 863 867 872 876 880 885 889 892 896 900
3 0,999 033 067 100 132 162 192 221 248 275 301
4 326 350 374 396 418 439 460 480 499 517
21
§ 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ
57
П родолжение
X 00 01 02 03 04 05 06 07 08 09
3,5 6 7 8 9 4,0 0, 999 535 682 784 0, 999 855 552 694 793 861 568 705 801 867 584 717 809 872 600 727 816 877 615 738 823 882 629 748 830 887 643 757 837 891 656 767 843 896 669 776 849 900
0, 9999 038 0,9999 367 077 115 151 185 218 251 281 311 339
В таблице даны значения интеграла * 1 1 Г -Т < 2Ф(л) —1 = -4= \ е 2 du /2л J -X с тремя значащими цифрами. Например, если х = 2,58, то на пересечении строки 2,5 и столбца 08 находим число 012. Так как первые три цифры в столбце 00 соответствующей «зоны» есть 0,99, то искомое значение интеграла при х == 2,58 равно 0,99012.
Распределение х2 («хи-квадрат») и гамма-распределе-
ние. Так называется распределение вероятностей случайной
величины х2 вида
где —независимые случайные величины, имеющие
одно и то же нормальное распределение с параметрами а — О,
0=1; число п называется числом степеней свободы рас-
пределения х2’ Соответствующая плотность (рис. 12) опи-
сывается формулой
1
Р -------X 2 е 2
(О < х < со).
58
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
12
Распределение х2 представляет собой частный случай так
называемого гамма-распределения, плотность которого
выражается формулой *)
О, если х О,
Р (х) = да
ха~}е~№, если х > О,
где аир — положительные параметры и
оо
Г(а)= J ya~Je'ydy,
о
При любом действительном положительном а имеет место
равенство
Г(а-|- 1) —аГ (а);
поэтому, если а—целое число, то
Г(а) —(а—1)!.
*) Пятизначные таблицы функции распределения %2 даны
в сборнике Л. Н. Большева и Н. В. Смирнова, указанном в пре-
дыдущей сноске. Значения функции гамма-распределения с семью
десятичными знаками (при любых положительных а и Р) можно
вычислить с помощью таблиц: В. И. Пагурова, Таблицы непол-
ной гамма-функции, М., Изд-во ВЦ АН СССР, 1963.
2] § 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 59
Так как Г (1/2) = ]Лл, то в формуле плотности распреде-
ления х2
’ ( п Л
Нт— I I, если п четное,
= 1 1
'2' ( п Л(п о\ 3 1 лГ-
1“2* — 1 Н~2 — 2 I . . . ~2 • у V если п нечетное.
Если а->оо, то имеет место асимптотическая формула
Стирлинга (все логарифмы натуральные):
log Г (а) ~ — у) log а — а + у log (2 л)+
। у B2k___________1
' ^2k(2k— 1) а2*-1’
k—i
где' Вг — числа Бернулли (Z?2=l/6, В4 = —1/30, Вб =
= 1/42, ...), значения которых определяются следующим
тождеством:
При всех положительных а справедливо неравенство
log Г (а) — (а. — yj log а 4-а — у log (2л) —
SB2k_______1
k i 2k (2k — 1) а2*-1
_______I #2($ + 1) I___
2 (s + 1) (2s + 1) a25+i ‘
Распределение x- Так называют распределение квад-
ратного корня
где ...» — независимые случайные величины, подчи-
няющиеся нормальному распределению с параметрами а = 0
60 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
и о — 1. Плотность распределения % выражается формулой
если
р (*) =
если х > 0.
Моменты случайной величины /
муле
вычисляются по фор-
Mz" = уу'
22 Г
о
т Г -
.л + ш-1^ 2 dx = 22 —
Г
(п + т > 0).
Пример. Отраженное нормальное распределение
представляет собой распределение вероятностей модуля | £ ]
случайной величины подчиняющейся симметричному нор-
мальному закону с параметрами а = 0 и о > 0. Плотность
отраженного нормального распределения выражается фор-
мулой
.________________________
Р (*) = у у е 2 (о < X < оо),
причем
Распределение Коши. Так называется распределение
вероятностей с плотностью
(-^ <*<«)
график которой изображен на рис. 13. Оно совпадает с рас-
пределением вероятностей отношения ^/^2 независимых слу-
чайных величин и £2, имеющих одно и то же нормаль-
ное распределение с параметрами а = 0, а= 1. Такое же
распределение вероятностей имеет тангенс 1gа случайной
величины а, равномерно распределенной на отрезке [—л/2,
л/2].
2J § 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 61
Бета-распределение. Так называется распределение ве-
роятностей с плотностью
Р (*) = ха~г (1 — хГ1 (0 < х < 1).
Бета-распределение зависит от двух положительных парамет-
ров а и Ь. Нормирующий множитель В (а, Ъ) (так называемая
бета-функция) выражается формулой
в<«.
О
где Г (а) — определенная выше гамма-функция. Если а и b —
целые положительные числа, то
(^1)1
(л + 6-1)! *
Функция бета-распределения*) представляет собой ин-
теграл
F(x; а, Ь) = -щ-jy J у"-1 (1 — у/-1 dy (0 < х < 1).
*) О вычислении функции бета-распределения см.: Л. Н. Боль-
ше в, Н. В. Смирнов, Таблицы математической статистики,
М., «Наука», 1965, а также Pearson К., Tables of the incom-
plete beta-function, London, Biometric Laboratory, 1934.
62
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
13
Если случайная величина с, подчиняется бета-распределению,
то ее математическое ожидание и дисперсия выражаются
формулами:
IVP —____2__ гу- —_____________—_________
* а + b ’ (а 4- Ь)2 (а + b + 1) ’
3. Распределения вероятностей, связанные с испыта-
ниями Бернулли. Одинаковые и независимые между собой
испытания, в каждом из которых рассматривается некоторое
событие Л, наступающее с положительной вероятностью
р = Р(Л), называются испытаниями Бернулли. Событие А
условно называется «успехом», а дополнительное событие
А — «неудачей».
Биномиальное распределение. Пусть £— число успехов
в п испытаниях Бернулли. Распределение вероятностей слу-
чайной величины £ имеет вид
P(k) = Cknpk(\ — p)n~k (fc = 0........ п)
и называется распределением Бернулли или биномиальным
распределением *). Здесь р — вероятность отдельного ус-
пеха, п—число испытаний и —ч----число соче-
п k\ (п — &)!
таний из п по k. Биномиальное распределение определяется
двумя параметрами р и п. При этом
М1, = «р, D£ = «p(l — р),
М(| — прУ = пр(\ — р)(1 — 2р).
а производящая функция ф(г) величины £ есть
Функция биномиального распределения выражается фор-
мулой (ап _ 0, 1, 2, . . ., п)
*) Наиболее популярны следующие таблицы биномиального
распределения: «Tables of the binomial probability distribution»,
Washington, N. B. S., 1950; Romig H. G., «50— 100 binomial tables»,
New York, Wiley, 1953.
3]
§ 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ
63
Иными словами, если F (х\ п— т)— функция бета-
распределения с параметрами а~т-\-\ и Ь~п— т, то
F (jn) = 1 — F(p', tn1, п — m) — F(l—p; п — т, m + 1).
При п—>ээ и имеют место асимптотические
формулы:
1) P(k) — Cklpk(\-—p')n~k~-^=e~ Ах,
У 2 л
где
k~nP , дх = 1
Vnp(\ — р) ’ }гпр(\ — р)
(--СЮ < X < ею),
и
2)
^, — пр
Упр(1 —р)
dx.
Это — так называемое нормальное приближение для бино-
миального закона.
При п->сю и пр— а
k
P(k) = Ckpk(\ — p)n~k~^e-a (£ = 0, 1, 2, ...).
Это — так называемое пауссоновское приближение, действую-
щее в случае, когда каждый отдельный «успех» маловероятен
и является редким событием в соответствующей схеме испы-
таний Бернулли.
Пример. Задача об изюминках. Имеется некоторое
количество теста V, из которого выпекаются булочки с изюмом.
Некоторое количество изюма п высыпается в тесто, после
чего все многократно тщательно перемешивается и затем раз-
резается на равные части. Пусть на отдельную булку рас-
ходуется количество теста v, так что всего выпекается
= булок с изюмом. Ясно, что, хотя средний расход
изюма на отдельную булку составляет вполне определенную
величину a — njN, количество изюма в разных булках вовсе
не одинаково. Какова вероятность того, что в отдельно
взятой булке окажется хотя бы одна изюминка?
Естественно считать, что количество изюма много меньше
количества теста, так что при многократном перемешива-
нии теста изюминки в конце концов движутся практически
64 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ |3
независимо друг от друга (в частности, независимо друг от
друга попадают в выбранную булку). Очевидно, после тща-
тельного перемешивания изюминки распределяются в тесте
приблизительно равномерно и вероятность попадания любой
из изюминок в любую из булок одна и та же и есть р = \fN.
Попадание отдельной изюминки в определенную булку можно
рассматривать как «успех» в отдельном испытании, вероятность
которого р — 1 IN. Независимость движения изюминок при
перемешивании позволяет считать, что имеется п испытаний
Бернулли с вероятностью «успеха» р (п— общее число
изюминок). Эта вероятность сравнительно мала, если булок
выпекается достаточно много. В то же время число изюми-
нок п сравнительно велико. Следовательно, случайное число
изюминок в отдельной булке, равное числу «успехов», при-
близительно распределено по закону Пуассона: вероятность
P(k) того, что в булке окажется ровно k изюминок, есть
ak
P(k)^^ е~а (^ = 0, h . . ^),
П V
где а = п-у среднее число изюминок, приходящееся
на одну булку. Вероятность Р того, что в булке окажется
хотя бы одна изюминка, есть
Р= 1 — Р(0)« 1 — е~а = 1 — e"v.
Пример. Модель радиоактивного распада. Как из-
вестно, радий Ra с течением времени превращается в радон Rn.
Распадающееся ядро атома радия «испускает» так называемую
а-частицу (ядро атома гелия Не). Установим некоторые законо-
мерности, которым подчиняется процесс излучения радием
а-частиц.
Междуатомные расстояния сравнительно велики, и естест-
венно считать, что распад отдельного атома радия происходит
независимо от состояния других атомов. Предположим, что
вероятность распада отдельного атома радия в некотором
промежутке времени зависит лишь от длины этого про-
межутка. Обозначим р (t) вероятность распада в течение
промежутка времени длины /. Если всего имеется п атомов
радия (в одном грамме насчитывается приблизительно 1022
атомов), то среднее число а-частиц, испускаемых за время Л
будет a = np(t). Как показывают многочисленные экспери-
3| § 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 65
менты, это число при ^=1 сек имеет порядок 1010, так
что вероятность p(t) является очень малой (при £~1 сек
вероятность р (t) имеет порядок 10-12).
Если считать «успехом» распад каждого из атомов радия,
то число испускаемых за время t а-частиц будет равно числу
«успехов» в п «испытаниях Бернулли» с вероятностью «успеха»
р~р(р). Параметры п и р таковы, что фактическим рас-
пределением вероятностей случайной величины £(/) — числа
испускаемых за время t а-частиц — будет распределение
Пуассона с параметром a — np(t)\
Р[|(0 = Л) =^е~“ (Л = 0, 1, 2, ...).
Здесь «испытания Бернулли» выступают как формальная
схема, позволяющая найти фактическое распределение слу-
чайной величины д(^).
Геометрическое распределение. Рассмотрим неограничен-
ные испытания Бернулли. Обозначим £ число испытаний,
предшествующих наступлению первого «успеха». Если считать,
что каждое испытание длится единицу времени, то можно
считать £ временем ожидания до первого «успеха». Распре-
деление вероятностей случайной величины £ имеет вид
Р(£) = /7(1 — p)k (k = 0, 1, 2, ...)
и называется геометрическим распределением. Оно опре-
деляется одним параметром р > 0. В соответствующей схеме
испытаний Бернулли — это вероятность отдельного «успеха».
Математическое ожидание, дисперсия и производящая функ-
ция случайной величины | суть
= = —ТГ—Г--
Ъ Р Ъ р2 7 1 —(1--р) Z
Распределение Паскаля. Пусть при неограниченных
испытаниях Бернулли £ означает общее число «неудач», пред-
шествующих наступлению r-го очередного «успеха». Рас-
пределение вероятностей случайной величины £ имеет вид
/У (л=о, 1, 2,...)
и называется распределением Паскаля. Оно совпадает
с распределением суммы = . +^г. где —
независимые случайные величины, имеющие одно и то же
5 Ю. В. Прохоров, Ю. А. Роганов
65 гл. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
геометрическое распределение с параметром р. Математи-
ческое ожидание, дисперсия и производящая функция вели-
чины % имеют вид:
= DS = r-^.
Функция распределения Паскаля выражается формулой
0 = 0, 1, 2. . ..)
т
F(т) = Р U < т] = 2 СЩ-i/ (1 - р)к =
/?=0
г 4 т Р
= с'+,„рг(1 — р)ГАт г = -В(Г1 ^4-1) / х 1(1 — х~)т dx-
l — r О
Иными словами, если т—целое неотрицательное число,
то значение функции распределения Паскаля (с параметрами
г и р) в точке т, F (т), совпадает со значением функции
биномиального распределения*) (с параметрами п — г-^т
и pf —I — р) в той же точке т.
Представление F (т) в виде функции бета-распределения
позволяет естественным образом определить F(m) при всех
действительных неположительных значениях параметра г.
В таком расширенном толковании распределение Паскаля
называют отрицательным биномиальным распределением.
Гипергеометрическое распределение. Пусть имеется со-
вокупность п элементов, среди которых т элементов одного
типа и п — т элементов другого типа. Предположим, что
из этой совокупности наудачу, совершенно случайно, выби-
рается группа из г элементов. Число £ элементов первого
типа, содержащихся в указанной выборке из г элементов,
является случайным. Распределение вероятностей случайной
величины I имеет вид
P(k) =—[max(0, m-{-r— k min(m, r)]
*) Существуют таблицы, позволяющие вычислять значения F (т)
непосредственно, без обращения к таблицам биномиального рас-
пределения: Е. W i 1 1 i a m s о n, М. Н. В г е t h е г t о n, Tables of
the negative binomial probability distribution, London — New York,
Wiley, 1963.
4| § 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 67
(k— целое число) и называется гипергеометрическим рас-
пределением *). Соответствующие математическое ожидание
и дисперсия суть
__ тг
п *
__ тг (п — т) (п — г)
п2 (п— 1) ’
При п->оо и mfn^p имеет место «биномиальное при-
ближением.
fk f>f—k
Р (*) = —гпг-^- - C?pk (1 - р)г-к
п
(& —О, . .., г).
4. Некоторые распределения вероятностей, возникаю-
щие в схеме симметричного случайного блуждания **).
Предположим, что имеется
чайное блуждание по це-
лочисленным точкам дей-
ствительной оси: каждую
единицу времени произ-
водится испытание Бер-
нулли, и в случае «успе-
ха» частица смещается
на один шаг единичной
длины вправо, а при
частица, которая совершает слу<
«неудаче» — на один шаг
единичной длины влево. Траектория движения частицы гра*
фически изображается ломаной линией £ = £(/) с вершинами
в целочисленнных точках (рис. 14).
Будем считать, что «успех» и «неудача» равновероятны,
так что с вероятностью 1/2 частица смещается на -f-1 и
с вероятностью 1/2 на —1. Все траектории движения в этом
случае являются равновероятными.
Время возвращения. Пусть т — момент первого возвра-
щения в исходную точку х~ 0. Частица может вернуться
*) Таблицы гипергеометрического распределения имеются
в книге: Д. Б. Оуэн, Сборник статистических таблиц, М., Изд-во
ВЦ АН СССР, 1966.
**) См. В. Феллер, Введение в теорию вероятностей и ее
приложения, перевод со 2-го англ, изд., М., «Мир», 1964.
5*
68 ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ (4
лишь через четное число шагов, так что случайная вели-
чина т принимает только четные значения. Ее распределение
вероятностей имеет следующий вид:
P(2n)=^-C27_12^TT 0=1, 2, ...).
Время возвращения т с вероятностью 1 конечно:
Р {г < оо) = 2 Р(2п) = 1,
но его среднее значение равно бесконечности:
Мт = 2 (2п) == со.
л = 1
Пусть xk— момент &-го
возвращения в исходную точку
х — 0; Д^ = хк — ^k-\ — время
между (k— 1)»м и k-м возвра-
п
щениями, то = О; тл=2 &k-
k=-i
Величины Др Д2, ... взаимно
независимы и все имеют то же распределение, что и Д1 = т—
время первого возвращения.
Для последовательности Др Д2, . . . имеет место закон
больших чисел: с вероятностью 1
г 1
lim -хя =
л-»оо rt
.. 1
hm —
л->оо п
п.
При этом, если п->оо, то
1//7 ,
Г --
J е 2 du.
о
Видно, что время до n-го возвращения растет, приблизи-
тельно как п2. Предельным распределением вероятностей для
нормированной случайной величины п~2тл является так на-
зываемый положительный устойчивый закон с параметром
а= 1/2. Плотность этого непрерывного распределения имеет
4] § 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 69
вид (рис. 15) _з_
t 2е 2t при t > О,
О при t < 0.
Время первого достижения. Пусть х > 0 — некоторая
целочисленная точка, т(х)—момент первого попадания блу-
ждающей частицы в эту точку. Случайная величина т(х)
может принимать лишь значения вида 2п— х, где п = х,
х 1 > • • • Ее распределение вероятностей задается следую-
щей формулой:
= х+1, ...).
Вероятное значение величины т(х) растет вместе с х, при-
близительно как х2. При х—>со
_ ‘/V7
-/A f
О
Предельное распределение здесь то же, что и для времени
до n-го возвращения, — положительный устойчивый за-
кон с параметром а—1/2.
Число возвращений. Обозначим v число возвращений
в начальную точку х = 0 за 2п шагов. Распределение вероят-
ностей случайной величины v имеет следующий вид:
= (£ = 0, 1......п).
При я—>со
х
о
Предельным распределением вероятностей для нормиро-
ванной случайной величины v является отраженное нор-
мальное распределение. Видно, что число возвращений за п
шагов в исходную точку х=0 при /г—>сю растет пропор-
70
ГЛ. I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
[4
ционально Yп (а не пропорционально п, как можно было бы
ожидать).
Время пребывания на положительной части оси х.
Пусть Т2п — общее время, проведенное блуждающей части-
цей в интервале 0 t 2п на положительной части оси х.
Случайная величина Т2п принимает лишь четные значения 2k
(k — 0, . . ., п). Ее распределение вероятностей имеет вид
Р (2/г) = С2\ • С2лл-_А2* • (А = 0......я).
Несмотря на симметрию картины блуждания, наименее вероят-
ным является случай, когда время Т2п пребывания на поло-
жительной части оси х составляет половину всего рассматривае-
мого промежутка времени 2п. С
наибольшей вероятностью величи-
на Т2п принимает крайние значе-
ния 0 или 2п.
Т
Пусть а = ---доля вре-
мени, которое частица проводит
на положительной стороне оси х
за промежуток При
п —> оо
(0
<а 1).
Предельное распределение называется законом арксинуса.
Плотность этого распределения имеет вид
(____д......
p(a) = j 2/а(1 — a)
I 0
при 0 a 1,
при а < 0, а > 1.
График функции р (а) изображен на рис. 16.
Положение максимума. Рассмотрим траекторию блу-
ждающей частицы в интервале времени 0 t 2п(см. рис. 14).
Описывающая блуждание частицы функция £ = £ (/), 0<7<^2я,
зависит от случая. Обозначим т* точку абсолютного макси-
мума случайной функции £ = £(£) на рассматриваемом ин-
тервале 0<7<J2/z. Распределение вероятностей случай-
4] § 5. НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 71
ной величины т*, принимающей значения Z = 0, 1, ...» 2/г,
имеет вид
при t = 0,
| k = при t = 1, 2, .. ., 2п,
ГН t и «
где —целая часть числа Наиболее вероятными точ-
ками максимума траектории £(/), являются край-
ние точки / = 0 или t = 2n. При п—>оо
2 .
~ —arcsin У а
л г
(О <а< 1).
Предельное распределение здесь то же, что и для времени
пребывания на положительной части оси х, — закон арксинуса.
ГЛАВА II
ПРОСТРАНСТВА И МЕРЫ
§ 1. Некоторые сведения об измеримых
и топологических пространствах
I. Измеримые и топологические пространства.
Множества. Множеством называется совокупность неко-
торых элементов. Запись х£А или х(£А означает, что эле-
мент х входит или, соответственно, не входит в множество А
(иногда вместо символа (£ используют символ £). Соотно-
шения А1с=А2 или А2^Аг означают, что множество со-
держится в множестве А2, т. е, каждый элемент х из Аг
входит в А2.
Будем называть некоторое множество X элементов х про-
странством, сами элементы х — точками пространства X,
а множества А точек х, AczX,—множествами простран-
ства X. Множества Аг и А2 называются равными’. Л1 = Л2*
если Аг с А2 и А2 с Av
Суммой или объединением множеств Л, и Л2 называется
множество, обозначаемое Ах J Л2, которое состоит из всех
точек х, входящих хотя бы в одно из множеств Аг или Л2.
Объединение Аа произвольного числа множеств Ла состоит
а
из всех точек х, которые входят хотя бы в одно из мно-
жеств Ла.
Разностью множеств Аг и Л2 называется множество, обо-
значаемое Аг \ Л2, которое состоит из всех точек х, входя-
щих в Лр но не входящих в Л2.
Симметрической разностью Л! и Л2 называется множе-
ство, обозначаемое Л! о Л2, которое определяется формулой
1] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 73
Xj о Я2 = (?Ц \ Д2) U (Л2 \ Л1). Множество X \ Л, обозна-
чаемое А, называется дополнительным к А.
Пересечением или произведением множеств Аг и Л2 на-
зывается множество, обозначаемое А1 П Л2, Аг • А2 или /ЦЛ^
которое состоит из всех точек х, одновременно входящих
и в и в Л2; пересечение Q Аа произвольного числа мно-
а
жеств Аа состоит из всех точек х, которые одновременно входят
во все множества Ла. Множества Л! и Л2 называются непересе-
кающимися, если их пересечение Л! П Л2 не содержит ни
одной точки х, иначе говоря, является пустым множест-
вом. Пустое множество обозначается символом 0.
Системы множеств. Совокупность (иначе.система) мно-
жеств S пространства X называется полукольцом, если вместе
с любыми входящими в нее множествами Л и Аг она со-
держит их пересечение, причем если А} с Л, то множество А
может быть представлено в виде объединения конечного числа
непересекающихся множеств Лр Л2, Лл, также входя-
щих в б:
п
само же пространство X может быть представлено в виде
объединения счетного числа непересекающихся множеств Лр
Л2, ... из S:
k
Пример. Пусть пространство X есть совокупность то-
чек х действительной прямой. Система всех полуинтервалов
вида (х', х"], открытых слева и замкнутых справа, предста-
вляет собой полукольцо.
Полукольцо множеств S называется кольцом, если оно
вместе с любыми входящими в него множествами Аг и Л2
содержит их сумму Аг U Л2.
Пусть $ — произвольное полукольцо. Тогда совокупность
всех множеств Л с X, представимых в виде объединения
конечного числа непересекающихся множеств Лр ...» Ля,
принадлежащих S,
п
74
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
является кольцом. Если кольцо S содержит само простран-
ство А, то оно называется алгеброй.
Алгебра множеств 91 вместе с каждым входящим в нее
множеством А обязательно содержит его дополнение А и вместе
с любыми входящими в нее множествами Av Л2, ...» Ап
п
содержит их объединение А — Ak. Если алгебра 9( вместе
^=1
с любыми входящими в нее множествами Лр А2, . . . (взятыми
в счетном числе) содержит также их объединение А = |J Ak,
Й = 1
то она называется G-алгеброй.
Пересечение произвольного числа о-алгебр снова является
о-алгеброй множеств пространства X. Для любой системы
множеств S существует некоторая о-алгебра 9(, содержащая
эту систему <S. Минимальная G-алгебра 91, содержащая си-
стему множеств <5 (она является пересечением всех о-алгебр,
обладающих этим свойством), называется G-алгеброй. по po-
oled ен ной системой
Измеримые и топологические пространства. Простран-
ство X называется измеримым и обозначается (X, 91), если
в нем выбрана некоторая о-алгебра множеств 91. Простран-
ство X называется топологическим, если в нем выбрана
некоторая система <5 так называемых открытых множеств*.
<5 содержит пустое множество 0 и само пространство Х\
вместе с входящими в систему $ множествами Аг и Л2 она
содержит их пересечение Аг П А2 и вместе с множествами Ла
из (5 (взятыми в любом числе) содержит их объединение U Аа.
При этом обычно предполагается, что система S отделяет
точки пространства X, т. е. для любых хр х2£Х найдутся
непересекающиеся множества Лр Л2£® такие, что
х\ Е А» х2 € ^2-
Некоторая система (5 открытых множеств топологического
пространства X называется базой этого пространства, если
всякое открытое множество является объединением открытых
множеств из <5.
Под измеримым топологическим пространством обычно
понимается измеримое пространство (А, 91), в котором вы-
брана о-алгебра 91, порождаемая некоторой базой открытых
множеств топологического пространства X. Минимальная
о-алгебра, содержащая все открытые множества, называется
1] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 75
борелевской о-алгеброй пространства X; множества Д£21
называются борелевскими.
Система открытых множеств, вообще говоря, не является
полукольцом. Множества, дополнительные к открытым мно-
жествам топологического пространства X, называются зам-
кнутыми, Объединение конечного числа и пересечение лю-
бого числа замкнутых множеств снова являются замкнутыми
множествами. Каждая отдельная точка пространства X является
«одноточечным» замкнутым множеством.
Топологическое пространство X называется регулярным,
если для любого замкнутого множества F и точки xffcF
существуют непересекающиеся открытые множества О1 и О2
такие, что F с Gx и х £ О2.
Пусть А — произвольное множество пространства X. Ми-
нимальное замкнутое множество F, содержащее A (F сов-
падает с пересечением всех замкнутых множеств, содержа-
щих 4), называется замыканием множества А и обозна-
чается [4].
Пересечение счетного числа открытых множеств называется
множеством типа О6; сумма счетного числа замкнутых мно-
жеств называется множеством типа Fo; сумма счетного
числа множеств типа Об называется множеством типа G^,
пересечение счетного числа множеств типа Fa называется
множеством типа Fob и т. д.
Измеримое пространство (X, 21) называется сепарабель- '
ным, если существует некоторая счетная система множеств S,
отделяющая точки пространства X и порождающая соот-
ветствующую о-алгебру 21. Топологическое пространство X
называется сепарабельным, если существует некоторая счет-
ная база открытых множеств, отделяющая точки этого про-
странства.
Пример. Пусть X — произвольное пространство. В ка-
честве базы открытых множеств можно взять все «одното-
чечные» множества х с X,
Любое множество 4 пространства X будет тогда одно-
временно и открытым и замкнутым. Такое пространство X
сепарабельно тогда и только тогда, когда оно содержит лишь
счетное число точек х.
Пример. Пусть X—действительная прямая. В каче-
стве базы открытых множеств можно взять все открытые
76
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
П
интервалы (x't х"). Множество G будет открытым тогда и
только тогда, когда вместе с каждой входящей в него
точкой х оно содержит и некоторую ее окрестность (х — д,
хЦ-д). Всякое открытое множество представляет собой сумму
счетного числа непересекающихся открытых интервалов.
Всякое открытое множество является множеством типа Ва,
а всякое замкнутое множество является множеством типа G6.
Пространство X сепарабельно (в качестве базы, отделяющей
точки, можно взять систему всех открытых интервалов (хг, х")
с рациональными концами).
Всякое измеримое сепарабельное пространство (К, 23)
является в некотором смысле «частью» пространства (X, ?()
(X—действительная прямая, 21 есть о-алгебра борелевских
множеств). Именно, существует взаимно однозначное соот-
ветствие х<->у между точками х некоторого множества Ау
на действительной прямой и точками у пространства Y, при
котором каждому множеству В £23 будет соответствовать
некоторое множество вида Лу-Л, Л£21, и каждому такому
< множеству на прямой будет соответствовать некоторое мно-
жество В£Ъ (считается, что ЛГ<Л<->В, если х+-^у для
всех х £ Лк • Л, у £В). Такое соответствие пространств (К, 23)
и (Лг, 21у) (21 у есть о-алгебра всех множеств нового про-
странства Лу, представимых в виде Ау • Л, Л £ 21 дается,
например, следующим соотношением:
k
где Вр В2, ...—некоторая счетная система множеств, от-
деляющая точки пространства Y и порождающая о-алгебру 23,
а Ф^ (У)—индикаторы множеств Вк (k~l, 2, . . .):
1 при у £ В,
Фв (у) = 0 при у В
(соответствующее множество Ау является подмножеством
известного канторовского множества на действительной
прямой).
Произведения пространств. Произведением пространств
Хх и Х2 называется, пространство X, обозначаемое X —
= %! X Х2, точками которого являются всевозможные упо-
рядоченные пары (хР х2), где Xj £Xv х2£Х2.
1] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 77
Множество А Q X называется прямоугольным, если оно
представимо в виде Ах X А2, точнее, если оно состоит из
всех точек x = (xv х2), где х1^А1, х2£А2. Если и <52 —
некоторые системы множеств в соответствующих простран-
ствах Хх и Х2, каждая из которых представляет собой полу-
кольцо, то совокупность всех прямоугольных множеств вида
А = Ах X Л2> где и ^2 € ®2» также будет полукольцом.
Пример. Пусть пространство X представляет собой
действительную плоскость, X является произведением двух
действительных прямых Хх и Х2. Система всех прямоуголь-
ников вида (x'v х"] X (ху х2] образует полукольцо множеств
на плоскости (система всех полуинтервалов вида (х', х"1
образует полукольцо множеств на прямой).
Произведением измеримых пространств (Xv 2^) и
(Х2, ?(2) называется измеримое пространство (X, 21), X =
= Хх X Х2, в котором соответствующая о-алгебра 21 является
произведением (5-алгебр Q(2 и 212, т. е. 21 порождается
полукольцом 2Ij X 3^2 всевозможных прямоугольных множеств
вида А = X А2, где £ 21 и А2 £ 212.
Произведением топологических пространств Хх и Х2
называется топологическое пространство X = Хх X ^2»
в котором базой открытых множеств служит совокупность
всевозможных прямоугольных множеств вида А = X Л2,
где и Л2£®2 ($! и о2 — базы открытых множеств
в соответствующих пространствах Хх и Х2).
Пусть (£*, 2?)—некоторое измеримое пространство, и
пусть Т —конечное множество индексов t= 1, ...» п. Изме-
римое пространство (X, 21), где Х^=ЕТ представляет собой
/г-кратное произведение пространства Е само на себя,
а о-алгебра 21 — 23г есть n-кратное произведение соответ-
ствующих о-алгебр 23, называется измеримым координат-
ным пространством. Точки х={х(1), ..., х(п)} этого
пространства X = ЕТ задаются координатами x(t), t£T.
Если Т — произвольное множество индексов, то координат-
ное пространство X =ЕГ определяется как совокупность
всех функций х = х (t) на множестве Т со значениями
в пространстве Е (отдельные значения x(t) можно интерпре-
тировать как координаты точки x — x(t), принадлежащей
пространству Х = ЕТ).
Пусть ..., tn — произвольные точки множества Г,
взятые в любом конечном числе п, и пусть Bv .... Вп—
78
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
[1
произвольные
вида
множества из пространства Е. Множество
мо 6^.........х((п)евп},
принадлежащее пространству X, называется цилиндрическим
множеством в Х — ЕТ. Иными словами, цилиндрическое
множество состоит из тех и только тех точек x = x(t).
координаты которых х (/j), ...» х (tn) входят в соответ-
ствующие множества Bv . .., Вп. Система всех цилиндри-
ческих множеств указанного вида, для которых соответ-
ствующие Bv . . ., Вп входят в о-алгебру 23 пространства Е,
представляет собой полукольцо 23г. Измеримым коорди-
натным пространством (X, 21) называется пространство
Х~ЕТ с о-алгеброй 9(, порожденной полукольцом 23г.
Определим 91 (S), S cz Т, как о-алгебру, порождаемую
полукольцом 235, т. е. всевозможными цилиндрическими мно-
жествами с соответствующими параметрами tn£S.
Если точка xr = xf (t) пространства Х=ЕТ входит в мно-
жество А из 91 (S) и другая точка х" = х" (t) такова, что
соответствующие координаты этих точек совпадают: х'(^) =
= x"(t) при всех t£S, то х" — х" (t) также входит в Л.
Всякое множество А из о-алгебры 91— 91 (Т) принадлежит
одновременно некоторой о-алгебре 91 (S), где S — некоторое
счетное множество (зависящее, вообще говоря, от рассматри-
ваемого множества Л).
Пусть Е — топологическое пространство и ® — некоторая
база его открытых множеств. Тихоновским произведением
называется координатное пространство Х = ЕТ, в котором
базой открытых множеств служит совокупность всех цилин-
дрических множеств вида
.....х(1п)евл},
где Bv .... Вп — некоторые открытые множества из базы S
топологического пространства Е.
Отображения множеств. Пусть <р = <р (х) — функция
на множестве Л пространства X со значениями в простран-
стве Y. Прообразом множества В с Y при отображении <р
называется множество пространства X, обозначаемое симво-
лом {ср£В}, которое состоит из всех точек х£Х таких,
что ф(х)^В. Образом множества Л называется множество
пространства Y, обозначаемое ср (Л), которое состоит из всех
1] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 79
точек ф(х), х£А, Отображение В-> {qp £ В], В^У, сохра-
няет теоретико-множественные операции:
{ф€ и£}= и {ф€^Ь
{ф е n^}= п {ф ев}.
{Ф€(^\52)) = {Фб^)\{Фе52}.
Этого нельзя сказать об отображении Д->ф(Л), А cz X.
Пример. Пусть X—действительная прямая и у = ф (х)—
действительная функция, вид которой указан на рис. 17.
Образ каждой из полупрямых '
(—оо, 1) и (—1, оо) состоит
из двух точек: у = 0 и у= 1, — ... г
а образ их пересечения — ин- j
тервала (— 1, 1)—лишь из------------1<ца1 ,.i . I _____
одной точки у = 0. -! О t i
Пусть ф=ф(х) — произ* рис. 17
вольная функция на измеримом
пространстве (X, 2() со значениями в произвольном про-
странстве У. Совокупность 23ф всех множеств В с У таких,
что прообразы {ф£В} входят в о-алгебру 21 пространства
(X, 21), является о-алгеброй.
Пусть X — произвольное пространство и ф = ф(х)—
произвольная функция на X со значениями в измеримом
пространстве (К, 23). Совокупность 2(ф всех множеств Л,
являющихся прообразами множеств В из о-алгебры 23:
Л = {ф£В}, ££23, есть о-алгебра.
Измеримые и непрерывные отображения. Пусть (X, 21)
и (К, 23) — измеримые пространства. Функция ф = ф(х) на-
зывается (21, измеримой, если при любом В £23 прооб-
раз {ф £25} входит в о-алгебру 21. Если в — некоторая си-
стема множеств, порождающая о-алгебру 23, то функция ф
измерима тогда и только тогда, когда для любого В£<5
прообраз {ф££} входит в 21.
Пусть {X, 21), (У, 23) и (Z, К) — некоторые измеримые
пространства, и пусть функция ф = ф(х) является (21, ^-из-
меримой, а функция ф = ф(у) является (23, б)-измеримой.
Тогда сложная функция ф [ф (х)] на X является (21, (^-из-
меримой.
Пусть А — произвольное множество пространства X —
= Аг1Ху^2’ и пусть х2 — произвольная точка простран-
80 ГЛ. II. ПРОСТРАНСТВА И МЕРЫ [1
ства Х2. Множество АХ2 всех точек хг £ Xv обладающих
тем свойством, что пара (xv х2) входит в А, называется
сечением множества А. Другими словами, сечение АХ2— про-
образ множества А при отображении ф(х1) = (хр х2), где
х2—фиксированная точка пространства Х2:
Л,,= ((«!
Пусть (Хр Stj) и (Х2, 312)— измеримые пространства.
Если множество А пространства X = Хху^Х2 входит в про-
изведение о-алгебр 2^ и 312, то сечения АХ1 и АХ2 этого
множества таковы, что АХ2 £ 311 и AXl £ при любых хг £ Хг
и х2 £ Х2.
Пусть ф = ф(х), x — (xv х2),— произвольная (21, ^-из-
меримая функция на некотором множестве А произведе-
ния (X, 21) измеримых пространств (Хр 21г) и (Х2, 212) со
значениями в некотором измеримом пространстве (/, 8).
Тогда при любом фиксированном х2£Х2 функция ф^(х1) =
= ф(Хр х2) является (21р 23)-измеримой.
Пусть ф](у) и ф2(у) — произвольные измеримые функции
на измеримом пространстве (К, 23) со значениями в соответ-
ствующих пространствах (Хр 3Ij) и (Х2, 312). Пара ф = (фр ф2)
является (23, 21)-измеримой функцией на Y со значениями
в произведении (X, 31) пространств (Хр 31г) и (Х2, 312).
Функция ф = ф(х) на топологическом пространстве X
со значениями в топологическом пространстве Y называется
борелевской, если прообраз {ф£В} всякого открытого
(или всякого замкнутого^ множества В с / является боре-
левским множеством пространства X. Функция ф = ф(х)
на X называется непрерывной, если прообраз {ф£В} всякого
открытого (замкнутого) множества В cz Y является открытым
(соответственно замкнутым) множеством пространства X.
Бэровские множества. Пусть S — система всех мно-
жеств топологического пространства X, являющихся про-
образами {ф£В} открытых (или замкнутых) множеств В
на действительной прямой Y при непрерывных отображе-
ниях ф. Порождаемая системой таких множеств о-алгебра 31
называется бэровской в-алгеброй пространства X, а мно-
жества Л £ 31— бэровскими множествами этого про-
странства.
Пример. Полукольцо бэровских множеств. Пусть F —
замкнутое бэровское множество в X, являющееся прообра-
1] § 1. OD ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 81
зом некоторого замкнутого множества В на действительной
прямой К: F — {ф£В). Если взять какую-нибудь непрерыв-
ную функцию ф (У)» обращающуюся в нуль на замкнутом
множестве В и строго положительную вне В (например,
ф(у) можно определить как расстояние от точки у £ Y до
множества В с К), то сложная функция ф [ф (х)] будет не-
прерывной на X, причем рассматриваемое замкнутое бэров-
ское множество F совпадает с прообразом {ф [ф] — 0).
Система S всех замкнутых бэровских множеств F, сов-
падающих с прообразами нуля при непрерывных отображе-
ниях ф —ф(х) на действительную прямую, вместе с любыми
входящими в нее множествами Fx и F2 содержит их пере-
сечение F1 f| F2 и объединение Fx U F2. Например, если
{Ф1 = °} и F2= {Ф2 = °}> то Л A F2~ {(ft . ф2 = 0} и
A U F2 = { | Ф11 -И | Ф21 = 0}. Система всех множеств Л, пред-
ставимых в виде разности Fx \ F2 множеств Fx и F2 из в,
F2 с Fp является полукольцом, порождающим всю о-алгебру
бэровских множеств пространства X.
Метрические пространства.
Пространство X называется метрическим, если между
любыми двумя точками х', х" £ X определено «расстояние»
р(х', х"), обладающее следующими свойствами: 1)р(х', х")^>0
и р(х', х") —0 тогда и только тогда, когда х'==х";
2) р(х', х”) — р(х", х'); 3) выполнено так называемое «нера-
венство треугольника», согласно которому
р(х', xz/)<Cp(x/> л‘) + р(*>
для любых х, х', х"£Х.
Открытыми множествами метрического пространства X
называются все множества G такие, что вместе с каждой
точкой х, х £ G, они содержат целиком некоторую окрест-
ность этой точки — множество V6(x) всех точек хг, нахо-
дящихся от точки х на расстоянии, меньшем б (б — некоторое
положительное число).
Действительная функция ф = ф(х) на метрическом про-
странстве X является непрерывной тогда и только тогда,
когда для каждой точки х £ X и наперед заданного 8 > 0
можно указать окрестность У6(х) этой точки такую, что
|ф(х) — ф(х')| при всех x/^V'6(x).
6 Ю. В. Прохоров, Ю. А. Розанов
82 гл. II. ПРОСТРАНСТВА И МЕРЫ [1
Функция ф —ф(х), определяемая как ф(х) = р(х, F),
где р(х, Z7)— расстояние от точки х до произвольно взя-
того фиксированного замкнутого множества F:
р(х, Л)= inf р(х, xz),
x'^F
является непрерывной функцией на пространстве X t причем
ф(х) = 0 для х £ F и ф(х)>0 для x^F. Всякое замкнутое
множество F является бэровским, и о-алгебры бэровских
и борелевских множеств совпадают. Всякое замкнутое мно-
жество F совпадает с пересечением счетного числа открытых
со
множеств (например, F~ QV i (Z7), где Ve(F) означает
/2 = 1 ~П
множество всех точек х, отстоящих от F меньше чем на е:
р(х, Z7) < е), т. е. является множеством типа Gb.
Всякое открытое множество G совпадает с объединением
счетного числа замкнутых множеств, т. е. является множе-
ством типа Fo.
Пусть А—произвольное множество метрического про-
странства. Точка х называется граничной для множества А,
если расстояние от х как до самого множества А, так и
до его дополнения X \ А равно нулю:
р(х, Л) = р(х, X \ Л) = 0.
Совокупность Л' всех граничных точек х называется гра-
ницей множества А (граница всего пространства X пред-
ставляет собой пустое множество).
Точка х называется точкой прикосновения для множе-
ства Л с X, если любая окрестность V6(x) точки х имеет
непустое пересечение с множеством Л. Совокупность всех
точек прикосновения множества Л совпадает с замыканием [Л]
множества Л. Границей открытого множества G называется
разность [G] \ О; границей произвольного множества А
является граница максимального открытого множества G, вхо-
дящего в A (G является суммой всех открытых множеств,
входящих в Л).
Множество А с X называется всюду плотным в X,
если в любой окрестности (х) каждой точки х £ X най-
1] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 83
дется точка хг £А. Метрическое пространство X является
сепарабельным тогда и только тогда, когда существует
счетное множество точек хг, х2, ... £ X, всюду плот-
ное в X.
Пусть X — топологическое пространство. Последователь-
ность точек х2, ... этого пространства называется схо-
дящейся к точке х, если для любого открытого множества V,
содержащего х, существует такое п, что хт £ V при
т > п.
Последовательность точек хр х2, ... метрического про-
странства X называется сходящейся, если имеется такая
точка х£Х, что р(хл, х)->0 при /г->оо; соответствующая
точка х называется предельной', х— lim хл. Последова-
72—>ОО
тельность Хр х2, ... называется фундаментальной, если
р(хт, хп)—>0 при т, п->оо. Всякая сходящаяся последо-
вательность является фундаментальной. Метрическое про-
странство X называется полным, если всякая фундамен-
тальная последовательность является сходящейся к некоторой
точке х пространства X.
Компакты и их произведения. Система множеств ®
называется центрированной, если пересечение конечного
числа любых множеств из S не пусто.
Замкнутое множество А с X называется компактом, если
всякая центрированная система S его замкнутых подмножеств F
имеет непустое пересечение: [\F ф (£). Множество А назы-
вается компактным в X, если его замыкание /7=[Д]
является компактом.
Если сепарабельное топологическое пространство X яв-
ляется компактом, то в нем можно определить расстояние
р(х', х") таким образом, что всевозможные окрестности ^(х)
могут служить базой этого топологического пространства;
при этом множество А в X будет компактным тогда
и только тогда, когда всякая последовательность точек хр х2»
... этого множества А содержит сходящуюся подпоследова-
тельность.
Если X — произвольный компакт, то система всех от-
крытых бэровских множеств является базой в X.
Имеет место лемма Урысона: для любых непере-
секающихся замкнутых множеств Fx и F2 компакта
X существует непрерывная на X действительная
6*
84
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
[I
функция ф = ф(х) такая, что 0<^ф(х)<3 при всех
х£Х и
( 0 при х £ Fp
ф(х) j
1 При Jb I 2»
Открытые бэровские множества вида и {ф>“2 [
содержатся в предварительно произвольно взятых откры-
тых множествах Gx = Fx и G2 = F2.
Топологическое произведение компактов снова есть ком-
пакт. Пусть Е — произвольный компакт, Т — произвольное
множество и X = Ет— соответствующее тихоновское про-
изведение.
Пространство Х = ЕТ является компактом. Если к тому
же исходное пространство Е является сепарабельным, то
бэровская о-алгебра 21 пространства Х = ЕТ совпадает
с минимальной о-алгеброй, содержащей всевозможные цилин-
дрические множества вида
A = {x(t^B,.......x(tn)£Bn\,
где Вр ..., Вп — множества из некоторой базы исходного
пространства Е. Иными словами, 21 совпадает с о-алгеб-
рой 21(F), порожденной полукольцом 23г всех цилиндрических
множеств указанного вида (23— бэровская о-алгебра прост-
ранства Е).
Пример. Всякий замкнутый конечный отрезок [а, Ь\
на действительной прямой —оо < х < сю является ком-
пактом. Вся прямая —оо < х < со не является компактом.
Пополненная точками х — — оо и х = -|-оо, она становится
компактом.
Пример. Пусть Е — замкнутый ограниченный отрезок
или вся пополненная действительная прямая, Т — некоторый
отрезок [Zp t2] и Х — Ет—пространство всех действитель-
ных функций x~x(t) на отрезке tx t /2. Каждое бэров-
ское множество А входит в некоторую о-алгебру множеств 21 (S)
координатного пространства X — Ег, определяемых условиями
hi значения x(t) лишь при t из счетного множества S, Sc Г.
Этим свойством не обладает, например, замкнутое множество
всех функций x = ,v(£): при tx t t2, так
что не всякое борелевское множество тихоновского произ-
2] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 85
ведения Х — Ет является одновременно и бэровским. Иначе
говоря, о-алгебра борелевских множеств пространства X = ЕГ
более обширна, чем о-алгебра бэровских множеств, совпа-
дающая с 0-алгеброй 91 (Т).
2. Линейные пространства. Пространство X называется
линейным, если для элементов х этого пространства опре-
делены операции сложения и умножения на действительные
числа, причем выполняются следующие условия: вместе с лю-
быми хр х2£Х в X входит и элемент х ~ + Х,2х2,
где Хр Х2— произвольные числа; существует элемент 0 такой,
что х + 0 = О, Z • 0 — 0 при любом X, 0 • х — 0 при любом
х£Х; для всякого х£Х имеется так называемый противо-
положный элемент —х: х — х = 0; кроме того,
Х1 + х2 = Х2 4* Х1 ’ Х1 4“ (Х2 4“ Хз) — (Х1 4“ х2) 4“ х3>
1 . х = х, /Ц • (Л2 • х) — (Zj • Z2) х,
(A,j —|— Z2) х = AqX —|— Z2x, Z (Xj —J— x2) = Zxj —|— Zx2.
Если вместо действительных чисел Z берутся комплексные
числа, то X называется комплексным линейным прост-
ранством.
Пространство X называется линейным топологическим
пространством, если операции сложения и умножения на
числа являются непрерывными, т. е. функция ф(Хр Т.2, хр х2)=
~ 4~ ^2Х2 является непрерывной по совокупности пере-
менных (ф рассматривается как функция на произведении
Еу^Еу^Х у^Х, где Е — действительная прямая или ком-
плексная плоскость).
Для Задания системы всех открытых множеств линейного
топологического пространства X достаточно определить не-
которую базу S открытых множеств элемента 0, т. е. такую
систему открытых множеств, что всякое открытое множество
пространства X, содержащее элемент 0, совпадает с объеди-
нением некоторых открытых множеств из S.
Нормированные пространства. Линейное пространство Л’
называется нормированным, если для каждого из его эле-
ментов х определена норма || х || — функция от х, обладаю-
щая следующими свойствами:
О IIх II 0; 2) || х || — 0 тогда и только тогда, когда х — 0;
3) || Кх || = | X| • || х || при любом X, и, наконец, 4) || хг 4~ х2 II "С
86
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
12
'C(jx1|H“||x2|| при всех хр х2£Х. Нормированное прост-
ранство является метрическим9, расстояние в нем опреде-
ляется как р(хр х2) = ||х2— xiII• Полное нормированное
пространство называется банаховым.
Нормированное пространство X называется гильберто-
вым, если определена числовая функция двух переменных xt
и х2, обозначаемая (хр х2) и называемая скалярным про-
изведением, обладающая следующими свойствами:
1) (х, х)^0;
2) (х, х) = 0 тогда и только тогда, когда х = 0;
3) + А.2х2, x) = A,1(xp х) + Х2(х2, X);
4) (х, ZjXj 4- Х2х2) = Xi (х, х1)4~Х2(х, хъ)
при любых Хр Х2 и Хр х2£Х. Норма ||х|| элемента гиль-
бертова пространства X определяется как ||х|| = У(х, х).
Счетно-нормированные пространства. Пусть X — ли-
нейное пространство, в котором определено счетное число
норм:
1И1р 1И12.....1И1Я....
Пусть для всякой последовательности хр х2, ... элементов
пространства X, обладающей тем свойством, что
11*л~ ||хт —хл||?->0 при т, П-+ОО,
имеет место также и соотношение || хп — х ||^ —> 0. Такое про-
странство X, в котором в качестве базы нулевого элемента
выбраны множества вида
(11*111 <е....1И1р<е} (Р = 1. 2, е > 0),
называется счетно-нормированным. Всякое счетно-норми-
рованное пространство X является метрическим. Соответ-
ствующее расстояние р(хр х2) можно определить как
Не ограничивая общности, можно считать, что
II х 111 II х Иг • • •
2] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 87
Счетно-нормированное пространство X называется счетно-
гильбертовым, если каждая из норм ||х||р, /?=1, 2, ...»
задается некоторым скалярным произведением
(Хр х2)р, IIх||р = /(х, х)р 0 = 1,2,...).
Счетно-гильбертово пространство X называется ядерным,
если для любого р найдется такое q и такой ядерный опе-
ратор А в гильбертовом пространстве X со скалярным про-
изведением (ху х2) = (хр х2) , что
(Хр х2)р = (Дхр х2\.
Пример. Пусть X — пространство всех бесконечно диф-
ференцируемых функций x — x(t) на действительной прямой
-оо < 2е < оо, обращающихся в нуль при Если
ввести скалярные произведения как
оо р
(хухъ)р = / (р = 0, 1, ...).
— оо £ = 1
где x^(t) означает k-ю производную функции х(/), то про-
странство X будет ядерным пространством.
Линейные функционалы. Пусть U—линейное простран-
ство. Действительная (или комплексная) функция на U, обо-
значаемая х = (и, х), называется линейным функционалом,
если
(Z1«J 4-Х2и2, х) = Х1(«р х)4-%2(«2>
при любых действительных (комплексных) Х2 и uv u2£U.
В случае, когда U является линейным топологическим про-
странством, обычно дополнительно предполагается, что линей-
ный функционал х — {и, х) является непрерывным.
Если U — полное гильбертово пространство, то всякий
линейный функционал х = (и, х), определенный на всем
пространстве U, является непрерывным и имеет вид
(и, х) = (//> х) (z/££7),
где х — некоторый фиксированный элемент из U, (и, х) —
соответствующее скалярное произведение.
88 гл. И. ПРОСТРАНСТВА И МЕРЫ [2
В произвольном нормированном пространстве U линейный
функционал х = {и, х} является непрерывным тогда и только
тогда, когда он ограничен:
||х||= sup | (и, х\ | < оо,
IIMI-1
где sup берется по всем элементам u£Ut ||«||=1 (вели-
чина || х || называется нормой линейного функционала
х = {и, х}).
Для любого элемента uQ нормированного пространства U
существует линейный непрерывный функционал х = (и, х),
u£U, такой, что (я0, х) = ||uQ|| и ||х|| = 1. Всякий линей-
ный непрерывный функционал x = (zz, х), u£UQ, определен-
ный лишь на некотором линейном подпространстве UQ нор-
мированного пространства U, может быть продолжен до ли-
нейного непрерывного функционала на всем пространстве U
так, что
1И1 = SUP К«> Х)1’
II а|| = 1,
где sup берется лишь по тем элементам и из подпростран-
ства для которых || и ||=1.
В счетно-нормированном пространстве U линейный функ-
ционал х = (//, х) непрерывен тогда и только тогда, когда
он ограничен по отношению к некоторой норме || и ||р:
1И1Р= sup -01 <
||“||р-1
Сопряженное пространство. Совокупность всех линей-
ных функционалов х = (&, х) на линейном пространстве U
является линейным пространством: если х} и х2—некоторые
линейные функционалы, то х = Х1х1 + Х2х2 также является
линейным функционалом, определенным формулой
(я, х) = 11{и, х^-^-^^и, х2).
Пусть X — пространство действительных линейных функ-
ционалов х = (^, х) на некотором действительном линейном
пространстве U. Если выбрать в X в качестве базы откры-
тых множеств элемента 0 совокупность всевозможных цилин-
дрических множеств вида
K“i> -0<е.......(ип, х)<е},
2] § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 89
где uv ...» unf~U и е > О, то X станет линейным тополо-
гическим пространством. Указанные открытые цилиндрические
множества называются слабыми окрестностями нуля, а опре-
деляемое ими топологическое пространство X называется
сопряженным пространством со слабой топологией. Если
исходное линейное пространство U является нормированным,
то в сопряженном к нему пространстве X всех линейных
непрерывных функционалов x = {ut х), u£Ut можно ввести
норму
Ik||= sup I{и, х)|,
и тогда X будет полным нормированным пространством.
Базой открытых множеств элемента 0 являются в этом слу-
чае множества вида || х || < е, е > 0, называемые сильными
окрестностями нуля. Определяемое ими топологическое про-
странство X называется сопряженным пространством
с сильной топологией.
Пусть U — сепарабельное счетно-гильбертово простран-
ство, X — сопряженное к нему пространство всех линейных
непрерывных функционалов х — {и, х} со слабой топологией.
Множество Sp(r) вида
sP(r)= {|И1рО}
(Зр(г)— «шар радиуса г», т. е. множество элементов х£Х,
для которых || х || — sup |(zz, х)|<^<) является компак-
том. Все пространство X представляется в виде счетного
числа компактов. *
Борелевская и бэровская о-алгебры пространства X со
слабой топологией, сопряженного к сепарабельному счетно-
нормированному пространству U, совпадают с наименьшей
0-алгеброй 21, содержащей все цилиндрические множества вида
• • •• <«».
где uv ..., ип — произвольные элементы из U, a Bv ...,
Вп — произвольные борелевские множества на действитель-
ной прямой.
Говорят, что в линейном пространстве U задан линей-
ный оператор Л, если определена функция v=zAu от и
со значениями в некотором линейном пространстве V такая, что
Д 4~ A2ZZ2) = ^2 ’ ^и2
90 ГЛ. II. ПРОСТРАНСТВА И МЕРЫ [2
для любых uv u2QU и любых чисел Л2. Линейный опе-
ратор Л"1, определенный на элементах пространства V вида
v=Au, и QU, называется обратным к оператору А, если
A~lv—u при v — Au. Пусть Лр Л2— любые линейные опе-
раторы на пространстве U и Л2 — любые числа. Тогда
оператор А = ^1А1-^^А2, т. е.
Аи = Aq • Ахи —?«2 • А2и (и U)
также является линейным оператором,
Произведением операторов А и В, где А — линейный
оператор на пространстве U со значениями в пространстве V,
а В — линейный оператор на V, называется линейный опе-
ратор вида
ВАи
Линейный оператор А на линейном топологическом про-
странстве U, отображающий U в линейное топологическое
пространство V, называется непрерывным, если функция
<и — Аи является непрерывной. Если U и V — нормирован-
ные пространства, то оператор А является непрерывным тогда
и только тогда, когда он ограничен, т. е.
|| А || = sup || Аи || < оо,
II м II
где sup берется по всем элементам uQU, (|и||=1; вели-
чина || Л (I называется нормой оператора Л.
Линейный оператор Л на нормированном пространстве U
называется вполне непрерывным, если множество элементов
вида Au (uQU, ||%||=1) является компактным в простран-
стве V.
Пусть Л — линейный оператор в гильбертовом простран-
стве U: AU Оператор Л* называется сопряженным
к А, если (Аи', и") = (и', А*и") при всех и', и" QU. Опе-
ратор Л называется самосопряженным, если Л* = Л. Само-
сопряженный оператор Л называется проекционным, если
Л2=Л. Самосопряженный оператор Л называется положи-
тельным, если (Аи, а)>0 при всех uQU.
Оператор Л на гильбертовом пространстве U со значе-
ниями в гильбертовом пространстве V называется изометри-
ческим, если (Аи', Аи") — (и', и") при всех и'> и" QU. Изо-
2| § 1. ОБ ИЗМЕРИМЫХ И ТОПОЛОГИЧЕСКИХ ПРОСТРАНСТВАХ 91
метрический оператор А в гильбертовом пространстве U такой,
что AU = U, называется унитарным.
Система элементов {zzj гильбертова пространства U назы-
вается полной, если всевозможные линейные комбинации вида
)пих + . . . -\-кпип образуют всюду плотное множество в про-
странстве U. Элементы и' и и" называются ортогональными,
если скалярное произведение (и', и") равно нулю. Система
элементов {nJ называется ортонормированной, если
Ост wa)=1 и ПРИ « =# ₽•
Пусть их, и2, •••—полная ортонормированная система
в гильбертовом пространстве U. Всякий элемент u£U может
быть представлен в виде ряда
«= 2 («. «„) ип.
п
Любой самосопряженный вполне непрерывный оператор А
в полном гильбертовом пространстве U имеет полную орто-
нормированную систему собственных элементов, причем
Аи= 2 Ч(«- «л) • «я.
п
где z/j, н2, ... —ортонормированная последовательность всех
собственных элементов ип с отличными от нуля собствен-
ными значениями Хл (А,/г->0 при п->со).
Самосопряженный вполне непрерывный оператор А назы-
вается оператором Гильберта — Шмидта, если
2 < °о,
п
где Х2, ...—последовательность всех отличных от нуля
собственных значений; для любых полных ортонормирован-
ных систем Ир и2, . . . и vv v2, . . . в пространстве U имеет
место равенство
2 2(л^, *Я)2=2Ч-
тп п
Положительный вполне непрерывный оператор А в гиль-
бертовом пространстве U называется ядерным, если для не-
которой полной ортонормированной последовательности эле-
ментов Ир и2, ...
2 (Аип, иа) < со.
п
92 гл. II. ПРОСТРАНСТВА И МЕРЫ |1
Пусть А — ядерный оператор, тогда для любой полной орто-
нормированной последовательности элементов иь и2> ...
S(4u„, «я)= 5 V
п п
Пример. Пусть L?(Т)—гильбертово пространство всех
действительных или комплексных интегрируемых функций
u — a(t) на отрезке Т = [a, Z>] со скалярным произведением
ь
(u'v «") = | «,(/)• uffidt.
а
Пусть B(s, t) — измеримая функция двух переменных t и s
такая, что B(s, s) и
ь ь
J j |B(s, t)\*dsdt < co.
a a
Тогда оператор В. определенный как
ь
Ви (/) = J В ($, t) и (s) ds (t £ Т),
а
будет оператором Гильберта — Шмидта. Если функция B(s, t)
непрерывна и положительно определена, т. е. если
при любых числах и tb .ttl £ Т. то опреде-
ленный выше оператор В будет положительным ядерным опе-
ратором в пространстве Л2(Т).
§ 2. Распределения и меры
1. Меры в измеримых пространствах.
Измеримые пространства с мерой. Пусть {X. 21)—про-
извольное измеримое пространство. Неотрицательная функция
р = ц(Л) на о-алгебре множеств 21 (быть может, принимаю-
щая и значения 4-оо) называется мерой, если она счетно-
11
§ 2. РАСПРЕДЕЛЕНИЯ И МЕРЫ
93
аддитивна, т. е. для любого счетного числа непересекаю-
щихся множеств Др Д2, . . . £ 91 и А = ^Дл
k
НИ) = 2ц(Л*).
k
(2.1)
Значение |1(Д) называется мерой множеств Д£9(.
Мера ц называется конечной, если p(AT)<oo, и d-ко-
нечной, если пространство X можно представить в виде
объединения счетного числа множеств Ak таких, что
ц(Д^)<оо, Л= 1, 2, ...
Совокупность {X, 91, ц) называется пространством
с мерой.
Распределения. Неотрицательная конечная функция ц —
= |1(Д) на некотором полукольце множеств <5 произвольного
пространства X называется распределением, если для вся-
кого множества Д£<2, представимого в виде объединения
счетного числа непересекающихся множеств Др Д2, ...
A = [jAk, имеет место соотношение (2.1). Если рассматри-
ваемое полукольцо множеств <S является кольцом, то функ-
ция ц является распределением тогда и только тогда, когда
она конечно-аддитивна: для непересекающихся Др ..., Ап
Н(Л)=2и(Ла) при Л = ил*-
/? = 1 Л=1
и непрерывна:
lim ц(Дл) = О
/2->оо
для /Ц = Л2 о ..., Q А„ = 0.
п
Неотрицательная конечная функция р = ц(Д) на полу-
кольце множеств <S называется слабым распределением, если
Для всякого множества Д£в, представимого в виде ко-
нечного числа непересекающихся множеств Др ..., Дл £ <5,
имеёт место соотношение (2.1). Всякое слабое распределение
к = Ц(Д) на S может быть однозначно продолжено на
кольцо всех множеств А с: X, представимых в виде
94 гл. II. ПРОСТРАНСТВА И МЕРЫ [1
объединения конечного числа непересекающихся множеств
п
из®: Это продолжение задается формулой
ft-1
п
ft = l
Слабое распределение ц = ц(Л) на кольце 21 является ко-
нечно-аддитивной функцией.
Пример. Пусть X— действительная прямая и ® — си-
стема всех полуинтервалов вида (х', х"\. Пусть функция
р = р(Л) на полукольце <5
... А3 А2 Af определяется как
I*1* * * ? И И) = X" — х'
при Л —(л/, х"].
Рис‘ Для любого A — (xrt х"],
«разложенного» на полу-
интервалы Ak~(xfk, х"], &=1, 2, ... (рис. 18), имеем:
Х1 ~ Х * Х2 = Х1* ’ • . ’ Хп + 1 = Хп* • • • ’
(Х1~ Хд + (Х2~ Х2)+ •“ =Х" — Х'-
Таким образом, функция ц является распределением.
Продолжение распределений и мер. Пусть ц = ц(Л)—
распределение на полукольце множеств ® пространства X,
Предположим, что распределение ц является ограниченным:
sup ц (Л) < оо.
АС ©
Рассмотрим величину ц*(Л), называемую внешней мерой
множества Л £ X и определяемую как
k
где inf берется по всем (взятым в счетном числе) множествам
Лр Л2, . . . £(5, в сумме покрывающим Л: Л с |J Ak. Вели-
ft
чина ц*(Л) для любого множества Л £ X является конеч-
ной. Множество Л называется измеримым (относительно Ц
на ®), если
р*(Л)^р*(Х)-р*(Х\Л).
Ц § 2. РАСПРЕДЕЛЕНИЯ И МЕРЫ 95
Совокупность 21 веек измеримых множеств является о-алгеб-
рой, содержащей полукольцо в. Функция р = р(4), опре-
деленная на о-алгебре 21 формулой
р(Л) = р*(Д) _(Д£21),
является мерой и называется продолжением распределения р.
Вообще, мера называется продолжением распределе-
ния р, если щ определена на содержащей полукольцо <5
о-алгебре 21т и р1(Д) = р(Д) при А£&. Для любого про-
должения Jij меры р имеют место неравенства
р* (А) > (А) > р* (*) - р* {X \ А),
Продолжение распределения р на о-алгебру 21 всех изме-
римых множеств является однозначным. Для любого отдельно
взятого множества А £ X и числа т, заключенного в пределах
р* (zl) > /и > р* (X) — р* (АГ \ А),
существует продолжение Pj меры р такое, что р1(Д) = т.
Если исходное распределение р на полукольце Q является
неограниченным, то пространство X можно представить в виде
объединения счетного числа непересекающихся множеств
A" ^1» Аг» • • • в этом случае измеримым назы-
k
вается множество А такое, что измеримыми являются пере-
сечения AAfi, т. е. пересечения А со вспомогательными про-
странствами Ak (&=1, 2, ...). Совокупность 21 всех изме-
римых множеств является о-алгеброй. Продолжение распре-
деления р определяется как
= Ak)
k
Пример. Распределение на прямой. Пусть X — дей-
ствительная прямая и р = р(Д)— распределение на полу-
кольце в всех полуинтервалов вида А = (л/, х"], задаваемое
формулой
р(А) — х" — х' при А = (х\ х"\.
Продолжение этого распределения представляет собой так
называемую лебеговскую меру на действительной прямой.
Пусть F (х)—произвольная, непрерывная справа, монотонно
96 гл. II. ПРОСТРАНСТВА и МЕРЫ Ц
неубывающая неотрицательная функция на действительной пря-
мой — оо < х < со такая, что
lim /7(х)=0, lim F(x)=l.
Л-->-оо Л->оо
Формула
-Л(х'), А = (х\ х"]
задает некоторое распределение на полукольце ® всех полу-
интервалов А = (х', х"]. Продолжение этого распределения
на о-алгебру всех измеримых множеств представляет собой
нормированную меру ц, [l(X) = 1, обозначаемую обычно dF.
Сама функция F (х) описанного типа называется функцией
распределения. Всякая нормированная борелевская мера ц
на действительной прямой однозначно определяется некоторой
функцией распределения F (х), связанной с ц соотношением
F(x) — ц(Л), Л = (—оо, х].
Пример. Пусть ц = р(Д)— нормированная борелевская
мера в n-мерном евклидовом пространстве X. Соотношение
F(xP хп) = р(Л) при Д=(—co, xJX-• • Х(—оо, xj
определяет так называемую функцию распределения F —
= F(xv ..., хл), —оо < xk < со (& = 1, п). Функция рас-
пределения F однозначно задает соответствующее распределе-
ние ц = ц (Д) на полукольце множеств вида А = (х', х[] X • • •
• • • X (*я» xz/]:
ц(Л) = Д(4 х") ... А(х;, х")Л
где А(х', х")— оператор разности, действие которого на
функцию ф(х) переменной х выражается формулой
Д(х', х")ф —ф(х")— ф(х').
Функция распределения F (xv . . ., хп) по каждой из пере-
менных хр ..., хп монотонно не убывает и непрерывна
справа, причем
lim F (х}..........................x/z) = 0,
lim F(xp . . ., xfl) = 1.
2| § 2. РАСПРЕДЕЛЕНИЯ И МЕРЫ 97
Не всякая функция Ft обладающая перечисленными свой-
ствами, является функцией распределения. Например, функ-
ция F (хр х2) ДВУХ переменных хР х2:
{1 при Хр х2>0, шах(хр х2)^>1,
О при остальных хр х2,
обладает всеми перечисленными свойствами, но не является
функцией распределения какой бы то ни было меры ц на
плоскости.
Пример. Пусть (X, 91, — произвольное пространство
с конечной мерой, где 91 есть о-алгебра всех измеримых
(относительно ц) множеств. Пусть А — произвольное множе-
ство пространства X, не входящее в о-алгебру 91. Минималь-
ная о-алгебра 9(р содержащая о-алгебру 91 и множество А,
состоит из всех множеств вида
А]А U А2А, где Лр Л2 £ 91.
Если внешняя мера ц*(Л) множества А такова, что
И*(Л) = И*(Х),
то для любых измеримых множеств Лр А2 £ 91, удовлетворяю-
щих условию Аг • А = А2 • А, симметрическая разность Лх о А2
входит в дополнение А и ц(Л1оЛ2) = 0. Формула
|11(Л1ЛиЛ2Я) = [1(Л1)
определяет продолжение меры ц на более широкую о-ал-
гебру 9tp причем
И1(Л) = И*(Л).
Полные меры. Мера ц = |i (Л) на о-алгебре 91 назы-
вается полной, если всякое множество Л', содержащееся
в некотором множестве Л £ 91 меры нуль: ц(Л) = 0, входит
в о-алгебру 91. Мера ц —ц(Л) на о-алгебре всех измери-
мых множеств является полной. Всякую меру ц можно про-
должить до полной меры.
2. Меры в топологических пространствах.
Бэровские меры и их продолжение. Пусть X— регу-
лярное топологическое пространство, и пусть 91 представляет
собой о-алгебру его бэровских множеств. Всякая конечная
7 Ю. В. Прохоров, Ю. А. Розанов
98
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
12
мера ц = ц (Л) на о-алгебре 21 обладает так называемым свой-
ством регулярности*, для любого бэровского множества А
ц(А)= inf |х(0),
а 3 а
где inf берется по всем открытым бэровским множествам
G о А или, что фактически то же самое,
ц(Д)= sup p(F),
F С А
где sup берется по всем замкнутым бэровским множе-
ствам F с А,
Пример. Пусть X — действительная прямая. Бэровские
и борелевские множества на прямой — это одно и то же.
Мера ц(А) всякого измеримого множества А есть
и (Л) = inf 3 И (4*),
k
где inf берется по всем непересекающимся полуинтервалам
Ak — (x'k, Хь\, в сумме содержащим множество А. В то же
время каждый полуинтервал (х', х"] является пересечением
счетного числа открытых интервалов, и ясно, что
р,(А) = inf ц(О),
где inf берется по всем открытым множествам О, т. е. по
объединениям открытых интервалов, содержащим А.
Аналогичное объяснение можно дать и в случае произ-
вольного регулярного пространства X. В самом деле, всякое
множество F £ 21, являющееся прообразом нуля при неко-
тором непрерывном отображении ф = ф(х) на действительную
прямую Y: /?={ф —0), совпадает с пересечением счетного
числа открытых множеств (7б вида О6= {|ф| < d): F — П Об.
В силу непрерывности меры ц
У (Г) = inf у (G6).
Для разностей А — Fx \ F2 таких множеств Fx и Р2 (F2 £ Fx)
имеем
У (Л) = у. (Fx) — у, (F2) = inf у (О).
2| § 2. РАСПРЕДЕЛЕНИЯ И МЕРЫ 99
где inf берется по всем открытым множествам G вида Gx \ F2
(С?! о F}). Меря же произвольного измеримого (по отноше-
нию к р) множества А есть
ц (Л) = inf 2 Н Иа).
к
где inf берется по всем взятым в счетном числе непересе-
кающимся множествам Ak вида Ak = Flk\ F2k, образующим
полукольцо в ЭД. Ясно, что р (Л) совпадает с нижней гранью
inf р (О), взятой по всем открытым множествам О, т. е. по
объединениям соответствующих открытых множеств Gk =5 Ak.
Регулярные распределения на компактах. Слабое рас-
пределение р = р(А) на полукольце множеств <3 топологи-
ческого пространства X называется регулярным, если для
любого А £ 3
p(A)=:Supp (F),
где sup берется по всем замкнутым множествам F из 5t
F с А, или
р(А)= inf p(G),
где inf берется по всем открытым множествам G из 3»
G А. В случае, когда полукольцо 3 является о-алгеброй,
а р=р(А)— мерой на 3, р называется регулярной мерой.
Пусть пространство X является компактом. Тогда всякое
слабое регулярное распределение р = р (Л) является регу-
лярным распределением. Действительно, не ограничивая общ-
ности, можно считать, что р определено на кольце множеств,
и если имеется некоторая последовательность множеств
Aj =5 Л2 =2 • • • из 3 такая, что lim р(Лл)>0 (Лр Л2, ...
72->ОО
можно считать замкнутыми), то пересечение любого конечного
числа множеств из этой последовательности не пусто, а в ком-
пакте X такая центрированная система имеет непустое пересе-
чение: Q Ап 4= 0> Поэтому, если Q Ап = 0, то lim р (Лл)=0,
п п Л->ОО
так что функция р —р(А) непрерывна — является регуляр-
ным распределением. Продолжение р на о-алгебру соответ-
ствующих измеримых множеств является регулярной мерой.
Пусть р == р (А)—произвольная бэровская мера на ком-
пакте X (т. е. мера, определенная на о-алгебре бэровских
множеств пространства X). Она может быть продолжена до
7*
100 гл. И. ПРОСТРАНСТВА И МЕРЫ [2
регулярной борелевской меры ц (т.е, до меры, определен-
ной на всех борелевских множествах в X). Это продолжение
единственно и может быть задано, например, следующим обра-
зом: для любого открытого множества A <ZX
ц (Л) = sup ц (G),
где sup берется по всем бэровским открытым множествам О
(G с Л), и для произвольного борелевского множества Л cz X
ц(Л) = inf ц(О),
где inf берется по всем открытым множествам G (G □ Л).
Регулярное слабое распределение ц = ц(Л) на некотором
полукольце множеств S произвольного топологического про-
странства X называется плотным, если для любого 8 > 0
найдется компакт Л£® такой, что ц*(Х \ Л)8. Плотной»
например, является всякая регулярная борелевская мера
в топологическом пространстве X, представимом в виде счет-
ной суммы компактов. Плотной является всякая мера в произ-
вольном сепарабельном метрическом пространстве.
Высказанные выше положения о распределениях в ком-
пактах остаются справедливыми, если соответствующие рас-
пределения являются плотными в рассматриваемом простран-
стве X.
Меры и отображения. Пусть (X, 2(, р)—измеримое
пространство с мерой, ср = ф(ат)—функция на X со значе-
ниями в пространстве Y. Соотношение
иФ(^) = и {<₽€#)
определяет меру у = рф на о-алгебре 23 = 2?ф всех мно-
жеств В, прообразы {<р£В} которых входят в о-алгебру 21
(говорят, что мера у = цф индуцирована отображением ф).
Пусть X — произвольное пространство, ф = ф(х)— функ-
ция на X со значениями в К, (К, v) — измеримое про-
странство с мерой. В случае, когда множество ф(Х) является
измеримым, соотношение
уФ(Л) = ¥{ВПф(^)}, А = {ф е
определяет меру ц = на о-алгебре 21 = 21ф всех множеств
Пространства X, являющихся прообразами каких-либо мно-
жеств В (говорят, что мера p = v(P индуцирована ото-
бражением ф).
3] § 2. РАСПРЕДЕЛЕНИЯ И МЕРЫ 101
Мера р на о-алгебре множеств ЭД пространства X назы-
вается совершенной, если при всяком (ЭД, 03)-измеримом ото-
бражении ф = ф(х) пространства (А", ЭД) в действительную
прямую (F, ®) с борелевской алгеброй 23 индуцированная
на о-алгебре 23ф мера рф является регулярной. Мера р совер-
шенна тогда и только тогда, когда для любой (ЭД, ^-изме-
римой действительной функции ф = ф(х) и любого Л£ЭД
образ ф (Л) является измеримым множеством на прямой (по отно-
шению к мере ¥ = рф, индуцированной соответствующим ото-
бражением ф).
Всякая плотная мера является совершенной.
Пусть (X, ЭД, р)—измеримое пространство с совершен-
ной мерой р. Любое отображение ф = ф(х) пространства X
в произвольное пространство Y индуцирует в нем совершен-
ную меру ¥ = рф на соответствующей о-алгебре ®ф.
3. Согласованные распределения.
Произведение мер. Пусть Хх и Х2 — произвольные про-
странства, и <S2 — некоторые системы множеств в Хх
и Х2’ каждая из которых является полукольцом, р1 = р1(Л1)
и Н2==ц2(Д2) — некоторые распределения на соответствующих
множествах /Ц £ и Л2£в2.
Пусть Sy X S2—полукольцо всех множеств А простран-
ства X = Хх X Х2, представимых в виде А = Xj X А- Если
определить на SjX®2 неотрицательную функцию р_ р(Л),
положив
р(Л) = р1(Л1)ХН2(Л2) ПРИ
то р будет распределением на (5х X Н — Hi X Р2 назы-
вается произведением распределений Pj и р2.
Всякое распределение р = р(Л) на полукольце X ®2
прямоугольных множеств А = Ах X при фиксированном Аг
(или при фиксированном Л2) можно рассматривать как рас-
пределение только на ®2 (или только на Sj). Соответствую-
щие распределения
—р(^1» Х2), р2 (Л2) = р (А^р Л2)
называются проекциями распределения р.
Пусть X—топологическое пространство, являющееся про-
изведением топологических пространств Хх и Х2. Распреде-
102 ГЛ. II. ПРОСТРАНСТВА И МЕРЫ [3
ление ц будет регулярным и плотным, если соответствую-
щими свойствами обладает каждая из его проекций *).
Пример. Пусть 1 — 1 {В) — лебеговская мера на отрезке
/ = [0, 1] и /п = /п(Л) — мера на борелевских множествах А
квадрата / ХА определенная формулой
т(А) = /((х, х)£Я},
где {(х, х)£Д} означает множество точек х£/ таких, что
(х, х)£А (мера т = т(А) «сосредоточена» на диагонали D
квадрата IX /)• Пусть Хх — неизмеримое множество на
отрезке [0, 1] такое, что внешняя мера 1*(Х^) и внешняя
мера Z*(zV2) дополнительного множества Х2 — 1\ Хх равны 1.
Пусть Sj и <$2 СУТЬ п-алгебры множеств вида Ах=ВхХх и
А2—В2Х2 в пространствах Хх и Х2 (Вх и В2— борелев-
ские множества отрезка I = [0, 1]). Пусть SjX®2— по-
лукольцо множеств произведения X — Хх X имеющих
вид
я^АХЛМ^Х^Ы^Х^Ь
и р, = ц(Л) — аддитивная функция на ®1Х®2* определенная
формулой
По каждому из аргументов АхХх или А2Х2 эта функция
представляет собой меру. Если предположить, что она является
распределением и продолжается в меру, то на множествах
вида А • (АГх X А^), где — борелевское множество квад-
рата /ХА она будет удовлетворять соотношению
li[A(XxX^2)] = fn(^
Но это соотношение не выполнено при А = D (£) — диаго-
наль квадрата /ХО- В самом деле, пересечение D • (XjX А2)
является пустым множеством, и если ц — мера, то
р [D • (Хх X А2)] = О* С другой стороны, т(£))=!. Таким
образом, функция у, = ц(Д) на полукольце множеств вида
А = ВхХх X В2Х2 не является распределением, хотя по
каждому из аргументов представляет собой меру.
*) В. В. Сазонов, О совершенных мерах, Изв. АН СССР
(серия матем.), 26 (1962), 391—414.
3| § 2. РАСПРЕДЕЛЕНИЯ И МЕРЫ ЮЗ
Согласованные распределения. Пусть Z: —некоторое про-
странство и 8 — некоторое полукольцо его множеств. Пусть
X = Ет — совокупность всех функций х = х (t) на некотором
множестве Т со значениями в Е. Совокупность <5Г всех
цилиндрических множеств пространства X вида
Д=[х(/1)ев1.......х(/я)СВл),
где tv ...» и Яр •••» является полукольцом.
Пусть |1 = ц(Д) — произвольное распределение на полу-
кольце вг. Определим функции ц, t ..........«мно-
гих переменных» ............................положив
.............Вя) = ц(х(96В.........х(/„)6Вд}.
Функции ц, (Вр .В\ по каждому из аргумен-
*1» •••, \ /
тов представляют собой распределение на
полукольце ф, причем
............................
при любой одновременной перестановке tv ...» tn и Bv .Вл
и, кроме того,
.................В-Е^'....................в-)-
Совокупность функций ц,, •..» Впу обладающих
перечисленными свойствами, называется семейством согла-
сованных распределений.
Всякое семейство согласованных распределений ц, . X
р‘”’ л
Х(Яр ..Вп) однозначно определяет некоторое слабое рас-
пределение ц = ц (Д) на полукольце всех цилиндрических
множеств. Это слабое распределение ц определяется формулой
НО4) = Н,,............В,)
при
А = {х (^) С Вх....х (tn) £Вп\ (Вг.......Вп С <S).
Пусть пространство Е — компакт, Т — произвольное мно-
жество, Хт — соответствующее тихоновское произведение, и
пусть Н, „ t (Bv ...» Вп} — семейство согласованных регу-
104 ГЛ. II. ПРОСТРАНСТВА И МЕРЫ [3
лярных распределений (имеется в виду регулярность распре-
делений t . . t (^» Е, ... Е), t£T, на полу-
кольце <5 множеств В пространства Е). Определяемое ими
слабое распределение р, = р,(Л) на полукольце цилиндри-
ческих множеств также является регулярным и однозначно
продолжается в регулярную меру р на о-алгебре 21 всех
измеримых (по отношению к распределению ц) множеств А
пространства Х~ЕТ, Отметим, что согласованные распре-
деления ц, t Х(^р • • •> ^/г)> заданные на бэровских мно-
жествах пространства Е, регулярны. Все высказанные здесь
положения остаются в силе, если исходное пространство Е
и не является компактом, но рассматриваемые согласованные
распределения плотны в Е.
Пусть Е — сепарабельное топологическое пространство,
являющееся компактом, и 2? есть о-алгебра бэровских мно-
жеств в Е. В этом случае бэровская о-алгебра 21 тихонов-
ского произведения X = ЕТ порождается системой всех цилин-
дрических множеств А вида A — \x(tx)£Bv ..., х(^)^Вл},
где Bv ..., Вп — бэровские множества пространства Е*.
21 =21 (Г).
Всякая мера ,ц = ц(Л) на о-алгебре 21 может быть про-
должена до регулярной меры на всех борелевских множе-
ствах пространства Х = ЕТ. Такое продолжение единственно
и может быть, например, задано следующим образом: для
любого открытого множества A cl X
ц (Л) = sup ц (G),
и для любого борелевского множества А с X
ц(Л) = inf р, (G),
где sup берется по всем открытым бэровским множествам
Ос Л, каждое из которых представляет собой объединение
счетного числа открытых цилиндрических множеств, a inf
берется по всем открытым множествам *) G А.
Согласованные распределения в линейных простран-
ствах. Пусть U — некоторое линейное пространство, X —-
*) См. Е. Nelson, Regular probability measures on function
space, Ann. Math. 69 (1959), 630—643.
3]
§ 2. РАСПРЕДЕЛЕНИЯ И МЕРЫ
105
сопряженное пространство линейных функционалов x = (ut"x}
на U. Система цилиндрических множеств АдХ вида
{(иР х)£Вр .... (мл. х)£Вл}
(uv . ип—произвольное конечное число элементов из Ut
Вг....Вп—произвольные борелевские множества на прямой)
образует полукольцо Пусть р, = р,(Л)—некоторое рас-
пределение на $. Положим
.............Вя) = ц(Д) (2.2)
при Д = «йр х}£Ву .... {и„, х}£В„].
Функции , и ...» по каждому из аргумен-
тов .... Вп представляют собой борелевское распре-
деление на прямой, не меняются при любой одновремен-
ной перестановке uv ип и Вр . .., Вп и, кроме того,
согласованы в том смысле, что если цилиндрические мно-
жества
д'={«. .....<«;, х)ев;л},
д= К“р .............(«п.
совпадают, то
•*.£..........«у-»................«.)•
Всякое семейство функций и „ (В., В\ обла-
иI, . . ., 11^ \ 1 «/’
дающее указанными свойствами, называется семейством со-
гласованных распределений. Согласованные распределения
и п (В , ..., В \ отвечающие каждым и., ...» u£U,
определяют слабое распределение р = ц(Д) на полукольце
всех цилиндрических множеств (ц(Л) задается формулой (2.2)).
Пусть U—счетно-гильбертово пространство, X—со-
пряженное к нему топологическое пространство всех линей-
ных непрерывных функционалов. Задаваемое согласованными
распределениями и (Bv . . ., В^ слабое распределение
Ц = ц(Л) на о-алгебре 21, порождаемой полукольцом цилин-
дрических множеств, будет настоящим распределением тогда
и только тогда, когда для любого 8 > 0 существует «шар»
106 гл. II. ПРОСТРАНСТВА И МЕРЫ Ц
Sp(r) — {|| х ||р<^ г}—компакт в X— такой, что
при A czSp(r) (т. е. при любом Л £91, лежащем вне «шара»
5р(г)).
Каждая из функций ц, .. t ........согласованного
семейства распределений фактически представляет собой рас-
пределение на полукольце всех множеств вида Вх X • • • X Вп
в n-мерном пространстве Еп (Е действительная прямая)
и определяет борелевскую меру в этом пространстве. Обо-
значим такую меру р
“1» •••, «д
Пусть пространство U не только счетно-нормированное,
но и ядерное. Условие, при котором согласованное семейство
распределений задает распределение ц = ц(Л) на о-алгебре 91,
порождаемой полукольцом цилиндрических множеств, состоит
в том, что при uxk —>их...ank~>un борелевские распреде-
ления^ > и (отвечающие функциям рц и ...............В^\
слабо сходятся *) к соответствующему распределению
И“1...ип
...-,,.=4......лри
§ 3. Меры и интегралы
1. Интеграл и его свойства. Пусть (А', 91, ц)— про-
извольное пространство с конечной полной мерой ц==ц(Л)
на о-алгебре множеств 91. Функция ф = ф(х) на простран-
стве X со значениями в некотором пространстве Y назы-
вается простой, если она принимает не более счетного числа
различных значений ур у2, • • • на соответствующих непере-
секающихся множествах Лр Л2, ... £ 91. Действительная про-
стая функция ф(х) на пространстве X называется интегри-
руемой (относительно меры ц), если сходится соответствую-
щий ряд 2 I № |1хИй).
*) Относительно слабой сходимости см. И. М. Гельфанд,
Н. Я. Виленкин, Обобщенные функции, т. IV. Некоторые при-
менения гармонического анализа. Оснащенные гильбертовы про-
странства, М., Физматгиз, 1961.
1|
§ 3. МЕРЫ И ИНТЕГРАЛЫ
107
Интеграл простой интегрируемой функции ф(х), обо-
значаемый J ф (х) ц (dx), определяется формулой
х
J ф (*) Ц (dx) = 2 УлН (Лл).
X k
Произвольная действительная функция ф(х) на X называется
интегрируемой, если она является пределом равномерно
сходящейся последовательности простых интегрируемых функ-
ций фДх), ф2(х), . .
ф(*) = lim ф„(х);
П->ОО
интегралом интегрируемой функции ф(х) называется соот-
ветствующий предел
[ ф(х)ц(йх) = lim Г Фл(х)ц(«/х).
Функция ф(х) называется интегрируемой на множестве
А £ 21, если интегрируемой является функция вида ф(х)фА(х),
где фл(х) — индикатор множества А:
1 при х £ А,
0 при х(£А.
Интеграл J* ф(х)ц(^х) функции ф(х) на множестве А опре-
А
деляется как
J ф(х)р.(с?х) = | ф(х)фл(х)ц(й?х).
А X
Фд(х) =
Всякая измеримая ограниченная функция ф(х) является
интегрируемой; в качестве последовательности простых инте-
грируемых функций ф! (х), ф2(х), ...» равномерно сходя-
щейся к ф(х), можно взять функции фл(х) вида
ФЯ(*) = -^ при ——- <ф(х)<-.
Функция ф(х) является интегрируемой тогда и только
тогда, когда она измерима, а ее абсолютная величина | ф (х) j
108
ГЛ. И. ПРОСТРАНСТВА И МЕРЫ
[1
интегрируема. Если функции ф^х) и ф2(х) таковы, что
|Ф1(х)|<: |ф2(х)|, Ф1(х) измерима, а ф2(х) интегрируема,
то интегрируемой является и функция фДх); если фДх)^
<ф2(х), то
/ <Р1 (*) И (rfx) < J ф2 (*) И <dx)-
X X
Выражения почти всюду или для почти всех х (отно-
сительно меры ц) означают, что речь идет о всех х£Х,
за исключением, быть может, некоторого множества A cz X
меры нуль: ц(Д) = 0. Для любой функции ф(х), почти
всюду равной нулю, интеграл J ф(х)ц(б/х) равен нулю; если
х
J I ф(*)| ц(^х) = 0, то ф(х) = 0 почти всюду.
X
Для любой интегрируемой функции ф(х)
J | Ф (х) [ ц (t/x) vrai sup | ф | . pt (4),
А
где vrai sup |ф| — так называемая истинная верхняя грань
функции | ф(х) | — определяется как верхняя грань всех тех у,
для которых Ц {| ф| > У} >0.
Для любых интегрируемых функций фх (х), ф2 (х) и лю-
бых действительных и Л2 функция ф(х) — Л1ф1 (х) +
-]~Х2ф2(х) является интегрируемой, причем
J Ф (х) И (dx) = Xj J ф1 (х) ц (tZx) + Х2ц2 (tfx).
х х
Обобщенные меры и их абсолютная непрерывность.
Пусть v = v(4)— конечно-аддитивная действительная функ-
ция на о-алгебре 21. Выражение
Var v (Л) = sup 2 I v (Ak) |,
k
где sup берется по всем разбиениям множества А £ 21 на
непересекающиеся множества Др А2, 21, называется ва-
риацией функции v на множестве А.
1] § 3. МЕРЫ И ИНТЕГРАЛЫ 109
Если Varv(X) является непрерывной функцией на 91,
т. е. если
lim Varv(X/z) —0
п -> оо
для любой последовательности Аг А2 =□ .. . множеств из 91,
имеющих пустое пересечение, то у(Л) называется обобщен-
ной мерой. Вариация Уагу(Л) обобщенной меры у(Л)
является мерой на 91. Обобщенная мера ¥(Л) называется
абсолютно непрерывной относительно меры ц(Л), если для
любого существует такое б, что Varv(4)<^£ при
р(Л)^б, каково бы ни было множество А £91. Это равно-
сильно тому, что Varv(4)~0 при ц(Л) = 0, А £91.
Для любой интегрируемой функции ф(х) (относительно
меры ц) интеграл
/(Л)= J <p(x)ji(dx) (Л £91)
А
представляет собой обобщенную меру на о-алгебре 91, абсо-
лютно непрерывную относительно меры р(Л). При этом
Уаг/(Л) = J | ф (х) | р, (tfx),
А
Var I (X) = J | ф (х) | ц {dx) < оо.
х
Всякая обобщенная мера v(X) на 91, имеющая ограниченную
вариацию и абсолютно непрерывная относительно меры |1(Л),
представляется в виде
v(X)= J q>(x)g(dx),
А
где ф(х)—некоторая интегрируемая функция, называемая
плотностью и обозначаемая как ф(х)==-^4^4-.
Y 7 |х {dx)
Всякая обобщенная мера у(Л) абсолютно непрерывна от-
носительно меры Varv(4) и может быть представлена в виде
v (Д) = рц (Л) — ц2(Л), г^е Hi и Нг—взаимно сингулярные
или, иначе, перпендикулярные меры на 91. Перпендикуляр-
по
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
п
ность {ij и ц2 означает, что существуют такие непересекаю-
щиеся множества Аг и Л2 из 21, что
И1(Х\Л1) = 0, ц2(Х\Л2) = 0.
Каковы бы ни были меры v и ц, мера v может быть
представлена в виде v (Л) ~ (Л)-)-ц2(Л), где щ и ц2 —
взаимно сингулярные меры, причем абсолютно непрерывна
относительно ц, а ц2 перпендикулярна р.
Пространство С {X). Пусть пространство X является
компактом, и пусть ц = ц(Л) — мера на о-алгебре 91 всех
бэровских множеств пространства X. Всякая действительная
непрерывная функция <р (х) на X измерима, ограничена и инте-
грируема. Пусть С (X)—нормированное пространство всех
действительных непрерывных функций ф(х) на X с нормой
||ф|| = sup | ф(х) |.
X
Интеграл
(ф, /) = J ф (X) |Л (dx)
X
является линейным непрерывным функционалом на простран-
стве С(Х). Этот функционал положителен в том смысле,
что (ф, /)^0 при ф(х)}>0. Всякий линейный непрерывный
положительный функционал (ф, /) на пространстве С(Х)
представляется в виде (ф, /)— | ф(х)р(^х), где р— неко-
х
торая бэровская мера. Всякий линейный непрерывный функ-
ционал представляется в виде разности положительных функ-
ционалов.
Сходимость функций и интегралов. Некоторые нера-
венства. Пусть а (у)— некоторая борелевская неотрицатель-
ная функция на прямой, такая, что а(—у) — а (у) и а (у")
}>а(у') при 0<^у'<^у". Тогда для любой измеримой дей-
ствительной функции ф(х) имеют место следующие неравен-
ства:
J а [<р (х)] |х (dx)
и(|ф1 >у}< ------------------•
1] § 3. МЕРЫ И ИНТЕГРАЛЫ Ш
где у — произвольное положительное число; для а(у) = |у|а
(а > 0)
Н{|ф|>у}<т-^-1 |ф(х)|“н(rfx);
1Л £
для а (у) = еаУ (а > 0)
Н1ф|> У} ea4>«|x(dx).
X
Пусть (X, 21, н) — произвольное пространство с мерой.
Последовательность измеримых функций ф^х), ф2(х), ...
называется сходящейся по мере к измеримой функции ф(х),
если для любого е > 0
lim ц{|фя — ф|>е) = 0.
п -> оо
Сходимость по мере равносильна сходимости в метрическом
пространстве всех измеримых функций, в котором расстояние
определено как
X
При этом равенство ф' = ф" означает, что ф' (х) = q" (х) для
почти всех х.
Это метрическое пространство является полным, т. е.
всякая фундаментальная по мере последовательность ф! (х),
Ф2(х), ...:
lim ц {|фт — фя| > е] = 0,
т, п -> оо
сходится по мере к некоторой измеримой функции ф(х).
Любая сходящаяся почти всюду последовательность ф^х),
Ф2(х), ... сходится по мере. Всякая сходящаяся по мере
последовательность ф! (х), ф2 (х), ... содержит некоторую
подпоследовательность, сходящуюся почти всюду. Последо-
вательность ф^х), ф2(х), ... сходится почти всюду тогда и
только тогда, когда для любого 8 > 0
lim и [J {|фот — ф|>е} = 0.
п + °° т>п
112
ГЛ. И. ПРОСТРАНСТВА И МЕРЫ
|1
Если последовательность cpj (х), ф2 (х), ... сходится по
мере к функции ф(х), то подпоследовательность фл , k —
ak
= 1, 2, ...» для которой при любом 8>0
2н{|фЯй—ф|>£} <оо.
будет сходиться к ф(х) для почти всех х.
Последовательность интегрируемых функций (х),
ф2(х), ... называется сходящейся в среднем к интегрируе-
мой функции ф(х), если
lim [ |фт(х) —ф(х)|ц(</х) = 0.
Л ->ОО^
Для такой последовательности
lim
л -> оо
J фл (x)H(dx)?= j <p(x)(!(dx).
X
X
Сходимость в среднем означает сходимость в нормированном
пространстве 1А(Х) всех интегрируемых функций ф(х)
с нормой
||ф(*)И= / |Ф(X)IН(dx).
X
При этом равенство ф' = ф" означает, что ф'(х) = ф"(х) для
почти всех х.
Это пространство является полным, т. е. всякая фунда-
ментальная в среднем последовательность ф! (х), ф2 (х), . . .:
lim f |фт(х) —ф„(х)|н(<*х)=0,
т, п -> оо £
сходится в среднем к некоторой интегрируемой функции ф(х).
Последовательность функций Ф! (х), ф2(х), . . . называется
равномерно интегрируемой, если для любого е > 0 суще-
ствует д такое, что
/ | ф„ О) IИ (dx) < е
А
одновременно для всех п—\, 2, ... при ц(Л)<:д, А £91.
1]
§ 3. МЕРЫ И ИНТЕГРАЛЫ
113
Последовательность функций <рг (х), <р2 (х)> • • • является
равномерно интегрируемой тогда и только тогда, когда
/ |<Ря(*)|Н(^)<е. /1п={|фя|>У}
одновременно для всех п=1, 2, ... при достаточно боль-
шом у.
Всякая сходящаяся в среднем последовательность ф^х),
ф2(х), ... равномерно интегрируема. Равномерно интегрируе-
мой будет последовательность ф^х), ф2(х), удовлетворяющая
одному из следующих условий: | фл (х) | ф (х), п = 1, 2, . ..,
где ф(х)— некоторая интегрируемая функция; | фл (х) |
<|фл+1(х)| и J 1фл(-0|нЖ)<С. п=1. 2................С —
X
= const не зависит от п. Последовательность интегрируемых
функций Ф^х), ф2(х), . . . сходится в среднем тогда и только
тогда, когда она равномерно интегрируема и сходится
по мере.
Если функции [ф! (х)]2 и [ф2 (х)]2 интегрируемы, то инте-
грируемы также произведение Ф1(х)ф2(х) и сумма Ф^х)-}-
+ Ф2(х)» причем
J |Ф1(-с)Ф2(х)|ц(</%)<
X
<]/' J IФ1W I2 н (rfx) • J |ф2(х)|2ц(</х),
V X X
J |Ф1(>0+Ф2(*)12Н(</х)<
J j/" / 1ф2(*)12м-(<^) •
Пространство L2(X) всех функций ф(х), квадраты кото-
рых интегрируемы, является полным гильбертовым простран-
ством со скалярным - произведением
(Ф1> Фг) = J Ф1 (О Фг (*) И (dx)-
х
8 Ю. В. Прохоров, Ю. А. Розанов
114 гл. II. ПРОСТРАНСТВА И МЕРЫ
II
При этом отождествляются все функции ф (х), отличающиеся
друг от друга лишь на множестве меры нуль.
Если функции ф(х) и ф(х) измеримы и если функции
|ф(х)|а и |ф(х)|р, где а, ₽>0 и 1/а4-1/₽=П являются
интегрируемыми, то будет интегрируемо и произведение
Ф(х)ф(х). При этом имеет место неравенство
/ |ф(х)ф(х)|ц(</х)<
X
1 _1_
<Г J |Ф(х)Гн (<*х)1а Г | |ф(х)|эц(«Гх)р .
,х J lx J
Для любых измеримых функций фДх) и ф2(х) таких, что
| Ф1 |а и |ф2|а, а^1, являются интегрируемыми функциями,
имеет место неравенство
j IФ1 (*)+ф2 О) Г и (rfx)
X
а
< f |Ф1(х)Гн(</х) “+ Г J |ф2(х)|ац(4
_Х J LX
Пространство L?(X) всех измеримых функций
с нормой
ф (*)
||ф||== J |ф(х)Ги(</х) “ (а>1)
представляет собой нормированное пространство, в кото-
ром отождествлены функции, отличающиеся друг от друга
лишь на множестве меры нуль. При этом пространство L$(X)
будет сопряженным к пространству L\X) (1/a-j-1/р= 1):
всякий линейный непрерывный функционал (ф, ф) на эле-
ментах ф££а(?0 имеет вид
(ф. Ф)= J Ф(х)ф(х)ц(</х).
X
где ф(х)— некоторая функция из пространства L?(X). Со-
пряженным к пространству L1 (X) является пространство
/ |Ф(л:)Г|А(^)
х
1] § 3. МЕРЫ И ИНТЕГРАЛЫ 115
£°°(Л) всех измеримых функций ф(х), истинная верхняя
грань которых конечна:
1
||ф|| = vraisup | ф(х)| = lim
п -> оо
Именно, всякий линейный функционал (<р, ф) на простран-
стве LX(X) всех интегрируемых функций ф(х) имеет вид
(ф. Ф) = j ф (*) Ф (х) ц (dx),
х
где ф(х)— некоторая функция из пространства А00 (Д’).
Пусть La (X), 0 < а < 1, — пространство всех измеримых
функций ф(х) таких, что
| | ф (х) |а ц (dx) < оо.
х
Это пространство является линейным. Если отождествить те
его элементы ф' и ф", для которых ф'(х) = ф"(х) почти
всюду, и ввести расстояние
Р (фр ф2) = j IФ1 (х) — <р2 (X) р (dx) (<Pi, ф2 € La (X)),
X
то La (X) будет полным линейным метрическим простран-
ством. Сходимость в этом пространстве называется сходи-
мостью в среднем с показателем а.
Сходимость мер. Пусть (X, 21)—произвольное измери-
мое пространство с о-алгеброй множеств 21. Последователь-
ность мер рл = цл(Д) на о-алгебре 21, п — 1, 2, . . назы-
вается сходящейся по вариации к мере р, —ц(Д), если
lim Var[p/l(Ar)— p(X)] = 0,
П -> ОО
где Var(prt.— ц) означает вариацию разности цл(Д)— |ы(Л)
как обобщенной меры на о-алгебре 21. Совокупность всех
обобщенных мер ц = р,(Д) на о-алгебре 21 является полным
нормированным пространством с нормой || р || = Var ц (Д').
Сходимость по вариации означает сходимость в этом норми-
рованном пространстве.
8*
116 ГЛ. II. ПРОСТРАНСТВА И МЕРЫ [1
Пусть vn = vn (А), п — 1, 2.........— последовательность
обобщенных мер, абсолютно непрерывных относительно неко-
торой меры ц = р(Д):
(Л) = J ф„ (х) ц (rfx) (Л С 21).
А
Тогда сходимость по вариации этой последовательности
к обобщенной мере v = v(/4) означает сходимость в среднем
м ч vZ2(Jx)
соответствующих плотностей фл (х) = — '; предельная
Ц [иХ)
обобщенная мера v абсолютно непрерывна относительно ц:
v(X)— [ ф(х)р(^х),
А
и при п->оо
Var [vrt (X) — v (X)] = j | фл (x) — ф (x) | p (dx) -> 0.
x
Пусть X — топологическое пространство, и пусть ?! есть
а-алгебра всех бэровских множеств в X, и С (X) — простран-
ство всех действительных непрерывных ограниченных функ-
ций ф(х) на X с нормой || ф || = sup | ф (х) |. Любая действи-
тельная обобщенная мера р, = ц(Л), А £ ?1, задает некоторый
линейный непрерывный функционал (ф, /) на простран-
стве С (X):
(ф, /)= J ф(х)|1(</х)
X
(см. стр. 87 и 88). Норма этого функционала есть
|| / || = Var ц (X).
Сходимость по вариации последовательности бэровских
мер n=\t 2, означает сильную сходимость после-
довательности соответствующих линейных функционалов 1п
(т. е. сходимость в сопряженном пространстве с сильной
топологией). Последовательность бэровских мер л=1,
2, .... называется слабо сходящейся к бэровской мере ц:
если слабо сходится последовательность соответ-
ствующих функционалов 1п (т. е. последовательность /й,
1]
§ 3. МЕРЫ И ИНТЕГРАЛЫ
117
п== 1, 2, .... сходится в сопряженном пространстве со сла-
бой топологией):
lim I <p(x)p,„(rfx)= f (p(x)p(dx)
п оо А А
для любой непрерывной ограниченной функции <р(х), <р£С(Х).
Пусть X — сепарабельное метрическое пространство. Сла-
бая сходимость последовательности мер и=1, 2, ...»
равносильна каждому из перечисленных ниже условий:
a) lim ря(Х) = р(А'), lim р.л (О) > р. (G)
Л“>О° Л->СО
для любого открытого множества О с X;
б) lim (%) = ц (X), lim ря (F) < р (F)
П->ОО /2~>ОО
для любого замкнутого множества Fc/;
в) lim р„(Д)=ф(Л)
л->оо
для любого борелевского множества А с X такого, что его
граница А' имеет меру нуль: р(Л') = 0.
В полном сепарабельном метрическом пространстве X
совокупность всех бэровских мер ц будет полным сепара-
бельным метрическим пространством, расстояние в котором
определено следующим образом:
р(ц', р.") = тах(р', р").
где р' и р"— нижние границы чисел г' и г", соответственно,
таких, что для любого замкнутого множества FqX
Н' (F) < (Vr> (F)) + г'. р" (F) < ц' (Vr- (F)) + г",
Ve(F)— совокупность точек х £ X, находящихся от замкну-
того множества F на расстоянии, меньшем е > 0.
Сходимость в этом метрическом пространстве равносильна
слабой сходимости. Семейство мер р на борелевской о-алгебре
пространства X слабо компактно (т. е. компактно в опи-
санном выше метрическом пространстве всех борелевских мер)
тогда и только тогда, когда это семейство равномерно огра-
ничено:
Н(А')<С,
118 гл. II. ПРОСТРАНСТВА И МЕРЫ [1
и равномерно плотно: для любого е > 0 существует компакт
А с X такой, что
р(Х\Л)<е
для всех мер рассматриваемого семейства *).
Пример. Слабая сходимость функций распределения.
Всякая нормированная борелевская мера ц на действительной
прямой — оо < х < оо однозначно определяется функцией
распределения /^(х), связанной с ц соотношением
F (х) = ц (Л), Л = (—оо, х].
Последовательность мер цл, п=1, 2, слабо схо-
дится к мере ц тогда и только тогда, когда слабо сходится
соответствующая после-
довательность функций
распределения Fn, n=\t
2, . . . Слабая сходимость
при п —> оо равно-
сильна каждому из усло-
вий: a) Fn (х) —> F (х)
при каждом х, являю-
щемся точкой непрерывно-
сти предельной функции
F (х) (включая точки х==
= ±оо);б) Fn (x)->F(x)
на некотором всюду плотном множестве точек х действительной
прямой (включая х = оо); в) р(/7л, F)->0, где расстояние
p(F', F") между функциями распределения F' (х) и F" (х)
определяется как нижняя грань тех г, для которых при всех х
F" (х — г) — г < F'(x) < F" (х + г) 4- г.
На рис. 19 указана область, в которой лежат графики всех
функций распределения, находящихся от F (х) на расстоянии
Р(> F)<r.
Пример. Пусть Х = С[а,Ь]— пространство действи-
тельных непрерывных функций х = х(/) на отрезке \а, b]t
*) См. В. С. Варадарайн, Меры на топологических про-
странствах, Матем. сб., 55(97), № 1 (1961), 35—100; Ю. В. Прохо-
ров, Сходимость случайных процессов и предельные теоремы
теории вероятностей, Теория вероят. и ее примен., I, 2(1956), 177—235.
Рис. 19.
2] § 3. МЕРЫ И ИНТЕГРАЛЫ П9
причем || х || = sup | х (t) |. Для слабой компактности семейства
ограниченных в совокупности бэровских мер ц на простран-
стве X — С[а, необходимо и достаточно, чтобы при любом
е > 0 существовали число М и функция ср = ср (6), Ит ф (6) = О,
д ->0
такие, что равномерно по всему семейству мер
Н {sup | х (f) | < Al} > р, (X) — е,
р I sup (о(Д)<<р(д) при всех 61>р.(20 — е, где Д— ин-
1|Д|<6 j
тервал длины | Д| и
ш(Д)= sup — x{t2)\.
Л» Л
2. Абстрактные меры и интегралы. Пусть (Xt 91)—про-
извольное измеримое пространство с о-алгеброй множеств 9(,
L — некоторое полное нормированное пространство, и пусть
ц — ц(Л)— конечно-аддитивная функция множеств на о-ал-
гебре 91 со значениями в пространстве L. Величина
Var р (Л) = sup || 5 (Лл) || ,
где sup берется по всем числам |ХЛ | <11, и всем конеч-
ным разбиениям множества А £ 91 на непересекающиеся мно-
жества Л^^9(, называется вариацией функции ц на мно-
жестве А.
Если вариация Vary,(Л) — конечная и непрерывная функ-
ция на о-алгебре 91, то р называется обобщенной мерой со
значениями в пространстве L\ непрерывность вариации Varp
означает,, что
lim Varp(X) = О
п->оо
для любой последовательности Ат Л2 ... множеств из Я,
имеющих пустое пересечение.
Если функция р = ц(Л) на о-алгебре 91 со значениями в
нормированном пространстве L является обобщенной мерой, то
для любого линейного непрерывного функционала v = (-, v)
на пространстве L обобщенной мерой является числовая
функция
у(Л) = (ц(Л), v) (ЛС?1);
120
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
[2
при этом
Уагц(Л) = sup Уагу(Л),
||V|| = 1
где sup берется по всем линейным непрерывным функциона-
лам v, для которых || v ||= 1.
Пример. Ортогональные меры. Пусть L — гильбертово
пространство, и пусть обобщенная мера ц = ц(Л) со значе-
ниями в L такова, что для любых непересекающихся мно-
жеств Ах и А2 из 91 значения ц^) и ц(Л2) ортогональны:
Ш), ц(Л2)) = 0.
В такохм случае неотрицательная функция т = т (А) = || ц (Л) ||2
представляет собой конечную меру на о-алгебре 91. Вариа-
ция Уагц(Л) есть Ут (А).
Пусть ц = ц (Л)—произвольная обобщенная мера на (X, 91)
со значениями в нормированном пространстве Z, и пусть
ф —ф(х) — простая действительная (или комплексная) функ-
ция на пространстве X:
ф(х) = ул при x£Ak (&=1, 2, ...).
п
Положим В = (J Ak и
k~m
Var | ф(х)ц(б7х) = sup
в
где верхняя грань берется по всем числам | 1 | yk |,
и по всем конечным разбиениям множеств Лй, k = m,
/n-f-l, ...,пг на непересекающиеся множества Л^.^91. Го-
ворят, что функция ф = ф(х) интегрируема, если
lim Var | ф (х) ц (dx) = 0,
т, л->оо "
13
Интеграл такой функции определяется формулой
/ Ф(*НЦ^)==
X к
2|
§ 3. МЕРЫ И ИНТЕГРАЛЫ
121
Точнее, интеграл j ф(х)н(^х)—предельный элемент для
х
п
частных сумм 2
k=* 1
lim
Л->ОО
п
J ф (х) н (dx) — (Ak)
X * = 1
Произвольная функция ф(х) называется интегрируемой^
если она является пределом равномерно сходящейся последо-
вательности простых интегрируемых функций ф! (х), ф2(х), ...;
интеграл такой функции ф(х) определяется как
| ф(х)ц(б/х) = lim f Фл (х) р (tfx).
х п^х
Интеграл функции ф(х) на множестве А £ 21 определяется
формулой
J Ф(х)Н(<*х)= / ф(х)фл(х)р.(«?х),
где
Фл(х) =
1 при х£А,
О при х(£А.
Все ограниченные измеримые функции интегрируемы. Если
измеримые функции фДх) и ф2(х) таковы, что (фДх)^
|ф2(х)|. и функция | ф2(х) | интегрируема, то интегрируемой
будет и функция фДх).
Для любых интегрируемых функций ф! (х), Ф2(х) и любых
чисел Z2 функция Ф(х) — (х)4~ (х) также инте-
грируема, причем
j ф(х)ц(</х) = А! | ф1(х)н(</х)Н-12 | ф2(х)ц(^х).
XXX
Для любой интегрируемой функции ф(х) интеграл
/(Д)= j ф(х)н(</х) ие?1)
А
122
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
[2
представляет собой обобщенную меру со значениями в про-
странстве L, абсолютно непрерывную относительно ц, т. е.
для любого е>0 существует такое д, что Var/(Л)при
Уагц(Л)<;д, каково бы ни было А При этом
Var/(АГ) = Var j ф (x)ji(dx) < оо.
х
Выражения почти всюду или для почти всех х (относи-
тельно обобщенной меры ц) означают, что речь идет о всех
х £ X, за исключением, быть может, некоторого множества
Л£?1 такого, что Varp(H) = 0. Для любой функции ф(х)
почти всюду равной нулю, интеграл J ф(х)ц(^х) равен нулю;
х
если Var | ф(х)ц(б/х) = 0, то ф(х) = 0 почти всюду.
х
Имеет место неравенство
Var J ф(х)ц(б/х)< vrai sup |ф| • Var ц (АГ),
где vrai sup означает верхнюю грань тех у, для которых
Varp {|ф| > у} > 0.
Вообще, если интегрируемые функции ф! (х) и ф2(х) та-
ковы, что |ф1(х)|<|ф2(х)|, то
Var J ф! (х) ц (dx) < Var J ф2 (х) |i (tfx).
х х
Последовательность измеримых функций ф^х), ф2(х), ...
называется сходящейся по мере к измеримой функции ф(х),
если для любого е > 0
lim Var ц { | фл — ф [ > е] = 0.
л->оо
Всякая сходящаяся почти всюду последовательность фДх),
Ф2(х), ... сходится по мере. Всякая сходящаяся по мере
последовательность фДх), ф2(х), ... содержит некоторую
подпоследовательность, сходящуюся почти всюду.
2]
§ 3. МЕРЫ И ИНТЕГРАЛЫ
123
Последовательность интегрируемых функций <Pj (х),
<р2(х), ... называется сходящейся в среднем к интегрируе-
мой функции ф(х), если
lim Var f [фл(х)— ф(х)] ц(dx) — 0.
/2->00 J
Для такой последовательности
lim
**4
ф„ (х) |Л (dx) = J ф (х) р. (dx).
X
Всякая сходящаяся в среднем последовательность интегри-
руемых функций ф](х), ф2(х), ... равномерно интегрируема:
для любого е > 0 существует такое д > 0, что при Varp(4)^d
выполняется неравенство Var J фл (х) ц (dx) е одновременно
А
для всех п=1, 2........каково бы ни было 4^21.
Последовательность ф^х), ф2(х), ... равномерно инте-
грируема тогда и только тогда, когда для любого е > 0 су-
ществует такое у, что
Var J фл (х) ц (dx) 8,
одновременно для всех п=\, 2, ... Равномерно интегри-
руемой будет, например, последовательность функций ф^х),
ф2(х), ... таких, что | Фл (х) | ф (х), л=1, 2, ...» где
ф (х) — некоторая интегрируемая функция. Последовательность
Ф1(х), ф2(х), ... сходится в среднем тогда и только тогда,
когда она равномерно интегрируема и сходится по мере.
Пример. Спектральное представление операторов.
Пусть Е = Е(В)— операторная функция на о-алгебре боре-
левских множеств В действительной прямой — оо < % < оо,
и пусть значениями этой функции являются проекционные
операторы Е (В) в гильбертовом пространстве L7, причем Е (В)
обладает тем свойством, что
а) Е
Вп\=^Е(Вп)
/ п
124
ГЛ. И. ПРОСТРАНСТВА И МЕРЫ
для любых непересекающихся множеств Bv Вп ^Е
есть единичный оператор, если Bv ...» Вп в сумме соста-
вляют всю действительную прямую^;
б) Е (В'. В") = Е (Br). Е (В")
для любых В' и В". Тогда при каждом фиксированном u£U
функция Фц(В) = Е(В)и будет обобщенной ортогональной
мерой на действительной прямой со значениями в гильберто-
вом пространстве U такой, что УагФи = || zz||.
Всякая измеримая ограниченная функция ф = ф(Х) будет
интегрируемой относительно обобщенной меры ФЦ==ФЦ(В)>
каково бы ни было и £ U, а соответствующий интеграл
= J <р(%)Ф0(</%)= J ф(А.)£(<А)ц
определяет линейный ограниченный оператор А на простран-
стве U. Если и А2 — линейные операторы такого типа, то
оо
(А^и', А2и") = j <pi (%) • ф2(Х) Fu't и> (d'K),
— ОО
где ф!<Л) и Ф2(М — соответствующие операторам Аг и А2
функции на действительной прямой — оо < Л < оо, а Еиг, и" —
обобщенная (действительная или комплексная) борелевская
мера:
Лг, (В) = (Фи> (В), Фи» (В)) = (В (В) и', и”).
Если функция ф(А,) является действительной, то соответ-
ствующий ей оператор А будет самосопряженным. Если
|ф(Х)|= 1, то соответствующий оператор А будет уни-
тарным (см. стр. 91).
Всякий ограниченный самосопряженный оператор А допу*
скает представление в виде
ь
Аи= J ZB (tfZ) и (и£ U),
21
§ 3. МЕРЫ И ИНТЕГРАЛЫ
125
Где Е = Е (В) — некоторая операторная мера описанного
типа. Всякий унитарный оператор А допускает представле-
ние в виде
л
Аи — ^eilE(dk)u (u£U).
-л
Любая операторная функция A — A(t) (на действитель-
ной прямой — оо < t < оо), значениями которой являются
унитарные операторы А (t) в гильбертовом пространстве U
и которая удовлетворяет условию
A^ + t^AttyAtt^
допускает представление в виде
оо
Д (0 « = J eiKtE (dE) и (и е U).
— ОО
Интегрирование абстрактных функций. Пусть
(X, 91, ц) — произвольное пространство с конечной полной
мерой ц на о-алгебре множеств 91, Y — полное нормирован-
ное сепарабельное пространство, 23 — борелевская о-алгебра
пространства Y,
Функция ф = ф(х) на множестве А пространства (X, 91)
со значениями в пространстве (Y, ®) является измеримой
тогда и только тогда, когда выполнено одно из следующих
условий:
а) для любого непрерывного функционала z = (у, z) на
пространстве Y числовая функция (ф(х), z\ х£Х, изме-
рима;
б) функция ф(х) является пределом равномерно сходя-
щейся последовательности простых измеримых функций ф! (х),
ФгС*) т. е.
lim ||Фя(х) — <р(х)|| = 0
л->оо
равномерно по х£Х.
Если функция ф(х) измерима, то числовая функция |[ Ф (х) ||
также измерима.
Пусть ур у2, ... — некоторое счетное множество точек
пространства К, всюду плотное в Y. В таком случае после-
довательность фДх), ф2 (х), ... простых измеримых функций,
126
ГЛ. II. ПРОСТРАНСТВА И МЕРЫ
равномерно сходящаяся к измеримой функции ф(х), может
быть построена следующим образом:
Уп(х)~Ут ПРИ х€Атп (т, п=1, 2, ...),
где измеримые множества Атп определяются формулами
Ля= {1|ф(*) — У1Н< !/«}•
т-1
Л = 1
Простая функция ф(х) на пространстве X со значениями
в нормированном пространстве К:
ф(*) = У* при x£Ak (6=1,2,...),
называется интегрируемой, если сходится ряд
2II у Л и (л*).
к
Интеграл такой функции определяется как
J <р (х) р. (dx) = 2 (ДА).
X k
Точнее, интеграл j y(x)\i(dx) является пределом частных
х
п
сумм 2УаР(Ла):
k=l
lim
П->оо
П
j ф(х)ц(^х)— (л*)
X k~l
Произвольная функция <р (х) называется интегрируемо^
если она является пределом равномерно сходящейся последо-
вательности простых интегрируемых функций ф^х), ф2(х),
интеграл такой функции определяется как предел
I Ф(х)|л(б?х)= lim гфл (х) ц (б/х).
х п-*°° х
2)
§ 3. МЕРЫ И ИНТЕГРАЛЫ
127
Интеграл функции ф(х) на множестве Л £51 определяется
формулой
| ф(х)и(йх) = J ф(х)фл(х)|Л (</•*).
А X
где
Фд(*) =
при х£А,
при х(£А.
1
О
Функция ф(х) интегрируема тогда и только тогда, когда
интегрируема числовая функция ||ф(х)||. Для интегрируемой
функции ф(х) интеграл
/(Д)=|ф(х)ц(</х) (Л С 51)
А
представляет собой обобщенную меру на о-алгебре 51 та-
кую, что
Уаг/(Д)< 11| <р (х) || ц {dx).
А
Для любых интегрируемых функций фДх), ф2(х) и любых
чисел Z2 функция ф (х) = (х) 4~ А,2ф2 (х) будет также
интегрируемой, причем
J Ф (х) н (dx) = j Ф1 (х) ц (dx) 4- х2 J Ф2 (х) |i (dx).
ххх
Сходимость последовательности измеримых или интегри-
руемых функций ф^х), Ф2(х), ... к некоторой измеримой
или интегрируемой функции ф(х) типа сходимости почти
всюду, сходимости по мере или сходимости в среднем
означает соответствующую сходимость к нулю последователь-
ности числовых функций ||фл(х) — ф(х)||, п—\, 2, ... По-
следовательность Ф^х), Ф2(х), ... сходится в среднем тогда
и только тогда, когда функции ||<Pi(х)||, ||ф2(х)||, ... равно-
мерно интегрируемы и последовательность ф^х), ф2(х), ...
сходится по мере.
Все высказанные положения остаются справедливыми и
в том случае, когда р, = ц(4), Д£51, является обобщенной
128
ГЛ II. ПРОСТРАНСТВА И МЕРЫ
[2
числовой мерой ограниченной вариации: нужно лишь в соот-
' ветствующих местах очевидным образом заменить обобщенную
меру р(Д) на положительную меру Уагр(Д).
Повторное интегрирование. Пусть (Хр З^) и (xY2, ?12) —
произвольные измеримые пространства, — числовая обоб-
щенная мера на о-алгебре 31р р2— обобщенная мера на
о-алгебре 312 со значениями в полном нормированном про-
странстве Л, и пусть ф(хр х2) — измеримая функция на произ-
ведении измеримых пространств (Xlt 31^ и (?С2, 312), прини-
мающая числовые значения или (когда обобщенная мера р2
является числовой) принимающая значения в полном норми-
рованном сепарабельном пространстве Е.
Если функция ф(хр х2) для почти всех хг £ Хх как функ-
ция от х2£Х2 является интегрируемой, то соответствующий
интеграл
Ф1(*1)= J фО1. x2)li2(dx2)
х2
представляет собой измеримую функцию от х1^Х1. Если
функция ф(хр х2) для почти всех х2£Х2 как функция от
xi С является интегрируемой, то соответствующий инте-
грал
ф2(х2)= J <p(Xp x^g^dxj)
х,
является измеримой функцией от х2£Х2. Для интегрируе-
мых функций Фх (-Vj) и Ф2(х2) имеет место равенство
J J <р(Хр X2)jl2(rfX2) =
X, L X,
= j J ф(Хр XjOMjG/Xj) ц2(6?х2).
Хг L X,
Пусть обобщенные меры Pj и р2 таковы, что их вариа- J
ции Varp^Xj), Л1£91р и Varp2(X2), Л2£312, представляют j
собой меры на о-алгебрах 3lj и 312, и пусть р, = X •
обобщенная мера на о-алгебре множеств пространства X =
= Х1'ХХ2 (являющейся произведением о-алгебр 3^ и
312), заданная на полукольце множеств А = /Ц X ^2 как
2|
§ 3. МЕРЫ И ИНТЕГРАЛЫ
129
произведение мер:
И (4) = И1 (40 . р2 (42) (41 С 21Р А2 £ 312).
Функция ф(х) = ф(Хр х2) от x — (xlt х2) интегрируема
(относительно ц) тогда и только тогда, когда определен один
из указанных выше повторных интегралов, так что если су-
ществует один из этих повторных интегралов, то существует
также и другой, причем
[ ф(х)(1 (dx) = j* J ф(Хр x2)\t2(dx2) ц1(с?х1) =
X
J
= J J <P(xP 1Ъ(^2).
ГЛАВА III
ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Пространства элементарных событий. Распределения
вероятностей и характеристические функции
1. Основные теоретико-вероятностные схемы.
Пространство элементарных событий, В основе всякой
теоретико-вероятностной схемы лежит так называемое про-
странство элементарных событий (Q, 21, Р) — измеримое про-
странство элементов со, называемых элементарными со-
бытиями -или элементарными исходами. с заданной на
о-алгебре 21 вероятностной мерой Р = Р (Л):
P(Q)= 1.
Множества пространства Q называются событиями} мера
Р(Л) множества А £ 21 называется вероятностью события А.
Случайные величины. Пусть (X. 23)— некоторое изме-
римое пространство; (21, 23)-измеримая функция £ = £((о) на
пространстве элементарных событий (Q, 21, Р) со значениями
в (X. 23) называется случайной величиной в фазовом про-
странстве (X. 23). Распределением вероятностей этой слу-
чайной величины | называется функция Р& = РЦ5) на
о-алгебре 8 фазового пространства, определенная как
Р?(5)-Р(ИЗ) (56»)
(распределение вероятностей Р^ представляет собой вероят-
ностную меру в фазовом пространстве (X. 23)).
Случайные величины £ = £(<о) и т] —т]((о) в фазовом про-
странстве (X 23) называются эквивалентными, если для лю-
бого множества 23 £23 события {££/?} и {т|£^} совпадают
С вероятностью единица:
Р((И5)°{п€5}) = 0.
Для сепарабельного фазового пространства эквивалентность
означает, что величины £ и т] совпадают с вероятностью еди-
ница, т. е. Р {£ Ф т]} = 0.
n
§ T. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 131
Случайная величина £ = £(со) называется непосредственно
заданной, если каждый элементарный исход со описывается
соответствующей точкой х фазового пространства (точнее,
если Q = 91 = 23 и функция £ = £(х) имеет вид £(х) = х,
Пусть |р £2» •••» In— случайные величины на прост-
ранстве элементарных событий (Q, 21, Р) в соответствующих
фазовых пространствах (Xk, Совместным распреде-
лением вероятностей этих величин называется функция
Р|,...ЛЯ=Р&1....£ (^ь Вп), определенная на множе-
ствах Я^ЗЗр ...» Вл£23л как
Pl,................В„)=р .....|ясв„).
Распределение вероятностей ....как функция на полу-
кольце множеств вида Вх X • • • X Вп, Вг £23Р ...» Вп £23л,
в произведении пространств Хх X • • • X Xп представляет
собой функцию распределения. Случайные величины £р ....
называются независимыми, если при любых Bv ...» Вп
р51.............bj^p^bj ...Р^(ВЯ).
Для всякого семейства распределений вероятностей Р,
в соответствующих фазовых пространствах (Xt, 23,) (пара-
метр t пробегает произвольное множество Т) существует
семейство случайных величин ^ = ^(<о) на некотором про-
странстве элементарных событий (Q, 9(, Р) в соответствую-
щих фазовых пространствах (Xt, 23,) с распределением вероят-
ностей Р,, независимых между собой (т. е. любые случайные
величины ..., /р .. ., tn £ Т, являются независимыми).
Случайные процессы Пусть (Е, 23) — измеримое прост-
ранство, Т — некоторое множество значений параметра t.
Функция £ = £(/) параметра t £Т, значениями |(t) которой
являются случайные величины £(/) = £ (со, /) на пространстве
элементарных событий (Q, 91, Р) в фазовом пространстве
(£*, 23), называется случайным процессом в фазовом про-
странстве ( Е, 23). Всевозможные совместные распределе-
ния вероятностей значений £(^)....£(/л), ^р •••»
Р',.../Я(В,.....В„) =
=рU(Л)€Вх..... |(Q€Вп} (В,..... в„е5»,
9* Ю. В. Прохоров1 Ю. А. Розанов
132 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
называются конечномерными распределениями вероятно-
стей случайного процесса £ = £(£).
Случайные процессы £ = £(/) и т| == ц(/) на множестве Т,
принимающие значения в фазовом пространстве (Е, 53), назы-
ваются эквивалентными, если при любом t эквивалентны
соответствующие значения £(£) = £ (со, t) и ц (7) = ц (со, Z).
При каждом фиксированном <o£Q функция £(<о, t) пара-
метра t £Т со значениями в фазовом пространстве (Е, 23)
называется траекторией или реализацией случайного про-
цесса £ = £(0- Случайный процесс £ = £(f) называется
непосредственно заданным, если каждый элементарный
исход (о описывается соответствующей траекторией х — х (Z)
в функциональном пространстве Х — ЕТ всех функций на
множестве Т со значениями в фазовом пространстве (Е, 23);
точнее, если Q = X и о-алгебра 2( порождается всевозможными
цилиндрическими множествами {х(^)£ВР . .., х(/л)£Ел},
где tx...tn £ Т и Bv ...» £ 23, а значения | (t) — % (х, t)
имеют вид £(х, t) — x(t), х£Х. Любому случайному про-
цессу можно поставить в соответствие непосредственно за-
данный случайный процесс с теми же самыми конечномерными
распределениями. Для каждого согласованного семейства
конечномерных распределений вероятностей Р/(Bv ...
.... .... tn£T, Вх......таких, что Р,=
= РДВ), t£T, являются плотными мерами в топологическом
фазовом пространстве (Е, 23), существует непосредственно
заданный случайный процесс g = £ (7) с такими же конечно-
мерными распределениями вероятностей.
Случайные величины в линейном фазовом простран-
стве, Пусть £ = | (<о) — случайная величина в линейном нор-
мированном пространстве X на пространстве элементарных
событий (Q, 21, Р).
Средним значением или математическим ожиданием
случайной величины £ называется интеграл
Q X
(предполагается, что функция £=£ (<о) является интегрируемой).
Рассмотрим векторную случайную величину | = (|р . . ., £л)
в n-мерном действительном пространстве (X, 23), где 23 — боре-
левская о-алгебра. Функция Е$ (х) = Р хр ..., хл)
j] § 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 133
переменной х = (хр ...» хл), называется функцией
распределения случайной величины | (или функцией сов*
местного распределения величин £р ...» £л). Функция
Ф5 («) = Me' <“> *> = J е1 w> х> (dx)
X
(п п \
{и, 2 ukik' *}= S ukxk) переменной и=(#р...
Л=1 Л=1 /
. . ил)на n-мерномдействительном пространстве77 называется
характеристической функцией случайной величины £ (или
характеристической функцией величин ср...,£л). Она непре-
рывна и положительно определена в том смысле, что
S ИР>°
Л, j
для любых uv и2, ... ££7и любых чисел Хр Х2..при этом
<р(0) = 1. Всякая функция ф = ф(«), обладающая указанными
свойствами, является характеристической функцией некоторой
случайной величины £.
И функция распределения F^= F^(x) и характеристи-
ческая функция ф^ = ф^ (и) однозначно определяют распре-
деление вероятностей Р^ = Р^(В), В £23, случайной вели-
чины
Обобщенные случайные процессы. Пусть U — некоторое
действительное или комплексное линейное пространство эле-
ментов и. Функция £ = параметра u£U, значениями
(и, которой являются действительные или комплексные
случайные величины (и, = £(со)) на пространстве эле-
ментарных событий (Q, 21, Р), такая, что для любых uv u2£U
и любых действительных или комплексных чисел XjZ2
(^1 + ^2’ £) = ^1(ир ^+^(«2» О
при почти всех <o£Q (иначе: с вероятностью 1), называется
обобщенным случайным процессом. Всевозможные распре-
деления вероятностей значений (ир £), . .., (ил, uv ...
.... unQU:
р«,...«„(5,....b„)=p{<«p о с 5,........<«„, о 6 да
(Вр . . Вп — борелевские множества действительной прямой
или комплексной плоскости), называются конечномерными
134
ГЛ. ПГ. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
11
распределениями вероятностей обобщенного процесса
Обобщенный процесс £ = (zz, называется непосред-
ственно заданным, если каждый элементарный исход со
описывается соответствующим элементом х — {и, х} — линей-
ным функционалом на пространстве U; точнее, если Q==A\
где X — некоторое пространство линейных функционалов
на U, о-алгебра 21 порождается всевозможными цилиндри-
ческими множествами
{(йр x)£Bv .... {и„, хУ£Вп}
пространства X и значения (zz, ^ = (zz, £(х)) имеют вид
{и, l(x)} = {ut х), х£Х.
Пример. Пусть U — совокупность всех действительных
или комплексных функций u = u(t) на действительной пря-
мой — оо < t < оо, каждая из которых бесконечное число
раз дифференцируема и обращается в нуль вне некоторого
конечного интервала. И пусть X — совокупность всех линей-
ных функционалов на пространстве I/, непрерывных в том
смысле, что
lim (zzn, х} — {и, х}, .
игГ*и
где сходимость ип->и означает, что все функции un = un(t)
обращаются в нуль вне некоторого конечного интервала
(одного и того же для всех функций) и и^ (t) —> t№> (/) равно-
мерно по t для всех производных порядка & —0, 1, .. .
(описанное пространство X является одним из основных про-
странств так называемых обобщенных функций, а соответ-
ствующий обобщенный случайный процесс — одним из основ-
ных типов обобщенных процессов).
Пусть ^ — {и, — действительный обобщенный процесс
на пространстве U. Функция
qp£ (zz) = Мг*(и £ U)
называется характеристическим функционалом обобщен-
ного процесса £ = (zz, Характеристический функционал
однозначно определяет конечномерные распределения обоб-
щенного процесса.
1] § 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ ' 135
Пусть U — счетно-гильбертово пространство со скаляр-
ными произведениями (иг, u"\t {и' и"\, •••> и пусть X —
сопряженное пространство всех линейных непрерывных функ-
ционалов х = {и, х} на пространстве U. Функция <p = <p(zz),
и£Х, является характеристическим функционалом непо-
средственно заданного обобщенного случайного процесса тог-
да и только тогда, когда ф(0) = 1, функция ср положительно
определена в том смысле, что
К, j
при любых zzp zz2, . .. £U и любых числах Хр Х2» •••» и
кроме того, выполняется следующее условие: для любого
е > 0 найдутся такое п и такой ядерный оператор А в гиль-
бертовом пространстве U со скалярным произведением
{и', zz"), что | ф (zz) — 1 | е ПРИ всех и € U» и}п 1 • Если
U — ядерное пространство, то данное условие равносильно
просто непрерывности функции ф.
Пример. Пусть U — произвольное лиейное простран-
ство и В {ut v) — произвольный билинейный положительный
функционал на U, Всегда существует обобщенный гауссовский
процесс £=(zz, £), и £ U, с корреляционным функционалом
B(zz, tz), zz, (см. далее § 2.2). Если U— гильбертово
пространство со скалярным произведением (zz, v) и В — линей-
ный положительный оператор на U, то непосредственно
заданный гауссовский обобщенный процесс £ = (zz, £,) на
пространстве U с корреляционным функционалом вида
В (и, v) = (Bu, v) существует тогда и только тогда, когда
оператор В ядерный.
Предельные теоремы. Одной из основных задач теории
вероятностей является вычисление вероятностей одних событий
по заданным вероятностям других, в определенном смысле
более простых событий. При этом особое место занимают
различные схемы приближенного вычисления вероятностей.
В основе этих схем, как правило, лежат так называемые
предельные теоремы.
Одна из общих схем подобного рода представляет собой
следующее. Рассматривается некоторая последовательность
распределений вероятностей
₽! = ₽,(/?). Р2 = Р2(В), ...
136 ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
на топологическом пространстве (JV, 23), и выясняются условия,
при которых данная последовательность слабо сходится
к определенному распределению вероятностей Р = Р (В),
ЛЗ £ 23. Один из общих результатов, которые используются
при выводе подобного рода теорем, выражается следующим
образом.
Пусть X— евклидово пространство, 23 — о-алгебра его
борелевских множеств; последовательность Рл==Р/г(В), п=\,
2..... распределений вероятностей на о-алгебре 23 слабо
сходится к распределению Р = Р(В), В £23, тогда и только
тогда, когда соответствующая последовательность характери-
стических функционалов срп = (zz), сходится к соот-
ветствующему характеристическому функционалу ф = ф (rz):
lim ч>„(а) = <р(а) (u^U).
Л ~>ОО
Наиболее важной схемой, в которой приведенный результат
играет фундаментальную роль, является схема суммирова-
ния серий независимых случайных величин £1Л, д
(п —>оо) со значениями в евклидовом пространстве X, когда
речь идет о предельном распределении вероятностей Р для
нормированных сумм
q £1, л + •• • д—Аг
Dn
где Ап и Вп — некоторые постоянные. Замечательным фактом,
Обусловливающим успех многих конкретных исследований
(см. далее гл. IV), является то, что характеристическая функ-
ция суммы независимых величин выражается как произве-
дение характеристических функций отдельных слагаемых.
2. Связи различных событий и случайных величин.
Условные вероятности и условные математические
ожидания. Пусь (Q, 21, Р) — пространство элементарных
событий с распределением вероятностей Р = Р (Л) на о-ал-
Гебре 21, й пусть 23 — некоторая о-алгебра событий, содер-
жащаяся в 21. Условная вероятность события А £21 относи-
тельно а-алгебры 23, обозначаемая Р (Л | 23), определяется как
неотрицательная функция от элементарных исходов (о, 0
Р (Л | 21) 1, измеримая относительно 23, для которой
J Р (Л | ®) Р (d<o) = Р (ДВ)
В
2] § 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 137
при любом В £33. Эта функция Р (Л | 33) на пространстве
элементарных событий Q определена однозначно для почти
всех элементарных исходов со и представляет собой плотность
распределения Р (ЛВ), В £ 33, относительно распределения
вероятностей Р(В) на о-алгебре 33 cz 31.
Если о-алгебра 33 порождается счетным числом непере-
секающихся событий Bv В2, ...» имеющих положительные
вероятности и в сумме составляющих все пространство Q,
то условная вероятность Р(Л | 33) представляет собой простую
функцию элементарных исходов cd£Q вида-’
ри|®)=-^у- при «>е^ (&=1,2,...).
В любом случае условная вероятность Р (Л 133) является
пределом равномерно сходящейся последовательности про-
стых функций Р(Л|ЗЗл), п=1, 2, ...» указанного вида:
ри|^)=4(4У при 2, ...)•
Например, в качестве событий Bkn можно взять Bkn~
Is8) <!}(«’ 2’ •••>•
Условная вероятность Р® = Р (Л | 33), рассмариваемая как
функция от Л £ 31 со значениями в нормированном простран-
стве /^(Q) всех интегрируемых (действительных или комп-
лексных) функций £ = I (со) на Q : || £ |, — М|£ |, представляет
собой обобщенную меру на о-алгебре 21 пространства Q, вариа-
ция которой есть
УагР(Л |23)=Р(Л) (Л £ 21).
.Всякая случайная (действительная или комплексная) вели-
чина £ — | (<о), имеющая математическое ожидание (т. е.
являющаяся интегрируемой функцией на пространстве (Q, 21, Р)
с мерой Р), интегрируема по отношению к обобщенной
мере Р6 = Р (Л | 33). Соответствующий интеграл
М (&]©)= J £ (о) Р (du 153)
называется условным математическим ожиданием случай-
ной величины
138
ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
12
Если имеется случайная величина т] — г|((о) со значениями
в фазовом пространстве (V, Е) или семейство таких величин
(/) = т] (со, Z), и речь идет об условных вероятностях
и условных математических ожиданиях относительно о-ал-
гебры 53, порожденной всевозможными событиями вида {г| £ С}
или то соответствующие условные
вероятности и условные математические ожидания обозна-
чаются символами Р(ВД и МВД или Р(Л|Т1(О.
и М ВД(О> *£Т).
Условные вероятности и условные математические ожи-
дания обладают следующими свойствами.
Пусть £ = £ (7) — измеримый случайный (действительный
или комплексный) процесс на отрезке Т = [а, такой, что
ь
J М (01 Var н (dt) < оо,
а
где ц — некоторая обобщенная числовая мера на отрезке Т.
С вероятностью 1 траектории (со, t) такого процесса
являются интегрируемыми функциями, причем
ь
м
“ b
/ и®. Он 0*0 = J [М&(01н(<*0.
-а
а
Условное математическое ожидание
М[|(0|®] = Ju®. OPOW) (/60,
а
рассматриваемое как функция на отрезке Т — [а, Ь] со зна-
чениями в нормированном пространстве Л1 (Q), определено
почти всюду относительно меры р и является интегрируе-
мой функцией, причем
ъ
J МВД|»]н(*0 = J
а Q
’ b
/ ^(<0, о и 0*0
-а -1
Р(Ло|») =
- ъ
= М J4(OhOW
-а
2] § I. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 139
Пусть £— некоторая случайная величина, Л4||| < оо, и
® — некоторая о-алгебра событий пространства Q. Тогда
М[М(||8)] = М£.
Пусть .. . э 23О =5 ®i ... — последовательность
монотонно расширяющихся о-алгебр, входящих в 21, и
®-оо = П®л= lim
п п ->-оо
®oo=LK=]im5V
п п->со
точнее, 23^— минимальная о-алгебра, содержащая все 23л.
Для любой случайной величины имеющей математическое
ожидание, с вероятностью 1
11тМ(||93я) = М(||930О).
Л->ОО
Если случайная величина £ такова, что М|£|а<оо, а^>1,
то последовательность М(£|23л)» п = 0, ±1, ...» сходится
к соответствующим пределам М (£123.^) и М (£, | 23^) не только
с вероятностью 1, но и в среднем с показателем а:
lim M|Ma|Srt)-M(^23_)|a=O,
Л->-со
lim М|М№„)-Ма1ЭЗоо)|а = 0.
л-»оо
Пусть событие А входит в о-алгебру 23, тогда с вероят-
ностью 1
( 1 при о £ А,
Р<Л19Н« ПР» а(Л.
Если случайная величина £ = £ (со) измерима относительно
о-алгебры 23, то с вероятностью 1
М(£|23) = £.
Более того, для любой случайной величины т] = т] (со) такой,
что М|т]| < оо и М|£т]| < оо, имеет место равенство
М 123) = I • М (ПI 23).
140 ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
Если а-алгебры событий 23j и 232 таковы, что
то
м [м дата = ма|^).
Если же а-алгебры событий и 232 независимы, т. е.
если для любых событий Вх £ 23j и В2 £ 232 имеет место ра-
венство Р (ВХВ<2) ~ Р (Bj) Р (В2), то
м [М дада = М£.
В частности, если случайная величина | не зависит от собы-
тий В £23, точнее, если о-алгебра всех событий вида {g£C}
(С — борелевские множества на действительной прямой или
комплексной плоскости) и о-алгебра 23 независимы, то
ма|зз)=м£.
Пусть £2 (Q) — подпространство гильбертова простран-
ства £2(Q), образованное случайными величинами y| = y|(co),
М|т]|2<сю, измеримыми относительно о-алгебры 23, и пусть
случайная величина £ принадлежит пространству £2(Q), т. е.
м|в| 2 < сю. Тогда условное математическое ожидание М (£, 123)
представляет собой проекцию величины £ на подпростран-
ство £2(й):
М|£-Ма|23)|2= min М|£-
Условные распределения вероятностей. Пусть £ =
= |(<о)—случайная величина на пространстве элементарных
событий Q со значениями в фазовом пространстве (<¥, 21),
8 — некоторая о-алгебра событий и
Р£(Л|33)=Р И621)
— соответствующие условные вероятности. Для любых непе-
ресекающихся множеств Д2, ... £ 21 с вероятностью 1
\ k ) k
То исключительное множество элементарных исходов
(d£Q, при которых данное соотношение нарушается, вообще
2]
§ 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ
141
говоря, зависит от самих Лр А2, ... Если условные вероят-
ности Р^(Л|®) (Л£®) можно выбрать так, что при почти
каждом фиксированном со £ Q соответствующие значения
Р^(Л|Й) (Л £91) для любых непересекающихся множеств
ЛР Л2, ... £91 удовлетворяют равенству
то вероятностные меры Ро> £ == Р (Л 123). Л £ 21, каждая
из которых зависит от некоторого элементарного исхода
со £ Q, называются условными распределениями вероят-
ностей.
Условные распределения Pw ^=Р(Л|03), Л £ 91, всегда
существуют, если фазовое пространство (X, 91) является
сепарабельным, а распределение вероятностей Р^ = Р^(Л),
Л £ 91, представляет собой совершенную меру. В этом слу-
чае, не ограничивая общности, можно считать, что фазовое
пространство (<¥, 91) есть просто действительная прямая
с о-алгеброй борелевских множеств. При почти каждом
со £ Q можно определить монотонно неубывающую и непре-
рывную справа функцию = 7%^ (х) на счетном, всюду
плотном в X множестве точек х, такую, что с вероят-
ностью 1
Л»л(х) = Р {£<*!»)•
Каждую такую функцию можно доопределить так, что она
станет функцией распределения на действительной прямой X.
Распределения вероятностей Роь с соответствующими функ-
циями распределений F % будут условными распределениями
вероятностей.
Пусть £ = £ (со) — случайная величина в произвольном
фазовом пространстве (X, 91). Если имеются условные рас-
пределения вероятностей Р^д = Р (Л | ®), Л £91, и множе-
ство £(Q) (образованное всеми точками х = £(со), <o£Q)
входит в о-алгебру 91, то формула
Ро, (И Л} = Ра, 5 (Л) (Л С 21)
определяет при соответствующих со £ Q вероятностные меры Р0
на о-алгебре 91^ всех событий вида {£ £Л}, Л £91. Эти рас-
пределения вероятностей Р0 на о-алгебре событий 9(5 таковы,
142 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
что при каждом фиксированном А £ 21 с вероятностью 1
U64=р
Разбиение пространств и разложение мер. Пусть
(Q, 21, Р) — измеримое пространство с вероятностной мерой
Р — Р(Л) на о-алгебре 21, и пусть 8 — некоторая о-алгебра,
23 с 21. Предположим, что существует сепарабельная о-ал-
гебра 23'с 23 такая, что для каждого В £23 найдется мно-
жество В' £ 23', обладающее тем свойством, что мера сим-
метричной разности В' о В равна нулю: Р (В' о В) — 0. Пред-
положим далее, что существуют условные распределения
вероятностей на о-алгебре 21 относительно 23. Тогда суще-
ствуют непересекающиеся множества Ва £ 23 (параметр а про-
бегает некоторое множество действительных чисел), в сумме
дающие все пространство Q:
а
и, кроме того, существуют взаимно перпендикулярные рас-
пределения вероятностей Ра = Ра(Л), А £ 21:
W= и
обладающие тем свойством, что если о-алгебра 23 отделяет
точки пространства Q, то множества Ва являются «одно-
точечными»:
(со) = {°} (0 €
а соответствующие распределения вероятностей Ра==Ра(^)»
Л £ 21, таковы, что
{1 при со£Л,
0 при <о(£л.
Вероятность Р0(со) (Л), где функция а((о) на 2 определена
как а((о) = а при со£Ва, для каждого Л £21 представляет
собой условную вероятность события Л относительно о-ал-
гебры 23: Ра (о) (Л) = Р (Л 123) и Р(Л) = МРа(со)(Л).
Пример. Рассмотрим неизмеримое множество Л отрезка
Q = [0, 1] (неизмеримое относительно лебеговской меры /)
такое, что как внешняя мера /*(Л), так и внешняя мера
1*(А) дополнительного множества Л равны L Пусть 21 есть
2] § 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 143
о-алгебра всех множеств вида
U А2А,
где Аг и А2 — произвольные борелевские множества отрезка
Q = [0, 1].
Рассмотрим распределение вероятностей Р = Р(4) на
о-алгебре Я, определенное как
Р (АХА U А2А) = 1 [I (Aj) +1 (Д2)].
Условные распределения вероятностей на 91 относительно
о-алгебры 23 всех борелевских множеств в этом случае опре-
делить нельзя.
Действительно, если бы условные распределения суще-
ствовали, то с вероятностью 1 имело бы место равенство
( 1 при (о£4,
что противоречит измеримости условной вероятности Р(Х|23)
относительно о-алгебры 23.
Плотности условных распределений. Формула Байеса.
Пусть £ = | (<о) и т] = т| ((о) — случайные величины на одном
пространстве элементарных событий Q со значениями в фа-
зовых пространствах (X, 21) и (У, 23). Предположим, что
совместное распределение вероятностей Р^Л(Д, В) случай-
ных величин | и т] абсолютно непрерывно относительно не-
которой меры Q на произведении пространств X X яв-
ляющейся произведением мер Qx и Qr:
Pg, П(Л В)= J р(х, y)Q(rfxdy)
АХВ
для любых Д£21 и В £23, где р(х, у) — соответствующая
плотность распределения вероятностей.
Условное распределение вероятностей Р| (41 г|), А £ 21,
может быть выбрано одинаковым для всех со £2, при кото-
рых случайная величина т]—г|(о)) сохраняет одно и то же
значение: т](со) — у. При почти каждом у £ У (относительно
распределения Рл в фазовом пространстве (У, 23)) услов-
ное распределение вероятностей Р|(Д |у) = Рш, । (4), где
144 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
(2
©£{?]= у) и А £21, будет абсолютно непрерывно относи-
тельно меры Qx:
Ох(л) = J O.(dxdy),
Ах Y
причем соответствующая плотность условного распределе-
ния вероятностей будет иметь вид
_ р{х, у)
- fp{x>y)Qx(dx)-
Все сказанное остается справедливым и в отношении услов-
ного распределения вероятностей РП(В|£), В £8. При этом
плотности условных распределений связаны между собой так
называемой формулой Байеса,'.
J Р (х, У) Qx {dx)
Рц (У I х) = Pl {XI у)^------------------.
J Р {X, у) Qy {dy)
Y
Пусть случайные величины £ и А независимы, а т] = ф(£, А)
есть функция от £ и А. Пусть Р(В|х), 5 £23,—„распреде-
ление вероятностей случайной величины <р(х, А) при фикси-
рованном х£Х, имеющее плотность распределения р(х, у)
относительно некоторой меры Q = Q (В) в фазовом про-
странстве (F, 23):
Р(В|х)= j р{х, y)Q{dy) {В 6»),
В
причем J р (х, у) Р^ {dx) < оо для почти всех у (относи-
х
тельно меры Q). Тогда условное распределение вероятно-
стей Р$(4|у), А £21, случайной величины £ абсолютно не-
прерывно относительно исходного распределения Р? (4),
А £21:
р5(л|у)=//ч(х|у)Р6(</х) <ле«)
л
21
§ 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 145
для почти всех у; соответствующая плотность условного рас-
пределения = у) выражается формулой
рЕ(х|у) =
Р(х, У)
f Р (х, У) (dx)
X
Энтропия и количество информации. Пусть (X, 91) —
произвольное измеримое пространство, Pj и Р2 — вероят-
ностные меры на о-алгебре 21 пространства X. Величина
H = sup2pi(^)log-^t,
k
где основание логарифмов произвольно и sup берется по всем
разбиениям пространства X на счетное число непересе-
кающихся множеств Др Д2, . . . £ 21, называется энтропией
распределения Р* относительно Р2 (при этом считается, что
Pi (Д) log = ® ПРИ Р1(Д) = о]. Если энтропия Н
является конечной, то распределение Pj абсолютно непре-
рывно относительно Р2, причем
X
где
Pi (dx)
Р2 (dx)
соответствующая плотность.
Энтропия Н всегда неотрицательна, причем // = 0 тогда
и только тогда, когда распределения Рг и Р2 совпадают
на о-алгебре 21. Энтропия Н = Н (21), рассматриваемая как ве-
личина, зависящая от соответствующей о-алгебры 21, является
монотонно неубывающей в том смысле, что
//(211)<//(2(2) при 2Ij с 212.
Пусть ^ = ^((0) и £2=£2((о)— произвольные случайные
величины в фазовых пространствах (Xv 21J и (Х2, 212) с рас-
пределениями вероятностей Рх и Р2. Пусть X = ХхУ( Х2—
произведение ' пространств Хх и X2t Рь 2 — вероятностная
мера на о-алгебре 21=211Х^2 пространства X. отвечающая
совместному распределению вероятностей случайных величин
10 Ю. В. Прохоров, Ю. А. Розанов
146 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
£1 и I2» Р = Pi X Р2—произведение вероятностных мер
Pj и Р2. Величина
£2)=//(«),
равная энтропии Н (51) распределения Р1 2 относительно
Р,ХР2. называется количеством информации относительно
одной величины или |2), заключенной в другой величине
(£2 или соответственно).
Максимальный коэффициент корреляции. Пусть —
= ((о) и ^2 —^2 (°) — произвольные случайные величины
на пространстве элементарных событий (2, 21, Р), и пусть
L?(Q) и Zz2(Q) — подпространства гильбертова пространства
£2(й), образованные всеми действительными случайными
величинами и т]2, являющимися функциями от и £2
соответственно. Величина
r(£v I2)==SUP МтьПг-
где sup берется по всем случайным величинам (Q)
и t]2£L%(Q) таким, что
Мт]1 = Мг|2=0. Мт|1 = Мг]2= 1,
называется максимальным коэффициентом корреляции
случайных величин и |2. Этот коэффициент г(£р %2) равен
нулю тогда и только тогда, когда случайные величины
и £2 независимы.
Наряду с максимальным коэффициентом корреляции, пока-
зателем зависимости случайных величин и является
величина
а(^г аь)= SUP м (ЧЧ) = SUPIр (л 1л2) - Р (лО р (л2) I-
где sup берется по всем величинам г|л £Z,2(Q) и Лд2€^2^)
вида
f 1 —Р(Л) при (о£ А,
| — Р(Л) при <о(£Л;
события и А2 входят в соответствующие о-алгебры 9l$t
и 9Ц2, порожденные событиями вида и (£2£В2)
соответственно и ^2 — произвольные множества
в соответствующих фазовых пространствах (?Ср З^) и (Х2, ®2)
случайных величин и £2).
§ I. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИИ
147
2|
Показателями зависимости служат также величины
₽(W= sup IPG^^-PHOI
(Р (^i I ^2) зависит от элементарных исходов <о £ Q) и мате-
матическое ожидание
При этом величина 2р совпадает с вариацией разности веро-
ятностных распределений и Р^ХР|2 на о-алгебре
® = ®i X ®2 в произведении X — Хг X Х2 фазовых про-
странств Хг и Х2:
m. 4)=|var{P£U-P£1XPU-
Регулярные случайные процессы. Пусть £ = £(/) — слу-
чайный процесс на действительной прямой — со < t < 00
в произвольном фазовом пространстве (£*, -0). Обозначим
91 ($, 0 о-алгебру событий, порождаемую событиями вида
U(й)€^}> гДе и Случайный процесс £ = £(/)
называется регулярным, если для любого события А £91(£, оо)
с вероятностью 1
lim Р(Л[91(—00, $) = Р(Л).
5-> -ОО
Регулярность случайного процесса |(/) означает, что о-ал-
гебра 9I"°° — Q9l(—00, 5) содержит лишь события вероят-
$
ности 0 или 1.
Регулярность процесса £(/) равносильна тому, что для
любого события A£4L(t, 00)
lim sup I Р (ЛД') - Р (Л) Р (Л') | = 0.
5 —> —ОО Д' (-00,5)
Говорят, что случайный процесс £ = £(/) обладает свой-
ством полной регулярности (иначе: вполне регулярен), если
a (s, t) = sup IР (ЛЛ') — р (Л) Р (Л') ] -> О
А€$1(/, оо)
Д'С§1(-оо, 5)
при t — s->oo (равномерно по всем /).
10*
148 ГЛ. Ш. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
13
3. Случайные процессы и их распределения вероят-
ностей.
Сепарабельные случайные процессы. Случайный про-
цесс £ = £(/) на множестве Т действительной прямой в топо-
логическом фазовом пространстве (Е, ®) называется сепара-
бельным, если существуют такое счетное множество 50 с Т
и такое событие 40 вероятности нуль, что для всех
событий вида
= при t^!T\
(F— замкнутое множество в Et I— интервал на действитель-
ной прямой) разность А (Л$о) \ A (IT) входит в событие 40:
A(IS0)\A(IT)C2 Ло, Р(До) = О;
50 называется множеством сепарабельности.
Отнюдь не всякий случайный процесс является сепара-
бельным.
Пример. Пусть т — т (со) — случайная величина, равно-
мерно распределенная на отрезке [0, 1], и £=£(/) — слу-
чайный процесс на отрезке Т — [0, 1] вида
( 1 при т(со) —
(со, t) I Q прИ т
В этом случае для любого
счетного множества Sc Т
Р{^(0 = 0 при =
тогда как
Р(Ш = 0 при
Пусть фазовое пространство (Е, Ф) представляет собой
компакт со счетной базой. Тогда для любого случайного
процесса £ == | (t) в этом фазовом пространстве существует
эквивалентный ему сепарабельный случайный процесс £ = £(/)•
Существование такого процесса £ = £,(/) имеет место и при
более слабых условиях, чем компактность фазового про-
странства *).
*) См. Н. Н. Ченцов, Дубовские множества и дубовские
распределения вероятностей, Труды VI Всесоюзного совещания
По теории вероятностей и математической статистике, Вильнюс.
1962, 483—493.
31
§ 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ
149
Непосредственно заданный сепарабельный процесс.
Пусть фазовое пространство (£, 23) представляет собой ком-
пакт со счетной базой открытых множеств и — — не-
посредственно заданный случайный процесс на отрезке Т
действительной прямой в фазовом пространстве (£\ 23), причем
соответствующее распределение вероятностей Р = в функ-
циональном пространстве Х=ЕТ является регулярной боре-
левской мерой. Для каждого множества A cr X определим
множество A (S), S CZT, отнеся к A (S) ка:кдую функцию
х = совпадающую при t£S с какой-либо функцией
х' — х'(t) из А. Имеет место следующий факт*): для любого
борелевского множества А сс X типа Fa6 существует счетное
множество Sc ? такое, что
Р{Л(5)\Л}=:0.
Укажем непосредственно заданный сепарабельный случайный
процесс | = £ (f), определяемый как
Их, 0 = (х£Х).
В сепарабельном фазовом пространстве Е имеется счетное
число замкнутых множеств F ^Е таких, что всякое замкну-
тое множество пространства Е является пересечением не-
которого числа множеств F. Пусть
A(JT)= {x(f)£F при t£IT}
— множества в функциональном пространстве X = Ет, отве-
чающие указанным множествам F и интервалам / с рацио-
нальными концами. Каждое из множеств Л(/Т) замкнуто,
и существует счетное множество Sc? такое, что
Р{Л(/5)\Л(/Т)} = 0.
Если положить
SO=U5, Ло= U {Л (/S) \ Л (ZT)},
где объединение берется по всем указанным F и /, то счет-
ное множество So и множество Ло с X вероятности нуль
будут удовлетворять условиям, данным в формулировке
сепарабельного процесса.
*) См. Е. Nelson, Regular probability measures on function
space, Ann. Math., 69 (1959), 630—643.
150 гл. Ш. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
Измеримые и непрерывные случайные процессы. Пусть
(Q, 91, Р) — произвольное пространство элементарных собы-
тий и Т — измеримое множество на действительной прямой
с о-алгеброй измеримых подмножеств. Случайный процесс
£ = £(/) на множестве Т со значениями в фазовом простран-
стве (Е, 23) называется измеримым, если измерима функция
£ = £((0, t) двух переменных (<о, t), рассматриваемая как
функция на измеримом пространстве Q X Т со значениями
в измеримом пространстве (Е, 23).
Отнюдь не всякий случайный процесс является измеримым.
Например, не будет измеримым непосредственно заданный
действительный случайный процесс | = £ (/) на отрезке
Т =[а, by. £(x, t) = x(t), х£Х, где X— пространство
всех действительных функций х — х (/), t £Т.
Пусть фазовое пространство (F, 23) представляет собой
компакт со счетной базой открытых множеств, Т — борелев-
ское множество на действительной прямой с о-алгеброй всех
его борелевских подмножеств, а случайный процесс £ = £(/)
является стохастически непрерывным, т. е. для любого£>О
НтР {р[Ш. > е) = 0
при всех t£T, где р( • , • ) означает расстояние между соот-
ветствующими точками фазового пространства Е. Тогда суще-
ствует сепарабельный измеримый случайный процесс £ = £(/),
эквивалентный процессу £ = £(/) (при этом всякое всюду
плотное в Т множество 50 является множеством сепарабель-
ности процесса £ = | (/)).
Пусть= I (t)— сепарабельный случайный процесс. Тогда
событие А, заключающееся в том, что траектория процесса
U®. О> t$T, окажется разрывной в фиксированной точке /0,
имеет определенную вероятность (входит в о-алгебру собы-
тий 21, на которой определена вероятностная мера Р). Если
эта вероятность положительна: Р (Л) > 0, точка /0 называется
фиксированной точкой разрыва. Пусть ц = ц(Д)— некото-
рая мера на о-алгебре измеримых подмножеств в Т. Обозна-
чим символом До совокупность всех фиксированных точек
разрыва случайного процесса £ = £(/). Если ц(До) = О, то
случайный процесс £ = £(0 является измеримым. Более того,
с вероятностью 1 его траектории являются непрерывными
почти всюду (относительно меры ц) функциями параметра / £ 7\
3] § 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ 151
Случайный процесс £ = £(/) в топологическом фазовом
пространстве Е называется непрерывным с вероятностью 1,
если для почти всех элементарных исходов (о £ Q его траек-
тории £ (со, /), t£T, являются непрерывными функциями на
множестве Т. Для сепарабельных процессов непрерывность
на множестве Т равносильна непрерывности на счетном всюду
плотном множестве So с Т.
Пусть на отрезке Т — [а, #] £ = £(/) представляет собой
сепарабельный случайный процесс в полном метрическом
пространстве Е, такой, что при некоторых положительных а» 8
и постоянной С > О
Мр [£(«), Ш1Чс(М+Е
для любых (М — символ математического ожидания,
р( • , •) — расстояние между соответствующими точками фа-
зового пространства Е). Тогда случайный процесс £(/) непре-
рывен с вероятностью 1.
Пример. Пусть т = т(со) — случайная величина, равно-
мерно распределенная на отрезке Т = [a, д], и £, = £(£) —
случайный процесс с траекториями вида
( 0 при t < т ((о),
&«>'>={, „„„ ,>т(в).
Для любых
М|Ш-ШГ = Р{5<* 5.
В то же время каждая траектория £ (<о, /), t £ Г, этого про-
цесса имеет разрыв в некоторой точке т = т((о).
Пусть фазовое пространство Е представляет собой ком-
пакт со счетной базой. Тогда множество С(Т) всех непре-
рывных функций х — x(t) на отрезке Т =[at со значе-
ниями в фазовом пространстве Е является множеством
типа Ео6 в функциональном пространстве X — Ег:
СО °° 1
m=I
Если Р — распределение вероятностей в X, представляющее
собой регулярную борелевскую меру, то существует такое
счетное множество S с 71, что
P{C(S)\C(T)}=0,
152 гл. III. ОСНОВАНИЯ ТЕОРИИ вероятностей [3
где C(S) — множество всех функций х — непрерывных
лишь при t £S.
Если при некоторых положительных ар а2, е и постоян-
ной С > 0 выполняется неравенство
м {р Ц ($), | («)]“ • Р £ («), в (0]“’) < с (t - s)1+e (s < и < Г),
то с вероятностью 1 случайный процесс £ = £ (7) имеет лишь
разрывы первого рода, т. е. для почти всех элементарных
исходов (о£й его траектории £(<о, t)t t£T, являются функ-
циями, имеющими лишь разрывы первого рода; иными сло-
вами, при любом t существуют односторонние пределы
lim £ (со, $) и lim £ (со, s).
5->/+0
Пусть фазовое пространство Е представляет собой ком-
пакт со счетной базой. Тогда множество D(T) всех функ-
ций x = x(t) на отрезке Т == [а, со значениями в фазо-
вом пространстве Е, имеющих лишь разрывы первого рода,
Является множеством типа в функциональном пространстве
Х = ЕГ\
0(0=0 U Л {min(p[x(s), х(«)],
m=i
5 < t
р[х(м), X (/)])< А-}.
Если Р — распределение вероятностей в X, представляющее
собой регулярную борелевскую меру, то существует такое
счетное множество ScТ, что
Р {£(£) \ D(T)} = О,
где D(S)—= множество всех функций х~х(£), имеющих
при t лишь разрывы первого рода.
Моменты первого выхода. Пусть Е — топологическое
пространство, X =ЕТ — пространство всех функций х — x(t)
на конечном отрезке Т — [a, со значениями в Е.
Пусть x — x(t) — некоторая функция на отрезке [а, #]
со значениями в Е, х^^—множество значений x(s) на
отрезке a^s^t, и пусть 0] — замыкание этого мно-
жества. Моментом первого выхода из множества В с £
3)
§ 1. ПРОСТРАНСТВА ЭЛЕМЕНТАРНЫХ СОБЫТИЙ
153
называется величина х = хв, равная верхней грани тех t,
для которых множество х<а> V содержится в В; т назы-
вается также моментом первого достижения дополни-
тельного множества Е \ В.
Моментом первого выхода изнутри множества В на-
зывается величина т, равная верхней грани тех Л для кото-
рых множество б] содержится в В. Для замкнутого
множества В величины тит совпадают.
Если функция х — х (t) является непрерывной, то вели-
чины хв и хв совпадают для любого множества В, поскольку
х(а, Ь) = [х (а, /?)].
Обозначим символом {*)] с В| множество всех
функций х = х (0» для которых [х(а> с В. Пусть Е —
компакт со счетной базой открытых множеств. Если В —
замкнутое множество, то {С В] — замкнутое множе-
ство в тихоновском произведении X = ЕТ\ если же В—откры-
тое множество, то *)] с В] является множеством
типа Ва.
Пусть Р — борелевское регулярное распределение в функ-
циональном пространстве X — ЕГ. Тогда для любого боре-
левского множества В £53
Р б] с В) = sup Р б] с Е} = inf Р {[х^ б] с G),
где sup берется по всем замкнутым множествам F с В,
a inf—по всем открытым множествам О 3 В.
Пусть £ = £(/) — случайный процесс на отрезке Т — [а, Ь\
в топологическом фазовом пространстве Е. При каждом эле-
ментарном исходе (о £2 определим хв — тв(со) как момент
первого выхода из В траектории (со, /), а тв = тв((о) —
как момент первого выхода изнутри множества В. Пусть
фазовое пространство Е представляет собой компакт со счет-
ной базой, и пусть 51(7) есть о-алгебра событий из про-
странства элементарных событий Q, порожденная всеми со-
бытиями вида {£(^)£В} (/£7, В — борелевские множества
фазового пространства В).
Распределение вероятностей случайного процесса
£= £ (О всегда можно продолжить до борелевской регуляр-
ной меры в функциональном пространстве Х — Ет. Если
множество £(Q) всех траекторий £(со, t) этого процесса на от*
резке 7 = [а, Ь] измеримо, то распределение вероятностей Р
151
ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
13
на о-алгебре 21 (Г) можно продолжить таким образом,
что будут определены вероятности всех событий вида
{££4}— событий, означающих, что траектория £(со, /) при-
надлежит борелевскому множеству А в функциональном про-
странстве X = Ет.
В частности, для любого борелевского множества В
в фазовом пространстве Е момент т = т(о)) первого выхода
изнутри В будет измеримой функцией на пространстве эле-
ментарных событий Q, причем
{тв>^} = {[М = £} (^Г).
Если случайный процесс £ = £(/) не является измеримым,
то функция £ (со, т(о>)) от со, вообще говоря, неизмерима.
Пример. Пусть т—случайная величина, распределен-
ная по экспоненциальному закону:
Определим случайные процессы c)1 = ^1(Z) и £2=Ь(0 как
( 0 при ( 0 при
^i(^) | j ПрИ / > г; ^2 (О | । при t^x.
Конечномерные распределения этих процессов совпадают,
а поэтому совпадают и отвечающие им борелевские регуляр-
ные распределения вероятностей Pj и Р2 на тихоновском
произведении АГ = £Л°’ОО1, т. е. на пространстве всех дейст-
вительных функций x = x(t) на полуоси [0, сю], принимаю-
щих значения из некоторого отрезка Е, содержащего отре-
зок [0, 1]. Пусть £ = £(£) — непосредственно заданный
t случайный процесс: ^(х, t) = x(t), х£Х> и т = т(х) —
момент первого выхода из точки 0. Предположим, что мно-
жество {£(х, т) = 0} является измеримым. Тогда, очевидно,
Pl т) = 0} = 1, Р2{Н^ т) = 0} =0.
Но так как борелевские меры Рх и Р2 совпадают, то должно
иметь место равенство
Pl U (х> т) = 0} = Р2 (|(х, т) = 0}.
Полученное противоречие свидетельствует, что на самом
деле множество {£(х, т) = 0} неизмеримо.
1| § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 155
Если случайный процесс £==£,(Y) измерим, точнее, (со, /)—
измеримая функция на произведении Q X Т (Т — отрезок
с о-алгеброй борелевских множеств), то для любой случай-
ной величины т = т (со), т £ Т, функция £(<о, т) от (о также
является случайной величиной. Например, так будет, если
случайный процесс £ — £(/) непрерывен с вероятностью 1.
§ 2. Основные типы случайных процессов
1. Случайные процессы как кривые в гильбертовом
пространстве.
Ковариационная функция. Пусть £ = £(/) — действи-
тельный или комплексный случайный процесс на множестве Г,
имеющий вторые моменты: М|£(/)|2<оо. Если не делать
различия между случайными величинами, отличающимися
друг от друга лишь с вероятностью нуль, то значения слу-
чайного процесса £(/) можно рассматривать как элементы
гильбертова пространства A2(Q)— пространства всех случай-
ных величин т|, М | Л I2 < оо, со скалярным произведением
Oil. П2)=Мп1П2-
Важнейшими характеристиками такого случайного про-
цесса £(/) являются его математическое ожидание
Д(0 = М|0) = (10). 1)
и ковариационная функция
В (s, t) = ($) Ш = (£ О). I О) )•
Вместо ковариационной функции можно рассматривать кор-
реляционную функцию B(s, t) — М£ ($) £ (/) — X(s)4(f),
являющуюся ковариационной функцией процесса вида |(/)—
— А (/) с нулевым математическим ожиданием.
Функция B(s, t) двух переменных <$ и t является кова-
риационной функцией некоторого случайного процесса £(£).
М | £(/) |2 < оо, тогда и только тогда, когда она для всякого'
п=1, 2, . . . удовлетворяет следующему условию положи-
тельной определенности:
п п
k = \ J=1 J
при любых tv t2, ..tn£T и любых комплексных cv ...» сп.
156
ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
п
Канонические представления. При изучении случайного
процесса £ = £(/) как функции параметра t £ Т со значе-
ниями в гильбертовом пространству Л2(й) часто исполь-
зуются различного рода канонические разложения. Под ка-
ноническим представлением случайного процесса l\t)
понимается представление его в виде
<Р(Л %)Ф(Л)
Л
где Л — измеримое пространство с некоторой о-алгеброй
измеримых множеств Л и заданной на ней обобщенной ор-
тогональной мерой Ф = Ф(А) со значениями в гильбертовом
пространстве A2(Q); ср (Л А,)— некоторое семейство функций
переменной А, £ Л, зависящих от параметра t £Т. Ортого-
нальность меры Ф~ Ф(А) означает, что
МФ(А1)Ф(А2) = 0
для любых непересекающихся измеримых множеств Ai и А2
пространства Л.
Соотношение
F(A) = М |Ф(А)|2
определяет о-конечную меру F = F (А) на измеримых мно-
жествах А рассматриваемого пространства Л такую, что
ковариационная функция В — В (s, t) случайного процесса
| = имеющего указанное каноническое представление,
выражается формулой
В (5, t)= J <р($, 1)<Р(Л l)F(dX).
Л
Подобное представление ковариационной функции B = B(s, t)
служит отправным пунктом для построения соответствую-
щего канонического представления самого случайного процесса
£ = £ (/). Именно, пусть L2 (Л) — гильбертово пространство
' всех измеримых (действительных или комплексных) функций
<р = <р (А,) на пространстве Л со скалярным произведением
(Фр ф2)= J фД^ф^)/7^).
Л
Il
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ
157
Пусть U— оператор, переводящий элементы ф(Л X) прост-
ранства А2(Л) в элементы ^(t) пространства A2(Q):
= с Г).
Этот оператор U является изометрическим и может быть
продолжен с сохранением изометричности *) на все простран-
ство А2 (Л). При этом
1 при Х£Д,
О при Х(£Л,
Ф(А) = £7фд (X), Фд(Х) =
будет обобщенной ортогональной мерой на измеримых мно-
жествах Л пространства Л со значениями в A2(Q) и такой,
что
Ш = f ф(*. Х)Ф(^Х).
Л
Пример. Пусть £ = £(Z)—случайный процесс на от-
резке Т = [а, Ь\ с непрерывной ковариационной функцией
B — B(t, s). В гильбертовом пространстве А2 [я, Ь] всех
функций ф = ф(/) со ’скалярным произведением
ь
(q>i ф2)= / Ф1(ОфГ(О^
а
соотношение
ь
В ф (t) = J В (t, s) q> (s) ds (t £ T)
a
определяет положительный ядерный оператор. Пусть
Ф(Л А), А£Л,— полная ортонормированная система собст-
венных элементов ф(/, X) с собственными значениями А
(А пробегает некоторое счетное множество Л). Тогда
В($, /)= %)<₽(/, Х)Х= J q>(s, Х)ф(Л K)F(dK),
ИЛ л
*) Такое продолжение возможно, конечно, не всегда. Допол-
нительное требование должно состоять в том, чтобы размерность
пространства L2 (Q) была не менее размерности пространства £2 (Л).
158 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
где F— конечная мера на счетном множестве Л: F(Z) = X
при всех Л £ Л. В соответствии с этим сам случайный про-
цесс £(/) представляется в виде суммы
ь
К0=2ф('. х)Ф(%), Ф(%)= f ко<р(л
j
где Ф(А)— ортогональные случайные величины:
МФ(А1)Ф(А2) = О при причем М ]Ф(Х)|2 = Х.
Наряду с каноническими могут быть использованы более
общие представления вида
£(0= J Ч>(А W*).
Л
где обобщенная мера Ф уже не обязательно ортогональна.
Такое представление тесно связано с соответствующим пред-
ставлением ковариационной функции:
B(st 0=’J J ф(^» $)ф(Ц, t)F(dK. б/ц),
л л
где F (dk, d[i)— некоторая мера ограниченной вариации
(F принимает, вообще говоря, комплексные значения) такая,
что
F (dk d[i) = МФ (б/Z) Ф(ф).
Если линейная оболочка функций ф(Х, f) (параметр t
пробегает множество Т) всюду плотна в функциональном
гильбертовом пространстве А2 (Л) со скалярным произведе-
нием
(ф, ф)= J J ф(А,)ф(ц)Г(</Х, ф),
Я R
то для любого измеримого Л с Л значение обобщенной меры
Ф(Д) принадлежит пространству Н — замкнутой линейной
оболочке значений рассматриваемого процесса £(/), t£T.
При этом
Ф(Д) = ИтЗс(0|(/)
t
для любой последовательности величин вида 2 та*
кой, что соответствующая последовательность функций вида
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 159
0 сходится в пространстве L2(R) к функции
1 при
о при Х^д.
Линейно-регулярные процессы. Пусть £(/) — случайный
процесс на действительной прямой —оо < t < со, причем
М |U012 < оо. Обозначим символом Н (s, t) замкнутую линей-
ную оболочку значений % (zz), $ я /, рассматриваемых как
элементы гильбертова пространства L2(Q). Случайный про-
цесс £ = £(/) называется линейно регулярным, если
—оо, /) = 0.
Случайный процесс £ = с «дискретным временем» t
(t принимает лишь целочисленные значения) линейно-регу-
лярен тогда и только тогда, когда его можно представить
в следующем виде:
Ц0== 3 ф(л 5)Ф(5),
5 = —ОО
где Ф=Ф($) — некоторая последовательность некоррелиро-
ванных случайных величин со значениями в гильбертовом
пространстве Н, (—оо, t) при всех t, а ф(Л 5) —
некоторая числовая последовательность такая, что при каж-
дом t
Tj I ф (Л s) |2 F (s) < оо, где F (s) = М | Ф (s) |2.
5 = —ОО
Аналогичный факт имеет место и в случае «непрерывного
времени» t (t принимает все действительные значения), когда
пространство Н является сепарабельным. Именно, случайный
процесс £=£(£) линейно-регулярен тогда и только тогда,
когда его можно представить в следующем виде:
ЦО = 2 ]Ч(Л s)<Dft(ds).
/? = 1 —оо
Здесь <&k(ds) при каждом k представляет собой обобщенную
ортогональную меру со значениями в гильбертовом простран-
стве Н\
М|Ф*(Д)|2=ГЛ(Д);
160 гл. ПГ. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ Ц
если множества Aj и Д2 не пересекаются, то
МФДДОФДД^О,
причем ФЙ(Д) £//($, t) для любого измеримого множества Д,
принадлежащего отрезку [5, /]. При k J
МФ4(Л1)ФД^ = 0
для любых измеримых множеств Aj и Д2.
При каждом t
N t
J] J |ф(Л s)|2^(^5) < ОО
fc = l —со
(число N может быть как конечным, так и бесконечным.)
Подобное представление единственно и называется регуляр-
ным каноническая представлением процесса g(^).
Для любого конечного или счетного числа N и семейства
мер Fk{dt)» k=\» 2, ..., TV, существует линейно-регуляр-
ный случайный процесс £ (/), t £ Т с соответствующими пара-
метрами N и ГЛ(^/) в его регулярном каноническом
представлении *).
Стационарные случайные процессы. Случайный про-
цесс £(£) на действительной прямой —оо < t < оо,
М | £(0|2 < °°» называется стационарным в широком
смысле» если его математическое ожидание A (t) и ковариа-
ционная функция B(s, t) не меняются при перемене начала
отсчета параметра t, т. е. функция А (/) есть постоянная,
а функция В (5, /) зависит лишь от разности t — s\
B(s» t)=B(t — s).
Иногда процесс называют также стационарным, если инва-
риантна относительно сдвига параметра t лишь ковариационная
функция.
Стационарность процесса £ = £(/) как функции со зна-
чениями в гильбертовом пространстве £2(Q) означает, что
скалярное произведение
(1(S). U0) = 5(/-s)
*) См. Н. Cramer, Stochastic processes as curves in Hilbert
space, Теория вероят. и ее примен., IX, 2 (1964), 193—204.
1] § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 161
зависит лишь от разности t — s. Это равносильно тому, что
в замкнутой линейной оболочке И величин £ (Г), — оо <
< t < со, — в подпространстве гильбертова пространства
Л2(й) — существует группа унитарных операторов U s, опре-
деляемая соотношением
(-co<s, /<оо).
Всякий стационарный в широком смысле процесс £(/),
— со < t < со, представляет собой функцию со значениями
в гильбертовом пространстве //, имеющую следующий вид:
Ш = (-со</<оэ),
где Ut — некоторая группа унитарных операторов в Н и
Uq — I — единичный оператор:
Всякий стационарный процесс %(f) с непрерывной кова-
риационной функцией допускает так называемое спектраль-
ное представление вида
— ОО
где Ф — некоторая обобщенная мера на действительной пря-
мой — оо < Z < оо со значениями в гильбертовом про-
странстве И такая, что для непересекающихся измеримых
множеств Aj и Д2
(Ф^), Ф(А2))=МФ(А1)Ф(ДГ) = 0.
Ортогональная мера Ф определена на о-алгебре множеств,
измеримых по отношению к неотрицательной ограниченной
мере /7(А)= М |Ф(А) |2, которая называется спектральной
мерой стационарного процесса £ (/) и связана с ковариацион-
ной функцией B(t) соотношением
В(/)= J
— ОО
И Ю. В. Прохоров, IO. А. Розанов
162 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
Линейно-регулярный стационарный процесс ^(Z) допускает
регулярное представление вида
t
Ш = J C(t-s)n(rfs),
— оо
где т) = г| (А) — некоторая обобщенная ортогональная мера
на прямой — оо < / < оо со значениями в гильбертовом
пространстве Н такая, что
/),
М | л (А) |2 = t — s при А — (в, t),
Где H(s,t) — замкнутая линейная оболочка значений £ (и),
s^u^t.
Обобщенные случайные процессы. Пусть | = (zz, %) —
обобщенный случайный процесс на некотором линейном про-
странстве U такой, что М | (zz, |2 < оо при всех u£U.
Такой процесс £ = (zz, может рассматриваться как функ-
ция на U со значениями в гильбертовом пространстве £2(Q).
Функционал
л(«)=м(«,
называется математическим ожиданием, а функционал
В {и, г>) — М {(«, £)} (u.vQU)
называется ковариационным функционалом обобщенного
процесса | = (zz,
Пусть U — пространство всех бесконечно дифференци-
руемых функций и = и (t) на действительной прямой — оо <
< t < оо, обращающихся в нуль вне некоторого конечного
интервала. Математическое ожидание А (и) и ковариационный
функционал B(zz, v) обобщенного процесса £ = (zz, на
этом пространстве обычно предполагаются непрерывными,
т. е. такими, что
Д(«„)-Д(«),
5(и„, <,„)->£(«. ®).
если при п—>оо соответствующие последовательности функ-
ций ип = ип (/) и vn — vn (/) сходятся к предельным элемен-
там u — u(t) и v = v(t) соответственно. При этом считается,
что zz/I—> zz, если все функции un(t) обращаются в нуль вне
fj §2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 163
некоторого конечного интервала, а производные
р= 1, 2, ..равномерно Сходятся к соответствующим про-
изводным u{p)(t) предельной функции н(/).
Пусть S( — преобразование сдвига, переводящее функ-
цию u — u(s) в функцию Stu = и (s + /), —оо < s < оо.
Обобщенный случайный процесс %> = {и, %) с математическим
ожиданием А (и) и ковариационным функционалом B(ut v)
называется стационарным в широком смысле, если
A(S(u) — A(u)t
B(Stu, Stv) = В(и, v)
при любых t и и, v £ U.
Математическое ожидание такого процесса есть по-
стоянная:
А (и) —а J и (t) dt,
—оо
а ковариационный функционал представим в виде
В (и, г/)= | и (Z)^(Z)
— оо
где F==F(A)— так называемая спектральная мера, н(%) =
оо
= J eiUu(t)dt — преобразование Фурье функции u£U
— оо
(В = В (и, v) предполагается непрерывным). Сам обобщенный
стационарный процесс £ = (zz, £) представим в виде
оо
{и, 0= J
— оо
где Ф = Ф(А)— обобщенная ортогональная мера на прямой
— оо < X < оо со значениями в гильбертовом пространстве
£2(Q). Обобщенная мера Ф = Ф(А) определена на о-алгебре
множеств, измеримых по отношению к о-конечной мере
F — р (Д) = М | ф (А) |2, называемой спектральной мерой
11
164 гл. Ilf. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
|2
стационарного процесса £ — {и, и удовлетворяющей условию
оо
[ (1 4- №)~pF(dk) < оо
— ОО
при некотором конечном р. Приведенное каноническое пред-
ставление называется спектральным представлением обоб-
щенного стационарного процесса £ — {и,
2. Гауссовские случайные процессы. Действительная
случайная величина £ называется гауссовской, если ее харак-
теристическая функция <р=ф(и) имеет вид
Ф {и) = ехр | iau — у о1 2 * * * *н21;
фигурирующие здесь параметры а и о2 имеют простой веро-
ятностный смысл: а = М£, o2=D£- Соответствующее рас-
пределение вероятностей также называется гауссовским; оно
задается плотностью распределения вида
/ \ 1 ( (х — я)2 1
р (х) = —7=— exp z--------— I.
г 7 /2 л а 2а2 J
Случайные величины (£р ...» £л) называются гауссовскими,
если характеристическая функция их совместного распреде-
ления имеет вид
ф(«р
п
k,
Фигурирующие здесь параметры суть
ak = Mb, bkj = M (Ь — ak) — “j) (k, J=l.....n).
В случае, когда матрица b = (bkj) является невырожденной,
соответствующее совместное распределение величин £р . .
задается плотностью распределения вида
•» Хп)
(det с)1/2
р(хР
1 V ( — W __ J
2 ckj (xk j) р
k, ;-i J
где матрица c = {ckj) с определителем det с является обрат-
ной к матрице b = (bkj). Совместимое распределение вероят-
ностей любых величин т)р .... т)т, каждая из которых пред-
2J
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ
165
ставляет собой линейную комбинацию величин ...» £п,
снова является гауссовским.
Действительный случайный процесс £=£(/) называется
гауссовским, если гауссовскими являются конечномерные
распределения Р/р.... т. е. если характеристические функ-
ции совместных распределений вероятностей для значений
(/), .... £(/л) этого случайного процесса имеют вид
......“») =
= ехр|/ ^A(tk)uk — 1 Vj B(tk,
k, и
где Л(£)=М^(О — математическое ожидание и
В (t, s) = М £ (0 - a (0J (5) - а (5)]
— корреляционная функция.
Распределение вероятностей гауссовского случайного про-
цесса £ = £(/) полностью задается двумя его характеристи-
ками: математическим ожиданием A (t) и корреляционной
функцией В (Z, 5) (/, s £ Т). Для любых таких функций A (!)
и B(t, $) существует непосредственно заданный, гауссовский
случайный процесс £ = £(/) такой, что
А (0 = (О и В (t, s) = М [£ (0 - А (/)] ($) - А ($)].
Обобщенные гауссовские процессы. Действительный
обобщенный случайный процесс ^ — (и, на линейном про-
странстве U называется гауссовским, если его характери-
стический функционал ф£ = ф£(и) имеет вид
<h (и) — е
М(и)-у В (и, v)
где А (и) = М {и, £) — математическое ожидание обоб-
щенного процесса £ = (zz,
В (и, v) = М «а, О - А (4/)] [(v, £) - Л (т01
— его корреляционный функционал. Гауссовость обобщен-
ного процесса £ = %) означает, что все случайные вели-
чины {и, u£U, имеют гауссовское распределение веро-
ятностей.
166
ГЛ. ИГ. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
(2
Пусть U — счетно-гильбертово пространство со скаляр-
ными произведениями (и, v)pi р=1, 2, ...» и пусть £ =
= {и, %)— обобщенный непосредственно заданный гауссовский
процесс на пространстве U. Математическое ожидание А (и)
является линейным непрерывным функционалом на -U; суще-
ствуют такое р и такой ядерный оператор В в гильбертовом
пространстве U со скалярным произведением v)=(ut v)p,
что корреляционный функционал В (и, v) имеет вид
B(zz, v) = (Bu, v)p v£U).
Для любых таких Л (zz) и В (и, v) существует непосред-
ственно заданный гауссовский обобщенный процесс £ — {и,
с математическим ожиданием А (и) и корреляционным функ-
ционалом В (и, v).
Пример. Пусть £ = £(/) — действительный гауссовский
случайный процесс на отрезке Т = [а, Ь]. Предположим, что
ь
процесс £(/) измерим, причем J М [£ < сю. Тогда
а
почти все траектории 2, (со, f) будут принадлежать простран-
ству U = L2(T) интегрируемых в квадрате функций u = u(t)
на отрезке Т со скалярным произведением (zzp и2) —
ь
= | «1 (/) и2 (t) dt, Формула
а
b
(«, |)= 0^ (“W
а
задает обобщенный гауссовский случайный процесс на этом
пространстве U — L2(T), При этом математическое ожидание
и корреляционный функционал обобщенного процесса £ =
= (zz, выражаются формулами
ь
Л (а) = J u(t)A(t)dt,
а
b b
В(их, и2) = J J B(s, t)ux(s)u2(t)ds dt,
а а
2] § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 167
где Д(0 и B(s, /)— соответствующие математическое ожи-
дание и корреляционная функция исходного процесса £ = £(/)
на отрезке Т = [а, #]. Аналогичным образом можно по-
строить обобщенный процесс % — (и, Q на ядерном про-
странстве U всех бесконечно дифференцируемых функций
обращающихся в нуль вне интервала (а, Ь), со ска-
лярными произведениями
ь Р
(«1. «2)р=/ (р-о, 1, ...)•
a /г=0
Плотности произвольных гауссовских распределений.
Пусть (0 — £> (со, t) — семейство действительных функций
от со £2 на некотором пространстве Й и зависящих от
параметра t £Т (Т—произвольное множество). Пусть 91 —
минимальная о-алгебра множеств пространства й, относи-
тельно которой измеримы все функции £ (со, t), t £Т\ веро-
ятностная мера Р = Р(Л) на о-алгебре 91 называется гаус-
совской, если любые случайные величины £(со, ^), ...» £, (со, £л)
на пространстве элементарных событий (й, 91, Р) являются
гауссовскими.
Гауссовская мера Р = Р(Л) определяется двумя харак-
теристиками: математическим ожиданием
A(t)~ J £(®, ОР(Ло) (t^T)
и корреляционной функцией
в (s, 0 = / II (о. О ~ A (S)] [£ (о, 0 — А (01 Р (</<о)
(s, t£T).
Любые две гауссовские меры Р и Р на о-алгебре 91,
порожденной заданным семейством функций (со, /), t£T,
на пространстве й, либо взаимно абсолютно непрерывны
(иначе: эквивалентны), либо перпендикулярны. Для экви-
валентности Р и Р необходимо и достаточно, чтобы была
конечной энтропия
Н = sup 2 Р (Д*) log .
168 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
где sup-берется по всем разбиениям пространства Q на не-
пересекающиеся множества Alt А2, ... £ ЭД.
При рассмотрении вопроса об эквивалентности гауссов-
ских мер Р и р на о-алгебре ЭД, порождаемой заданными
величинами £ (со, /) на пространстве Q (t £ Г), не ограничивая
общности, можно считать, что математическое ожидание А (/)
равно нулю, поскольку всегда можно перейти к величинам
£(со, t) — A(t). При Д(/)=0 гауссовские меры Р и Р экви-
валентны тогда и только тогда, когда эквивалентны пары Р и
Ро. Ро и Р , где Ро—гауссовская мера с нулевым матема-
тическим ожиданием и той же самой корреляционной функ-
цией, что и у Р, причем соответствующие плотности связаны
между собой равенством:
Р (<^со) Р (d(o) Ро (d(d)
Р (4/со) Ро (da) Р (d(d)
Пусть Р = Ро и a (t) — А (/) — математическое ожидание ‘
гауссовской меры Р. Обозначим буквой Н замкнутую ли-
нейную оболочку заданных величин £ (t) (t £ Г), рассматривае-
мых как элементы гильбертова пространства A2(Q), скалярное
произведение элементов Л1 = Л1(«) и h2 = h2(a)) которого
есть
(Лр Л2)= J hx ((d) h2 ((d) Р
Для эквивалентности Р и Р необходимо и достаточно, чтобы
функция а (0 от tQT допускала интегральное представление
вида
a V) = / I (о. t) а (<о) Р (й?®) (/ е Т),
где а = а ((d) — некоторая величина из пространства Н. Данное
интегральное уравнение относительно неизвестной функции
a ((d) на Q имеет лишь единственное решение в //, ко-
торое связано с плотностью р ((d) = Р ((Z(d)/P ((Z(d) следующей
формулой:
p((d) = Dea(w),
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 169
где нормирующий множитель D, определяемый условием
. \ г-» z » ч « г-х 9 00
р (со) Р (cZco) = 1, есть D = е2
Пусть Р —Ро, Р = Р0 и b(s, t) = B(s, t) — B(s, t) —
разность корреляционных функций гауссовских мер Р и R.
Обозначим символом Р X Р произведение мер на произведе-
нии пространств Q X £2» и пусть Н X Н— замкнутая линей-
ная оболочка величин |(со, s) - (со, t) (s, рассматри-
ваемых как элементы соответствующего гильбертова про-
странства A2(Q X й), скалярное произведение элементов =
= Л1(со, со) и Л2 = Л2((о, со) которого есть
(Лр Л2)= (* Г (со, со) Л2 (со, со) Р (б/о) X Р (^)-
2x2
Для эквивалентности Р и Р необходимо и достаточно, чтобы
функция b (5, t) от t £ Т допускала интегральное представ-
ление вида
*(s. 0 = J f l(®. «)1(®. О₽(®. й)Р№)ХР (</©).
2X2
где 3 = р (со, со) — некоторая величина из пространства Н X Н,
причем задаваемый этим ядром р (со, со) интегральный опера-
тор в гильбертовом пространстве И:
Bh (со) = J р (со, со) h (со) Р (cto),
2
не имеет равного 1 собственного значения. Из указанного
интегрального представления ядро Р (со, со)£//Х# опреде-
ляется однозначно, а ортонормированная система всех его
собственных функций (со), Л2(со), ... с ненулевыми собст-
венными значениями 1—о2, 1—о2, . . .:
(! —о^Ап((о)= J р(®, ®) hn (®) Р (Ло) (м=1, 2, ...),
170 гл. Ilf. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
связана с плотностью р (о) — Р (tZ(d)/P (dco) следующей фор-
мулой:
п
)?««»)]’ -
Р(®) = lim -- exp
П->ОО U1 * * * Qtl
Пример. Пусть семейство величин £(А) = £((о, А) на
пространстве Q (где параметр А пробегает все борелевские
множества некоторого отрезка Т действительной прямой) по
отношению к гауссовской мере Р представляет собой вине-
ровскую стохастическую меру (см. п. 3 этого параграфа),
другими словами, соответствующие математическое ожидание
и корреляционная функция суть
Я(Д) = 0, В(АР А2) = /(А1 П А2),
где 1=1 (А) — лебеговская мера на отрезке Т. В этом слу-
чае гильбертово пространство Н унитарно изоморфно гиль-
бертову пространству L?(T) всех действительных, интегри-
руемых в квадрате функций ср = <р(£) на отрезке 7, скаляр-
ное произведение элементов ф1 = ф1(^) и <р2 — Фг(0 которого
есть
(фр Ф2) = / Ф1 (0 ф2 (01 (dt).
т
причем всякая величина h£H представима в виде стохасти-
ческого интеграла
Л=/ф(ои^).
т
где ф=ср(^)—соответствующая величине й = /г((о) функция
из £2(0’ Гильбертово пространство унитарно изо-
морфно гильбертову пространству £2(ТХТ) всех действи-
тельных, интегрируемых в квадрате функций ф = <р (s, t) на
прямоугольнике Т X Г. скалярное произведение элементов
ф1==ф1(5, /) и ф2 = ф2($, t) которого есть
(Фр Ф2)= / j Ф1(«. 0-Фг(5> t)l(,ds)XKdt).
ТхТ
2]
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ
171
причем всякая величина представима в виде сто-
хастического интеграла
h= J J <р($,
TxT
где ф = ф (5,7) — соответствующая величине h = h ((о, о) функ-
ция из L2(T%T)t а стохастическая мера на множествах вида
Aj X определена как произведение независимых величин
I (®. &1) И £ (®, Д2).
Если Р = Р0 и а (А) — математическое ожидание гауссов-
ской меры Р, то Р и Р эквивалентны тогда и только тогда,
когда функция а (А) является обобщенной мерой, абсолютно
непрерывной относительно лебеговой меры /(А), причем плот*
ность ф (/) = 4 ffi?- принадлежит пространству £2(Т):
I (Cll)
а(Д) = j Д) а (®) Р (da>) = f (p(t)i(dt),
о д
где
а(<о)= J
т
Если Р = Ро, Р = Ро и #(АР А2)== В (Ар А2) — B(Aj А2)—
разность корреляционных функций гауссовских мер Р и Р,
то Р и Р эквивалентны тогда и только тогда, когда функ-
ция #(Ар Д2) является функцией распределения и продол-
жается в меру на борелевских множествах прямоугольника
Т X Tt абсолютно непрерывную относительно лебеговской
меры Z (Ах) X Z (А2) и имеющую плотность ф($, t)> которая
принадлежит пространству L2(T%T):
Ь (Др д2) = / / | (®. At) • в (®. Д2) ₽ (®. 5) Р (d®) х р (d®)=
= J J фО. t)l(ds)Xl(dt),
Д1 X Д2
где
₽(®. ®)= J J <p(s. t)l(ds)Xl(dt),
TxT
172 ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ (2
причем функция cp(s, t), рассматриваемая как ядро инте-
грального оператора Фредгольма в пространстве Л2 (Г), не
имеет равного 1 собственного значения. Величины
йя(<0)=/фя(01(^) (»=1. 2, ...),
т
где фх(/)» Ф2(0» •••—ортонормированная система всех соб-
ственных функций ядра q)(s, t) с отличными от нуля собст-
венными значениями 1 — о2, 1 — ст2, ..., образуют ортонор-
мированную систему всех собственных функций ядра Р (со, со)
с теми же собственными значениями 1 — ст2, 1 — о2, . . .
Условия эквивалентности произвольных гауссовских мер
Р = Ро и Р = Ро, а также плотность р (со) == Р (cfсо)/Р (с/со)
можно выразить и другим способом, отличньш от указанного
выше. Пусть РХР — произведение рассматриваемых мер
Р и Р на произведении пространств Й X Q и Н — замк-
нутая линейная оболочка величин g (со, s) £ (со, /) (s, t £ Г),
рассматриваемых как элементы гильбертова пространства
£2(Q X Q)» скалярное произведение элементов hx = hx (со, со) и
А2 = Л2 (со, со) которого есть
(Лр Л2)= J J T/i(со, со) /г2 (со, со)Р (б/со) X Р (с/со).
й X Q
Для эквивалентности Р и Р необходимо и достаточно, чтобы
разность корреляционных функций допускала интегральное
представление вида
b(s,t)= | | s)£(w, с~|)РШ)Х?(М
s х а
где р = р (со, со) — некоторая величина из пространства Н
Данное интегральное уравнение относительно функции р =
===== Р (со, со) на ЙХ^ имеет лишь единственное решение
в И X Й и связано с плотностью р (со) = Р (cZco)/P (б/со) сле-
дующей формулой:
р (со) = D ехр | ~ [Р (со, со) — Мр]|,
21
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ
173
где нормирующий множитель D определяется условием
J р (<о) Р (с/со) = 1. Указанная формула нуждается в уточне- •
Й
нии, поскольку функция р(со, со) двух переменных (со, со) за-
дана лишь почти всюду относительно произведения мер Р X Р
и потому ее значения на «диагонали» со = со не определены
однозначно. Именно, рассматриваемая величина р (со, со) при-
надлежит подпространству, являющемуся замыканием всех
величин вида
/г(®, ®)= V tj)
И, 7-1
с действительными коэффициентами ckj- = cjk, для которых
соответствующие величины Л (со, со)—М/г
/М/г = J h (со, со) Р (doM
\ й /
уже определены однозначно. Указанное соответствие
/г (со, со)Л (со, со) — М/г
сохраняется и при предельном переходе:
lim /гЛ(<о, со) <-> lim [ha (со, со) — М/гя],
/г->оо /г->оо
где имеется в виду среднеквадратичная сходимость относи-
тельно соответствующих мер Р X Р и Р.
Пример. Пусть £ (/г) = % (со, n), п — 1, 2,..., — по-
следовательность независимых гауссовских величин (как отно-
сительно распределения вероятностей Р, так и относительно
распределения Р) с нулевыми математическими ожиданиями и
соответствующими корреляционными функциями
{1 при пг — п, ( в2 при т = п,
В (tn, ri) = \
О при т п\ (0 при m=f=n.
В этом случае указанное выше интегральное представление
позволяет сразу найти коэффициенты разложения функции
Р (со, со) по ортогональной системе величин £ (со, т)-£((о, п)
(mt /г=1, 2, ...) в гильбертовом пространстве Н X
174 ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
Именно,
00 1 2
р((0, (0)= У—— £((0, п)£(о, П).
п-1 а«
Очевидно, условие эквивалентности Р и Р состоит в том,
что
оо . 1 2 \ 2
=(₽,₽) <оо.
\ от /
п-1 \ п /
При этом
” 1 а2
₽(о, ®) —М₽= lim У /п)]2—1].
С'«
Гауссовские процессы как кривые в гильбертовом про-
странстве. Гауссовские величины и %2 независимы тогда
и только тогда, когда они не коррелированы. Если М£,1 =
==М£2=0, то независимость равносильна тому, что вели-
чины и £2» рассматриваемые как элементы гильбертова
пространства Z?(Q), ортогональны:
м^2=&, |2)=о.
Пусть £2, ...» — гауссовские случайные величины
с нулевыми математическими ожиданиями и корреляционной
матрицей b—(bkj)t k, J—1, 2, ...» n. Услов-
ное математическое ожидание М (^ | Е>2, .. ., £л) представляет
собой элемент подпространства Н в гильбертовом простран-
стве £2(Q) (подпространство Н порождается величинами
• • • • и*-
п
м ..........2
k = 2
где коэффициенты с2, ..., сп могут быть найдены из усло-
п
вий ортогональности разности L—2 ck^k к подпростран-
k =₽2
ству Н:
п
= (J = 2............п).
2] § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ . 175
Условное распределение вероятностей случайной вели-
чины (относительно |2, in) является гауссовским; со-
ответствующие математическое ожидание и дисперсия суть
а = М(£1|£2. U и 02=М[61-М(Ш- U12-
Пусть |= £(0 — гауссовский случайный процесс на произ-
вольном множестве Т с нулевым математическим ожиданием.
Пусть H(S) — замкнутая линейная оболочка величин £(/),
t £ 5, причем 5 cz Т (т. е. Н (5) — подпространство в гиль-
бертовом пространстве L2(Q)). Условное математическое ожи-
дание М (£(/)1 £(<s), $£5) есть проекция элемента ^(t) на
подпространство Н (S). Условное распределение величины £(0
является гауссовским; соответствующие математическое ожи-
дание и дисперсия суть
а = s£S) и о2 = М {[£(/)-а]2Ш
Пусть Sj и 52— некоторые подмножества множества Г,
Н (50 и 77 (52)— соответствующие подпространства гильбер-
това пространства Л2(й). Положим
г = sup
где sup берется по всем и h2^H(S2) таким, что
МЛ?—МЛ2=1. Имеет место равенство
r = supMrvi2’
где sup берется по всем случайным величинам t]j^£2(Q, 50
и ЛгС^2^» $2) таким, что Мл1 = Мл2 = 0, Мл?— Мл2 = 1
(здесь 7>2(Q, 5)— подпространство в £2(й), образованное
всеми случайными величинами л = л (<о), измеримыми относи-
тельно соответствующей о-алгебры 51(5), 5еТ; 51(5) есть
о-алгебра событий, порожденная всевозможными событиями
вида {£($)£ 7?}, В — борелевское множество на дей-
ствительной прямой).
Пусть
а = 8ир|Р(Л1Л2)-РС41)Р(Л2)|,
где sup берется по всем событиям £ 51 {50 и А2 £ 51 (52).
Имеют место следующие соотношения между а и г:
а г 2ла.
176 . гл. ИГ. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
Комплексные гауссовские процессы. Под комплексным
гауссовским процессом £ (/), t £ Т, обычно понимают сово-
купность комплексных случайных величин
НО = ^1(0 4-^2 (О
с гауссовскими действительной и мнимой частями (t) и
£2(^)» совместные распределения которых при любом наборе
моментов времени t являются гауссовскими, причем выпол-
няется одно дополнительное условие:
мш НО = А (S) Л (О,
где Л(£)=М£(0. Это условие вводится для того, чтобы
сохранить то свойство обычных гауссовских случайных вели-
чин, согласно которому некоррелированность равносильна
независимости. Указанное условие можно переписать сле-
дующим образом:
М (S) - Л, ($)] (/) -Л, (01 =
= М [£2 ($) - Л2 («)] [£2 (0 - Л2 (0] = 4 Re В (s, t),
м Ui (5) - л, ($)] [|2 (t) - Л2 (01 = - 4 Im В (s, t),
где
Л1(0-М^(0, Д2(0=МЬ(0-
3. Мартингалы и стохастические интегралы. Действи-
тельный случайный процесс £ = £ (7) на множестве Т действи-
тельной прямой называется мартингалом, если М | ^ (/) | < оо
и с вероятностью 1
M{HW(-oo, $)} = !($)
при всех 5, t s /, где условное математическое ожи-
дание берется относительно о-алгебры 21 (—сю, s), поро-
жденной всевозможными событиями вида
и£Т.
Пример. Пусть (Q, 21, Р) — произвольное пространство
элементарных событий с распределением вероятностей Р =
= Р(Д), Д£21, и пусть Р = Р(4), Д£2(,—некоторое дру-
гое распределение вероятностей. Рассмотрим монотонную по-
3] § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 177
следовательность о-алгебр 9Ц с с . . . с ?(, на каждой
из которых вероятностная мера Р абсолютно непрерывна
относительно Р, и пусть (св) = р —соответствующие
плотности. Последовательность случайных величин % = Ъ>(п),
п=1, 2......определенных как
£ (со, «) = />„ (<о) (п=1, 2, ...),
является мартингалом.
Пример. Пусть £ —£((о) — некоторая действительная
случайная величина, имеющая математическое ожидание, и
9lz — некоторое семейство о-алгебр событий, зависящих от
действительного параметра t £ Т, таких, что с: при
любых 5, t £ Т, s^t. Тогда случайный процесс £ = |(?),
определенный на множестве Т как
KO=MU|a/},
будет мартингалом.
Теоремы о сходимости. Для случайного процесса £ = | (t),
являющегося мартингалом, математическое ожидание М |£(0| —
монотонно неубывающая функция от t£T. Пусть £ = £(/) —
сепарабельный мартингал и Z>==sup^. Если
Slip М | £ (01 = М < оо,
t£T
то с вероятностью 1 существует предел
lim
t->b
При этом предельная случайная величина £ = £ (Ь) такова,
что условия *):
а) М |и^)|=Я
б) lim М||(0 — Ц^)|=0>
t~^b
в) случайные величины £ (/), / £ Т, равномерно интегрируемы,
являются равносильными. При выполнении одного из них
случайный процесс £ = | (^) на расширенном множестве Т U Ъ
*) К. Krickeberg, Convergence Of martingales with a direct
index set, Trans. Amer. Math. Soc., 83, 2 (1956).
12 Ю. В. Прохоров, Ю. А. Розанов
178
ГЛ. Ilf. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
|3
будет мартингалом и представляется в виде
|(0=Мй|Э(-оо, 0)
При этом если для некоторого а > 1
sup М |£(/)|а < °0.
t^T
то
М imr < оо И lim М (/) —^)Г = 0.
t-+b
Полумартингалы. Действительный случайный процесс
£ = £(/) на множестве Т действительной прямой называется
полумартингалом, если М | £(/)| < оо и
М (£(01 2t(— ОО, *))>£(*)
при любых 5, t£T. s^t.
Если £ = — мартингал, то случайный процесс т](/) =
= |£(/)| будет полумартингалом; для любой действительной
непрерывной и выпуклой функции <р = <р (х) действительной
переменной х такой, что М |<р [£(#)] | < оо, случайный про-
цесс т] (£) = ср [£,(/)] будет полумартингалом на множестве
ТП(- оо, й]. Описанным условиям удовлетворяет, например,
функция
( logcx при х> О,
= { . (с > 1).
( 0 при
Пусть % = — сепарабельный полумартингал на мно-
жестве Т и sup М | £(/)| < °°. Тогда с вероятностью 1 су-
Ц-Т
шествует предел £ = lim £(/), b = sup/.
t->b t£T
Мартингалы и стохастические меры. Пусть £ = £(/) —
мартингал на действительной прямой —оо < t < оо, причем
МЦ(/)|2<оо. Положим при Д —(s, t]
Для любого Л математическое ожидание Мт] (Л) равно нулю,
и для любых непересекающихся полуинтервалов Др Д2
3] § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 179
Более того, при A1 = (s1, ZJ, Д2 = ($2, /2] и
М[П(А1)П2] = О
для любой случайной величины г|2 = г|2 (о), измеримой отно-
сительно о-алгебры 21 ($2, £2).
Функция /п = /п(Д), определенная как/п(Д)= М [т](А)12,
представляет собой распределение на полукольце всех полу-
интервалов Д == (s, t\ и продолжается в борелевскую меру.
Соответствующая стохастическая функция tj = г|(Д) на полу-
интервалах Д = (s, может быть продолжена в стохастиче-
скую меру на о-алгебре всех измеримых по отношению к т
множеств на действительной прямой; при этом соотношения,
указанные выше для полуинтервалов Aj и Д2, останутся спра-
ведливыми и для произвольных измеримых множеств Ар Д2
таких, что Aj £ ($р и Д2 £ ($2,
Пример. Гауссовские стохастические меры. Пусть
/п = /п(Д)—произвольная конечная борелевская мера на дей-
ствительной прямой — оо < t < оо. Функция В (Др Д2) =
=т(Д1^Д2) от параметров Др Д2—измеримых (по отноше-
нию к т) множеств — удовлетворяет условию положительной
определенности:
п оо
У Ау) = J [S Мд/Х)]2 W (rfX) > °’
k, / = 1 -оо
где
<Рд(*) =
1 при х£Д,
О при х(£Д.
Существует гауссовская случайная функция г| = т|(Д) с нуле-
вым математическим ожиданием А (Д) = МЛ (Д) — 0 и корре-
ляционной функцией В (Др Д2) = Мт] (Aj) т] (Д2). Эта функция
Л — т) (Д) представляет собой стохастическую меру на о-ал-
гебре измеримых множеств Д действительной прямой — оо <
< t < со такую, что для любых непересекающихся множеств
At и Д2 соответствующие значения ^(Д^ и т](Д2) незави-
симы. Для любой действительной, интегрируемой в квадрате
12*
180
ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
функции ф — <р(/) случайный процесс £ = £(0 вида
£(/)= J фО)П(^) (—со</<со)
— ОО
представляет собой мартингал.
В случае, когда т = /п(Л)— лебеговская мера на прямой,
соответствующая стохастическая функция г| = т] (А) называется
стохастической винеровской мерой. Отвечающий ей слу-
чайный процесс £ = £(0 вида
t
£(0=/п(Ж) (а<7<оо)
а
г
называется винеровским процессом или процессом броунов-
ского движения. Всякий мартингал = на полуоси
a<^t < оо такой, что его траектории непрерывны с вероят-
ностью 1 и при любых а t < оо
М ШО ~ I СЮ12| 21 (- оо, s)} = / - s,
является процессом броуновского движения.
Стохастические интегралы. Пусть т| = т] (Д)— стоха-
стическая мера на измеримых подмножествах Д множества Т
действительной прямой такая, что
Мг|(А) = 0, М [г) (А)]2 = /п(Д) < оо,
г при любых Aj и Д2, Ai £ (sp и Д2 = ($2, ^2], Л2<^$р
М {т](Д1)| Ш2)} = О,
где 21 (Д2) означает о-алгебру событий, порожденную всевоз-
можными событиями вида {т](Д)<^у}, ДсА^Т1.
Пусть ф = ф (t)—случайная функция на множестве Т,
представляющая собой измеримый случайный процесс такой,
что при каждом t значения ф(^) = ф(со, t) измеримы от-
носительно соответствующей о-алгебры 21 (—оо, /), и, кроме
того,
| М | ф(0|2 w (dt) < оо,
т
где т~ /?/(Д) — мера на множестве 71, m (А) — М [г| (А))2.
3j § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 181
Стохастическим интегралом «простой» случайной
функции ср = ф(£) описанного типа, значения которой ф(/) =
= ф(/, (о) являются постоянными случайными величинами на
интервалах \k — (tk, £=1, п:
Ф(/, (о) = Ф*((о) при t£\k,
называется выражение
j Ф (О n (dt) = <pft (0)) Т] (АД
Т k
Так определенные стохастические интегралы обладают сле-
дующими свойствами:
М [ ф(/)л(^)==0,
т
м J Ф1(Оп(^) [ ФгЮпЙ) = J М [ф1(/)ф2(О]т(Л)-
т т
т
В частности,
М Г J Ф! (0n(dt) — Jф2(ОП(dt) 2= Jм [<Р1 (О—Ф2(О]2»»(dt).
L т т j т
Всякая случайная функция ф(/) описанного выше типа
является пределом некоторой последовательности «простых»
случайных функций фя(/), п,— 1, 2,
lim f М [фл (t) — ф (7)]2 m (dt) — 0.
П->оо J
Соответствующая последовательность стохастических инте-
гралов | фя (t) т] (dt)t п—\> 2, ..., сходится в среднем квад-
т
ратичном к некоторому пределу
f ф(/)П(^) = Пт
J П-+ОО d
который и называется стохастическим интегралом слу-
чайной функции ф = ф(/). Пусть Т =\а, и
t t
= j ф(®, S)ds+ |ф(<0, s)n(rfs).
а а
182 ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [4
При каждом t£T значения £(/) представляют собой случай-
ные величины, определенные лишь с вероятностью 1; их
всегда можно, определить таким образом, чтобы случайная
функция £ = на множестве Т была сепарабельным изме-
римым случайным процессом.
Указанное интегральное представление случайного про-
цесса £ — £(/) условно можно записать в дифференциальной
форме:
^(О=<р(О<«+Ф(О<*п (О-
Это выражение называется стохастическим дифферен-
циалом.
Формула замены переменной. Пусть г| — т] (Л)—стоха-
стическая винеровская мера и £ = £(/) — случайный процесс,
стохастический дифференциал которого имеет вид
Пусть действительная функция /(/, х) двух переменных t
и х имеет непрерывные первую производную по t и вторую
производную по х. Тогда случайный процесс £ = £(/) вида
£(£) = f [tt £(/)] имеет стохастический дифференциал*)
где
= В(О1Ф(О +
4. Марковские случайные процессы. Случайный про-
цесс £ = £(£) на множестве Т действительной прямой в фа-
зовом пространстве (Е, 93) называется марковским, если
условные вероятности Р (Д 191 (— оо, $)) событий А £ 91 (t, оо)
относительно о-алгебры 91 (—оо, $) таковы, что при s^t
с вероятностью 1
Р(Л|91(—оо, $)) = Р(Л|£($))
*) К. И т о, Об одной формуле, касающейся стохастических
дифференциалов, Математика (сборник переводов), III, 5 (1959).
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ
183
4]
(здесь 21 (и, v) означает о-алгебру, порождаемую всевозмож-
ными событиями вида П Л В £23). Если
параметр t интерпретировать как время, то описанное мар-
ковское свойство случайного процесса = состоит, грубо
говоря, в том, что поведение процесса после момента t при
фиксированном состоянии х = £ (£) не зависит от поведения
процесса до момента t. Точнее, для любых событий
Л1£?1(—оо, fj) и Л2£21(/2, °°) и при любом t£Tt tj
c вероятностью 1
P(4AIU0)=PO(0)P(AIO
Выполнение марковского свойства существенным образом
зависит от выбора фазового пространства рассматриваемого
процесса. Поясним это на следующем примере. Пусть дей-
ствительный случайный процесс £ — | (t) на отрезке Т = [а,
описывается дифференциальным уравнением первого порядка
Г = Ж £)•
Если фиксировать значение £(/0) = х, то при каждом эле-
ментарном исходе со траектория £ (со, /), t рассматри-
ваемого процесса однозначно определяется дифференциальным
уравнением (со, t) = f \tt £ (со, ^)] и «начальным условием»
| (со, tQ) — х, так что процесс £ = £(/) будет марковским.
Если же рассматриваемый процесс £ = £(/) описывается диф-
ференциальным уравнением n-го порядка:
= ...........
то он уже не будет марковским; марковское свойство будет
выполнено, если рассматривать n-мерный случайный процесс
Uw. V°(o.....V"_1) (0). компонентами которого являются
исходный случайный процесс £ (t) и все его производные
до порядка п—1 включительно.
Еще один пример. Пусть —случайный процесс
на действительной прямой —сю < t < сю в произвольном
фазовом пространстве (Е, 23), X — пространство всех функ-
ций x = x(s) со значениями в В, каждая из которых опре-
делена на некотором интервале — оо < s Л и пусть 21 есть
о-алгебра, порождаемая всевозможными цилиндрическими
множествами
{*(*!> 6*1...Х(/я)СВл],
184
ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
14
где Bv ..., Вл£23. Обозначим символом (со» $), —оо <
траекторию исходного случайного процесса £ на
полуоси —со < <s t (со, s) — случайная величина со зна-
чениями в новом фазовом пространстве (X, ЭД)). Если опре-
делить «расширенный» случайный процесс в фазовом про-
странстве (<¥, ЭД), взяв^за его значение в момент времени t
соответствующую траекторию £ (со, $), — оо < 5 t> то такой
процесс будет обладать марковским свойством.
Условные распределения и переходные функции. Функ-
ция P(s, х, t, В) переменных s, t £ Г, s Л и х£Е, В
называется переходной функцией марковского случайного
процесса £ = £(/) на множестве Т в фазовом пространстве
(Е, ®), если эта функция при фиксированных 5, t £Т и х£Е
представляет собой распределение вероятностей на о-алгебре $3
и при фиксированных s,t£T и является измеримой
функцией от такой, что с вероятностью 1
P(s, £(о> 5) = Р {£(/)££ |£(<
причем
P(s, х, s, В) =
1 при х £ В,
О при х(£В.
Грубо говоря, P(s, х, t, В) есть вероятность того, что
из состояния x = £(s) процесс за время t — s перейдет в одно
из состояний множества В.
Переходная функция P(s, х, t^B) всегда существует,
если фазовое пространство (£, ®) сепарабельно, а распре-
деления вероятностей Р, (В) =Р {£(0 6 В являются
совершенными мерами. Эта функция для любых 5, t £ Т и
и для почти всех х£Е (относительно соответствую-
щих распределений Р,) удовлетворяет соотношению
Р($, х, /,£?)—J P(s, х, ut dy}P(ut у, t, В)
которое называется уравнением Колмогорова— Чепмена.
Конечномерные распределения вероятностей случайного
процесса £ — £(/) с переходной функцией P(st х, tt В),
4] § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 185
выражаются следующей формулой:
РЧ.../„(51....5Л) =
~ J J J ^(^л-Р Хп-1> Iп*
В2 ВП-1
У\^^п-2 Хп-2* tfi-V ^Хп-1) • • • ^(^р х1» ^2» ^х2) P/j
Пусть случайный процесс £ = £(/) на множестве Т в фа-
зовом пространстве (Е, ®) имеет переходную функцию
P(st х, t, В), удовлетворяющую уравнению Колмогорова —
Чепмена при всех х^Е, и пусть множество £(Q) функцио-
нального пространства X = Ет, образованное всеми траекто-
риями | (со, t) — функциями на Т со значениями в Е, со £ Q, —
входит в о-алгебру, порожденную полукольцом цилиндриче-
ских множеств 23Г. Тогда существует семейство распределе-
ний вероятностей Р5> х— Р5> Х(Л), каждое из которых опре-
делено на соответствующей о-алгебре событий 21($, оо)
пространства элементарных исходов Q таких, что
Pj, X = X, /, В)
при любых 5, t £ Т, 5 и х £ Е, В £ 23. Кроме того,
с вероятностью 1 (относительно PSfX)
Р,.х{Ш€5|Ш и)]=Р(и, U«). t 5)
при любых и £ Т, s ^.u^t.
Пусть Т — произвольное множество на прямой, (Е, 23)—
произвольное измеримое пространство, и пусть P(s, х, Л В) —
такая функция переменных 5, t £ Tt и xf^E, В £23,
которая при фиксированных 5, t£T и х£Е задает распре-
деление вероятностей на о-алгебре 23 пространства Е (пред-
полагается, что эта функция измерима по х при любых
фиксированных s, t и Е£23 и удовлетворяет уравнению
Колмогорова — Чепмена при х£Е). Всегда существует
непосредственно заданный случайный марковский процесс
l = на множестве Т в фазовом пространстве (Е, 23)
с такой переходной функцией P(s, х, t. В).
Условные переходные функции. Пусть ^ = 11(0 и
£2 = £2 (t) — случайные процессы на множестве Т действи-
тельной прямой в соответствующих фазовых пространствах
(Ер 23j) и (Е2, 232) такие, что «двумерный» случайный
186 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [4
процесс £=Up£21 в фазовом пространстве Е — Ех X ^2
является марковским, причем марковским является и процесс
(/). Пусть переходная функция «двумерного» марков-
ского процесса £ = £(/) такова, что при любых s, Т и
£ ЗЗр х2 С ^2
P{s, (хр х2), tt Вх X Е2} — P(s, Хр t, Bj),
где P(s, xv t, Bj) — переходная функция марковского про-
цесса Предположим, что рассматриваемые фазовые
пространства (Вр £5*) и (В2, ®2) сепарабельны, а распределе-
ния вероятностей значений и £2(£), t£T, являются
совершенными мерами. Тогда существует так называемая
условная переходная функция P(s, х2, В2, со) случайного
процесса £2 — с вероятностью 1
P(s, £2(s), Л В2, (0) = Р U"). без-
условная переходная функция при каждом фиксированном
элементарном исходе со £ Q удовлетворяет всем требованиям,
предъявляемым к переходной функции, т. е. является рас-
пределением вероятностей на о-алгебре ®2, измерима по
х2££2 и удовлетворяет уравнению Колмогорова — Чепмена:
Р (s, х2, Л В2, со) = J P(s, х2, и, dy, a)P(ut у, t, В2, со)
Е2
f).
Случайный процесс ^2 = ^2(/) с условной переходной
функцией P(s, х2, t, В2, со) называется условным маркое-
ским процессом.
Коэффициент эргодичности. Пусть £=£(£)—случайный
марковский процесс в фазовом пространстве (Е, 23) с пере-
ходной функцией P(s. х, t> В). С вероятностью 1 имеет
место равенство
₽($, 0= sup |Р(Л |21(— оо, 5)) — Р (Л)1 =
оо)
= sup|P(s, |(s), t, В) — РДВ)|.
вс®
Величина
k(st £)=1— sup |Р(s, хР /, В) — P(s, х2, /, В)|
Х1, Х2»
41
§ 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 187
называется коэффициентом эргодичности марковского про-
цесса £ = £(^). С вероятностью 1 имеет место неравенство
₽($, о<1 —£($, /).
Уравнение Колмогорова — Чепмена, которому удовлетво-
ряет переходная функция P(s, х, t, В), дает следующее
соотношение:
п
\-k{s, П [1 - k(Si, Q],
i = 1
где = t. Если k(s, /);>£> О
при t — то имеет место оценка 1—k(s, f)^Ce~Dt>
где С и D—некоторые положительные постоянные.
Марковские моменты и строгая марковость. Пусть
£ = £(/) — случайный марковский процесс на множестве Т
в фазовом пространстве (В, 33), и пусть 91* (s, t) есть о-алгебра
событий, порожденных всевозможными событиями вида
U (#)££}, #£[$, П Л В £23, и пополненных множествами
нулевой вероятности. Случайная величина 'Т = 'Т((о) со зна-
чениями в Т называется марковским моментом или вели-
чиной, не зависящей от будущего, если {т > /} £ 91* (— оо, t)
при любом t. Примером таких величин может служить мо-
мент т первого достижения определенного множества в фазо-
вом пространстве Е траекторией £(<о, Z) случайного процесса
£ = |(0 И т. п.
Пусть т = т((б) — некоторая величина, не зависящая от
будущего, и пусть 91* (s, т) есть о-алгебра всех событий
Д£91*(—оо, оо) таких, что пересечение А • {т t\ входит
в 0-алгебру 91* (—оо, /); далее, пусть т] = т]((д) — случайная
величина со значениями в Т, измеримая относительно
91* (—оо, т) и такая, что т](со) т(<о). Наконец, пусть Т —
борелевское множество, и пусть марковский случайный про-
цесс £ — | (со, t) измерим относительно произведения о-алгебры
91* (—оо, оо) и о-алгебры всех борелевских подмножеств
множества Т. Процесс £ = £(/) называется строго марков-
ским, если для любых т, т] и В £23 с вероятностью 1
PU(n)££|2T(-oo, т)}=Р{т, £(т), п, В).
Рассмотрим, случайный марковский процесс £ = £(Z)
в метрическом фазовом пространстве (Е, 23). Пусть его пере-
ходная функция P(s, х, t, В) такова, что при $->$0 и х->а;0
188 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [4
соответствующие распределения вероятностей P(s, х, t, В},
В £23, слабо сходятся к распределению Р($о, х0, Л В), т. е.
j P(s, X, t, | P(s0, х0, t, dy) Ф(у)
Е . Е
для любой ограниченной непрерывной функции ф = ф(х),
х£Е. Если с вероятностью 1 рассматриваемый случайный
процесс непрерывен справа, то он является строго
марковским процессом.
- Пусть С — некоторый компакт метрического фазового
пространства (Е, 2*), тс = тс(а>) — момент первого выхода
из множества С траектории £(со, t) сепарабельного марков-
ского процесса £ = £(/) на отрезке Т — [а, Ь\, и пусть пере-
ходная функция Р($, х, tt В) удовлетворяет условию «равно-
мерной стохастической непрерывности»: при любом е > О
Р {<$, х, Л Е \ Уе (х)} < 6е (/ — s),
где х£Е, Уе(х) есть е-окрестность точки х и д(Л)->0
при h—>0. Тогда с вероятностью 1 траектории £(со, /) на
интервале (а, тс(со)) могут иметь лишь разрывы первого
рода; при этом существует эквивалентный исходному про-
цессу £=£(/) случайный марковский процесс £ = £(/), почти
все траектории которого непрерывны справа до момента
тс==тс((о) первого выхода из компакта С. Если указанное
соотношение при любом г выполняется для некоторой функ-
ции де = де (h) такой, что де (А) == о (Л) при /г —> 0, то с вероят-
ностью 1 траектории £(со, /) являются непрерывными функ-
циями на интервале (я, тс(со)):
Обрывающиеся марковские процессы. Пусть Q— про-
странство элементарных событий, Т — множество на действи-
тельной прямой, (Е, 23) — некоторое фазовое пространство,
т = т((о) — некоторая функция на Q со значениями в Т.
£ = £(<о, t) — функция двух переменных (го, t), co£Q и
t П(—оо, т((о)), со значениями в фазовом пространстве
(Е, 23). Пусть 2ll означает о-алгебру событий «подпростран-
ства» Qz=[t>/}, порожденную всевозможными событиями
вида {£(н)€Е, t>Z}, £(zz) = ^(g), и), где u£T(\{s>t) и
Е£2\- пусть 21 (s, t) — некоторая о-алгебра событий основ-
ного пространства Q, содержащая все 2l“, u^t. Пусть при
каждом s£T и х£Е на о-алгебре 21 (s, со) определено
5| § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 189
распределение вероятностей Рл х — Р5> Х(Д) такое, что при
любых s, t £ 7, /, и В £ 8
p(s, xt t> в)=pStX [шещ
есть измеримая функция от х£Е,
1 при х £ В,
P(s,x,t,B) = !
О при х(£В,
и для почти всех (о (относительно P5j х)
t, в)
при любых и £ 7, s ^u^t. Соответствующая случайная
функция £=£(/), значения (со, /) которой суть слу-
чайные 'величины, определенные для элементарных исходов
(d£Q, т(со)>Л называется обрывающимся марковским
процессом’ случайная величина т — т (со) называется момен-
том обрыва процесса (величину т можно интер-
претировать как момент выхода из рассматриваемого фазового
пространства Е).
Например, если £ = £ (f) — необрывающийся марковский
процесс и т — т (со)—некоторый марковский момент (скажем,
момент выхода из некоторого множества фазового простран-
ства), то случайный процесс с траекториями £(со, /), t < т(со),
будет обрывающимся марковским процессом с моментом
обрыва т.
5. Однородные и стационарные случайные процессы.
Преобразования сдвига и инвариантные распределения.
Пусть Т — некоторая группа (или полугруппа) на действи-
тельной прямой, т. е. для любых tv tzQT определена опе-
рация tx 4-t2, и точка t = 4 -f-12 также входит в множество 7.
Пусть (Е, 8)—некоторое измеримое пространство и X — Ет —
пространство всех функций х ==x(t) на множестве 7 со зна-
чениями в Е. Рассмотрим преобразование и £ 7, в функ-
циональном пространстве Х\ если x~x(t)£X, то
Sux (t) = х (t 4- и).
Пусть — прообраз множества А с: X при отобра-
жении Рассмотрим = как преобразование
множеств функционального пространства X. Преобразование
190 гл. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [5
сдвига сохраняет теоретико-множественные операции:
5“7Пл^ = П(5“1лД
\ k I k
S^(Ax\A2) = S-xAl\S^A2.
При этом каждое цилиндрическое множество А вида
Л = {х(^)С51......
переходит в цилиндрическое же множество
s;IH = {x(6-b«)6^i......х (/„+«) с вп}.
Если 91(5, f) есть о-алгебра, порожденная всевозможными
цилиндрическими множествами {a:(zz)£B}, где и £ Т П [5, t] и
В £23, то совокупность всех множеств вида А £91(5, t)t
совпадает с о-алгеброй 91(5-f- zz, ^-f-zz). Если на о-алгебрах
91(5, t) и 9l(5 4-zz, /4- zz) заданы распределения вероятно-
стей р, и Р,+и- соответственно, такие, что для любого
цилиндрического множества Л £91 (5, t) выполнено равенство
Л) = Р15(Л),
то оно будет выполнено и для любого множества Л £ 91 (5, t).
Пусть | = % (t) — случайный процесс на множестве Т со
значениями в фазовом пространстве (Е, 23). Рассмотрим ото-
бражение £ соответствующего пространства элементарных со-
бытий Q в функциональное пространство X: х=£((о, t). При
отображении % каждый элементарный исход со£Й переходит
в траекторию £(<о, t) на множестве 7\ Пусть |“ХЛ — про-
образ множества Л с X при отображении и пусть 9Ц (5, t)
означает о-алгебру событий, порожденную всевозможными
событиями {£(zz)£B}, где и £ Т П [5, ЛиВ£23. Совокупность
всех событий вида ^Л, Л £91 (5, 0» совпадает с о-алгеб-
рой 91^(5, t).
Пусть Ъ^А (Л£91(—оо, оо)) — некоторое событие из
о-алгебры 91^(—оо, оо). Положим
5»1(г’л)=г1(5;1д).
Для каждого исходного события д-1Л соответствующее собы-
тие определено, вообще говоря, неоднозначно
5} § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 191
(одно и то же событие может быть представлено и как
и как где множества А1 и А2 различны).
Пусть на о-алгебрах 9Ь($, t) и 9l|(s4-tf, заданы
распределения вероятностей г5 и Ps+a, соответственно, такие,
что для любого события {£(^)£В1, ...» £(£Л)£ВЛ), где
•••» t\ и ......выполнено равенство
P5+JU'i + ")€Sp .... l(tn + u)£Bn} =
.....Utn^Bn}.
Тогда для любых множеств Av А2 £ 91 (s, t) таких, что
= Z^A^ соответствующие события £~1 (5„ !Л1) и
ГЧ^'Ч) отличаются друг от друга лишь на событие
вероятности нуль:
Р,+в {Г1 (5J1А,) о Г1 (Sa 1Л2)) = 0. .
Если не делать различия между такими событиями, то пре-
образование сдвига на о-алгебре событий 9l| (s, t) уже
будет определено однозначно. При этом для любого собы-
тия 4£9Ц($, t) соответствующее событие входит
в о-алгебру 91^ (s-1- и, t-{-u), и всякое событие из 91| (5-1- и,
t-}-u) может быть представлено как Л£9Ц($, /), т. е.
S«4(s- O=^(s + «. t + u).
Если не делать различия между случайными величинами
т] — г| (со), совпадающими с вероятностью 1, то можно опре-
делить преобразование сдвига Uи для каждой случайной вели-
чины т| = г| (со), измеримой относительно о-алгебры 9I|(s, t).
Именно, для простой случайной величины т| такой, что
т]((о) = У£ при ®£Ak (ft=l, 2, ...), преобразование сдвига
можно определить как
^„П(ю) = У* при (А = 1, 2, ...);
для произвольной случайной величины т] можно положить
i/aTl(w)= Iim ^иПл(®),
П->оо
где т]л (со), п — 1, 2, . .., — некоторая последовательность
простых случайных величин, равномерно сходящихся к т| (со).
К2 ГЛ. III. ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ [5
Преобразование сдвига Uи таково, что для любой борелевской
функции ф = ф(хр .... хп) на пространстве (Ent S'2)
Wi). •••> £О = Ф[£(Л + ")...........g(^4-")L
Однородные марковские процессы. Пусть для определен-
ности Т — множество всех неотрицательных или целых чисел
Случайный марковский процесс на множестве Т
в фазовом пространстве (В, S) называется однородным, если
его переходная функция P(s, х, t, В) при любых и, s, t£T
(s^t) и х£Е, B£S удовлетворяет условию стационар-
ности'.
P{s~\~u, х, t-\-u, B) = P(s, х, t, B\
В случае однородности марковского процесса £=|(0 пере-
ходная функция в действительности зависит лишь от t — s, х
и В, и поэтому ее можно обозначить символом P(t— s, х, В).
Соответствующие условные распределения Р5> х = Р5> х (Л),
Л £$£($, оо), однородного марковского процесса £ = £(О
таковы, что
= P,,J£ (QG^i.......^п)евп]
для любых ...» оо) и Bv . .., Вп£?8.
Соответствующие преобразования сдвига Su можно опре-
делить на каждой из о-алгебр событий оо); при этом
для любых Z/p Uy Р и
Р^в,х(5;'д) = Р.,х(Л) оо));
все распределения Р5 Х(А) определяются, например, по рас-
пределению
РхИ)=Р0,х(Л) (ЛС^(0, сю)).
Стационарные случайные процессы. Пусть для опреде-
ленности Т — множество всех действительных или целых
чисел t. Случайный процесс £ = £(/) на множестве Т в фа-
зовом пространстве (Е, S) называется стационарным (в узком
смысле), если его конечномерные распределения для любых
w, ^р tn£P и Вр Bn£S удовлетворяют условию
стационарности:
P/j + u,tn+u (Bi, ...» Вп) = (Bp Bn),
5] § 2. ОСНОВНЫЕ ТИПЫ СЛУЧАЙНЫХ ПРОЦЕССОВ 193
Для стационарного процесса £ = £ преобразование
сдвига Sa определено при каждом и £ Т на всей о-алгебре
событий —оо, оо), причем, соответствующее распределе-
ние вероятностей Р = Р (Л), Л^21^(—оо, оо), инвариантно
относительно преобразований Su:
Р (SJ1 Д) = Р (Д)
при всех и£Т, Л^21^(—оо, оо). Для любых ulf
Преобразование сдвига U и, и£Т, рассматриваемое как пре-
образование в гильбертовом пространстве Z,2(Q) всех случай-
ных величин т] = т] (со), измеримых относительно 9Ц(—оо, оо),
со скалярным произведением (т]р t|2)=M(t|i • Л2)» представляет
собой унитарный оператор; при этом для любых uv и2£Т
и иг + и2*
Пример. Марковский стационарный процесс. Пусть
£=£(/)— случайный марковский однородный процесс на
действительной прямой Т в фазовом пространстве (£, ®), и
пусть его переходная функция P(t, х, В) такова, что в фазо-
вом пространстве (В, 23) существует так называемое инва-
риантное или стационарное распределение вероятностей
ро = ро(В), В&&-.
Р°(В) = J po(dx) P(t, х, В)
Е
при всех В £ 23 и t £Т. Это распределение вероятностей Р°
таково, что однородный марковский процесс % (/) с переход-
ной функцией P(t, х, В) и распределениями
Р/ (5) = р (0 € Я) = Р° {В) (В е 23)
будет стационарным в узком смысле.
ГЛАВА IV
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Распределения и их характеристические функции
1. Однозначность соответствия между распределе-
ниями и характеристическими функциями. Схема сложе-
ния случайных величин (принимающих не обязательно веще-
ственные значения) до сих пор остается одним из главных
объектов изучения в теории вероятностей. При этом очень
часто с помощью тех или иных приемов случай зависимых
величин сводится к случаю независимых. Основным аналити-
ческим орудием здесь являются характеристические функции,
определенные ранее (см. гл. III, § 1.1). Пусть Pg — распре-
деление случайной величины или случайного конечномерного
вектора £ £ Характеристическая функция cpg — cpg (t) выра-
жается формулой
ф£(/) = ф(^; Р|)= <*'&) = J eitxPi(dx),
Rs
Свойство мультипликативности (для независимых
и £2)
<р51+*,=ад,
связано с тем, что при фиксированном t функция е1^* пред-
ставляет собой характер аддитивной группы действительных
чисел (или, соответственно, векторов конечномерного евкли-
дова пространства):
ei(t, Si+Ь) — • е1^ Ч
Это замечание служит отправным пунктом при распространении
понятия характеристической функции на случайные величины
со значениями из группы более общей, чем та, о которой
1] § I. РАСПРЕДЕЛЕНИЯ И ИХ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ 195
только что говорилось. Областью определения характеристи-
ческой функции служит множество всех характеров (в ком-
мутативном случае) или унитарных неприводимых предста-
влений соответствующей группы (в некоммутативном случае).
Можно рассматривать в качестве области определения и мно-
жество всех элементарных положительно определенных функ-
ций, нормированных условием равенства единице в единице
группы (имеется в виду мультипликативная запись) *). В этой
главе речь будет идти в основном о коммутативном случае.
Взаимная однозначность соответствия между характе-
ристическими функциями и распределениями основана на до-
статочности множества характеров. Последняя должна в этом
контексте пониматься, грубо говоря, как возможность аппро-
ксимировать любую непрерывную и ограниченную функцию
от х конечными линейными комбинациями характеров равно-
мерно на каждом компактном множестве.
Рассмотрим вопрос об однозначности соответствия, напри-
мер, на действительной прямой (т. е. для вещественных слу-
чайных величин). Пусть и Р^2 — два распределения на
прямой, причем
и пусть/ — произвольная, непрерывная и ограниченная функ-
ция. Из равенства характеристических функций вытекает
равенство
ОО 00
/ (%с/‘Ар^ах)= /
— оо \ j j — co \ / /
для любых тригонометрических полиномов. Отсюда ввиду
того, что (а) каждое распределение на прямой «почти цели-
ком» сосредоточено на некотором компакте и (б) каждая
непрерывная и ограниченная функция может быть аппрокси-
мирована тригонометрическими полиномами равномерно на
каждом компакте, вытекает равенство
ОО 00
/ /(х)Р|, (dx)= J /(x)Pb(dx)
— ОО —00
*) См. У. Гренандер, Вероятности на алгебраических струк-
турах, М., «Мир», 1965.
13* Ю. В. Прохоров, Ю. А. Розанов
196 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
для любой непрерывной и ограниченной функции, а отсюда —
совпадение самих распределений *).
Однако распределения не обязаны совпадать, если соот-
ветствующие характеристические функции равны лишь на
некотором отрезке числовой прямой. Один из путей построе-
ния примеров, иллюстрирующих это утверждение, дает теорема
Пойа, . согласно которой вещественная непрерывная четная
функция g(t) с g(0)= 1, g(/)—>0 (t —>оо), выпуклая на
[0, оо), является характеристической.
Простое и полезное достаточное условие единственности
в этой обстановке — аналитичность характеристической функ-
ции в некоторой окрестности нуля. В терминах соответ-
ствующих распределений это требование равносильно так на-
зываемому условию Крамёра: интеграл
оо
J (dx)
— ОО
конечен при всех Л, достаточно близких к нулю. Условие
Крамёра может быть иначе сформулировано в терминах про-
изводных характеристической функции в нуле (или в терми-
нах моментов): существует Н > 0 такое, что
М^<(2£)!//2* (6 = 0, 1, 2, ...)
(дальнейшие результаты см. в § 3 этой главы).
С другой стороны, можно указать и достаточные условия
неединственности. Например, если характеристическая функ-
ция ф(^) такова, что
ф(0 = J eiljcp(x)dx, P(x)£L2(R1),
— ОО
И
оо
j
— ОО
то, каково бы ни было а, найдется другая характеристиче-
ская функция Фй(0 такая, что
ф(0 = Фа(0 при р|<а.
*) Ю. В. Прохоров, The method of characteristic functionals,
Proc. 4th Berkeley Symp., Vol 2, 1961, 403 —419.
2] § I. РАСПРЕДЕЛЕНИЯ И ИХ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ 197
Аналогичное утверждение справедливо. и для более общего
случая распределений с ненулевой абсолютно непрерывной
компонентой.
При специальных предположениях относительно случайных
величин наряду с характеристическими функциями исполь-
зуются их аналогии: для целочисленных | — проазводящие
функции
п
а для положительных £— преобразования Лапласа соот-
ветствующих распределений
оо
J e~sxP^(dx).
о
Преобразования Лапласа (двусторонние) используются также
при изучении распределений с функциями распределения,
экспоненциально приближающимися к нулю (единице) при
аргументе, стремящемся к — оо (4~ оо). И производящие функ-
ции и преобразования Лапласа обладают мультипликативными
свойствами (перемножаются при композиции распределений)
и однозначно определяют соответствующие распределения.
2. Формулы обращения. Естественным дополнением к тео-
ремам единственности для характеристических функций служат
явные выражения Р^(Л) для тех или иных классов мно-
жеств А через характеристическую функцию. Если £ — слу-
чайная величина со значениями в конечномерном простран-
стве /?* и с абсолютно интегрируемой характеристической
функцией
/ < оо,
Rs
то распределение £ имеет непрерывную плотность, и по фор-
муле обращения для интегралов Фурье
Рь(х) = (2л)-* (^ (/) (И.
Rs
198. ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
Интегрированием по х при х£А получаем (во всяком слу-
чае, для ограниченных Д)
Р{(4) = (2л)'’|И e-iV-^dx
Rs V*
Аналогичная формула для произвольных распределений
получается с помощью так называемого «сглаживания», пред-
ставляющего собой весьма удобный и часто применяемый
технический прием. Можно начать со следующего утвержде-
ния: пусть Н(х) — функция, представимая в виде
Н (х) = (2л)-' J el (0 dt
Rs
с абсолютной интегрируемой h(t). Тогда
МЯ (£) = (2л)-' | (О h (t) dt.
Rs
Так как
Р&(Д) = М/л(£),
где /л—индикатор множества A (J А (х) = 1, х£ Д и /л(х)=0,
xf^A), то для получения «формул обращения» достаточно
уметь приблизить /А(х) функциями Н(х) указанного выше
типа. Этого можно достигнуть, например, полагая
= JIл(У)(2л)-'/2о-'exp { — (Х~У^2 ~У) =
г /г \ °2 (/> °
= (2л)""51 J dvj* 2 dt.
rs '
Всегда
0<tfo(x)<l,
и если o~>0, то 1, когда x есть внутренняя точка Д,
и //о(х)-~>0, когда х — внутренняя точка дополнения к Д.
Отсюда для множеств непрерывности распределения Pg
(т. е. для множеств А с Р^граница Д) = 0) получаем
a2 (t О
2
di) ] е
2] § I. РАСПРЕДЕЛЕНИЯ И ИХ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ 199
Рассмотрим, в частности, шары
Д =z Sa> r = {xt |х— а К г}.
Так как
С / Отт#* \
j e-i(t,v)dv=ze-i(t,a)^L^ A/2(rp|)
Sa, г
(Л/гС-^) — функция Бесселя порядка $/2), то
Р^(5а>г) =
= Ит(2л)~Ч Л/2(гИ)Г 2
a->0 «/ \ И I /
Xs
На этом пути помимо формул обращения можно получить
полезные неравенства. Приведем для примера одно из них.
Пусть —неотрицательная квадратичная форма. Если
неравенство
2 &j, kt j^k 1
j,k J
влечет неравенство
1 — Req)|(/)<e,
то
/*— ( \
Непрерывность соответствия между распределениями
и характеристическими функциями. Имеет место следую-
щее свойство непрерывности соответствия между распреде-
лениями в евклидовом пространстве и их характеристическими
функциями: поточечная сходимость характеристических функ-
ций равносильна слабой сходимости соответствующих рас-
пределений, а равностепенная непрерывность семейства харак-
теристических функций в нуле равносильна относительной
слабой компактности семейства распределений. Если равно-
степенно непрерывны в нуле не сами характеристические
функции, а их абсолютные величины, то соответствующее
семейство распределений «сдвиг-компактно» (т. е. семейство
распределений случайных величин или векторов — Ап прн
надлежащем выборе констант Ап относительно слабо ком-
пактно). Верно и обратное утверждение.
200 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
Иногда желательно рассматривать типы сходимости более
сильные, чем слабая сходимость. Тогда возникает задача фор-
мулировки соответствующих условий в терминах характери-
стических функций. Задача эта обычно оказывается трудной
(см. следующий параграф).
3. Свойства распределений, выраженные в терминах
характеристических функций.
Абсолютная непрерывность а сингулярность. Если
характеристическая функция абсолютно интегрируема, то, как
было замечено выше, распределение имеет непрерывную и
Ограниченную во всем пространстве плотность. Если
J |<Рб(О |2^<ОЭ,
RS
то распределение £ абсолютно непрерывно. В R1 имеет место
Очень глубокое и, в известном смысле, обратное к высказан-
ному утверждение *): в R1 для всех достаточно правильно
убывающих при р|—>со функций ф(£) таких, что
J q2(t)dt — оо
— оо
(во всяком случае, для функций, эквивалентных при 111 —> оо
1 1 ___________________________1__________
ЖТ ’ Ж I log И ’ /| f I-log PI . log log I
и т. д.), существуют соответствующие сингулярные распре-
деления Р с
<р(/; Р)=О(ф(0) при |^|->оо.
Этот результат можно использовать для построения при-
меров сингулярных распределений, которые после некоторого
числа композиций самих с собою становятся абсолютно непре-
рывными. В R1 такие примеры могут казаться «патологи-
ческими». Однако в Rs при 5 2 существуют простые, есте-
ственные примеры распределений, обладающих подобным
свойством.
*) О. С. И в а ш е в-М у с а т о в, О коэффициентах Фурье —
Стилтьеса сингулярных функций, ДАН СССР, 82, 1 (1952), 9—И.
3] § 1. РАСПРЕДЕЛЕНИЯ И ИХ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ 201 .
Пример. Если Р — равномерное распределение на еди-
ничной окружности в /?2, то Р сингулярно относительно
лебеговой меры, но композиция Р * Р имеет плотность
Р(Х' У)== ^ = Х1 + у*).
Наличие плотности связано с тем, что для характеристической
функции
Ф(^ь t2) = Jo (V^i + ^)
распределения Р*Р при t—>оо имеем
Ф(^, t2, р*р)=о/——ЦА
Приведенный пример может быть обобщен в том смысле,
что для равномерного распределения на поверхности доста-
точно гладкого выпуклого тела с неисчезающей кривизной
характеристическая функция имеет порядок О(|^|~^2)» где
= ... +4 точно так же степенным обра-
зом убывают характеристические функции таких сингулярных
распределений в /?5, как совместное распределение степеней
(£, £2...£*) данной непрерывно распределенной случайной
величины £ и т. п. *).
Вернемся к случаю 7?1 и сделаем некоторые дополнитель-
ные замечания, касающиеся ‘абсолютной непрерывности и
сингулярности.
Если распределение Р имеет абсолютно непрерывную ком-
поненту, то
НЫ |<p(f, Р)1< 1. (С)
Для дискретного распределения всегда lim |ф(/, Р)1==1.
Рассмотрим, с другой стороны, характеристическую функ-
цию вида
оо
*(')=n(l-v+v"2’')’
*) См. ссылки в работе: С. М. С а д и к о в а, Некоторые нера-
венства для характеристических функций, Теория вероят. и ее при-
мет, XI, 3 (1966), 500—506.
202 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
[3
' оо
где 2 < Х„-*оо и П О
/-1
—j — 0. Соответствующее рас-
пределение не имеет точек положительной массы. Вместе
с тем верно равенство lim |ф(Л Р)|= 1. Тогда при любом п
I t |->оо
lim |<р(/, Р)"|= 1.
11 |->ОО
и соответствующее распределение не содержит абсолютно
непрерывной компоненты ни при каком п.
Неравенство (С) может быть уточнено при дополнитель-
ных ограничениях. Так, если распределение Р сосредоточено
на конечном отрезке [—L, L\ и имеет ограниченную плот-
ность
р(х)<^ 4 < оо,
то
sup |ф(/, Р) | 1—С4~2Л~2,
111 > л/2£
где С — абсолютная постоянная (можно взять, например,
С = 1/128).
Для симметричных и унимодальных распределений Р можно
установить неравенства следующего типа. Допустим, не огра-
ничивая общности, что максимум плотности равен 1/2. Тогда
1) ф(/)<31п//Л
2) Ф(0<^.
3) ф(0 > —sin у/у,
0 < t < л/2;
л/2^7;
0 < t < y>
где у—наименьший положительный корень уравнения Y = tgY
(Y = 4,49...);
4) ф (/) ^> Sin ^//,
5) ф(/)>—1/Л
Y < Зл/2,
Зл/2 < t.
Все границы правильные: равенства все достигаются, причем
в случаях 1) и 4) равенство ф(/) соответствующему выра-
жению в правой части хотя бы при одном значении t воз-
можно- только при равномерном на [—1, 1] распределении.
Из сказанного вытекает, что |ф(/)|<^sintjt при |£]<^л/2.
3] § I. распределения и их характеристические ФУНКЦИИ 203
Принадлежащая Г. Крамеру лемма: если при а
характеристическая функция <p(Z) удовлетворяет неравенству
(ф(/)|2<£2, т0 пРи И О
позволяет использовать оценки характеристической функции
вне некоторой окрестности нуля для описания ее поведения
в этой окрестности.
Более точные неравенства (другого типа), касающиеся
поведения характеристической функции в окрестности нуля,
основаны на использовании моментов. Пусть, например,
..........б/i — независимые случайные величины,
М^ = 0, = М||г|3 = рг
и пусть
п п
5Я = £1+ ••• +£„. o2=S°i’ e =
м Z=1
Тогда при всех t
|ф5л/а(0| <ехр{ —(!—
где
1 । х2
cos а:— 1 + -9-
2C = 4sup--------3----— = 0,396648 ...
х> 0 х
Решетчатые распределения. Напомним, что множе-
ство L точек 5-мерного пространства R? называют решеткой,
если существует множество линейно независимых векторов
Zp Z2, ... ls и вектор Zo такой, что все точки L и только
они представляются в виде
НЦ + ••• + *Л (1-1)
где kj (1 s) пробегает все целые числа от —оо до оо.
С решеткой L связан ее шаг — объем h (L) параллелепипеда,
построенного на векторах .......ls. Решетку, порожденную
векторами Zp ...; ls, можно рассматривать и как порожден-
ную другими векторами, например 1%* •••» h- Шаг
решетки, конечно, не зависит от выбора представлений. Рас-
пределение Р в Ps называют решетчатым, если для неко-
2(М ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [3
торой решетки L имеет место равенство Р(А) — 1. Число А (А)
называют при этом тагом распределения. Если L такова,
что для любой подрешетки Az cz L
P(i')< 1.
то решетка L называется основной. Если решетка L!r такова,
что P(L")=1, то отношение h (L) к h(L") является целым
числом и h (Л) носит название максимального тага рас-
пределения. Величина h (А) численно равна умноженному
на 5! общему наибольшему делителю объемов всех s-мерных
симплексов с вершинами в возможных значениях распреде-
ления Р.
Пусть для решетки (1.1) P(L) — 1. Возьмем репер lv ..., /5,
взаимный реперу .. ., т. е. такой, что скалярные произ-
ведения
( 1 при I — J,
lj) j | q ПрИ у
(dz j — символ Кронекера). Тогда для характеристической
функции ф(^) = ф(^ Р) выполняются равенства
|ф(2л/у)|=1 (/=1.......$). (1.2)
Если решетка L основная, то во всех точках замкнутого парал-
лелепипеда D, построенного на векторах 2л?!..2л/? (кроме
его вершин), модуль ф меньше единицы. Обратно, если для
некоторого репера имеет место (1.2), то существует вектор /0
такой, что распределение Р сосредоточено на решетке, обра-
зованной lQ и взаимным репером. Эта решетка будет основной,
если |ф(0|< 1 Для всех t£D, кроме вершин.
Остановимся на время на одномерном случае и рассмотрим,
не ограничивая общности, распределения, сосредоточенные на
решетке целых чисел. Согласно сказанному выше, если h— 1 —
максимальный шаг распределения, то |ф(/)| < 1, 0 < t < 2л.
Однако внутри этого интервала модуль ф(/) может быть
сколь угодно близким к единице. Это утверждение очевидным
образом верно в примерах такого типа, где распределение
почти целиком «сосредоточено» на подрешетке Lf решетки
/ о 1 — el — е
целых чисел (скажем, г приписывает массы ——» е* ....»
где е мало, точкам —1, 0, 1 соответственно). Помимо этого
n
§ 2. ОЦЕНКА БЛИЗОСТИ РАСПРЕДЕЛЕНИЙ
205
тривиального случая возможен и другой. Именно, пусть Р
приписывает вероятности р0, р2 точкам с координа-
тами 0, kx и k2 соответственно (0 < < k2, kx и k2 взаимно
просты), и пусть /1//2 — последняя подходящая дробь для k}!k2.
Тогда kxl2—k2lx = ± 1, и, как показывает простой подсчет,
Например, если рС)—— р2 —— &2=10, то
<р (2л А) >0,91.
Наличие подобных точек может сильно ухудшать точность
действия локальных теорем (см. ниже).
Значения характеристической функции в точках, соизме-
римых с 2л, связаны с вероятностями попадания на под-
решетки решетки целых чисел. Именно, если
Ltth = [I: I = Zo + kh, —oo<&<oo},
TO
л-i / r \ h~x 2nZ/
<p (2я т)=2p a) e 2Я‘T = Sp (Lip
lo~O >0
rlj = j (mod h).
§ 2. Оценка близости распределений по близости
их характеристических функций
1. Равномерные расстояния. В настоящее время имеется
несколько употребительных способов измерять «расстояние»
между функциями распределения. Эти способы, как будет
видно, имеют различную степень общности. Пространство
распределений, заданных на о-алгебре борелевских множеств
полного сепарабельного метрического пространства, может
быть метризовано таким образом, что сходимость в смысле
этой метрики будет равносильна слабой сходимости. Мы не
будем останавливаться сейчас на этом направлении. Можно
определить «расстояние» формулой
рй(Р, Q) = sup|PH)-Q(H)|,
206 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Ц
где верхняя грань берется по некоторому подклассу 21 класса
измеримых множеств. В случае распределений в евклидовом
пространстве Rs наиболее естественными представляются два
случая: а) 21 совпадает с классом 6 всех выпуклых множеств,
б) 21 совпадает с классом 23 всех борелевских множеств.
Рассмотрим pg(P, CD сначала в Л1, где
sup I F(x)—G(x)|<p (Р, Q)<2sup| F(x) —G(x)|.
x x
Здесь F и G — функции распределения мер Р и Q соответ-
ственно. Сходимость
sup | Fn (х) — G (х) | -> 0 (п оо)
X
равносильна сходимости
sup | <рЛ (О — (я->оо)
t
для соответствующих характеристических функций. Однако
существуют примеры, где
lim sup J (О — ФЛ(0| == О
72—>ОО t
и в то же время
lim sup|F„(x) —G„(x)| >0.
Z2->OO X
Например, выбирая два действительных числа а и b (0 < а < Ь)
и рассматривая две функции распределения
F (х) = (log 4) < °)
И
G(x) = 1 — F(— х),
имеем
F(0) —G(0)=l.
Однако для разности характеристических функций справед-
лива оценка
|<р(О-Ф(О =
= /л —е-61И]| (logAj
(логарифмы берутся по основанию е).
1J § 2. ОЦЕНКА БЛИЗОСТИ РАСПРЕДЕЛЕНИИ 207
Основой доказательства многих предельных теорем служит
следующее неравенство Эссеена (в котором О(х) может быть
не только функцией распределения, но и просто функцией
с ограниченным изменением): при любом Т > 0
1 Л J [ И I Л 1
О
Можно отметить ряд неравенств, близких по смыслу к при-
веденному. Доказано, например, что найдется такая абсо-
лютная постоянная С, что для любых Л, Т, е > 0, неубываю-
щей функции F(x) и функции ограниченной вариации О(х)
из условий:
1) F{—oo) = G(—оо),
2) G'(x) существует при всех х и |G'(x)|<^4,
3) ф(О|<е для |q < Г,
следует, что для любого L > 2/Т
| F (х) - О (х) | < С (в log (LT) + ^ + Y (L)) .
где
у(£)== Var G(x) — sup Var G(y).
-oo < x < oo x
Наконец, если F и G изменяются только скачками, рас-
положенными в целых точках, то
|F(x) —O(x)|<4 f I ф(0 v^-(Z)l \dt.
т: J I Г |
— Л
Для сходимости «по вариации», т. е. для сходимости
в смысле расстояния sup|P(X) — О(Л)|, нет никакого аде-
83
кватного выражения в терминах характеристических функций,
и предельные теоремы со сходимостью «по вариации» при-
ходится доказывать обходными путями.
Заметим, что если Р и Q абсолютно непрерывны отно-
сительно какой-либо меры, скажем меры Лебега:
Р(Л)_ p(x)dx, Q(X) = q(x)dx.
208 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
[2
то
4-оо
sup|PG4) —О(Л)|=Д f \p(x) — q(x)\dx.
—оо
Сходимость плотностей рп (х) к плотности р (х) обычно
удается установить, представляя рп(х) в виде (qn и гп—не-
которые плотности)
рл(х) = Мя(*)+нлгл(х) (Х„ + = 1, %л>0, Цл>0),
где qn(x) сходится к q(x) равномерно на всей оси, а цл->0
при п—>оо.
2. Многомерный случай. Перейдем теперь к многомер-
ному случаю. Здесь известно сравнительно мало. Отметим
сначала аналог классической теоремы Пойа о том, что слабая
сходимость последовательности функций распределения к не-
прерывной функции распределения автоматически оказывается
равномерной. Пусть Р — вероятностная мера в Rs такая, что
каждое выпуклое подмножество Rs имеет P-нулевую границу.
При этом условии тогда и только тогда, когда
sup | Рл (С) — Р (С) | -> 0 (п -> оо),
где 6 — класс всех измеримых выпуклых «множеств. В част-
ности, это верно, если мера Р абсолютно непрерывна по
отношению к мере Лебега.
Оценка близости распределений на сферах по разности
их характеристических функций для специального случая схо-
димости к нормальному закону встречается у Эссеена *).
«Равномерные» расстояния и связанные с ними предель-
ные теоремы становятся бесполезными, когда нужно оцени-
вать малые вероятности с большой относительной точностью.
Наиболее важный случай «больших отклонений» изучен до-
вольно полно (см. § 10 этой главы). При этом в качестве
существенного вспомогательного средства используются
«равномерные» теоремы **).
*) К. G. Esseen, Fourier analysis of distribution functions,
Acta Math., 77 (1945), 1—125.
**) W. Feller, An introduction to probability theory and its
applications, vol. 2, Wiley, N. Y., 1966.
и
§ 3. МОМЕНТЫ И СЕМИИНВАРИАНТЫ
209
§ 3. Моменты и семиинварианты
1. Формальные соотношения.
Моменты, Пусть g,— действительная случайная величина
и — распределение вероятностей, представляющее собой
вероятностную борелевскую меру на действительной прямой.
Пусть F — F%— функция распределения и ф = ф|— харак-
теристическая функция, отвечающие этой мере (т. е. это
функция распределения и характеристическая функция слу-
чайной величины F^ (х) = R {£ *}. ф&(0 = М^).
Моментом порядка k случайной величины £ называется
математическое ожидание (если оно существует); абсо-
лютным моментом порядка k называется величина М | £ |л;
центральным моментом порядка k— величина цл =
= М(£ — M£)fe. Центральный момент второго порядка
И2=щ=м а - м^)2=М£2 - (IW
называется дисперсией случайной величины
Если М |^|ft <оо. то характеристическая функция <р^(0
имеет непрерывные производные до порядка k включительно,
причем
В свою очередь существование производной
d2k
dt2k
влечет за собой существование абсолютного момента по-
рядка 2k: М | £ |2* < оо.
Семиинварианты. Если М | £ |* < оо, то в некоторой
окрестности точки £ = 0 функция log (t) (ветвь логарифма,
равная нулю в нуле) непрерывно дифференцируема до по-
рядка k включительно. Величина
Х*=(—0*^-log<p5(o|
называется семиинвариантом порядка k (здесь и далее
логарифмы берутся по основанию ё). Отметим, что
«1 = М^ = аР X2=D£ = H2> х3= М(£ —Xj)3 = h3.
14 Ю. В. Прохоров, Ю. А. Розанов
210 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
Пусть ...» —действительные случайные величины;
функция их совместного распределения F = опре-
деляется как
Л (x1t ..= Р [L < х,...................£ < х 1.
...»$п\ 1 л/ pi 1 nj
Характеристическая функция ф = ф? • совместного
распределения случайных величин ...» выражается
формулой
ф51.5„(^- •••• Q=Mexp{z(^i+ ••• +Ш1-
Если М | £у |* < оо при всех j = 1..п, то существуют
смешанные моменты k = для всех
Лу>0, ... -\-kn^k. В этом случае характеристи-
ческая функция ф = ф^ имеет непрерывные частные
производные до порядка k включительно, причем
Т ... ~v к n
_______ z t>.k .+ •••+£-. 0----------------„
k = (— o1 n —------------------------------— Ф
1...... n dt^ ...dtnn
t.
fn=°
В некоторой окрестности точки tx = ... — tn = 0 имеет не-
прерывные производные того же порядка и функция 1о£ф;
величины
... + k
nk t =(— i)6‘+’,ft/l Aj----------------------—10£ ф
называются семиинвариантами.
Соотношения между моментами и семиинвариантами.
Важнейшие характеристики распределения вероятностей слу-
чайных величин . . ., — моменты и семиинварианты свя-
заны между собой простыми соотношениями. Именно, пусть
т)1 = •. •.
г1л1+1~^2’ ^k^k2~^
Лт —
1] § 3. МОМЕНТЫ И СЕМИИНВАРИАНТЫ 211
где ... и пусть /р = (/р ...» /р)— множе-
ство натуральных чисел. Моменты
и семиинварианты
др
. dt. ...dt, 10^(°)
41 1Р
зависят лишь от I р и связаны с указанными выше моментами
д и семиинвариантами uk к формулами *):
ak , = 2 Па(/Д
г п р=»1
Q
. **..k =2(-1)?_1(7-1)11Ь(/,).
1’ Л Х. jO»l
где суммирование производится по всевозможным разбиениям
множества натуральных чисел 1...т на непересекающиеся
множества Iр.
В частности, для одномерного случая имеет место соот-
ношение
а — У У(?МЛ т!
711. ..Л1’
г=0
где внутренняя сумма распространена на все те неотрица-
тельные j и Z, для которых
ЛЛ + • • • + hJr —
Отсюда, например, получаем:
|12 = х2,
Из — *з*
Н4 = я4+Зи2,
Н5 = и5+ Ю«3«2.
Н6 = Х6 + 1 5х2н4 4-10x2-4-1 5х|,
ц7 = х7 4- 21 х5х2 4- 35х4х3 4- 105x3%2
и т. д.
*) См. В. П. Леонов, А. Н. Ширяев, К технике вычисле-
ния семиинвариантов, Теория вероят. и ее примен., IV, 3 (1959),
•342—355.
14*
212 гл. IV. ПРЕДЕЛЬНЫЕ "1ЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ (2
Выражение семиинвариантов в терминах моментов дается
формулой
г=0
а, \^> /«/ \7Г
Ч I I 1г 1
/11/ \lrU
где суммирование производится по всем неотрицательным
числам J и /, подчиненным условиям
Z1/1+ ... + lrJr — mt /1+ ... +/r = /-
Отсюда получаем (в предположении, что ^ = 0):
х2 = а2,
х3 — а3,
’<4==а4—За2-
и5 = а5— 10а3а2,
хк = а„ — 15а ,а9 — 10а^ + 30а1
О О т: Z О’ а
х7 = а7 — 21 а5а2 — З5а4а3 4-210а3а|
и т. д.
2. Проблема моментов. Для того чтобы распределение
вероятностей Р однозначно определялось своими моментами,
достаточно выполнение условия (Карлеман)
оо 1
2 = оо-
1
Для распределений /n-мерных случайных векторов £ полагаем
а — f xfi . х^Р (dx. ... dx\
Р1 pm J 1 m l\ I mJ
Rm
Лл==халоч...о+аоло...о+ ••• +ао...о«-
Тогда условие
о
достаточно для того, чтобы /п-мерное распределение одно-
значно определялось своими моментами.
С другой стороны, известны условия, при которых рас-
пределение заведомо не определяется своими моментами одно-
3] § 3. МОМЕНТЫ И СЕМИИНВАРИАНТЫ 213
значно. Так будет, например, если функция распределения F(x)
удовлетворяет условию (F'— производная абсолютно непре-
рывной части F)
log F' (х) , .
-г+~г rfx>~°°-
—оо
Классический пример. Пусть а > 0, 0<р< 1;
плотности
р (х) = k exp {— а (х |р] {1 + е cos (а | х |р)}
при всех е из интервала | е | < 1 имеют одни и те же моменты.
Другой пример. Пусть | — нормальная случайная
величина, причем М£ — О, D£ = 1; тогда распределение
при k 3 не определяется своими моментами однозначно.
Точно так же и распределение е* (так называемое логариф-
мически нормальное распределение) не определяется одно-
значно своими моментами.
3. Неравенства. Перейдем теперь к неравенствам, свя-
зывающим моменты, а также моменты и семиинварианты.
Семиинварианты можно оценить через абсолютные централь-
ные моменты рг = М Ц — М£ |г неравенством
Однако для большинства приложений это неравенство ока-
зывается слишком грубым. Например, для равномерного на
г 1 11
отрезке — распределения имеем
%2j + l = О» Х2; — &2j ~2j~ »
где B2j — числа Бернулли (В2 = 1/6, В4 = — 1/30, В6 = 1/42»
В8 = — 1/30 и т. д.). Поэтому, например, здесь
I х41 == "з" ₽4»
в то время как предыдущее неравенство дает
I ^41 25бр4.
214 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
13
Аналогично для дискретного распределения, приписывающего
точкам 1, 2, ...» п одинаковые вероятности, равные 1/п,
имеем при j 1
_ 1
Х2; + 1 = 0» ^2j = ^2j 2J *
Моменты какой-либо случайной величины связаны нера-
венствами, равносильными утверждению о выпуклости функ-
ции V(r) = togM|£|r в той области, где эта функция опре-
делена. Большую информацию о соотношении между момен-
тами можно получить, если предположить, что £ является
суммой независимых случайных "величин (подчиненных, может
быть, каким-либо дополнительным ограничениям).
Пример. Пусть случайные величины ..., прини-
мают значения ± 1 с вероятностью 1/2 каждое. Тогда при
любых bL > 0 и s 2
М|2М,Г<С(5. »)(2»5)‘,г.
где
C(s, n)=2~nn~s/2 — 2Л|*
&=o
Указанное неравенство обращается в равенство, тогда и только
тогда, когда или $ = 2, или все bt равны одному и тому же
числу. Из этого неравенства можно вывести (с использова-
нием условных распределений) следующее утверждение. Если
все симметричны, и то ПРИ делом $
М|26ДУГ<1 -3. ... -(2А-1).
Другой тип неравенств для моментов суммы sn — . •
’ • • симметричных слагаемых можно получить, фикси-
руя некоторое количество моментов неубывающей функции
G(x)=F,(x)+ ...' 4-F„(x). Fy(x) = P{^<x).
Именно, пусть симметрично распределены и имеют мо-
менты до порядка 2k включительно. Тогда при фиксиро-
ванных
оо
x2j— J dG(u)
— оо
4J § 3. МОМЕНТЫ И СЕМИИНВАРИАНТЫ 215
имеем
sup Ms2* — Мт2*,
где т — безгранично делимая случайная величина (см. сле-
дующий параграф) с характеристической функцией
Фт(О=ехр J (eitu— V)dG(u) .
— ОО
Полагая последовательно k = 2, 3, получаем нера-
венства
М$+<Х4Н-Зх2,
Ms® < х6 + 15х.х, + 1
И т. д.
В качестве другого примера можно привести неравенство
п
M\sn\'<C(r, п) Змад,
где в предположении, что независимы и М^у = 0, имеем
С (г, п)^2.
4. Сходимость моментов. Использование моментов при
доказательстве предельных теорем базируется на следующем
факте. Пусть Fn— последовательность функций распределе-
ния, все моменты которых конечны, и пусть при каждом
целом k 1 имеет место сходимость
а*(^«)= J xkdFn->ak ¥= ± со (»->оо).
— ОО
Тогда существует подпоследовательность Fn.t слабо сходя-
щаяся к функции распределения F, имеющей ak своими мо-
ментами. Если моменты определяют F однозначно, то после-
довательность Fn слабо сходится к F.
Пример. Одно из следствий этого факта (часто исполь-
зуемое, например, при изучении отклонений эмпирического
распределения от теоретического) таково. Пусть
р ...» Еп п
216 ГЛ- IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [4
—^последовательность серий случайных событий, и пусть при
woo и каждом г=1, 2, 3, ...
Тогда вероятность Рп(т) того, что наступает ровно т со-
бытий n-й серии, имеет предел
lim Р (т) = е~а^-г.
Приведем еще два типичных примера, где метод момен-
тов оказывается полезным. Во-первых, рассмотрим последо-
вательность сумм sn ($о = О) независимых одинаково распре-
деленных случайных величин с нулевыми средними и конеч-
ными дисперсиями. Тогда при достаточно общих условиях
для числа vrt перемен знака в последовательности $0, ...
..., stl можно установить (методом моментов), что при
х >0
______________________________ х
lim Р_________________________f e-^dz,
л -> оо V J г о
где
Р1=М|^у|. 02=Mg2
(заметим попутно, что можно привести пример двух распре-
делений, у которых все моменты совпадают, а первые абсо-
лютные моменты различны; отсюда следует, что асимптоти-
ческое поведение vn не определяется моментами распределе-
ния — в отличие от sn).
Во-вторых, метод моментов является подходящим ору-
дием исследования сумм вида
л-1
(3.1)
лг=0
где Т — метрически транзитивное, сохраняющее меру преоб-
разование пространства с мерой в себя *). Пусть, например,
*) В. П. Леонов, Некоторые применения старших семиин-
вариантов к теории стационарных случайных процессов, «Наука»,
М., 1964.
§ 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ
217
g— натуральное число, 0<а<1 и Та равно дробной
части ga. Тогда для любой достаточно гладкой веществен-
ной периодической (с периодом 1) функции f такой, что
J /(x)tfx = 0, имеем
lim mes
n -> oo
а:0<а<1, f (gma) < z Уп 1 =
m=0
1
f u
J e 2<j2 du.
Более общий результат дается следующей теоремой.
Пусть Т—эргодический эндоморфизм коммутативной
компактной группы G, ц — инвариантная мера на G,
f (х) £L2(G), и коэффициенты ck разложения f по харак-
терам х^(х) группы удовлетворяют условию
J 53 и к и
где A(k)— преобразование индексов, определяемое соот-
ношением
Тогда суммы (3.1) асимптотически нормальны.
§ 4. Безгранично делимые распределения и их связь
с предельными теоремами
1. Определение, связь с предельными теоремами.
Распределение в Z?1 с функцией распределения F(x) и харак-
теристической функцией ф(/) называют безгранично делимым.
если при любом п оно может быть представлено как ком-
позиция п одинаковых распределений или, что то же самое,
ф(О=(фя(О)я.
где фя — характеристическая функция. Случайная величина
определенная над полем вероятностей (й, 21, Р), называется
безгранично делимой, если при любом п она может быть
218 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [J
представлена в виде суммы п одинаково распределенных не-
зависимых случайных величин. Очевидно, всякая безгранично
делимая случайная величина имеет безгранично делимое
распределение. Обратное может быть неверно. Так, если
взять дискретное поле вероятностей, составленное из неот-
рицательных целых чисел с приписанными им пуассоновыми
вероятностями
jт
P(ni) =—г
4 7 т\
то случайная величина, равная номеру элементарного собы-
тия, не будет безгранично делимой, хотя распределение
Пуассона безгранично делимо.
Далее речь будет идти в основном о безгранично дели-
мых распределениях. Из определения легко вытекает, что
Ф (/) #= О и что при п -> оо
« 1] -* log ф(0
равномерно в каждом конечном интервале.
Чисто аналитический факт, лежащий в основе так назы-
ваемого канонического представления безгранично делимых
законов и условий сходимости последовательностей безгра-
нично делимых законов, состоит в следующем. Рассмотрим
пространство К. точками которого являются непрерывные
на всей прямой функции и топология в котором порождается
равномерной в каждом конечном интервале сходимостью.
Класс УЁ функций вида
(у — константа, ф — характеристическая функция) не является
замкнутым подмножеством Y. Его замыкание Чг* состоит из
функций, представимых в виде
оо
f 1 _1_ 112
ф*(/) = гУ4- J L{u, ty ^—dG {и),
— ОО
где
ци. ,) = <.<«_ 1—25^,
у — константа, G (и) — неубывающая функция ограниченной
вариации такая, что О(—оо) = 0. Подынтегральное выра-
1] § 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 219
жение при и — 0 принимается равным — /2/2. Соответствие
О) является взаимно однозначным и взаимно не-
прерывным. Последнее означает, что равномерная в каждом
конечном интервале сходимость
O)->W)
эквивалентна двум требованиям: а) Ул—>У» б) Gn(u) слабо
сходится к G(u).
Связь безгранично делимых законов с предельными тео-
ремами для сумм независимых случайных величин подробно
изучена *). Мы приведем здесь лишь несколько утверждений,
наиболее выпукло иллюстрирующих эту связь. Пусть
in, 1* in, 2» in, kn (Л=1, 2, . . .)
— последовательность серий случайных величин. Внутри
каждой серии эти величины предполагаются независимыми.
Кроме того, они предполагаются бесконечно малыми в сле-
дующем смысле: при каждом е > О
lim sup P(lUJ>e} = °-
Л -> оо
Пусть
кп
2 k'
Тогда для того, чтобы функция распределения F могла быть
предельной для функции распределения случайных величин
sn — Ап (при некотором выборе Ап), необходимо и доста-
точно, чтобы она была безгранично делимой.
* Каноническое представление логарифма характеристиче-
ской функции безгранично делимого закона, которое, со-
гласно сказанному выше, имеет вид
оо
log<p(0 = iV~r J^(a.
— ОО
*) См. Б. В. Гнеденко, А. Н. Колмогоров, Предель-
ные распределения для сумм независимых случайных величин, М,
Гостехиздат, 1949.
220 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Ц
часто используется в несколько отличной от приведенной
записи. Именно, полагая при и < 0 (соответственно при
м>0)
rfM(«) = -l±f±dO(«), dN(u) = ^-dG(u).
М (— оо) = М (со) = 0,
мы получаем две не убывающие на интервалах (—оо, 0) и
(0, оо) функции (соответственно М(и) и N (и)) такие, что
при каждом е > 0
-0 £
J u2dM(u)-\- | и2 dN(и) < оо.
-8 +о
Пусть о2 = G (+0) — G (—0). Тогда
-о
logф (/) = iyt —~ c2t2 + J L(ut t)dM(ji)-\-
—со
©о
4- J L (и, t)dN(u).
+0
В отличие от G функции М к N имеют прямой вероят-
ностный смысл, объясняемый в теории процессов с незави-
симыми приращениями. Роль этих функций в предельных
теоремах демонстрируется, например, следующим утвержде-
нием. Предположим (используя прежние обозначения), что
при некотором выборе постоянных Ап функции распределе-
ния разностей sn — Ап слабо сходятся к некоторой предель-
ной функции распределения. Тогда для того, чтобы это была
функция распределения с заданными М и 2V, необходимо и
достаточно выполнение соотношений
[1—е-м(и) при и < 0,
lim Pf ппп£я ъ < = { . л
я->со 1 k 1 I 1 при и>0
и
{0 при а < 0,
V (нХ -
eN при и 0.
Как легко видеть, для нормального закона М = 0 и
27 = 0. Поэтому, если предельный закон для sn — Ап суще-
2} § 4. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ 221
ствует, то он будет нормальным тогда и только тогда,
когда
lim Р {шах k | > и] = 0 при любом и>0
п -> оо k
или, что то же самое, при любом и > О
lim SP{|Uftl>“) = 0.
п -> оо k
2. Свойства безгранично делимых законов. Ввиду того,
что описание класса безгранично делимых законов дается
в терминах характеристических функций, свойства этих за-
конов приходится описывать с помощью свойств функции G,
входящей в каноническое представление (или, что то же са-
мое, в терминах Л4, N и ст).
Пример. Функция безгранично делимого распределе-
ния F дискретна тогда и только тогда, когда О дискретна
оо
и J u~2dQ (и) < се; F непрерывна тогда и только тогда,
— оо
оо
когда J и~2 dQ(u) = со. Для абсолютной непрерывности F
— оо
известны лишь достаточные условия в терминах функций М
и N.
Момент порядка 2k (k— целое положительное число)
функции безгранично делимого распределения F существует
тогда и только тогда, когда существует момент того же по-
рядка функции G. Известно, что ограниченная случайная
величина не может иметь безгранично делимый закон рас-
пределения. Однако известны условия ограниченности сверху
(снизу). Так, если | — случайная величина с безгранично де-
лимым законом распределения, то для существования кон-
станты А такой, что Р{£>А}=0, необходимы и доста-
-е
точны условия*): N (zz) = O, о2 = 0 и lim | M(u)du <оо.
£->0 J
*) См. обзор: М. Fisz, Infinitely divisible distributions: recent
results and applications, Ann. Math. Stat. 33, 1 (1962), 68—84.
222 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 5. Последовательности независимых случайных величин
(общие свойства) I
Значительная часть вероятностной интуиции формируется
на примере независимых случайных величин и его важнейшем
частном случае — последовательности независимых одинаково
распределенных величин, У таких последовательностей имеется
ряд свойств, которые сравнительно легко устанавливаются
при ограничениях типа конечности моментов какого-либо по-
рядка, существования плотностей рассматриваемых величин ,
и т. п., но которые по своей природе кажутся связанными
только с фактом независимости членов последовательности
и тождественности их распределений. Однако доказательство
подобных свойств в общей форме бывает часто делом совсем
не простым. Рассмотрим типичные примеры, начиная с про-
стейших.
Пример. Убывание концентрации распределений (сла-
бый вариант). Пусть £2.......1л» • • • —последовательность
независимых одинаково распределенных величин с невыро-
жденной функцией распределения F (х), и пусть
$о = О, $л = £] + ••• (п=1, 2, ...).
Можно показать, что вероятность неравенства a^sn^.b
при любых фиксированных а и b и п->оо стремится к нулю.
Более того, полагая
(Z) = sup Р {х < £ < х +1] I
(Ql(Z)— так называемая функция концентрации £), имеем I
при любом Z > О I
lim Q (/) = 0. f
л->оо " q
Доказательство проще всего проводится полезным методом |
«сглаживания». Допустим, что т] — случайная величина, не |
зависящая от последовательности {£я} и имеющая распреде-
ление с абсолютно интегрируемой на всей прямой характе- л
ристической функцией. В качестве распределения случайной .
величины Г| можно взять, например, «треугольное» распре- ;
деление с плотностью I
{1 — | X ] при | X К 1,
О при |х [ > 1
§ 5. ПОСЛЕДОВАТ. НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН 223
и характеристической функцией
Для суммы + л плотность существует и выражается фор-
мулой обращения
оо
— ОО
Так как |ф^1(0|'С1 ПРИ всех и равенство возможно
только в счетном множестве точек, то при п—>оо
\, = sup/> (х)->0.
Ж п 1
Поэтому
Р {*<*Я<*-М} <
<Р{х — 1 <5я + л 0 + ^+1} <G + 2)X„,
и, значит,
^я(0<(/4-2)%я->0 (я->оо).
Пример. Выход за двусторонние пределы. Можно
доказать, что с вероятностью единица
lim | sn | = оо.
л->со
Это утверждение вытекает как следствие из другого, не-
сколько более сильного утверждения *): для любой после-
довательности и любых а<0<£ найдутся два числа
С > 0 и q, 0 < 7 < 1, такие, что
( w 1
PN(a, &) = Р П<а<5«<г’)
V л-1 -1
Последнее в свою очередь можно получить из сказанного
в предыдущем примере.
Пример. Верхние и нидюние функции. Функция g (п)
называется верхней для последовательности сумм sn, если
*) А. Вальд, Последовательный анализ (перевод с англ.)»
М., Физматгиз, 1960.
224 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Р [начиная с некоторого Hq, sn^g(ri)} =
и нижней, если
Р [для бесконечно многих п sn^ g(ri)} — \.
Если справедливы предположения о независимости и одина-
ковой распределенности невырожденных слагаемых, то каждая
функция является либо верхней, либо нижней.
Дальнейшие примеры потребуют некоторых дополнитель-
ных предположений о рассматриваемых случайных величинах.
Пример. Пусть —оо^М^у^О. Тогда с вероятностью
единица
lim sn —— оо. (5.1)
Л->со
При М£у<0 это утверждение вытекает из усиленного за-
кона больших чисел (если Мс,у конечно), а при М£у =— оо —
из некоторого его обобщения. Рассмотрим поэтому случай
М|у = О. Для справедливости предельного соотношения (5.1)
усиленного закона больших чисел здесь недостаточно. Можно
воспользоваться результатом Чжуна и Фукса: если возмож-
ные значения £у не кратны одному и тому же числу и
М£у — 0, то для любых' х и е
Р[рл— х|<е Для бесконечно многих п} = 1; (5.2)
если же возможные значения £у кратны некоторому числу
и х0 — наибольшее по модулю число с этим свойством, то
соотношение (5.2) вёрно для всех чисел, кратных х0.
Из этого же результата можно сделать следующий вы-
вод: если М£у существует, то
Р {$л > 0 для бесконечно многих п\ —
— Р {-sn < 0 Для бесконечно многих п] = 1
в том и только том случае, когда М£у = О.
Пример. Верхние функции для сумм симметрично
распределенных слагаемых. Каковы бы ни были симме-
трично распределенные величины £у,
р( iim -Г- Sn------= а2) = 1, (5.3)
( л-»оо V 2п log log п J
где
о2— J x2dF(x)<^oo.
— ОО
§ 5. ПОСЛЕДОВАТ. НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН 225
Для о2 < оо справедливость соотношения (5.3) вытекает из
закона повторного лагарифма, для сг2 = оо доказательство
справедливости (5.3) требует несложных дополнительных
рассуждений.
Пример. Более точные оценки убывания концентра-
ции. Первая абсолютная, т. е. содержащая лишь абсолютные
константы, оценка для концентрации суммы при заданных
концентрациях слагаемых была получена А. Н. Колмогоро-
вым методом, развивающим метод П. Леви. В дальнейшем
этот результат был усилен Б. А. Рогозиным, которому уда-
лось найти формулировку, включающую в качестве частных
случаев все ранее найденные теоремы об убывании концен-
трации и увеличении рассеивания сумм независимых случай-
ных величин. Эти результаты Рогозина основаны на одной
лемме, опирающейся на глубокие факты комбинаторики.
Пусть Dn — максимальная вероятность в симметричной
схеме Бернулли с и испытаниями:
и пусть £2, ...—независимые величины (не обязательно
одинаково распределенные) такие, что
P& = x() = P& = -xz} = l/2 (xz>Z/2).
Лемма. Для сумм указанных случайных величин
|2....
Q,n(/-0)<D„.
Простым применением этой леммы получается следствие:
пусть р = supР {£z = л:}, тогда
supP{sn = x}<^ (5.4)
X Уп(\—р)
(для симметричных можно взять Cj=l). Уместно заме-
тить, что для одинаково распределенных целочисленных
с характеристической функцией cp(f) вышеприведенное не-
равенство равносильно следующему:
л
Ч>(/)|'’Л<-7=^=Т; (5.5)
Уп(1 — р)
15 Ю. В. Прохоров, Ю. А. Розанов
226 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
поэтому, доказав (5.5) аналитическим путем *), мы доказали бы
и (5.4).
Наиболее общий результат, касающийся оценок функций
концентрации, содержится в следующем, принадлежащем
Б. А. Рогозину утверждении (в нем предполагаются лишь
независимыми, но не обязаны быть одинаково распределен-
ными). Пусть
п
» e.=ctl.
Существует такая абсолютная постоянная С, что при
£>~тах/л
2 k
Qs
Пример. Сближение распределений сумм с безгра-
нично делимыми распределениями. Пусть опять — по-
следовательность независимых одинаково распределенных слу-
чайных величин, Гл*(х)— функция распределения суммы sn.
Обозначим буквой ® класс всех безгранично делимых зако-
нов, и пусть
р (F, О) = sup | F (х) — G (х) |,
5(®, e)={F:p(F, ®)<е}.
Расположению множества «степеней» (в смысле компози-
ции Fn* функций распределения F) посвящено много инте-
ресных работ **) Сравнительно недавно получен следующий
результат: существует абсолютная константа С такая, что
для любой F
\ Рп)
*) Об аналитическом доказательстве см. К. G. Е s s е е n, On
the Kolmogorov — Rogozin inequality for the concentration function,
Zeitschrift fur Wahrscheinlichkeitstheorie und verwandte Gebiete,
5, 3 (1966), 210—216.
**) См. ссылки в цит. монографии Б. В. Гнеденко и А. Н. Кол-
могорова.
1]
§ 6. СХОДИМОСТЬ К НОРМАЛЬНОМУ ЗАКОНУ
227
Пример. Убывание концентрации при сложении слу-
чайных векторов. Пусть | — случайный вектор со значе-
ниями в Rk. Функцией концентрации Z-ro порядка, соответ-
ствующей случайному вектору называется функция
Ql(v)= sup Р{|£Л} (1 </<£),
A<=Cl,v
где CltV—класс всех замкнутых выпуклых множеств, сече-
ния которых всевозможными /-мерными гиперплоскостями
имеют /-мерный объем, не превосходящий v. Пусть gz— не-
зависимые одинаково распределенные случайные векторы
п
в R*. = Допустим, что при некотором п — п0 рас-
1
пределение случайного вектора имеет компоненту, являю-
щуюся сдвигом меры, абсолютно непрерывной относительно
меры Лебега некоторого /-мерного подпространства (рас-
сматриваемой как мера в Rk). Тогда при т I имеют место
неравенства
3^(Ю<С/Н(г'т+1),
где С—константа, зависящая, вообще говоря, от V и закона
распределения отдельных слагаемых.
Отдельно может быть описан дискретный случай. Пред-
положим, что — независимые случайные векторы с одина-
ковыми дискретными невырожденными распределениями в Rk
п
и —Jjlz- Тогда при всех т, выполняются
1
неравенства
§ 6. Последовательности независимых случайных
величин. Сходимость к нормальному закону
1. Условия сходимости. В этом параграфе речь будет
идти (если прямо не оговорено противное) о последователь-
ностях независимых одинаково распределенных случайных
величин или векторов. Рассмотрим сначала одномерный слу-
чай. Пусть —последовательность случайных величин и
15*
228 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Ц
F(xf) — Р < х}. Для того чтобы при некоторых постоян-
ных Ап и Вп > 0 распределение нормированной суммы
__ sn — Ап Ei Ч~ • •• — Ап
•л в — в
Dn ип
сходилось к нормальному, необходимо и достаточно, чтобы
A2 J dP (х)
lim -------------— о.
х-*оо х2 dF (х)
|х|<Х
Нормирующие константы Вп могут или расти, как
или отличаться от У п медленно меняющимся множителем.
Известно, что Вп~У п в том и только том случае, когда
слагаемые имеют конечные дисперсии о2.. Если предположить
дополнительно существование конечного третьего момента
у £л, то для
п{х) Ч а/л <XJ
можно доказать неравенство
<C-Hhr- ф«=у=
— ОО
где Р3 = М | — М£л |3 и С — абсолютная постоянная. Для С
были последовательно предложены оценки 7,59; 2,9 (Эссеен);
2,05 (Уоллес), 0,9051 (Золотарев). Известно также, что
/2л
Сравнительно недавно И. А. Ибрагимовым указаны необ-
ходимые и достаточные условия, при выполнении которых
|^(х)_ф(х)|==0(п-1/2).
Во-первых, должно быть
| х2 dF(x) < оо,
2]
§ 6. СХОДИМОСТЬ К НОРМАЛЬНОМУ ЗАКОНУ
229
и, во-вторых, при £ —> оо
J x2JF(x)=O(2:-1),
|х|>2
J х3 tf/7 (х) — О (1).
|х|<2
2. Уточнения. При наличии большего, чем три, числа
конечных абсолютных моментов у gn и при определенных
предположениях о гладкости F (х) можно дать более точные
сведения о разности *) Fn (х) — Ф (х). Исходным пунктом
при этом служит разложение для характеристической функ-
ции (имеющее один и тот же вид в пространствах любого
конечного числа 5 измерений и даже в банаховых простран-
ствах)
<Р{Ю = 21гМ(А |/ + о(Р|гИ),
Л-0
справедливое в предположении, что
M|g|r<oo
(здесь g обозначает любую из величин gy, (/, g)— скалярное
произведение векторов t и g). Из указанного разложения при
М (A g) = 0 стандартными приемами выводится соотношение
где Pk — полиномы относительно М (/, g);,
Формальное обращение последнего равенства дает
г—2 k / г—2 \
р(£ а 1 = Ф(4)4- У ФА (Д) п~~ + о \п~).
I V п J
В конечномерном пространстве Ф есть нормальное распреде-
ление (с теми же первыми и вторыми моментами, что и рас-
пределение g), а Ф* — линейная комбинация обобщенных мер
с преобразованиями Фурье
*) См. цитированную монографию Б. В. Гнеденко и А. Н. Кол-
могорова или книгу: И. А. Ибрагимов, Ю. В. Линник, Неза-
висимые и стационарно связанные величины, М., «Наука», 1965.
230 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ (2
Соответствующие коэффициенты определяются по моментам
до r-го порядка включительно.
Указанное формальное обращение законно в одномерном
случае, если, например, допустить, что величины имеют
абсолютно интегрируемую характеристическую функцию.
В качестве А можно взять любое борелевское множество.
Если же известно только, что
Йт |ф.(/)1<1,
то получается разложение для функций распределения *)
г“2 k / г-2 \
Рп (х) = Ф (х) 4- Ф' (х) Qk (х) п~ + о (я" ,
где Qk — многочлен степени 3k—1с коэффициентами, зави-
сящими от
5-....^5- <%=т
Одно из наиболее полезных применений последнего ре-
зультата— построение преобразований, «улучшающих сходи-
мость» к нормальному закону. Речь идет о следующем. До-
пустим, что последовательность асимптотически нормальна
с параметрами (0, 1). Требуется подобрать простые (и просто
обратимые) функции f п (•) так, чтобы случайные величины
К>п~ + были «более нормальны», чем г^.
Можно пояснить эту, не очень определенно сформулиро-
ванную задачу таким примером. Величины "У2^, (Хл/П)1/3
асимптотически нормальны **)при /г—>оо. Равномерное откло-
нение соответствующих функций распределения от их нор-
мальных аппроксимаций становится меньше 0,01 для у?п при
п^>354, для У2/^ при для (x«/^)1/3 при п^З это
отклонение не превосходит 0,007.
*) См. цит. книги Б. В. Гнеденко и А. Н. Колмогорова и
В. Феллера.
**) Случайная величина представляет собой сумму квадра-
тов п независимых случайных величин, распределенных одинаково
нормально с параметрами (0, 1).
2] § 6. СХОДИМОСТЬ к НОРМАЛЬНОМУ ЗАКОНУ 231
Прием построения подобного рода преобразований может
быть изложен следующим образом *). Пусть £р |2,...» £л, ... —
независимые случайные величины с одним и тем же распре-
делением вероятностей, и пусть Ху есть j-й семиинвариант
случайной величины £р т]л— нормированная сумма:
п
Х1)-
Далее, пусть UT — множество функций и(х, v) с областью
определения | х | < оо, О т/ У (V — положительная по-
стоянная), и пусть
дг~2и
dvr~2
1)
существует и непрерывна по v на прямой
с уравнением т/ = 0;
2) существует положительная частная производная -—£•
в области
| х | < W-D (С > 0, г > 3).
В таком случае, если | иг | < оо и и (х, v) £ UT, то функция
распределения Gn(z) случайной величины
—И(ПЛ. »-V2)
удовлетворяет условию
0я(г) = Ф(г)-|-0 U" 2 ;
тогда и только тогда, когда для u(xt v) при 77—>0 спра-
ведлива асимптотическая формула
г-3
и(х, -У) = х4- 2 P3m-i(x)vm-^O(vr~2).
*) См. Л. Н. Большее, О преобразованиях случайных вели-
чин, Теория вероят. и ее примен., IV (1959), 136—149; Асимптоти-
ческие пирсоновские преобразования, Теория вероят. и ее примен.,
VIII (1963), 129—155.
232 ГЛ IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [2
Здесь Р^х)— полиномы, которые определяются следующим
образом. Сначала берется разложение
г-3 m / г-2 \
Fa(x) —ф(х) = ф(х) S Qk(x)n 2 +oU 2 j
rrz «= 1
/ * £ \
|ф(х) = j <p(x) = yg=-e 2 j
и разложение правой части равенства
у(х) = ф-1[Ф + (/?я —Ф)1
в точке Ф (по степеням Fn — Ф). Подставляя вместо Fn — Ф
его выражение, после перегруппировки членов получаем
г-3
у (X) = X + 2 Р3т-1 (*) «" m/2 + Rr (X),
/77 = 1
/ г-2 \
где Р[(х) — искомые полиномы и Rr(x)= О\п 2 /.
При пг = 1 и пг = 2 имеем соответственно
В цитированных статьях Л. Н. Большева имеется много
примеров применения указанного приема.
Общий недостаток приводившихся выше асимптотических
разложений и приближенных формул состоит в том, что оценка
соответствующей им ошибки (получаемая в ходе доказатель-
ства) оказывается весьма большой. В то же самое время
опыт применения указанных формул ко многим естественно
возникающим примерам показывает их высокую точность*).
Таким образом, задача выделения достаточно широкого класса
распределений, для которых гарантированная точность нор-
мальной аппроксимации и ее уточнений соответствует факти-
чески наблюдаемой, все еще остается нерешенной.
*) См., например, пояснительную часть сборника: Л. Н. Б о л fa-
in е в, Н. В. С м и р н о в, Таблицы математической статистики, М.,
«Наука», 1965.
3] § 6. СХОДИМОСТЬ К НОРМАЛЬНОМУ ЗАКОНУ 233
3. Биномиальное распределение. Выше речь шла о не-
прерывных распределениях. Рассмотрим теперь важнейший
случай дискретного распределения — биномиальное распреде-
ление. Пусть п — полное число испытаний Бернулли с вероят-
ностью успеха, равной р, ^=1 — р, о = угдр^,
_ k-np
Zk— 0
Обозначим символом ц вероятность того, что число успе-
хов удовлетворяет неравенству Пусть, далее, для
какой-либо функции R(z)
n = R + 2о) Я 2а)»
Из равномерных нормальных аппроксимаций биномиаль-
ного распределения наиболее сильной является, по-видимому,
предложенная Я. Успенским:
ц = ц + н + 0»
где
6а у 2л
причем, если о >5, то
I со I <(0,13 + 0,18 \p — q I)cr2 + г-3*/2.
Однако относительная точность такой аппроксимации для ве-
роятностей типа 1 — и (коль скоро они малы) оказывается
недостаточной. Чтобы исправить положение, С. Н. Берн-
штейном, а затем В. Феллером были предложены другие фор-
мулы. С. Н. Бернштейн предлагает определять решения аж
и квадратных уравнений
х——гар = аах4--^=^-а2,
х+4—пр=
Тогда при о2 >62,5, ах>0, < ]/2о1/3 имеют место не-
равенства
Ф (Рц) - Ф (Рх) < Рх, ц-1 < Ф Ю - Ф («О-
234 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ (4
Неравенство В. Феллера имеет более широкую область
применения. Пусть
1 9
о2>9, Х>(д+1)р, и + 2-<(д+1)р + |а2.
Тогда
5(1-pg)
Р^<е [Ф(Пи+1)-Ф(Пл)1.
где
_ Л —(п4-1)р , а / Л —(Л-Ь 1)2а_____________1__
“ а а \ а J а 2а2 ’
Предыдущее неравенство заменяется на обратное, если поло-
жить
____k-(n+l)p , a(k-(n + V)p\2 , 2а , М , 1
а а \ а } а ~г“ ба 7а ’
где
Г 1 I3
6 а4
4. Многомерный случай. Сделаем теперь несколько за-
мечаний по поводу многомерного случая. Естественная нор-
мировка последовательности сумм одинаково распределенных
векторов осуществляется путем вычитания математических
ожиданий и деления на Для различно распределенных
слагаемых естественно рассматривать нормировку линейными
преобразованиями. Один из получающихся на этом пути ре-
зультатов звучит следующим образом: пусть — последова-
тельность независимых равномерно ограниченных случайных
векторов:
||л|<С<оо.
п
и пусть = Для существования последовательности Ап
линейных преобразований и последовательности ап векторов
таких, что распределения случайных векторов т]л = Ant>n-^-an
сходятся слабо к некоторому невырожденному нормальному
распределению N. необходимо и достаточно условие:
lim D (t, £л) = оо при всех / =# 0 (/ £ Rm),
I] § 7. СХОДИМОСТЬ к УСТОЙЧИВЫМ ЗАКОНАМ 235
Это же условие необходимо и достаточно для существования
такой последовательности невырожденных нормальных рас-
пределений N„ в Rm, что
lim supIPf (Л) —Мя(Л)|->0,
где 6 — класс всех выпуклых множеств.
Уточнения нормального приближения в многомерном слу-
чае для гладких распределений имеют тот же характер, что
и в одномерном случае. Без предположений гладкости поря-
док разности
РЧяИ)-М(Л),
где Рц„М) — распределение нормированной суммы и N — не-
которое /n-мерное нормальное распределение, зависит *) от
«формы» и «положения» множества А.
§ 7. Последовательности независимых случайных
величин. Сходимость к устойчивым законам
1. Определение устойчивых законов и некоторые их
свойства. В § 5 было указано, что n-кратная свертка
= F * F * ... * F любой фиксированной функции распре-
деления F (х) (т. е. закон распределения суммы sn незави-
симых одинаково распределенных величин ...» таких,
что Р {|у < х) = F(x)) сближается с множеством всех без-
гранично делимых законов; иными словами, существует после-
довательность Ол(х) безгранично делимых законов такая, что
sup | Fn* (х) — Gn (х) | 0 (п —> оо).
Распределения Gn строятся по F довольно сложно. Однако
важное место занимает случай, когда все Gn получаются
из одного и того же распределения G линейной заменой
аргумента:
Оа(.х) = О(хВп^-А„)
*) Н. В е г g s t г б m, On the central limit theorem in the case
of not equally distributed random variables, Skand. Aktuarietidskr.,
1—2 (1949), 37—62 R. Rao, On the central limit theorem in R&
Bull. Amer. Math. Soc.,,67, 4 (1961), 359—361.
236 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
(Вп > 0, Ап — константы). В этом случае распределение «нор-
мированной суммы»
•••
Dn Dn
сходится к G (х). Известны необходимые и достаточные усло-
вия, которым должна удовлетворять исходная функция рас-
пределения F, чтобы такое распределение G существовало,
а также описан класс всех распределений О, которые могут
появляться в подобной обстановке. Он совпадает с классом
всех устойчивых распределений.
Распределение называется устойчивым, если при любых
Oj > 0, blt а2 > О, Ь2 найдутся такие а > 0 и Ь, что при
всех х
F (агх + bx) * F (а2х + b2) — F (ах + Ь).
Как показали А. Я. Хинчин и П. Леви, натуральные лога-
рифмы характеристических функций устойчивых распределений
(и только они) допускают представление
log<p(0 = /yf — с |“| 1 Ч-Фуц ®(Л а)},
где а, р, у, с — постоянные (0 < а << 2, — 1<^р<^1, с О,
у—любое действительное число). Так как характеристиче-
ские функции устойчивых законов абсолютно интегрируемы,
то соответствующие распределения имеют непрерывные плот-
ности (ниже приводятся более сильные утверждения). Однако
явный вид плотностей устойчивых законов известен лишь
в нескольких исключительных случаях (нормальный закон,
закон Коши и некоторые другие).
Плотности устойчивых законов одновершинны и отличны
от нуля или на всей прямой, или на полупрямой (скажем,
при х^ А или х<^Д). Известна асимптотика плотностей
на концах области положительности. Прежде чем перечислять
асимптотические формулы, положим, не ограничивая общности,
у = 0, с= 1. Можно показать, что при этих условиях плот-
ность устойчивого закона удовлетворяет соотношениям:
р(х; а, р)=р(—х; а, —р) при всех х, а и.р;
р(х; а, р) = х~1-ар (—х~а; а"1, Р) при а>1, х>0
(Р — (а—1)(р — 1) —р).
2]
§ 7. СХОДИМОСТЬ к УСТОЙЧИВЫМ ЗАКОНАМ
237
Приведем теперь результаты, относящиеся к асимптотике
устойчивых плотностей. Детали и доказательства можно найти
в монографии И. А. Ибрагимова и Ю. В. Линника *). Целе-
сообразно отделить друг от друга случай крайних распре-
делений (так называют распределения с р=± 1) и случай
|₽| < 1-
А. Если — 1 < р 1, то при а < 1 и х —> оо
р а, Г(а+ 1) sin ^-а(₽ + I)] • х“<1+а>;
при а > 1 и х —> оо
р(х; а, ₽)~4'Г(а+ l)sin^(a + (2 — а)р)] • х-<1+а>;
при а = 1 и х—>оо
р(х; 1, р)~±(14-р)х-г.
Б. Если 0 = —1 и а<1, то р(х; а, —1) = 0 при
х > 0 и, кроме того, при х f О
р(х; а, — 1)~у=^=== |х| 1 v/2exp{—(1 — a)avx v).
где у = а/( 1 — а); при а — 1 и х —> оо
/ 1 1ч 1 я 2 -4
р(х; 1, —1)~—=-ехр] —х----е 2
2 У е (4 пе
Отметим, что в случае крайнего закона са=1/2и₽=1
известна явная формула для плотности:
р (х; 1, !) = х~ 2 е~2* (х > 0).
2. Условия сходимости. Уточнения. Условия сходимости
распределений нормированных сумм случайных величин к устой-
чивым распределениям, отличным от нормального (т. е.
к распределениям с 0 < a < 2), даются следующей теоремой:
*) См. сноску на стр. 229.
238 ГЛ. TV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ (2
для указанной сходимости необходимо и достаточно,
чтобы при х—>оо
I Л. I Л
(С1>0, с2>0, q-Н2>0),
где ht — медленно меняющиеся функции. При этом Вп
отличается от пх1а лишь медленно меняющимся множи-
телем. Можно принять Вп = пх^ в том и только том
случае, когда
F^-x^T^' 1-F(x)~4.
I X |а ха
Одно из применений устойчивых законов связано с «тео-
рией восстановления». Допустим, что промежутки времени
между последовательными возвращениями некоторой «системы»
в «исходное состояние» суть независимые одинаково распре-
деленные случайные величины. Тогда время до /г-го возвра-
щения будет суммой п таких величин и при указанных выше
условиях будет распределено асимптотически устойчиво.
Пусть vz—число возвращений в исходное состояние за время t.
Очевидное соотношение
P{v/>»} = P{sn</}
дает возможность получить предельное распределение для vt
при /~>оо.
Пример. Рассмотрим приведенный в гл. I, § 5.4, при-
мер симметричного случайного блуждания. Время sn до п-го
возвращения в исходное состояние в этом примере сходится
(при нормировке 4л = 0, = к устойчивому закону
I 1 Л
с плотностью pixjy, II, явное выражение которой указано
в конце предыдущего пункта. Соответственно, как легко
видеть,
____ z~2
₽{’«>*/ 17'И 'К
О
Один из интересных вопросов — уточнение предельных
теорем о сходимости к устойчивым законам с 0 < а < 2
2] § 7. СХОДИМОСТЬ к УСТОЙЧИВЫМ ЗАКОНАМ 239
(подобное тому уточнению, которое имеет место в случае
сходимости к нормальному закону). Один из основных имею-
щихся здесь результатов, установленный Г. Крамёром, можно
описать следующим образом. Пусть F(x)— функция распре-
деления, удовлетворяющая условиям:
а) при х—>оо
Г(— oo) = ^-4-A- + r1(x), r1(x) = O(x-v),
1-F(x) = 4 + 4; + /’2W. r2(x) = O(x-v)
Xй XUl
(а<ах<у; c1^0t сг4“С2>0);
б) в случае, когда 0<y<:i, функции r1(x)±r2(x)
предполагаются монотонными для всех достаточно больших
х > 0.
Пусть Р = (^ — + ^2)» Sa(0 — характеристическая
функция распределения с плотностью р (х; а, р) и Ga> р (х) —
соответствующая функция распределения. Обозначим, далее,
k == kxa + k2 (ax — a) + k3 (2 — a) 4~ k4,
где kt — неотрицательные целые числа, хотя бы одно из
которых отлично от нуля (таким образом, всегда k > 0).
Пусть PkXik2tkitk^ — полином степени (&j+ ... + —1)
относительно t с комплексными, вообще говоря, коэффи-
циентами.
Теорема. Если а, р и у не целые и F удовлетво-
ряет условиям а) и б), то можно выбрать нормирующие
константы Ап и Вп = Ьп№ и полиномы Рьь *а> kzt так,
что при п—>оо равномерно относительно х
^«(*) = °a,₽(*)+ S °a,p(x;
о < k <Л
где
°а, ₽(х; =
- оо
= -Д-1т j ,
Lo
Z== min(l, у — a).
240 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ [1
Суммирование распространяется на все k, определенные
указанной выше формулой и удовлетворяющие неравен-
ству 0 < k < X.
Аналогичные, но более сложно формулируемые резуль-
таты верны и для целых а и аР
§ 8. Локальные теоремы для решетчатых распределений
1. Асимптотическая равномерная распределенность.
Пусть |2» • • •» • • • —независимые случайные величины,
принимающие лишь целые значения,
Pn* = P{U = *}. = ... +U ^Л(/П)=Р{^ = /п},
Лл = М5л, =
Последовательность £л, по определению, удовлетворяет ло-
кальной теореме, если равномерно по т при л—>оо
(т-АпУ
1 I / 1 \
Ря(/п) = —7=--е Ч“0(---)•
* [Bj
Из применимости к локальной теоремы вытекает, как
легко видеть, «интегральная» сходимость: функции рас-
пределения Fn(x) нормированных сумм (sn — Ап)1Вп схо-
дятся к функции нормального распределения Ф(х). Поскольку
условия «интегральной» сходимости (т. е. условия примени-
мости центральной предельной теоремы) хорошо известны,
то, естественно, возникает вопрос: что нужно прибавить
к условиям центральной предельной теоремы с тем, чтобы
имела место локальная теорема?
Введем необходимое определение. Назовем последователь-
ность sn асимптотически равномерно распределенной, win
При любом фиксированном h имеет место соотношение
limP(s,=/ (mod/г)} =(/ = 0, 1............h.— 1).
Нетрудно видеть, что как применимость локальной теоремы,
так и асимптотическая равномерная распределенность сумм
могут зависеть от структуры нескольких первых слагаемых
(как в примере, где £9, £*, ... одинаково распределены:
Р1Ь=±1} = 1/2,аР(‘1=1} = 1-Р^ = 0) = р<1/2).
2J§ 8. ЛОКАЛЬНЫЕ ТЕОРЕМЫ ДЛЯ РЕШЕТЧАТЫХ РАСПРЕДЕЛЕНИЙ 241
Мы исключим такую ситуацию из рассмотрения и ограни-
чимся только случаем, когда этой зависимости нет
(т. е. когда как данная последовательность, так и любая,
полученная из нее изменением или отбрасыванием конечного
числа начальных членов, являются одновременно асимптоти-
чески равномерно распределенными, соответственно удовлет-.
воряют локальной теореме). При этом ограничении можно
утверждать, что для асимптотической равномерной распре-
деленности необходимо и достаточно условие
s min Р {£„££а,л} =ОО,
л=00<а<Л-1
где Laih — подрешетки решетки целых чисел: La>h =
z= {т:т== а-\- kh].
Известно, что асимптотическая равномерная распределен-
ность сумм sn необходима для справедливости локальной
теоремы. Известно также, что при довольно общих усло-
виях из интегральной сходимости и асимптотической равно-
мерной распределенности сумм sn вытекает локальная тео-
рема (например, если слагаемые равномерно ограничены
или таковы, что
| (х — М £„)2 Рin (dz) -> 0 (z -> оо)
равномерно по п).
Сходный результат верен и в многомерном случае. Однако
вообще интегральная сходимость и асимптотическая рав-
номерная распределенность сумм sn не влекут локальную
теорему.
2. Целочисленные одинаково распределенные слагае-
мые. Ограничимся теперь случаем одинаково распределен-
ных целочисленных слагаемых. При наличии конечных вторых
моментов необходимое и достаточное условие справедливости
локальной теоремы имеет один и тот же вид в случае любого
конечного числа измерений и состоит в том, что максималь-
ный шаг распределения равен единице. Однако точность
действия локальной теоремы при небольших или умеренных
значениях п может быть малой даже в простых примерах.
Пример. Рассмотрим слагаемые, принимающие значения
О, 3, 9 с вероятностями 1/3 каждое. В этом случае поведение
16 Ю. В. Прохоров, Ю. А. Розанов
242 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
[2
вероятностей Рп(т) будет почти столь же «правильным»,
как в случае схемы Бернулли (для которой во всех учебниках
приводятся убедительные графические иллюстрации). Однако
если, оставив вероятности прежними, мы возьмем в качестве
возможных значений 0, 3, 10, то картина будет совсем
другая: при п порядка нескольких десятков вероятности
Ря(т) ведут себя весьма нерегулярно. Объяснение состоит
в том, что внутри интервала 0 < t < 2те модуль характери-
стической функции слагаемых весьма близко подходит к еди-
нице:
>0,91
(см. § 1 этой главы).
Известны аналитические достаточные условия примени-
мости локальной теоремы (содержащие требование «малости»
некоторого интеграла от модуля характеристической функ-
ции суммы $л)*). Можно предложить и необходимые условия
аналогичного вида. Они основаны на следующем неравенстве.
Пусть
(т~АпУ
1 с 2В« =Al
V2яВя Вп '
sup рп(т)
т
Тогда
п
Вп J Ц|ф(';
« 1
где С, Cj и С2 — абсолютные постоянные и kn равно целой
части Вп + С2Кп (можно взять С = 2 + -^~=., Сг =
= с = 2^
31 ’ 2 *
Последнее неравенство можно использовать для оценки
числа слагаемых, необходимого для достижения заданной
точности в локальной теореме.
♦) В. В. Петров, Локальная теорема для плотностей сумм
независимых случайных величин, теория вероят. и ее примен.,
I 3 (1956), 349—357.
§ 9. локальные теоремы для плотностей
243
§ 9. Локальные теоремы для плотностей
Рассмотрим опять последовательность независимых оди-
наково распределенных величин .. ., .....положим
sn = £1+ • • • + U
и допустим, что при некотором п = п0 распределение суммы sn
имеет плотность (иногда под плотностью будет удобно
понимать производную абсолютно непрерывной части
распределения при условии, что она отлична от нуля; в этом
случае мы будем говорить о «плотности»). Тогда при
суммы sn будут иметь плотность, и естественно поставить
вопрос о поведении этой плотности при п->оо.
Мы рассмотрим два типа сходимости: равномерную
сходимость и сходимость в среднем. Пусть, как и раньше,
= Лл, = Вк]п — ($п Ап)/Вп
и
Pn (*) = Ръп (*)’ Ф W=Ф' (*) = *
Если к условию существования r-го момента М|£у|г добав-
ляется условие:
а) существует число nQ такое, что плотность
Рп (х) ограничена, то мы получим при п->оо сходимость
равномерную относительно х, а при г >> 3 — асимптотическое
разложение
рл(х)=ф(х)4
d
dx
Г-2
Л=1
где опять-таки оценка остаточного члена равномерна отно-
сительно х. Заметим, что условие а) оказывается одновре-
менно и необходимым для равномерной сходимости рп(х)
и ф(х).
16*
244 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Если к условию существования момента r-го порядка
(г^З) добавляется условие:
б) Для некоторого п0 существует «плотность»
то для плотностей имеет место сходимость в среднем:
оо
/ I Рп (*) — Ф (х) I dx -> 0 (п -> оо).
— ОО
Условие б) для подобной сходимости необходимо.
Заметим, что если Р И Q — два распределения на прямой
и распределение Q абсолютно непрерывно относительно меры
Лебега, то
sup | Р (Л) —О(4)| = а
А
ОО
4-1 J |₽/г2(х)-
— ОО
q(x)ldx,
где Zz2 и q—плотности мер Н2 и Q соответственно; Н2 —
абсолютно непрерывная компонента в разложении
Р(Д) —аН1(Д)4”₽Н2(Л)
(a>0, р>0, a + ₽=l, Hj (/?Z) = H2 (/?')= О»
т. е. в разложении распределения Р на сингулярную и аб-
солютно непрерывную части.
Из сказанного вытекает, что в случае существования
второго момента для сходимости «по вариации»:
sup Р [г|л £ А]—| <p(x)dx —>0
А А
(и—>схэ),
необходимо и достаточно условие б).
При условии существования моментов более высокого
порядка можно получить оценки для
sup Р{пя £ Л}— f <р(х)4
А А __
d
dx
г—3
£ = 1
dx
Переходя к случаю разно-распределенных слагаемых,
мы должны сразу отметить, что нельзя рассчитывать на какие-
либо необходимые и достаточные условия применимости
локальной теоремы к плотностям сумм независимых случай-
§ ТО. ВЕРОЯТНОСТИ БОЛЬШИХ ОТКЛОНЕНИЙ 245
них величин. Эту мысль можно пояснить примером незави-
симых величин таких, что равномерно распределена
на (—1, 1), a t>n при п^>2 принимает значения ± l/jAa
с вероятностью 1/2 каждое. Здесь нормированные суммы т]л
имеют плотности, сходящиеся к плотности нормального
закона, а все слагаемые, начиная со второго, дискретны.
Известно много достаточных условий справедливости
локальной теоремы для плотностей *). Мы отметим здесь лишь
класс распределений, для которых из слабой сходимости рас-
пределений сумм к нормальному вытекает сходимость по «ва-
риации». Так будет, во всяком случае, если все слагаемые
распределены равномерно или «почти равномерно». Последнее,
по определению, означает, что %п имеют при всех п плот-
ности и максимумы Ап этих плотностей связаны с соответ-
ствующими дисперсиями Од соотношениями
Ляа2„<С,
(С — константа, не зависящая от п). Заметим, что всегда
Л„а2>1/12.
Рассматривались и другие типы сходимости плотностей,
например сходимость в смысле «расстояния»
/ оо \ 1 /0
р(Р. Q) —I j ха\р(х)— q(x)\$dx I
X —оо /
и т. п. Результаты, касающиеся случая одинаково распреде-
ленных слагаемых, допускают немедленное распространение
на многомерный случай, а также на случай сходимости
к устойчивым предельным распределениям *).
§ 10. Вероятности больших отклонений. Неравенства
и асимптотические формулы
Темы, указанные в заглавии, подробно разобраны в ли-
тературе, по крайней мере для сумм независимых одинаково
распределенных случайных величин *). Суть дела можно
объяснить следующим образом. Пусть т|л — нормированная
*) См. цит. книгу И. А. Ибрагимова и Ю. В. Линника (сноска
на стр. 229).
246 ГЛ. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
сумма sn = • • • + независимых случайных величин
, i/r
у, _____ sn
Чл — т/--в----
и пусть т|л удовлетворяют центральной предельной теореме:
I г_____L z2
^л(*)=Нпл<*)->Ф(х)у=- J е 2 dz.
— ОО
При больших |х|, т. е. при малых Fп(х)(х < 0) или
1—/7л(х)(х>0), абсолютные оценки близости Fn к Ф
оказываются бесполезными и необходимы оценки для отно-
сительной точности аппроксимации, т. е. для отношений
Fn (х) А 1 — Fn (х) . п
-cfe) при Х < ° И 1-Ф(х) при Х > °-
Ограничимся для определенности случаем х > 0. Типич-
ный результат для одинаково распределенных величин дает
теорема: если = 0 и
М/1^1<оо при |Л|<^Л0 (/г0>0),
то для х> 1, х — о^/Г) имеем
1 __рп (Х) (_х^_\ , / х \ Г. , п / х \1
1— Ф(х) —ехр( уп ) + /]’
оо
где X (z) = 2 сп%п — степенной ряд, сходящийся в до-
п^О
статочно малой окрестности нуля, и Сп определяется
отношениями М|//(Л k — 2, 3, п-{-2 (точнее о по-
строении ряда Х(г) будет сказано ниже).
Теоремы этого типа обычно формулируются с остаточными
членами в виде О или о и поэтому для подсчета соответ-
ствующих вероятностей (с гарантированной степенью точ-
ности) непригодны. Пожалуй, единственным исключением слу-
жит результат В. Феллера *). Пусть — последовательность
♦) W. Feller, Generalization of a probability limit theorem of
Cramer, Trans. Amer. Math. Soc. 54, 2 (1943), 361—372 .
§ 10. ВЕРОЯТНОСТИ БОЛЬШИХ ОТКЛОНЕНИЙ 247
независимых случайных величин, подчиненная условиям
Обозначим ol — ctfe>v:=Msft, и пусть x*tV есть v-й
п
семиинвариант случайной величины и Кл> v = 3v-
fe=i
Определим h как решение уравнения
°° -
1 \\r Av-J
х~ Вп (v—1)!
v=2
оо
и введем затем степенной ряд Qn (х) — 2 Яп, полагая
V=1
ОО
Х% 1 Х^ л » » Ж7Т ж г ьу —- 1 . y
— h •
V=0
Можно показать, что при этом
Чл'‘1~~ 12В4 2“*-4 4B4i2Ct*>2 4В6 (Sa*-3) И Т’ Д'
п й = 1 д Л = 1 п \fe = l /
Если 0<Хях<-^-(3 — /б) , то
1 - Fn (хВп) = e^xiQn W [{1 - Ф (х)) + Ыпе~^ '’I
Если же 0<Х„х<1/12, то |0| <9 и <у (12X„)V.
Пользуясь тем, что при х > О
1-®w=FS7e’4(1-^)
можно написать также
1 Fn (хВп) —
= (2л) 2 х-1е 2 х —А._]_у2л9Х.лх).
248 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Интересно сопоставить эти результаты с так называемыми
«экспоненциальными границами» *). Допустим для простоты,
что МЛ» существует при всех действительных h. Неравен-
ство Чебышева дает
l-Fn(xBn)^e-hxBnMehs^
Определяя h из условия минимизации правой части послед-
него неравенства, получим
хВп = llh ,og = S К«’ V (7—1)!
т = 2
Отсюда видно, насколько точнее действуют приведенные выше
теоремы, чем неравенство Чебышева. Напомним, что при
дополнительных условиях (например, при равномерной огра-
ниченности слагаемых или ограничениях на рост их момен-
тов, скажем
2
где Н — константа, не зависящая от k) прием, основанный
на экспоненциальном неравенстве Чебышева, приводит к не-
равенствам типа
1-Рп(хВп)<е 4
ВгД
н г
п
Локальный вариант теоремы, приведенной в начале пара-
графа, может быть сформулирован как для слагаемых с не-
прерывными распределениями, так и для решетчатых сла-
гаемых. Если к условиям этой теоремы добавить, например,
*) С. Н. Бернштейн, Теория вероятностей, изд. 4-е, М.,
Гостехиздат, 1946, гл. IV.
§ 11. ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ
249
условие существования у слагаемых ограниченной на всей
прямой плотности, то получим при х>1, х = о(]Лп) и п—>оо
Рп (х) = Ф(х) ехр
где рп (х) — плотность нормированной суммы.
Локальные теоремы о больших уклонениях допускают
сходное по форме распространение на многомерный случай,
что позволяет получить оценки для вероятностей попадания
в области, «удаленные» от начала координат (математические
ожидания слагаемых предполагаются нулевыми) *).
В последнее время предложена «односторонняя трактовка»
задач о больших отклонениях: поведение сумм независимых
случайных величин для х—>оо (соответственно для х—> — оо)
связывается с поведением слагаемых для х —> оо (х —> — оо)
при минимальных ограничениях на поведение на отрицатель-
ной (соответственно положительной) полуоси **).
§ 11. Заключительные замечания
На протяжении этой главы основное внимание уделялось
схеме сложения независимых случайных величин или векторов.
Сложение случайных элементов со значениями в тех или
иных группах и соответствующие предельные теоремы рас-
смотрены в цитированной книге У. Гренандера (см. сноску
на стр. 195)***).
1. Остановимся на схеме умножения комплексных случай-
ных величин £, не равных нулю. Хотя эта группа изоморфна
(£<->(log| g|, arg£)) прямой сумме двух хорошо изученных
групп (аддитивной группы вещественных чисел и группы
вращений окружности), возможно и нетривиальное построение
*) В. Рихтер, Многомерные локальные теоремы для боль-
ших уклонений, Теория вероят. и ее примен., Ill, 1 (1958), 107—114;
Б. А. Рогозин, А. А. Боровков, О центральной предельной
теореме в многомерном случае, там же, X, 1 (1965), 61—69.
**) В. М. Золотарев, Односторонняя трактовка и уточнение
некоторых неравенств чебышевского типа, Литовский матем. сб. V,
2 (1965), 233—250.
***) См. также более поздний обзор В. В. Сазонова и В. Н. Ту-
ту б а л и н а, Распределение вероятностей на топологических груп-
пах, Теория вероят. и ее примен., XI, 1 (1966), 13—55.
250 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
теории перемножения «почти-единичных» комплексных ве-
личин
^>п, 1» 2» • • •» Ьп
и соответствующих безгранично делимых законов.
2. Маргинальные распределения. Один тип предельных
теорем иллюстрируется следующим примером. Возьмем равно-
мерное распределение на (п—1)-мерной сфере
xi+xi+ ••• +4=1-
Рассмотрим совместное распределение любого фиксированного
числа иксов, скажем xv х2........Ху. Тогда при /г—>оо
величины
Уп xv . . Уп Ху
асимптотически независимы и распределены нормально с пара-
метрами (0, 1).
Аналогично для равномерного распределения в симплексе
*1 + ••• 4~хл— Хл^>0,
при п->оо величины nxv ...» пху асимптотически незави-
симы и имеют экспоненциальное распределение вероятностей.
3. Нули случайных многочленов. Распределением нулей
случайных многочленов занимались многие математики, начиная
с Харди и Литтлвуда. Один из типичных результатов можно
сформулировать следующим образом: для полинома степени п
(с независимыми действительными одинаково распределенными
коэффициентами) при п~>оо
Р {e„logn < Na < a(logn)2} -> 1,
где Nn— число действительных корней, a — некоторая по-
стоянная и ел— любая последовательность такая, что ел->0
и ertlogn->oo (все логарифмы натуральные).
4. Случайные матрицы и случайные детерминанты.
Пусть
§ 11. ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ
251
— независимые и одинаково распределенные Z-мерные слу-
чайные векторы-столбцы, А — матрица, составленная из их
компонент А — ее определитель (равный, как известно,
ориентированному объему /-мерного параллелепипеда, по-
строенного на указанных векторах).
Распределение Д известно только в двух случаях: когда
распределены равномерно на единичной (/—1)-мерной сфере
/-мерного пространства и когда распределены нормально
с нулевыми вектором средних и невырожденной корреляцион-
ной матрицей. В этом последнем случае отношение A2/detS
(S — корреляционная матрица) распределено как произведе-
ние Xi • • • X/’ где X/ независимы и имеют ^-распределения
с 1, 2......./ степенями свободы соответственно. Отсюда
можно вывести, что при Z—>оо величина log(A2/detS) асимп-
тотически нормальна с параметрами (log(Z —1)!, /2 log Z).
Никаких других асимптотических формул до сих пор не
известно.
Предельный переход от дискретных схем к непрерывным
мы проиллюстрируем здесь лишь простейшим примером.
Начнем с симметричной схемы Бернулли, т. е., иными сло-
вами, с последовательности
£1» %2‘ • • •» %>п> • • •
независимых случайных величин, принимающих значения ± 1
с вероятностью 1/2 каждое. Рассматривая фиксированный
отрезок
11» %2» • • •»
последовательности {£л} и соответствующие «нарастающие
суммы»
$о=О, $!= ...» $дг = ••• +£дг»
мы можем выписать, используя приемы комбинаторики, точ-
ные формулы для вероятностей тех или иных событий, свя-
занных с этими суммами *). Например, вероятность того, что
*) См., например, В. Феллер, Введение в теорию вероятно-
стей и ее приложения, М., «Мир», 1964; J. Uspensky, Introduc-
tion to mathematical probability, McGraw-Hill, New York, 1937.
252 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
выражается формулой
ъ
pN(-a<
J~a
Вероятность того, что суммы sk не достигнут
значений а и — b (а и b — целые положительные числа), равна
д+fr-1 . nh
2 Sin a-\-b nah / nh \N
Pa,b,N~ a_|_6 ^Zj nh Sltl а + » (C0S д4-д)
h~i L a + *
Вероятность того, что при четном N = 2N' для v<^2k
индексов j выполняются соотношения *)
Sj^> О,
равна
п —У1-* С1 CN~1
F2k,2N' 2n ^2j^2N'-2f
j<k
Подобного рода формулы непригодны для вычислений
при сколько-нибудь больших А/, но применение формулы
Старлинга и других приемов асимптотического анализа дает
довольно простые приближенные выражения для этих вероят-
ностей, а именно при а — — 2k— 2N'y
имеют место следующие асимптотические формулы:
3
PN{a, b)~-±=- [ e-^dz,
У £Л J
а
j-0 j + ~2
Хехр{-2 (у+^ГтТw}’
^,2/У'~|агс8|п^-
*) Число таких индексов лишь незначительно (при -> со)
отличается от числа неотрицательных сумм среди $0, Sj....sN.
§ 11. ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 253
Для случайных величин более общих, чем рассматривае-
мые, можно получить разрозненные асимптотические фор-
мулы такого же типа. Однако для того, чтобы получить
более или менее полное описание класса всех подобных пре-
дельных соотношений, уместно стать на более общую точку
зрения и рассмотреть переход от дискретного процесса
образования «нарастающих сумм» к непрерывному случай-
ному процессу. Этот переход можно произвести в нескольких,
по существу, эквивалентных формах *). Сейчас мы опишем
одну из них, пожалуй, наиболее «геометричную».
Поведение сумм s0, sN можно изобразить с по-
мощью «случайной ломаной» sN(t), получаемой последова-
(k Sb \
— , —-- J прямолинейными
отрезками. Случайная ломаная sN(t), 0 t 1, Порождает
некоторое распределение Рд, в пространстве С [0, 1] функций,
непрерывных на отрезке [0, 1], с расстоянием
р(х, у)= sup |х(0 — у(0|.
0</<1
Как можно доказать, последовательность Рд, оказывается
фундаментальной в смысле метрики, порождающей слабую
сходимость распределений в С [0, 1], и потому имеет слабый
предел W (распределение, соответствующее так называемому
винеровскому процессу, или одномерному броуновскому дви-
жению). Отсюда, в силу свойств слабой сходимости, можно
вывести, что
Pw(4)->WH)
для любого ДсС[0, 1], причем WG4) = 0 (А — граница
множества А). Кроме того, можно установить, что распре-
деление любого W-почти всюду непрерывного функционала,
вычисленное относительно Рдг, сходится к его распределению,
вычисленному относительно W. Таким путем получается
обширный класс предельных соотношений. Указанные выше
*) См., например, Ю. В. Прохоров, Сходимость случайных
процессов и предельные теоремы теории вероятностей, Теория
вероятн. и ее примен., 1,2 (1956), 177—238.
254 гл. IV. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
соотношения получаются, если взять множества и А2 вида
Аг = {х£С[0, 1]: а<х(1)<р},
Л2= { х [0, 1]: а < inf х (/) sup (7) < 0 1
I t t /
и функционал
1
/(x)=J-L±-sig2nx(Z) dt
О
и учесть, что
I г
WC41)==TtJe 2dz'
а
w w Ч S*-SI] х
/=о ]-г~2
. . ( о ( • I 1 \2 1
Xexpj 2p+2j
W {*: /(x)<Y) = ^-arcsin'|/'Y.
Следующий шаг состоит в построении асимптотических
формул для распределений функционалов от сумм sn> не
определенных для предельного процесса. Такими функциона-
лами будут, например, число перемен знака в последователь-
ности $0, ...5дг, число максимумов и минимумов и т. п. *).
Во всех таким путем полученных соотношениях заме-
чательно то, что они справедливы при весьма широких пред-
положениях относительно случайных величин («принцип
инвариантности»).
Переход от дискретных процессов к непрерывным является
мощным средством получения асимптотических формул (во
всяком случае — главных членов).
*) А. В. Скороход, Исследования по теории случайных про-
цессов, Киев, Изд-во Киевского ун-та, 1961.
ГЛАВА V
МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
§ 1. Марковские процессы с конечным или счетным
числом состояний (цепи Маркова)
1. Марковское свойство и переходные вероятности.
Марковское свойство. Характерное свойство марковских
случайных процессов можно увидеть уже на таком простом
примере, как известная игра «тише едешь — дальше будешь».
В этой игре фишка играющего должна пройти некоторое
конечное число пунктов 1, т. Переход из одного
пункта в другой каждый раз определяется исходом бросания
игральной кости. Именно, если на данном шаге фишка на-
ходится в пункте Z, то правилами игры устанавливается
пункт перехода ее на следующем шаге в зависимости от
числа выпавших на игральной кости очков. Из любого
пункта I фишка с некоторой вероятностью р^ переходит
в один из пунктов J независимо от характера движения до
попадания в пункт /.
Указанное свойство лежит в основе определения так
называемых марковских случайных процессов. Рассмотрим
систему, которая может находиться в одном из фазовых
состояний £\, (часто оказывается удобным условно
обозначать фазовые состояния просто соответствующими
номерами 1, 2, ...). Пусть состояние системы меняется в
зависимости от некоторого параметра причем переход из
состояния в состояние зависит также от вмешательства
случая. Будем условно называть параметр t временем и счи-
тать, что t пробегает либо целые, либо действительные
числа. Пусть £ (/) — состояние системы в момент времени /,
и пусть соблюдается следующая закономерность: если в дан-
ный момент времени 5 система находится в фазовом состоя-
нии Z, то в последующий момент времени t система будет
256 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
П
находиться в состоянии j с некоторой вероятностью ptj(s, t)
независимо от поведения системы до указанного момента
Описывающий поведение системы процесс |(Z) назы-
вается цепью Маркова. Вероятности
Pl7(s, 0 = P{|(O = /Ii(s) = /} (z, /=1. 2, ...)
называются переходными вероятностями марковской
цепи £(/).
Обычно рассматривается поведение марковской цепи £(/),
начиная с некоторого момента t — t$. Если
= = (Z=l. 2, ...)
— начальное распределение вероятностей, то
Р{£('о)=*. Ш = •••• = M =
= ^.(zo- *>)•••
для любых Z, /р ...» 1п и ••• ^п-
Марковские моменты времени. Пусть т — некоторый
случайный момент времени, не зависящий от будущего (это
означает, что при любом t событие {т > /} определяется
поведением системы до момента Z); т иначе называется
марковским моментом.
Пусть А — любое событие, осуществление которого
целиком зависит от поведения системы после момента т.
Тогда вероятность этого события при условии, что известно
поведение системы до момента т, совпадает с условной
вероятностью этого ‘события при условии, что известно
состояние системы только лишь в момент т:
р Mim *<т}=р(д||(т)}.
В частности, для любых ilt .... Z„ и tx . <1 tn
РШ + т) = Л..........Utn + ^ = ln\Us), =
= ^(Т), /,(Т- *1 +т) ••• Pin_r + + 4
Пусть имеется последовательность ...
. моментов времени такая, что в каждый из момен-
тов хп известно соответствующее состояние /л = |(тл).
Например, т0 — момент первого попадания системы в состоя-
ние Z, tj — момент первого после т0 возвращения в это
|| § 1. ЦЕПИ МАРКОВА 257
состояние, т2—момент второго возвращения и т. д.
Любые события Л2, ..., A1V .каждое из которых
целиком определяется поведением системы в соответствующем
промежутке времени от гп_г до т/р являются взаимно
независимыми.
Однородность процесса. Марковская цепь £(/) назы-
вается однородной,' если переходные вероятности Pij(s, /)
зависят лишь от разности t — s:
-s) (j, J =1, 2, .. .)•
Пример. Случайное блуждание. Рассмотрим случай-
ное блуждание частицы по целочисленным точкам действи-
тельной прямой, при котором частица на каждом шаге
с вероятностью р смещается на 1 и с вероятностью q~\ —р
смещается на—1. Пусть ^(/г) — положение частицы через п
шагов. Последовательность ^(0), £,(1), £ (2), ... образует
марковскую цепь: если частица находится в какой-то точке Z,
то ее дальнейшее поведение не зависит от обстоятельств,
предшествующих попаданию в точку Z, и за последующие п
шагов с вероятностями Pij(n) частица переходит в соответ-
ствующие состояния J. Ясно, что при \1— 7| < п переход
из Zb 7 невозможен и p{j (/г) = 0. Очевидно также, что за п
шагов частица может перейти лишь в те состояния J, для
которых разность [Z — 7| имеет ту же четность, что и п,
т. е. для которых число
п 4-1Z — j |
т —____!—___-1
2
является целым. При j^>l попасть в состояние j можно
тогда и только тогда, когда из всех п шагов ровно
л Я- \1 — j |
т — _ шагов совершается в положительном напра-
влении. Вероятность этого есть
р..(п) = С^р^~^
Аналогично выражается вероятность перехода из Z в j при
J < Z:
Пример. Радиоактивный распад. Как известно, с тече-
нием времени t радий Ra превращается в радон Rn. При
17 Ю. В. Прохоров, 10. А. Розанов
258 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ Ц
таком превращении появляется одна а-частица (ядро атома
гелий Не). Если считать, что каждый атом Ra независимо
от предшествующих обстоятельств с вероятностью р (/)
превращается за время t в атом Rn, то общее число v(Z)
распадающихся за время t атомов Ra, равное числу излу-
ченных за это время а-частиц, распределено по закону
Пуассона:
р (V(/) = £} (fe = 0, 1, 2, ...),
где a — np(f), п— исходное число атомов Ra. Число остав-
шихся атомов Ra есть £(/) = п — v(/).
Если известно количество радия в некоторый момент
g ($)=«/, то (независимо от характера процесса распада
ak
д.о момента 5) с вероятностью -ту е~а, a = ip(t — s), в про-
межутке от до t испускается k а-частиц. Таким образом,
£(/)— марковский случайный процесс с переходными вероят-
ностями
at-j
Pij(.s, f)= e-a, a — ip(t — s) J
Ясно, что при j > i переход из i в j невозможен и
Pi){s, t) = 0.
Время ожидания перемены состояния. Пусть £(/) —
однородная цепь Маркова. Если фиксировано состояние
в какой-либо марковский момент т: £(т) = х, то дальнейшее
поведение процесса | (/), t т, не зависит от его поведения
до момента т, причем течение процесса £(/) после т под-
чиняется тем же закономерностям, как если бы это был
начальный момент времени т = 0.
Рассмотрим случай непрерывного t и предположим, что
в некоторый момент времени t0 (скажем, /о = О) известно
состояние процесса: £(/0) = х. Изменение этого состояния
происходит в некоторый случайный момент. Обозначим
буквой т время до момента перехода процесса £(/) в новое
состояние и назовем т временем ожидания перемены состоя-
ния. Каково распределение вероятностей случайной вели-
чины т ?
Вероятность
F(/) = P{t>Z|£(0) = x} G>0),
1]
§ f. ЦЕПИ МАРКОВА
259
как функция от Л в силу равенств
р {т > $ + ^(0) = х} =
= Р {т> <s + Z|£(O) —х, т > s) Р {т > s|£(0) = x} «
= Р {T>s + ^|^(s) = x} Р (т > (0) = х)
удовлетворяет функциональному уравнению
F(s + t) = F(s)F(t)
при любых t > 0. Поэтому вероятность F(0 обязана
быть экспоненциальной функцией:
F(t)=e^ (f>0),
где X — некоторая неотрицательная постоянная (при этом не
исключается и значение % = оо).
Таким образом, время ожидания т имеет показательное
распределение вероятностей с параметром Л. Постоянная Л
называется плотностью перехода из соответствующего
состояния х.
При Х = 0 процесс £(0 навсегда остается в состоянии х
(такое состояние называется поглощающим)} при % = со
процесс мгновенно покидает состояние х (такое состоя-
ние называется мгновенным). При 0 < 1 < оо вероятность
того, что состояние х процесса £(0. изменится за малый
промежуток времени ДЛ есть
ХД^ + о(Д0,
где о (Л/) — малая высшего порядка по сравнению с ДЛ
В случае, когда система изучается лишь в дискретные
моменты t — 0, 1, 2....вместо времени ожидания пере-
мены состояния процесса %(t) естественно рассматривать
«число шагов» т до попадания в новое состояние, отлич-
ное от х. При этом также
F(/) = P{T>f|£(0) = x}=e-*' (£ = 0, 1, 2, ...),
где е-'ь — вероятность «перехода» за один шаг из состоя-
ния х снова в это же состояние.
Пример. Процесс радиоактивного распада. Описанная
выше вероятностная модель радиоактивного распада — пре-
вращения радия Ra в радон Rn— такова, что переход
Ra -> Rn представляет собой однородный марковский
17*
260 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ Ц
процесс с двумя состояниями для каждого атома: Ra или
Rn, и единственно возможным переходом Ra->Rn.
Если в исходный момент времени t = 0 количество ато-
мов Ra равно п0, то число v(/) испускаемых за время t
а-частиц имеет распределение Пуассона с параметром а =
= «оР (()
nk
P{v(0 = *}=-|re-« (А = 0, 1, 2,...).
Здесь p(t)— вероятность того, что состояние Ra изменится
за время t. Эта вероятность должна иметь вид
р (/) = 1 —
где X — соответствующая плотность перехода Ra->Rn для
отдельного атома, т. е. такая постоянная, что вероятность
перехода Ra->Rn за малый промежуток времени А/ есть
1А/ 4- о (А/).
Рассмотрим количество радия через время t. Есл i число
а-частиц равно v(/), то число оставшихся атомов Ra будет
£(/) = п0— v(Q. Среднее количество радия через время t
есть
п (0 = М|(0 = По — пор (/) = пое~м.
Экспоненциальный характер функции n(t) говорит, в част-
ности, о том, что время Т, за которое в среднем рас-
падается половина исходного количества радия, т. е. такое Т,
что
п(Т) = -^-,
есть некоторая абсолютная постоянная. Это — так называемая
постоянная полураспада. Она связана с плотностью пере-
хода Ra->Rn равенством ТА, = log 2.
Уравнения Колмогорова. Переходные вероятности
Pij(s, t) марковской цепи удовлетворяют следующему соот-
ношению:
0 = 2 Pik(s’ и) • Pkj(.a> О 2,...),
k
где s и T
Пусть £(/) — однородная марковская цепь. Если ее рас-
сматривать лишь в дискретные моменты t = nh (п — 0, 1, .. .;
h > 0), то вероятности Ptj(nh) «перехода за п шагов»
1] | 1. ЦЕПИ МАРКОВА 261
однозначно определяются по вероятностям р= Pij(h) «пере-
хода за один шаг»:
= 1)^1=
= 5/Ъ*[(л — 1)Л]-Pkj (/,/=1,2,...)
при всех п = 1, 2, ...
Пусть время t меняется непрерывно, и пусть
( 1 при 7 = 7,
д..(0) = lim р, .(/г)=<
ь + (о при
Обладающие этим свойством непрерывности переходные
вероятности Pij(t) однородной марковской цепи обязательно
непрерывно дифференцируемы при t > 0; всегда существуют
и пределы
lim (/, j== J 2( )t
Л->0 h
причем при i=f-J обязательно конечны:
o<:xZy<oo и xzz =— zz,
где Xz — плотность перехода из состояния 7. Коэффициенты XZy
называются плотностями перехода из 7 в /.
Если считать, что при 7 = 0 система находится в состоя-
нии 7, и если rz — момент первого выхода процесса £(7) из
состояния 7, atZ/«— момент первого попадания в состояние j:
Tz — sup 7, rz • = inf t,
40=z £(0=/
то вероятность того, что процесс l(t) при выходе из состоя-
ния 7 перейдет именно в состояние /, есть
Р(т,7 = тИИ0) = г}=-^- (/¥=/)•
Плотности перехода Zzy всегда удовлетворяют неравен-
ствам
2Ч<3( (/=1,2,...).
Если выполнены равенства
262
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
п
то переходные вероятности удовлетворяют так назы-
ваемой обратной системе дифференциальных уравнений
Колмогорова'.
^(0 = 2\-Лу(0 G. 7=1. 2. ...).
к
При некоторых ограничениях (например, при ограничен-
ных плотностях ZZy) имеет место так называемая прямая
система дифференциальных уравнений'.
р'и(О = 2^jPi*(I, j=l, 2,
k
Пример. Пуассоновский процесс. Однородный поток
независимых событий (см. стр. 51), обладает, очевидно, тем
свойством, что £(/) — число событий, наступивших за время
/, —является марковским процессом; соответствующие плот-
ности перехода ZZy таковы, что
т. е. из состояния I можно непосредственно перейти лишь
в следующее состояние у = Z —|— 1 (/ = 0, 1, 2, ...).
Очевидно, Pij(t)=p^ Положим
pj (О = (О (7 = 0,1,...).
Дифференциальные уравнения Колмогорова для функций рj(f)
в данном случае выглядят следующим образом:
p'0(t) = — bp0(t)>
/>И0= V^JO-VJO (* = 1. 2, ...).
Если перейти к новым функциям f k(t) = eKt pk(t), то полу-
чим, что
f'o (0 = Vo (О+<Р‘р'о (О = Vo (О - ^иР0 (0 = 0.
/^(0 = Vft (0 + ^(0 =
= V* (0+^’4-1 (0 - KeUP" (0 = Vft_! (0.
где /о(О)= 1 и /,(()) —/2(0) = ... =0.
Система дифференциальных уравнений вида
/о(О = о. A(0 = Vft_!(0 (Л=1,2....)
1] § 1. ЦЕПИ МАРКОВА 263
с указанными начальными условиями имеет следующее ре-
шение: (иуг
/о(О=1> Л(0 = ^.........................
Возвращаясь к исходным функциям pk(t) — e~ufk(t), по*
лучаем
= (* = 0, 1, ...)•
Пример. Предположим, что на некоторую систему об-
служивания поступает поток требований, образующих пуас-
соновский процесс с параметром причем на обслужива-
ние каждого отдельного требования затрачивается случайное
время т, распределенное по экспоненциальному закону с па-
раметром %2, т. е. Р(т>/} — Рассмотрим два состоя-
ния системы обслуживания: Ех— система свободна, Е2— си-
стема занята.
Пуассоновский поток требований обладает тем свойством,
что появление очередного требования после любого фикси-
рованного момента времени t — tx не зависит от характера
поступления требований до этого момента. Поэтому, если
система в некоторый момент времени tx находится в состоя-
нии Ех, то ее дальнейшее поведение не зависит от предше-
ствующего, и, в частности, в последующий за tx промежуток
времени kt она с вероятностью hxkt-\-o(kt) перейдет в со-
стояние Е2 (с такой вероятностью в указанном промежутке
времени поступит очередное требование).
Предположим, что в момент t2 система находится в со-
стоянии Е2, Пусть т—случайный момент перехода из состоя-
ния Е2 в состояние Ех (т— момент окончания обслуживания).
Согласно экспоненциальному закону распределения времени
обслуживания, имеет место равенство
Р (т > t\x > t2] (t > /2).
Видно, что в промежутке времени от t2 до t система с ве-
роятностью 1—ехр {—Z2(^ — ^2)} переходит в состояние Ех
независимо от ее поведения до момента t2. Таким образом,
эволюция системы описывается марковским процессом с двумя
состояниями Ех и Е2 и соответствующими плотностями пере-
хода и Z/2«
Пусть Pi jit) — соответствующие переходные вероятности.
В рассматриваемом случае рх2 (Z) = 1 —• рп (/), Р21 (0 —
264
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
|1
= 1 — р22(/), и система дифференциальных уравнений Кол-
могорова распадается на следующие два отдельных урав-
нения:
X1W+(\+4)^i(0=^.
р'22 (0 + (\ Н- ^2) /?22 (0 =
решения которых выражаются формулами
РпМ1
^m=(i
Устойчивость процесса. В случае непрерывного вре-
мени t однородная марковская цепь £(/) может иметь так
называемые мгновенные состояния, для которых соответствую-
щие плотности перехода суть Xz = oo. Попадая в такое со-
стояние z, система мгновенно его покидает:
P{V=0| 5(0) = /) = !,
где tz — момент первого выхода из состояния i. При этом
на любом сколь угодно малом промежутке времени (после
момента 1 = 0) система бесконечно много раз выйдет и снова
вернется в это состояние.
Если Az— общее время пребывания системы в состоянии I
за промежуток А^, то
Р( lim = lk(0) = z| = 1.
Состояние I называется устойчивым, если Xz < сю.
В устойчивом состоянии I система с вероятностью 1 нахо-
дится некоторый положительный промежуток времени:
р К- > O|UO)=/} = 1.
Цепь Маркова называется устойчивой, если с вероятностью 1
на любом конечном промежутке времени система лишь ко-
нечное число раз переходит из состояния в состояние.
Пусть марковская цепь £ (t) не имеет мгновенных состоя-
ний, т. е. все плотности перехода конечны, и пусть
т0 — момент первого выхода из начального состояния I,
tj — момент первого выхода из последующего состояния
i’i = £(To) и т- Д-» хп — момент первого выхода из состояния
1|
§ I. ЦЕПИ МАРКОВА
265
i Для того чтобы цепь была устойчивой, необ-
ходимо и достаточно условие: с вероятностью 1
Всякая цепь с конечным числом состояний является устой-
чивой.
Пример. Процесс чистого размножения. Предполо-
жим, что некоторые частицы размножаются таким образом,
что если в момент времени t их число было /, то в после-
дующий промежуток времени А/ с вероятностью А/ о (А/)
может прибавиться еще одна частица, а вероятность приба-
вления большего числа частиц есть величина порядка о (А/).
Такой процесс представляет собой цепь Маркова с состоя-
ниями 1= 1, 2, ... и плотностями перехода
—
О
при j = /4-1,
при j = i,
при J ф it /4~ 1.
Условие устойчивости заключается в том, что время т,
затраченное системой на бесконечно большое число перехо-
дов, с вероятностью 1 является бесконечным. Это условие
равносильно тому, что Ме“т = 0. Если тл — момент выхода
из состояния п, то
т = Ti 4- (т2 — Tj) 4- (т3 — т2) 4-
— lim тл
п ->оо
где тр т2 — хр тз— т2» •••—взаимно независимые случай-
ные величины, причем xk — ^k-i подчиняется показательному
распределению с параметром hk. Поэтому
оо оо
Л=1 Л=1
Видно, что цепь устойчива тогда и только тогда, когда
П(‘-тт^=».
266
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
II
что равносильно условию
со
Л = 1
Минимальные переходные вероятности. Для устойчи-
вой цепи переходные вероятности pZy(Z) являются един-
ственным решением дифференциальных уравнений Колмо-
горова. Для произвольной цепи это не так, но всегда суще-
ствует минимальное решение Pijit), z, /=1, 2, . .., такое,
что для любого другого решения Pij(t) этих уравнений
(с теми же начальными условиями) при всех t выполняются
неравенства
Компоненты минимального решения Pij(t) представляют собой
вероятности перехода за время t из I в у, когда система
совершает лишь конечное число переходов из состояния
в состояние.
Минимальное решение р^ (t) описывает поведение цепи
до момента r = limr/l, где хп означает момент n-го по счету
/2->0О
перехода.
Пример. Процесс чистого размножения. Пусть плот-
ности переходов таковы, что
и пусть в начальный момент имеется ровно одна частица.
Введем еще одно состояние, означающее, что имеется бес-
конечно много частиц. Процесс с положительной вероят-
ностью рЬоо(/) приходит в это состояние за время хотя
соответствующие плотности перехода все равны нулю и пря-
мое дифференциальное уравнение для рЬоо(/) имеет вид
р1,оо(0 = о. р1>со(0)=о.
Очевидно, что на самОхМ деле ри ^(f) не является решением
этого уравнения, поскольку рЬоо(/)>0. Минимальное реше-
21
§ Т. ЦЕПИ МАРКОВА
267
ние прямой системы в целом может быть последовательно
определено из уравнений
~p'i, i(0 = — ?1,1(0\.
Р{, n^ = -Pl,n^\l+'Pi,,.-l^K-V
2. Классификация состояний однородной марковской
цепи.
Возвратные и невозвратные состояния. Исходное со-
стояние i называется невозвратным, если спустя некоторый
конечный промежуток времени т система с вероятностью 1
никогда больше не возвращается в это состояние.
Пусть Tz— общее время пребывания в состоянии I за
бесконечный промежуток времени 0 t оо. Состояние i
невозвратно тогда и только тогда, когда случайная вели-
чина Tz имеет конечное математическое ожидание:
оо
ри (/) < оо (для дискретного Z),
/=о
оо
MTZ = J pa(t)dt < оо (для непрерывного t).
о
Рассмотрим марковскую цепь | (/) лишь в дискретные
моменты времени t = nh (n = Q, 1, h > 0). Пусть
7»(«Л) = Р {£(£)=£ Z.....g((«— 1)й) #= i,
UnA) = Z|U0) = Z],
т. e. qti{nh) — вероятность того, что первое возвращение
в исходное состояние i произойдет ровно через п шагов, и
пусть
Ян = 2 Яп (п/г),
п=0
т. е* Qu — вероятность возвращения в исходное состояние Z.
оо
Производящие функции (р (z) =
ОО /2 = 0
= 2 Qu %п связаны соотношением
л=0
263 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
12
Для марковской цепи £ (t) с дискретным временем t (что
соответствует значению h= 1) состояние I невозвратно тогда
и только тогда, когда вероятность возвращения в это состоя-
ние строго меньше 1: < 1.
Для марковской цепи £(/) с непрерывным временем t
состояние i невозвратно тогда и только тогда, когда меньше 1
вероятность возвращения в дискретные моменты t = nh
(п — 1, 2, . . .): qu < 1 при каком-либо h > 0.
Состояние /, которое не является невозвратным, назы-
вается возвратным.
Нулевые и положительные состояния. Состояние i
называется нулевым, если средняя доля времени, проведен-
ного системой в состоянии I за бесконечный промежуток
времени равна нулю, точнее,
т
Игл -у- V ри (/) = 0 (для дискретного f),
т
т
lim i I pu(t)dt — 0 (для непрерывного /)•
Г->оо J
Среднее время возвращения. Рассмотрим марковскую
цепь %(t) в дискретные моменты времени t = nh (п = 0,
1, .. .; h > 0). Пусть
Qi =
Sn^(nA) при qtt=l,
п — 1
1.
оо при qu
Для марковской цепи с дискретным временем (что соот-
ветствует значению /г —1) величина Qz есть среднее время
возвращения в исходное состояние Z; состояние I является
нулевым тогда и только тогда, когда
<?г = со.
Для марковской цепи с непрерывным временем величина Qt
не зависит от выбранного значения h > 0; среднее время
возвращения в исходное состояние I в дискретные моменты
t—nh есть hQt. При этом состояние i является нулевым
тогда и только тогда, когда Qz = oo.
2|
§ I. ЦЕПИ МАРКОВА
269
Если состояние J нулевое, то для любого исходного со-
стояния I
lim/^,(0 = 0.
/->00
Ненулевое состояние I называется положительным. Если
состояние I положительное, то
т
lim 4г V (для дискретного /),
Т Qi
т
1 Г 1
lim Pn^d^~-rr (для непрерывного /)•
Г->оо 1 J 41
Периодические состояния. Состояние Z в цепи с дис-
кретным временем называется периодическим, если возвра-
щение в него возможно лишь через число шагов п, кратное *
некоторому целому d:
рн(п) — 0 при n^=kd, k=\, 2, ...
Наибольшее число d, обладающее этим свойством, называется
периодом состояния i.
В случае непрерывного времени t все вероятности Pu(t)
строго положительны при t > 0, так что периодических со-
стояний быть не может.
Замкнутые множества состояний. Некоторое множе-
ство состояний А называется замкнутым, если при усло-
вии, что £(/) входит в А при t = tQi £(/) остается в этом
множестве состояний при всех t > Zo.
Состояние j называется достижимым из состояния Z,
если имеется положительная вероятность перейти когда-нибудь
из i в у. Состояние J достижимо из I тогда и только тогда,
когда рц (t) > 0 при некотором t > 0. В случае непрерывного
времени либо pZ;(Z) = O, либо pZy(Z)>0 при всех t > 0.
Множество всех состояний /, достижимых из некоторого
фиксированного состояния Z, является замкнутым.
Состояния I и j называются сообщающимися, если они
достижимы друг из друга. Сообщающиеся состояния имеют
один и тот же тип: они одновременно возвратные или не-
возвратные, положительные или нулевые, непериодические
или периодические с одним и тем же периодом d.
270 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
Замкнутое множество состояний называется минималь-
ным или замкнутым классом. если оно не содержит дру-
гих замкнутых множеств. Замкнутые классы либо не имеют
общих состояний, либо тождественно совпадают. Каждый
замкнутый класс состоит из некоторого множества сообщаю-
щихся друг с другом состояний, причем состояния вне зам-
кнутого класса являются недостижимыми для состояний, при-
надлежащих данному классу. По типу входящих в него
состояний замкнутый класс называется возвратным или невоз-
вратным, положительным или нулевым, непериодическим или
периодическим с соответствующим периодом d. Все воз-
вратные состояния могут быть разбиты на замкнутые классы.
Подклассы периодической цепи. В случае цепи с ди-
скретным временем каждый периодический замкнутый класс А
периода d может быть разбит на d непересекающихся под-
классов Bv В2, ..., Bd таким образом, что из любого со-
стояния Z, входящего в подкласс Bk, система обязательно
переходит на следующем шаге в одно из состояний j, вхо-
дящих в подкласс Bk+1, так что эволюция системы обладает
определенной цикличностью: В1-> В2 —> . . . -> Bd—> Вх-> . ...
Если в начальный момент t = tQ система находится в одном
из состояний I некоторого подкласса В, то она снова попа-
дает в состояния этого подкласса через число шагов nd,
кратное d. Рассматривая систему лишь в моменты времени
t~tQ-\-nd (n = 0, 1,...), мы приходим к новой цепи
Маркова со множеством состояний В и переходными вероят-
ностями Pij — Pij(d)t Z, j £ В, которая уже является непе-
риодической.
Разбиение на замкнутые классы состояний. Состоя-
ние I называется несущественным, если имеется состояние /,
достижимое из I, но из которого I недостижимо: /?у7(/) = 0
при всех t > 0. Несущественными являются невозвратные со-
стояния, из которых достижимы какие-либо возвратные состоя-
ния; совокупность Eq всех таких несущественных состояний
обладает тем свойством, что не входящие в нее состояния
образуют замкнутое множество Е. В этом множестве Е можно
выделить замкнутые классы Av Л2, ... возвратных состояний
и остающееся множество Ло невозвратных состояний. Мно-
жество Ло является замкнутым, но не обязательно замкнутым
классом. Исходное множество £0 (множество несущественных
состояний) не содержит ни одного замкнутого множества.
2] § 1. ЦЕПИ МАРКОВА 271
Пусть qtj — вероятность когда-либо попасть из состоя-
ния I в состояние /. Если состояние j является возвратным,
то qij совпадает с вероятностью qiA когда-либо попасть из
состояния I в замкнутый класс А возвратных состояний, со-
держащий J. В частности, q^ — 1 для состояний i из того же
замкнутого класса А, что и /; qij = Q для состояний Z, вхо-
дящих в другие замкнутые классы.
Пусть qlA — вероятность того, что система, находясь
в начальный момент в состоянии Z, когда-нибудь достигает
некоторого множества состояний А. Для любого фиксиро-
ванного несущественного состояния I из выделенного мно-
жества Ео вероятности qiA, где А пробегает указанные выше
замкнутые множества До, Др ..., в сумме составляют 1.
При любом А = До, Др . . . вероятности qlA, где i пробегает
все множество EQ, являются единственным ограниченным ре-
шением следующей системы линейных уравнений:
QiA— S PikQkA~ 2 Pip
рА
где Pij = Pij(h) (h— 1 для целочисленного времени и h > О
для непрерывного времени /).
Пример. Случайное блуждание. Рассмотрим блуж-
дание частицы по целочисленным точкам действительной
прямой, при котором она с вероятностью р смещается на 1
в положительном направлении, а с вероятностью (1—р) —
в отрицательном направлении. Все состояния имеют период
d — 2. Если на каждом шаге частица с большей вероятно-
стью р смещается в положительном направлении (р > 1/2),
то с течением времени она все дальше будет уходить в на-
правлении к -f-оо. При этом
/о ч (2л)! г /1 мп [4р(1— р)]п
Ра^) = ^[Р<Л-Р)] ~L£—J..,
и при р =£ 1/2, когда 4р (1 — р) < 1,
5 Ри (2л) < оо,
п
так что все состояния являются невозвратными.
При симметричном случайном блуждании, когда р=1/2,
ра(2п)~ 1/Улп и ряд расходится, так что все
п
состояния являются возвратными.
272 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
При любом р все состояния нулевые, поскольку
lim ри (2я) = 0.
Л -> оо
Случайное блуждание с поглощающим экраном. Пусть
в точке / = 0 имеется так называемый поглощающий экран*,
попадая в точку 2 = 0. частица остается там навсегда. Оче-
видно, из любого состояния I > 0 можно с положительной
вероятностью попасть в любое состояние j > 0. Вероятности
попасть когда-нибудь из I в j таковы, что
pqi+i, j+O —
Это соотношение представляет собой конечноразностное
уравнение для вероятности как функции от i— 1, 2, . . .
Чтобы определить q^ как решение этого уравнения, нужны
еще дополнительные «граничные условия». Найти их можно
из следующих соображений. Вероятности qtj при i =# J не
изменятся, если в точке J также поставить поглощающий
экран. В этом случае, очевидно, имеем = 0 и q^—X.
Отвечающая этим «граничным условиям» функция q^ от
2=1, 2.......j—1 при рФ 1 /2 имеет вид
(о </</),
если же р = 1 /2, то
(0 < / < /).
Ясно, что аналогичные формулы имеют место и тогда, когда
поглощающий экран стоит в некоторой точке k и k < i < J.
В правых частях указанных формул нужно лишь заменить I
на i — k и j на j — k. Если k—>— оо, то влияние погло-
щающего экрана исчезает, и предельные формулы дают выра-
жение для вероятностей qtj перехода из точки I в точку
31
§ I. ЦЕПИ МАРКОВА
273
j > I при обычном случайном блуждании без всякого погло-
щающего экрана. Эти формулы имеют вид
для
ДЛЯ
(*•</).
Заменив здесь р на 1 — р, получим выражения для вероят-
ностей q^ при i > /, а именно:
для
1 1
1 для р < —
(/>/).
Все эти формулы получены в предположении, что в точке
J стоит поглощающий экран, и, естественно, при I — j дают
значение <7Zy-= 1. Истинная вероятность возвращения в ис-
ходное состояние i = j может быть определена по найден-
ным уже вероятностям при i =£ j как
?П = М7 + 1,/ + (1 —
что дает следующее выражение для вероятности возвра-
щения:
2р при р < 1/2,
Яп = 2(1 — р) при р> 1/2,
. 1 при р = 1/2.
3. Эргодические свойства однородных марковских
цепей.
Финальные вероятности. Пусть состояния однородной
марковской цепи £(/) образуют один замкнутый положитель-
ный непериодический класс. Тогда для любого состояния j
существует предел
lim = (/=1,2,...),
t + OQ
один и тот же при всех исходных состояниях i= 1, 2, . . .
Предельные значения Р2, . . . представляют собой рас-
пределение вероятностей: Pj есть финальная вероятность
18 Ю. В. Прохоров, Ю. А. Розанов
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
13
274
находиться в состоянии /; при этом
Л = (7=1.2,...).
где Qj — среднее время возвращения в состояние j в ди-
скретные моменты t = 0, 1, 2, ...
Пусть ТА — время пребывания во множестве состояний А
за промежуток времени Т. С вероятностью 1 для любого
множества А
Стационарное распределение. Начальное распределение
вероятностей р?, 1=1, 2, ...» называется стационарным,
если вероятности p}(t) нахождения системы в соответствую-
щих состояниях j=l, 2, ... остаются неизменными с те-
чением времени t\
= Pij(.^ = POj (7=1. 2, ...).
В случае стационарности начального распределения остаются
неизменными и вероятности более сложных событий:
PU('i + O = h. •••. Utn + t)-=in} =
— P{s(A) — •••> hi}’
каково бы ни было t > 0.
Стационарность финального распределения. Для поло-
жительных состояний финальные вероятности Pj, j—1, 2, . . .,
задают стационарное распределение и в случае замкнутого
класса являются единственным решением системы уравнений
вида
Pj^PiPijW (/=1. 2,...).
i
Здесь h = 1 для целочисленного времени и h > 0 (h может
быть произвольным) для непрерывного времени t.
31
§ 1. ЦЕПИ МАРКОВА
275
В случае непрерывного времени t стационарные вероят-
ности Pj могут быть определены также из системы линейных
уравнений вида
2>А,7=о (7=1,2,...),
i
где ^ij—соответствующие плотности перехода.
Пусть коэффициент эргодичности
со
/г(Л)=1 — lsup£ |р/у(Л) — pkj{h)\
hk
положителен при некотором h > 0. Тогда сходимость к ста-
ционарному распределению будет экспоненциально быстрой:
\р.^-Р^Се-^,
где С и D — некоторые положительные постоянные.
Пример. Стопка книг. На письменном столе лежит
стопка из т книг. Обозначив каждую из книг соответствую-
щим номером, порядок их расположения сверху вниз можно
описать перестановкой из т чисел (Zp ...» Zzn), где 1Х— номер
книги, лежащей сверху, /2—номер следующей книги, ...»
im — номер последней (нижней) книги. Предположим, что
z-я книга берется для чтения с определенной вероятностью
р.(/=1, т), причем при возвращении она просто кла-
дется сверху. Как меняется порядок расположения книг?
Возьмем произвольное состояние (Zn Zm). На следую-
щем шаге оно либо остается неизменным, что происходит
с вероятностью р/, (т. е. при выборе лежащей сверху книги
с номером Zj), либо меняется на одно из т — 1 состояний
вида (/Л, Zp ...), что происходит с вероятностью ptk (т. е.
при выборе книги с номером ik). Перед нами марковская
цепь с состояниями, каждое из которых описывается соот-
ветствующей перестановкой (Zp . . ., zm).
Обозначим р^ ,,,t ...} j вероятность перехода из
состояния (Zp Zzn), в состояние (/р ..., jfn):
Pik при (Л.....ZP •••).
0 при остальных (/г ...»
• • •> Sn)’ (Л’ *•’’ -?т)
18*
276
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
|3
сле-
где перестановка (ik, Zp ...) получается из (Zp ..., im) вы-
бором некоторого ik и перестановкой его на первое место.
Финальные вероятности р* . ч являются решением
(Л» • ••, jm)
дующей системы линейных уравнений:
tn
Р<Л....= ^РЬг.............ik-v >v h- -У
Через достаточно большое число шагов практически
навливается стационарное распределение вероятностей,
стопка книг с неизменными вероятностями р* . х
(Ч... 1т)
занимать соответствующие положения (zp . . im) (при т — 2
такое распределение устанавливается сразу же, на первом
шаге). С какой финальной вероятностью каждая из имею-
щихся книг оказывается наверху?
Вероятность того, что сверху лежит книга с номером Z,
есть
уста-
т. е.
будет
Р-= S Р],'.....ty
;....I V» *2» •••» Lm)
*2» *’ т
где суммирование производится по всем состояниям, в ко-
торых на первом месте стоит I. Из уравнений для финальных
вероятностей получаем, что
т
Pi— 2 Pi ik> •••)
~ Pi S P/f . i X~ PГ
Cl........(P ’
t. e. z-я книга через достаточно большое' число шагов ока-
зывается сверху с той же вероятностью рр с какой она вы-
бирается.
Пример. Многоканальная система обслуживания.
Рассмотрим систему, которая может обслуживать одновре-
менно т требований. Будем считать, что имеется т линий и
очередное требование поступает на одну из линий, если
хотя бы одна из них свободна; в противном случае посту-
пающее требование получает отказ и уходит из сферы обслу-
живания. Предположим, что поток требований является пуас-
соновским с параметром Хо и время обслуживания каждого
требования (на каждой из т линий) распределено по пока-
3|
§ 1. ЦЕПИ хЧАРКОВА
277
зательному закону с параметром X, причем требования обслу-
живаются независимо друг от друга.
Рассмотрим состояния Ео, Е19 .. ., Ет, где Ek означает,
что занято ровно k линий. В частности, Е$ означает, что
система свободна, а Ет— что система полностью занята.
Переход системы из состояния в состояние с течением вре-
мени t представляет собой марковский процесс, для которого
плотности перехода имеют вид
хо ПРИ 7 = 0.
°7 I х0 при / — 1;
/X при j = i — 1,
— + ПРИ j = E
Zo при y = Z-|-l
— tnk
/nZ
при j — tn — 1,
при j~m.
При Z~>oo переходные вероятности экспоненци-
ально быстро стремятся к своим финальным значениям
Pj, j = 0, ...» т. Финальные вероятности Pj могут быть
найдены из следующей системы:
-1оРо + М>1==О,
КРк-г - (Д-о + АХ) Pk + (k + 1) КРк и = 0 (1 < т),
^0^72-1 ~~ 0»
решение которой есть
—Г
---- - (А = 0, 1.....т).
У _1_ (h_\L
Z /
2 = 1
Эти выражения для финальных вероятностей называются
формулами Эрланга.
Неограниченные стационарные распределения. Пусть
состояния марковской цепи образуют один замкнутый класс
нулевых возвратных состояний. В этом случае имеется не-
ограниченное стационарное распределение Ру, / = 1, 2, ....
278 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
являющееся решением (единственным с точностью до мно-
жителя) системы уравнений
Pj = liPiPij(h) (/=1.2....)
(h > 0 может быть произвольным). Все Pt положительны, и
При любом начальном распределении вероятностей и для
любых ограниченных множеств Л и В с вероятностью 1 су-
ществует предел
Т л
lim -=Д
->со 7 в ____
КВ
где величина ТА означает время пребывания системы в мно-
жестве состояний А за промежуток времени Т.
Пример. Рассмотрим случайное блуждание, при кото-
ром частица из точки I с положительной вероятностью pz
смещается в соседнюю точку / = 1, ас вероятностью
1—переходит в начальную точку у == 1. Эта цепь Мар-
кова имеет вероятности перехода
Pt
1 — Pi
о
при j — z‘4-
при j = 1,
при /#=!,/+!.
Вероятность вернуться в состояние 1 впервые на (п -(- 1)-м
шаге есть
Г 1 — pj при п — О,
?n(«+ 1) — | _ рн_х(\ —рп) при я=1, 2, ....
так что вероятность возвращения есть
911 = 2 9110+ 1)= 1 — Пт (pj/>2 ... р„).
/2=0 л->оо
Видно, что состояние 1 является возвратным тогда и только
тогда, когда
Пт(Р1Р2 • • • Рп) = ®-
П-^СО
3] § I. ЦЕПИ МАРКОВА 279
Вместе с состоянием 1 одновременно возвратны или невоз-
вратны и все остальные состояния Z = 2, 3, ...
Математическое ожидание Qj времени возвращения в
состояние 1 есть
со оо
Qi = 2 (га +1) <7n(ra4~ 0= 1 + S Р1Р2 • • • Рп>
л=0 л=1
так что состояние 1 положительно тогда и только тогда,
когда
со
••• Рп<С°.
1
Вместе с 1 одновременно являются положительными или ну-
левыми и все остальные состояния.
В случае возвратных состояний имеющееся стационарное
распределение вероятностей Pj, j= 1, 2, ...» как решение
системы уравнений Рj = ^PiPij, есть
I
Pv
Р2 —
Рп = Рп.г рп^ = ЛР1 • • • Рл-Р
В случае положительных состояний
оо / оо \
^jPa = Pi 1 + SPiP2 ••• Рп <°°
Л=1 \ Л = 1 /
и существует стационарное распределение вероятностей, отве-
чающее значению
1+ 2PiPt ‘--Pt
Л = 1
Пример. Симметричное случайное блуждание. Рас-
смотрим случайное блуждание частицы z по целочисленным
точкам действительной прямой, при котором частица на каж-
дом шаге с равными вероятностями смещается на 1 в поло-
жительном или отрицательном направлении. Все состояния
* = 0, ±1, ... возвратные и нулевые. Соответствующее
280 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [4
неограниченное стационарное распределение является «равно-
мерным»: Pj=l при всех J. ,1ля любых интервалов А =
=(av а2) и B = (bv b2) с вероятностью 1
где ТА — время пребывания частицы во множестве состоя-
ний А за промежуток времени Т.
4. Общие скачкообразные марковские процессы. Пусть
£(/)— случайный процесс в произвольном измеримом про-
странстве (£, ®), и пусть поведение £(/) подчиняется следую-
щим вероятностным закономерностям. Если в текущий момент
времени t процесс находится в состоянии х, то в последующий
малый промежуток времени kt с вероятностью 1—Z(/,x)kt -j-
4~о(А/) это состояние процесса остается неизменным, а с
вероятностью х, процесс переходит в не-
которое другое состояние, лежащее во множестве В фазового
пространства Е, х (£ В, причем это происходит независимо
от течения процесса до рассматриваемого момента времени t,
Пусть при фиксированных t и х плотности перехода
х, В) во множество В, В £23, не содержащее х, задают
некоторую ограниченную меру:
Х(/, х, £\х) = Х(Л х)<С,
причем, как функции от Л плотности перехода х, В)
непрерывны (равномерно по х и В). Тогда с вероятностью 1
описанный процесс £(/) за любой ограниченный промежуток
времени лишь конечное число раз изменит свое состояние.
Начиная с начального состояния х0 = | (^0), которое в тече-
ние положительного промежутка времени остается неизменным,
процесс в некоторый случайный момент Tj скачком перехо-
дит в другое состояние xv которое также остается неизмен-
ным в течение положительного отрезка времени; затем в слу-
чайный момент т2 процесс переходит в состояние х2 и т. д.
Этот процесс является марковским с переходной функцией
P(s, х, Л В) такой, что при х (£ В
P{t, х, t + kt, B) = \(ty х, В) kt + о (kt).
41
§ 1. ЦЕПИ МАРКОВА
281
Пусть это соотношение выполняется равномерно по /, х, В,
и пусть ф = ф(х)— произвольная ограниченная измеримая
функция на фазовом пространстве (Е, 23). Положим
ф($, х)= | ф(у) P(s, х, t, dy) (s </).
E
Функция ф(<$, x) удовлетворяет интегро-дифференциальному
уравнению
Д-ф(5, х) = — J ф($, y)l(s, X, dy) (s<t)
Е
с «концевым» условием
ф(/, х) = ф(х).
Если в качестве ф(х) выбрать функцию вида
{1 при х f В,
О при х(^В,
то получим так называемое обратное интегро-дифференциаль-
ное уравнение для переходной функции ф(<$, x) = P(s, х, t, В),
Это уравнение может быть решено методом последовательных
приближений:
<Ро(5> х) = ф(х),
t
Ф„+1 ($, х) = ф (х)+ J J ф„ («, у) % (й, х, dy) du
s Е
(n = О, 1, 2, . . .),
причем
sup | Фл(5, x) — ф($, x)|->0 (n->oo)
равномерно по 5 на отрезке
Пусть ф = ф(Л) — ограниченная обобщенная мера на фа-
зовом пространстве (Е, 23). Положим
В)= J Q(dx)P(s, х, t, В)
282 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [1
Функция Q(t, В) от t и В £23 удовлетворяет интегро-диф-
ференциальному уравнению
B)=J Ш х, B)Q(t, dx) (t > s)
E
с начальным условием
Ш B) = Q(B).
Если взять функцию Q(B) = P(s, x, s, В), В £23, то по-
лучим так называемое прямое интегро-дифференциальное
уравнение для переходной функции Q(/, B) = P(s, х, /, В).
Это уравнение может быть решено методом последователь-
ных приближений:
Q0(Z, B) = Q(B),
t
B) = Q(B)+j j % (и, x, B)Q/2(fz, dx)du
s E
(zz = O, 1, ...),
причем
Var [<?„(/, B) —Q(/, B)]->0 (n->oo)
равномерно no t на каждом отрезке
§ 2. Ветвящиеся случайные процессы
1. Общее описание случайного ветвящегося процесса.
Случайный ветвящийся процесс является теоретико-вероят-
ностной моделью, описывающей процессы размножения и
превращения активных частиц. Примерами таких процессов
являются различные физико-химические цепные реакции.
Пример. Рассмотрим следующую упрощенную картину
цепной реакции — образование нейтронов при делении ядер
урана. Решающую роль в этой реакции играют так назы-
ваемые «медленные» нейтроны, обладающие сравнительно
небольшой энергией. Эти нейтроны вызывают деление ядер
урана с атомным весом 235. Некоторое значение имеют и
«быстрые» нейтроны, вызывающие деление ядер урана с атом-
ным весом 238. «Быстрые» нейтроны, проходя через определен-
ный слой вещества, замедляют свое движение, превращаясь в
j] § 2. ВЕТВЯЩИЕСЯ СЛУЧАЙНЫЕ ПРОЦЕССЫ 283
«медленные» нейтроны. Каждый «медленный» нейтрон, «захва-
ченный» ядром урана-235, вызывает его деление, в резуль-
тате чего появляется Vj «медленных» и v2 «быстрых» нейт-
ронов (числа Vj и v2 являются случайными); кроме того,
«медленный» нейтрон может быть поглощен примесями, дру-
гими словами,—может исчезнуть. «Быстрый» нейтрон при
условии его захвата ядром урана-238 вызывает появление
также случайного числа «медленных» и «быстрых» нейтро-
нов; кроме того, он может исчезнуть, покинув сферу рас-
сматриваемой реакции (например, выйдя за стенки сосуда,
содержащего уран).
Поскольку деление каждого из ядер происходит практи-
чески независимо от состояния других ядер, описанные выше
превращения частиц (нейтронов) протекают таким образом,
что судьба потомства каждой частицы практически не зави-
сит от предыстории ее рождения и превращения других
частиц, подчиняясь одним и тем же вероятностным законо-
мерностям.
«Медленный» нейтрон (назовем его частицей типа 7\)
с вероятностью &2) превращается в частиц того же
типа Тх и в k2 частиц другого типа Т2 (частица типа Т2—
«быстрый» нейтрон); частицы типа Т2 с вероятностью
^2(^1» ^2) превращаются в частиц другого типа 7\ и в &2
частиц того же типа Т2,
Пример. Такого же рода цепная реакция протекает
при образовании хлористого водорода НС1 из смеси водо-
рода Н2 и хлора С12 под действием света (фотохимическая
реакция). Под воздействием кванта света молекула хлора С12
распадается на отдельные атомы: С12 —>С1~НС1, и атомарный
хлор дает начало цепной реакции (до 105 превращений),
идущей по следующей схеме:
С1 + Н2->Н + НС1,
Н + С12->С14-НС1,
Перед нами три типа частиц: хлор С1 — частица типа 7\,
водород Н — частица типа Т2 и хлористый водород НС1 —
частица типа Т3. Частица типа Т\ превращается в одну ча-
стицу типа Т2 и одну частицу типа Т3, частица типа Т2
превращается в одну частицу типа Т\ и одну частицу типа
284 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [f
частица Т3 остается неизменной, так что процесс последо-
вательных превращений имеет вполне детерминированный
характер. Если же рассматривать его течение во времени»
то окажется, что скорость течения реакции — скорость обра-
зования хлористого водорода — является случайной.
Общая схема случайного ветвящегося процесса.
Имеются частицы, вообще говоря, разных типов Tv Т2, ...» Тп>
которые с течением времени t претерпевают превращения.
Состояние процесса в момент времени t описывается векто-
ром £(0={|1(0........£д(0} с целочисленными компонен-
тами, каждая из которых равна числу имеющихся к моменту
времени t частиц, соответствующего типа. Превращение лю-
бой частицы не зависит от предшествующего течения про-
цесса. В случае дискретного времени t отдельная частица
за один шаг (за единицу времени) с вероятностью pkt где
k — ...» kn\ превращается в kx частиц типа 7\, ...»
kn частиц типа Тд, причем
k
В случае непрерывного времени каждая имеющаяся к мо-
менту t частица в течение последующего бесконечно малого
промежутка времени Л/ остается неизменной с вероятностью
1 — X • А/ 0 (А/) и с вероятностью • AZ 4~ ° (А/), где
k = (klt . . ., kn\ превращается в kx частиц типа Tv .. .,
частиц типа Тп, причем
Разумеется, вероятности pk — в случае дискретного вре-
мени— и плотности Kk — в случае непрерывного времени —
зависят от типа рассматриваемой частицы.
Описанный случайный ветвящийся процесс 1(0 —
= Ui(O» •••» £л(С} представляет собой однородную мар-
ковскую цепь, состояния которой описываются векторами
Z = {Zx, /2, .... zj с целочисленными компонентами; соот-
ветствующие переходные вероятности р^ — в случае дискрет-
ного времени — и плотности перехода —в случае непре-
рывного времени — выражаются в терминах исходных харак-
теристик ветвещегося процесса £(/) (в случае дискретного
времени этими характеристиками являются указанные выше
параметры pk, в случае непрерывного времени — парамет-
ры Кк).
2]
§ 2. ВЕТВЯЩИЕСЯ СЛУЧАЙНЫЕ ПРОЦЕССЫ
285
2. Ветвящиеся процессы с одним типом частиц.
Переходные вероятности и производящие функции.
Пусть £, = £(/)— случайный ветвящийся процесс с одним
типом частиц, каждая из которых за время t независимо от
поведения других частиц с вероятностью pk(t) превращается
в k частиц. Если в некоторый исходный момент tQ (скажем,
/0 = 0) имеется ровно I частиц, то общее число частиц через
время t будет
Ш = +- ... Н(0>
где ^(0» ...» ЫО— независимые, одинаково распределен-
ные случайные величины, каждая из которых равна числу
частиц, порожденных соответствующей исходной частицей,
причем
= (£ = 0, 1, 2, /^1, 2, Z).
Вместо самих переходных вероятностей р^Ц) случайного
ветвящегося процесса £(/) — вероятность того, что I
частиц за время t превратятся в j частиц) удобно рассмат-
ривать соответствующие производящие функции
оо
х (t, г) = 2 со zk,
оо
Так как pk (t) = pik (/), то имеют место следующие равен-
ства:
xz(/, ^)=[х(/, z)]z,
р«(0= 2 ^,(0 • • •
k^...Akrk 1 1
Связь переходных вероятностей Pk(t) при различных
t выражается в терминах производящих функций следующим
общим соотношением:
х($4 Л z) — x[t, x(st z)].
В случае дискретного времени это соотношение позволяет
последовательно находить производящие функции х(/, z) и
переходные вероятности Рь(Г)* исходя из заданных вероят-
286 ГЛ. v. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
ностей pk (pk— вероятность того, что одна частица за один
шаг — за единицу времени — превратится в k частиц) или
соответствующей производящей функции
x(z) — 3 Ркг&.
Именно,
х(0, z) = z, х(1, z) = x(z), ..., х(п, z) = x[x(a— 1, z)].
В случае непрерывного времени, когда для переходных
вероятностей Pij(t) имеет место обратная система диф-
ференциальных уравнений, соответствующее дифферен-
циальное уравнение для производящей функции x(t> z)
имеет вид
г) = ф[х(Л *)],
где
<р(д)= 2
/?=0
—плотности перехода из состояния 1 в состояние k,
(Zj = — Л); переменную z здесь можно рассматривать как
числовой параметр, 1. Начальное условие для произ-
водящей функции х(Л z) есть
х(0, z) — z.
Решение этого уравнения может быть записано в следующей
неявной форме:
г
J ч>(?)
Z
Пример. Пусть плотности перехода есть Х0 = Х, Хх =
= — Л и ^ = 0 при £ = 2,3, ... В этом случае
ф(г) = Z(1 — z)t
X
‘ = J W = -Т -*> ~ lc®<1 -
2] § 2. ВЕТВЯЩИЕСЯ СЛУЧАЙНЫЕ ПРОЦЕССЫ 287
Из этого соотношения легко определяется функция х =
₽=х(Л z). Именно,
log(l — х) = —?J+log(l — z),
и, значит,
х(/, z)—l—e~Kt(\—z).
Вероятности определяемые из разложения л* (/, =
оо
х= 2 Pk(f)zk* в рассматриваемом случае суть
л=о
Ро(О=1 — е~и> р1(1) = е~и и pk(t) — Q при k = <2, 3, ...
Пример. Пусть Zo = O, /Ц = — 1 и ПРИ
£ = 2, 3, ... В этом случае
оо оо оо
А = 1 *=2 к=\
= —zlog(l —-z) + log(l — z) = (l — 2)log(l — z),
z- f _ f
J <₽(*) J (1 — Z) log (1 — Z)
z z
log (1-x)
= — J — = — loglog(l — x) —log log (1 — z).
' log (1-2)
Из этого соотношения легко определяется функция х =
= х(£, z). Именно,
log (1 — АТ) __
log (1 — z)
и, значит,
x(t, z)= 1—(1 — z'f-1.
Соответствующие вероятности pk(t) могут быть определены
последовательным дифференцированием:
°) (*=0.1,...).
k\ azK
288
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
12
Некоторые свойства производящих функций. Пусть
x(z) — производящая функция ветвящегося процесса £(/)
с дискретным временем:
X(z)= 5 Pk^-
k=0
Функция x(z) является аналитической при
тонно неубывающей и выпуклой вниз (рис.
A = x'(V).
О < z < 1, моно-
20). Положим
При А 1 на отрезке О £ С
имеется единственный ко-
рень уравнения
x(z)~ Z,
равный 1; при А > 1
этого уравнения такой, что 0 <^а< 1.
кроме 1 имеется еще один корень а
Наименьший корень а
уравнения x(z) = z на отрезке может быть по-
лучен методом последовательных приближений:
a — lim х(п, z),
л->оо
гдех(1, z) = x(z), . . ., х(п, z) = х [х (п— 1, z)] и z — про-
извольная точка отрезка
Пусть ф(г) — производящая функция ветвящегося про-
цесса £(/) с непрерывным временем:
оо
1г=0
где Плотности перехода \k удовлетворяют условию 2^ = 0;
21
§ 2. ВЕТВЯЩИЕСЯ СЛУЧАЙНЫЕ ПРОЦЕССЫ
289
<р(^) ПРИ является аналитической, выпуклой вниз
функцией (рис. 21). Положим а = ф'(1). При на от-
резке 0 z 1 имеется единственный корень уравнения
<Р(О = о,
равный 1; при а>0 кроме 1 имеется еще один корень а
этого уравнения такой, что 0 <а < 1.
Рассмотрим
уравнений
интегральные
z ч
кривые дифференциальных
di _____1
dx <р (л*) ’
решение х = х(/), x(G) — z, которых представляет собой
производящую функцию х(/) = х(/, г). Пусть а—корень
уравнения ф (z) — 0, и пусть х (Z) = а — соответствующая
интегральная кривая рассматриваемых дифференциальных
уравнений. Возьмем интегральную кривую, проходящую
через фиксированную точку t = 0, х = z0 (0 z0 < а < 1):
Поскольку производная ф'(а) конечна и при х~а функ-
ция ф(^) имеет вид q>(z) — ф'(а)(г — а), то вдоль инте-
х
гральной кривой t — J '^(г) значение ПРИ х-+а
го
19 Ю. В. Прохоров, Ю. А. Розанов
290
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
12
неограниченно возрастает, причем эта кривая нигде не пере-
секает интегральную кривую x(f) = a.
На интервале 0 г < а функция ср (г) является поло-
жительной, и, следовательно, вдоль интегральной кривой
х
Г dz
/-----------------------t= J величина x при /—>oo
монотонно возрастает, оста-
ваясь ограниченной значением
х = а, т. е. x = x(t)— огра-
ниченная монотонная функция.
Вполне аналогично и по-
ведение интегральных кривых,
Рис. 22. проходящих при Z — 0 через
точку г, принадлежащую ин-
тервалу а < z < 1. Разница будет лишь в том, что х — x(t)
монотонно убывает (рис. 22).
Рассмотрим поведение интегральных кривых вблизи пря-
мой х (/)===!. Пусть для некоторого £0, 0 < zQ <1,
1
Г dz
J ¥(*)
*0
что всегда имеет место, когда
случае интегральная кривая вида
ОО,
а = ф'(1)<оо. В таком
(0<г < 1).
проходящая через некоторую точку (/0, z0), такова, что зна-
чение t неограниченно убывает при г->1:
— °0*
J ф(^)
Это говорит о том, что, каково бы ни было /0 > 0, при
некотором x = z, 0 z < 1, имеет место равенство
'«='"+/Я-0-
zo
21
§ 2. ВЕТВЯЩИЕСЯ СЛУЧАЙНЫЕ ПРОЦЕССЫ
291
Все интегральные кривые пересекают ось / = 0 в неко-
торой точке (О, где <1, и, следовательно, х(/)=1
является единственной интегральной кривой, проходящей
через точку / = 0, х — 1.
Пусть
1
Тогда при достаточно большом tQ > 0 интегральная кривая
/ = —р- пересекает интегральную кривую х(/)=1,
J ф
ZQ
касаясь ее в некоторой точке t — x, х=1, где
(рис. 23). В этом случае через точку (0, 1) проходит целое
семейство интегральных кривых xx(t), каждая из которых
отвечает своему значению
т^О. Среди них есть ин- z
тегральная кривая х0(/), z -------
отвечающая значению х = 0
и обладающая тем свойством,
что кривая х0(/) лежит ниже
всех остальных интеграль-
ных кривых xx(t);
х0 (О Хх (О (О < оо) О
(это объясняется тем, что рис< 23.
внутри области О х < 1,
0</<сю решение рассматриваемого дифференциального
уравнения единственно и интегральные кривые в этой области
не пересекаются друг с другом). Интегральная кривая х0(О
является предельной для других интегральных кривых х(Л г),
лежащих ниже ее и проходящих через соответствующие
точки (0, z), 0 < z < 1:
x0(Z)=limx(/, z\
z-> 1
19*
292
ГЛ V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
|2
Вероятность вырождения. Пусть в исходный момент
/о = О имеется I частиц. Тогда вероятность того, что за
время t все частицы исчезнут, равна \x(tt 0)f. Если т —
момент вырождения ветвящегося случайного процесса £ (/)
(г — момент достижения состояния / = 0), то
[х(/, 0)f = P{r</},
и поэтому
lim [х(£, 0)]z = Р {г < оо}
t JO
есть вероятность того, что через некоторое конечное время
не останется ни одной частицы. Предел
Ро= lim x(t, 0)
t -> X)
совпадает с наименьшим корнем а уравнения
x(z) = z (0<г<1) для дискретного t
и уравнения
ф(-г) = 0
(0< 1) для непрерывного Л
При этом Ро<1, если 4>1 или а > 0, иР0 = 1, если
А 1 или а 0.
Асимптотическое поведение разности 1— х(/, 0) при
/~>оо таково, что
kA1
2
Bt
при А < 1,
при А — 1
для дискретного t (k — некоторая
постоянная, В = хч (1)),
1 — х (Л 0) ~
keai
2
bt
при а < 0,
при а — 0
1—х(Л 0)~
для непрерывного t (k—некоторая постоянная, 6 = ф''(1)).
Среднее число частиц. Если в исходный момент /0~0
имеется / частиц, то через время t среднее число частиц
М£(/) будет
— iA* для дискретного /,
для непрерывного /.
2]
§ 2. ВЕТВЯЩИЕСЯ СЛУЧАЙНЫЕ ПРОЦЕССЫ
293
Пример. Пусть производящая функция х(г) ветвя-
щегося процесса %(t) с дискретным временем t является
дробно-линейной. Она зависит от двух параметров и в слу-
чае, когда А > 1, может быть представлена в виде
х(г)=1 -Л^1------------
1------г Z
а — А
гте а<1 — наименьший неотрицательный корень уравнения
А О) = Z.
Положим х (1, z) — х (z)..х (п, z) = х [а (а — 1, z)].
Параметр а остается корнем уравнения x(n, z)~z для
любой функции x(nt z), причем х' (п, 1)~ Ап, так что
х(«,
1------Тп *
а — Ап
Разлагая х(п, z) по степеням zt получаем:
Ро(п)= 1 — А" аа^„ ,
/ч Лп1 а— 1 \2/1 — Лл\*"1 «
р*(п) —Л л„ j ( а _Ап) (А—1, 2, ...).
Если Л=1 (и, следовательно, а=1), то производящая
функция x(z) зависит от единственного параметра, за кото-
рый удобно принять В = х"(1). В этом случае функция x(z)
может быть представлена в виде
х(г)^1------t—g-------.
1 24-8 Z
Имеем: х"(п, V) = nB> так что
х(и, пВ
1 2 + пВ г ,
Разлагая х(л, z) по степеням z, получаем:
^(,г)=1~Т^8 '
/ 2 4 2 ‘
Pk (п) = ( 24-Л8
(6 = 1, 2,
294 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |2
Видно, что при п~>оо
[ а, если А > 1,
если ,4 — 1.
Пример. Пусть производящая функция ср (z) ветвяще-
гося процесса £(/) с непрерывным временем t имеет вид
Ф (г) = р — (р + q) z 4- qz2.
Соответствующие плотности перехода суть Х = p-\-q, Zo = р
и = Дифференциальное уравнение для производящих
функций х(/, z) выглядит следующим образом:
dx
----Д?------v = dt. А-(0, z) = z.
^—x)(p — qx) 4 >
При р ф q решение его имеет вид
v(f — P<y—z> + (qz — р) e(p~g)z
q (1 — z) + (qz — p) е{р~'!'>z ‘
Разлагая функцию х(Л z) по степеням z, получаем:
Q i __JL е(р-<п(
q
= (1—4l——---------------(6=1,2,...).
1__р_ e(p-q)t
q
При p = q производящая функция x(t, z) есть решение
уравнения dx ^(1 — -^ = dt, x(0, z) = z
и имеет вид х 1 —z г)—1 \-pt(\-z)-
Разлагая х (t, z) no степеням z, получим:
1 1+^
<*=1.
21
§ 2. ВЕТВЯЩИЕСЯ СЛУЧАЙНЫЕ ПРОЦЕССЫ 295
Наименьшим корнем уравнения <р (г) = 0 на отрезке
является значение а = min (1, ; параметр а —
— ф71) равен q — р. Из формул для вероятностей pk(t)
непосредственно видно, что р0(/)->а при t->oo.
Явление взрыва. Пусть £(/) — случайный ветвящийся
процесс с непрерывным временем, порожденный ровно одной
частицей. Если частицы размножаются достаточно быстро, то»
вообще говоря, имеется положительная вероятность того, что
за некоторое конечное время т образуется бесконечное число
частиц (условно это явление можно назвать взрывом}. Веро-
ятность осуществления взрыва до момента t есть
Роо (0 = 1 — Р U (О < °°} = 1 — lim х (А 2')-
Z-> 1
В случае, когда при некотором zQ
со,
эта вероятность равна нулю, так что при указанном усло-
вии взрыв невозможен. Если же
то вероятность взрыва положительна и равна разности
1—х0(/), где х0(/) — минимальное решение дифференциаль-
ного уравнения х' — с начальным условием х(0)=1.
Предельные распределения. При £->со имеется предель-
ное распределение вероятностей для нормированных случай-
ных величин вида
Для различных случаев: а < 0, а— 0 и а > О — соответ-
ствующие предельные распределения резко отличаются (при
я < О предельное распределение дискретно, при а > 0 оно
непрерывно). Если а < 0 или а > 0, то предельные распреде-
ления сложным образом зависят от других характеристик
296 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
П
ветвящегося процесса в случае же а = 0 предельное
распределение является показательным: при t—>оо
( 0, если у < О,
Fr)<()(y)=^F(y) = ( 1 — е-у, если у > 0.
Предельное распределение будет приблизительно показа-
тельным и при малом параметре а. Точнее, пусть
b = ф" (1) < сю, с ~ ф"'(1) < 00•
Тогда равномерно по # > 0 и с<^с0<оо при t -> оо
и а -> 0 имеет место слабая сходимость *)
Гп«)(У)=5 ?(У>-
§ 3. Случайные процессы с независимыми приращениями
1. Последовательности сумм возрастающего числа
независимых случайных величин. Случайный процесс
£ — на множестве Т действительной прямой называется
процессом с независимыми приращениями, если для любых
значений /0 'С h 'С Ч 'С • • • из множества Т приращения
&* = В(^+1)— А = 0, 1, 2, ...» являются независи-
мыми случайными величинами. Случайный процесс £=£(/)
с независимыми приращениями и с «дискретным временем» t
(скажем, / = 0. 1, ...) представляет собой последователь-
ность сумм возрастающего числа независимых величин
1(0 —^(°) = &o+^i4- ••• -Н/-г
Закон нуля и единицы. Пусть £2, ... — последова-
тельность независимых случайных величин. Обозначим сим-
волом 9((ге, оо) о-алгебру событий, порожденную величинами
..............и положим
2l°° = Q 21 (п, оо).
п
*) См. Б. А. Севастьянов, Переходные явления в вет-
вящихся случайных процессах, Теория вероят. и ее примем., IV,
2 (1959), 121—135.
1] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 297
Имеет место следующий закон нуля или единицы: вероят-
ность любого события А из а-алгебры 21°° равна 0 или 1:
Р (Л) = 0 или 1.
Можно дать другую формулировку этого закона: любая
случайная величина, измеримая относительно 21°°, с вероят-
ностью 1 равна постоянной.
Пример. Рассмотрим последовательность сумм
п
(п=1. 2, ...)•
k = l
Существование предела lim 1% есть событие из а-алгебры 2Г°,
Л->00
оо
так что ряд сходится либо с вероятностью 1, либо
Л = 1
с вероятностью 0.
Неравенство Колмогорова. Пусть £2, ... — незави-
симые случайные величины, имеющие конечные математиче-
ские ожидания а. =М£Ь и дисперсии а? = Имеет место
следующее неравенство {неравенство Колмогорова):
Р < max
I 1 п
т
/? = 1
Аналогичным является неравенство для произвольных неза-
висимых величин ...:
если только неотрицательные числа 6 и р, р< 1, выбраны
так, что при всех т> 1
Р
т
2 и
А = 1
Сходимость рядов из независимых слагаемых. Пусть
|2, ...—последовательность независимых случайных ве-
се оо
личин. Предположим, что сходятся ряды 2 и 2 oL
Й=1 £ = 1
298 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [1
где = и o2k = Dgr Тогда с вероятностью 1 после-
довательность частичных сумм
= 2 U
£=1
сходится при п —>оо к некоторой случайной величине г|.
Определим величины k—1, 2.......положив
- ПРИ 1Ы<С.
к ~ I xk при IЦI > С,
ОО
где С—произвольная постоянная и ряд 2 xk сходится.
Предел lim т]л существует с вероятностью 1 тогда и только
л->оо
тогда, когда сходится каждый из трех рядов
2Р{и=#1йЬ 2«* и 2 о*,
где
= и = (£ = 1, 2, ...).
Рассеивание и концентрация случайных величин. Дис-
персия D£=M(£ — МУ2 служит простейшей характеристи-
кой рассеивания величины £=£((о) в зависимости от случая со.
Однако дисперсия может и не существовать. Можно опреде-
лить степень рассеивания случайной величины £ как *)
оо со
65 = — log J Je-l-r‘-^lP5(<Zx1)P^(rfx2) =
— СО — ОО
, 1 Г|^<И>|2л
= -Ios« J
— оо
где — распределение вероятностей, q)g — характеристи-
ческая функция случайной величины логарифмы берутся
по основанию е.
*) См. К. И т о, Вероятностные процессы, «Математика» (сб. пе-
реводов), I (1960).
I] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 299
Степень рассеивания б* обладает следующими свойствами.
Во-первых, равенство 6^ = 0 эквивалентно тому, что случай-
ная величина £ с вероятностью 1 есть постоянная. Во-вто-
рых, существование предела lim = 0 для некоторой
последовательности случайных величин £2, . . . равносильно
тому, что при некоторых постоянных ап последовательность
— ап сходится по вероятности к нулю. В-третьих, б^ ->оо
при я—>сю тогда и только тогда, когда функция концен-
трации
(/) = sup Р [а — I < < а -|- Z]
случайных величин | такова, что (Z)->0
конечном Z. В-четвертых, степень рассеивания
= ^1 + ^2 независимых случайных величин и
при всяком
суммы £ =
£2 всегда не
меньше, чем степень рассеивания каждого из слагаемых:
б^>тах(да,, 6Ь),
причем знак равенства достигается тогда и только тогда,
когда одно из слагаемых или £2) с вероятностью 1 есть
постоянная.
Центрированные ряды из независимых слагаемых.
Пусть £2, ...—последовательность независимых случай-
ных величин, и пусть
Условие
п
(«=1. 2, ...)
/2 = 1
*
d = lim < оо
zz->oo п
является необходимым и достаточным для существования
с вероятностью 1 предела
Т]= lim (п„ —£„).
л->оо
где bv Z>2, ...—некоторые центрирующие постоянные.
При этом
= lim dn .
7Z->OO П
300 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ Ц
Центрирующие постоянные Ьп могут быть определены, на-
пример, из соотношений
М arc tg (Т]я — &„) = 0 (п=1, 2,...).
Если же
Пт = со,
'п,
П->ОО
то с вероятностью 1
lim sup | г),„ | = оо.
л-»оо
У саленный закон больших чисел. Пусть £2, • • • —
независимые, одинаково распределенные случайные величины
с конечным математическим ожиданием а = М^. Тогда с ве-
роятностью 1
п
Iim
n-*°°
Пусть |2, ••• —независимые случайные величины
с конечными математическими ожиданиями = и ди-
сперсиями а2 = Щ/г, и пусть bv bv ...—монотонно воз-
растающая последовательность положительных чисел такая,
что Ьа—>со при /!->оо и
Тогда с вероятностью 1
л
lim =
П-*оо Оп
к — 1
Закон повторного логарифма. Пусть |2» •••— не-
зависимые случайные величины с конечными математическими
ожиданиями и дисперсиями 02 = 0^, причем
1 ч ( 1 ]
(&Л 0 J г----------х > *
Вп ( V log log В2п /
2] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 301
п
Где Тогда с вероятностью 1
л=1
п
2 ak)
lim —k = 1.
л->оо вп У 2 log log В2
2. Процесс броуновского движения. Гауссовский про-
цесс с независимыми приращениями на конечном или беско-
нечном Т = [а, такой, что
М [£(0 —£($)] = 0, D [U0 ~ = 8
при любых 5, t£Tt s<^t, называется броуновским движе-
нием или, иначе, винеровским процессом.
Броуновское движение как непрерывное случайное
блуждание. Пусть £ = £(/) процесс броуновского движения
на отрезке Т = [0, 1J, причем £(0) = 0. Рассмотрим значе-
k
ния £(Z) лишь в дискретные моменты t — —, & = 0,
Пусть
Д|(/) = Ц/+!)_£(/),
и пусть £л = £л(/) — случайный процесс, получающийся в ре-
зультате линейной интерполяции между соседними значениями
£-1
In (t) = (^-) + (»/ - k)M- (4).
где k = [nt\ — целая часть числа nt (если 0<У < —» то
U0 = «^(0)).
Каждая траектория (со, I) случайного процесса = £л (/)
представляет собой непрерывную ломаную линию с верши-
нами в точках (t = k‘n, £ = £(о), kin)) (рис. 24).
Рассмотрим последовательность случайных процессов £л(/),
п=\, 2, описанного вида. С вероятностью 1 равно-
мерно по t £ Т
£я(0~>£(0 ПРИ п->ж.
302 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
Пусть lmn, zn = 0, п—1, — одинаково распределен-
ные независимые случайные величины такие, что
MU = 0- = i («=Ь 2- •••)•
Рассмотрим непрерывный случайный процесс £л = |л(/)
вида
k~i
Ъ1тп+№-ку-кп.
т=0
где k — [nt] — целая часть числа nt (если 0 t < —, то
Пусть Ря —Р„(Л) — соответствующее распределение ве-
роятностей в пространстве С[0, 1] всех непрерывных на
отрезке Т = [0, 1] действительных функций x — x(t)t опреде-
ленное на о-алгебре борелевских множеств ЛсС[0, 1].
При п—>оо имеется предельное распределение вероятностей
Р = Р (Л):
Р«=ФР-
Непосредственно заданный случайный процесс £ — £(/)
с предельным распределением Р = Р(Д)— процесс броунов-
ского движения (так называемый стандартный винеровский
процесс). При этом для любой непрерывной почти всюду
на отрезке Т — [0, 1] функции ф = ср(/) (почти всюду — от-
носительно лебеговской меры) распределения вероятностей
случайных величин
п
£ = 1
2] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 303
при /г—>сю слабо сходятся к распределению случайной вели-
чины n = j ф [И01 dt:
о
Рч„=ФРп-
Винеровский процесс как кривая в гильбертовом про-
странстве. Винеровский процесс £ = £(/) на отрезке
7—[0, 1] может быть определен как случайный гауссовский
процесс с нулевым математическим ожиданием и корреляцион-
ной функцией
В (<s, /)=min(s, t).
Пример. Пусть £_£(/) — винеровский процесс. Тогда
случайный процесс (/) вида
| 0 при t~0,
(О — | при о < t < 1
имеет корреляционную функцию Bx(s> t):
B1(si £) = $£♦ min (у, yj = min (^, f)t
и также является винеровским процессом. Винеровским про-
цессом является и случайный процесс £2 = £2(О вида
Как функция со значениями в гильбертовом простран-
стве A2(Q), винеровский процесс £ = £(Z) допускает следую-
щее каноническое представление
/2=0
где Фл — независимые гауссовские величины:
МФА = 0, ----rr (fe-0, 1, ...);
[у (2ft 4-1)]
ЗЭ4 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
фл (/) = sin (2k 4-1 )/],£ = 0, 1....— собственные функ-
ции оператора Bt определенного формулой
1
£?ф(7)— J В (s, t)y(s)ds
о
в гильбертовом пространстве Л2 [0, 1] всех интегрируемых
с квадратом (относительно лебеговской меры) функций
<р = ф(/) на отрезке [0, 1].
Броуновское движение как марковский случайный про-
цесс. Броуновское движение £ = £(/), /^0, может быть
определено как однородный марковский процесс с переход-
ной функцией P(t, х, В)= J p(t, xt y)dyt где переходная
в
плотность p(t, х> у) есть фундаментальное решение парабо-
лического дифференциального уравнения
др___ 1 д2р
”2 дх2
и описывается формулой
1 (У~*)2
p(t, xt у) = -7=-е 2t .
V2nt
Переходная функция P(t, x, 8) и условные распределения
вероятностей Р_Г=РГ(Л) на о-алгебре событий 21(0, оо)
инвариантны относительно преобразований сдвига в фазовом
пространстве:
.....к/я)+а =
при любых х, а для всех tx....^^-Ои всех борелевских
множеств , Вп.
Моменты первого достижения фиксированной точки.
Пусть ха — момент первого достижения точки а процессом
броуновского движения ^ — ^(f). Тогда
PJTa<Z} =Рх-а{Т0<И-
Ро{ту —Тл<^ = Р0{Ту_д</) (У>Х>0),
Р9 к < a2t] = Ро (Tj < /} (а > 0).
2] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 305
Пусть
f 1
ф(*) = I 0
при X
при X
а,
а.
Тогда при любом
J e-KIPo{l(t)>a\ dt = Мо J e-w<p[£(/)] dt =
0 Te
= (Мое-Хт«)(Ма = 4 j e-u?^aCt\dt,
\ 0 /0
где Mx — символ математического ожидания, соответствую-
щего условному распределению Рх, и
Т X2
Ро {Та < Ч - 2Р0 {£(/) > а} = -3=r j е~ dx =
= 1 — 1/~ е 2 dx = -~=ls 2е 25 ds (0<7<сю).
г л J у 2л J
о о
Распределение максимума. При а > О
Ро { max £(s) > а\ = Ро (та < /) —
0<5</
со ,
2 Г
= 2P»(iOT>a| = 7|5-./e
Пусть — случайный процесс вида
Ш
2a-l(t)
при t ^xa,
при t ха.
Этот непрерывный процесс с независимыми гауссовскими
приращениями является процессом броуновского движения.
20 Ю. В. Прохоров, Ю. А. Розанов
306 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
|2
Имеет место следующее соотношение.
{ max £(s)>a, Шбк. оо, а)} =
0<5</
= — d> 2а —с]П[а, оо)},
и при а > 0
Ро{ шах £($)>а, <Л} =
max (d, а) „ тах(2а-с, а) ,
1 Г 1 Г
— г— / е 2t dx~\—-f= е 2t dx.
V 2л/ J ч }л2л/ J
max (c, a) max(2a-d, a)
При a>0 и [c, d\ [—a, d\ имеет место равенство
Pol max |Ш | < a, =
с k = -оо
Выход за верхнюю границу. Рассмотрим на плоскости
переменных (/, х) границы, описываемые уравнениями
хг (0 = Y1 + 6/. Х2 (t) = у2 4- д2/,
где Y, > 0, у2 < 0 и Xj (/) х2 (/), t 0. Пусть — Tj (<о) —
момент первого выхода траектории (со, t) процесса броу-
новского движения на верхнюю границу, т2 = т2((о)— момент
первого выхода на нижнюю границу (рис. 25). Имеет место
формула *)
Ро (Ti < min т2)} = 1 — Ф (-Цтр-1-) +
\ м /
_|_ ^е-21*у,-(*—1)vJf*6,-(r—1) б2]ф 2(^~1)Y1^
— е-2 |й2 (у,б2+уД)-й (ft-1) у,6г-fe (й + 1) УгМфр^+^Уг—j2fe—1) Yl\ _
\ Vt )
_ е - 21(й -1) Y, - к уг I [ (к -1) б, - Йд2 ] Г1 ф/ 51Z —2A!Y2+^2fe —1)Y1 \ 1 .
L \ /J
„(_ (£-i) Y261-* (£+1) уД) х
х П _ ф pd + (2k + X)yl^2ky2\‘] |,
*) См. Т. W. Anderson, A modification of the sequential
probability ratio test to reduce the sample size, Ann. Math. St atist.,
31, 1 (I960), 165—198.
2| § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 307
где
j
ф(1)= /тк'"""-
— оо
Моменты последнего достижения фиксированной
точки. Пусть т*—наибольший корень уравнения ^(s)—a
на отрезке 0 <7 — последний момент достижения точки а
за промежуток времени [0, /]. Имеет место формула
’a~>i— $} Р(а> s, dx) =
S
1 Г du
я J Уи (t — и)
(0 <$</).
Метод дифференциальных уравнений*). Рассмотрим
случайную величину
t
J <р[Ш1 ds,
о
*) См. И. И. Гихман, А. В. Скороход, Введение в тео-
рию случайных процессов, М.» «Наука», 1965.
20*
308 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
где ф = ф(х)— некоторая действительная функция. При не-
которых ограничениях, накладываемых на ф(х), функция
( t 1
ил(Л х) = М гехр | X [ ф [| ($)] ds |,
I б I
зависящая от параметра Z, удовлетворяет дифференциальному
уравнению
ди> 1 д?и .a z ч
= —- —— -U /лр (х) и.
dt 2 дх2 1 4 * * 7 к
с начальным условием /zA(0, х)=1 (см. § 5.1 этой главы).
Параметр Z принимает либо все чисто мнимые значения:
= fa, — оо < a < оо, либо — в случае неотрицательной
функции ф(х) — принимает все неположительные значения:
1 =—а, где а^>0. Пусть
оо
(*•)= J x)dt.
о
Функция является ограниченным решением дифферен-
циального уравнения вида
4 % и "Ь~ н (х) = — 1 •
получающегося при умножении на е~^ и интегрировании по t
обеих частей дифференциального уравнения для ux(t. х).
Если ф(х)— кусочно-непрерывная функция, то р(х) непре-
рывно дифференцируема, имеет вторую производную в точках
непрерывности функции ф(х) и удовлетворяет указанному
уравнению.
Пример. Время пребывания на положительной полу-
оси. Пусть
( 1 при х > 0,
Ф (х) | Q Прй х < 0.
Тогда случайная величина
t
Т = J ф £ (s)l ds
о
2] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВНС. ПРИРАЩЕНИЯМИ 309
представляет собой «время пребывания» на положительной
полуоси за промежуток времени [0, t]. Ограниченное
решение дифференциального уравненйя
I’ahW-IMpOO+hI г'_х>и(х) = — 1
таково, что при х = 0 и
^>ц(0) = -=4=== f e~*f
и У U + Ю и 0J
t
1 f e'ls
•я J Ks (^ — s)
ds dt.
Таким образом, соответствующая функция
t
u_x(tt 0)— Мог“?т — J e~Kspx(s)ds
о
(где px(s) — плотность-распределения случайной величины т)
имеет вид
t
1 Г е~и
UAt. 0) = - ds.
Поэтому
Рх(s) = 1/ L 7 (° < 5 < 0.
л У s (t — s)
5
ро{т<$1 = - f ? z = -arcsinl/4- (0
01 1 л J y u(t — u) п г t к \ /
Пусть T(flj by — момент первого выхода из интервала (а, Ь),
<р = ф (х) — некоторая действительная функция. Рассмотрим
случайную величину вида
Х(а, Ь)
о
При некоторых ограничениях, накладываемых на ф(х), функция
их(х) = Мхехр
т(а>»)
х J <р[Ц01^
о
310 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
удовлетворяет дифференциальному уравнению
~ и" (х) + tap (х) и} (х) = О
с граничными условиями и} (а) — ик (b) = 1 (при а = — оо
или Ь = со указанные условия следует заменить на условия
ограниченности решения при х—>а или х—>Ь соответственно;
см. § 5.1 этой главы).
Пример. Время пребывания. Пусть ха — момент пер-
вого достижения точки а, и пусть
( 1 при х > О,
ФО') —при х < 0
Тогда случайная величина т — J ф II, (01 dt представляет собой
о
«время пребывания» на положительной полуоси до момента
первого достижения точки а < 0. Ограниченное решение
дифференциального уравнения
^и”_к(х)— tap(x) и_х(х) = 0, u_r (а)= 1,
таково *), что при х — 0 и X 0
со
и_х(0) = Мое-^ =- к Г е-ир0 {т </} dt = -----5—,
J 1 — а V X
ОО
2pta2 С
Р0[т<7} = 1— \ e~s ds (0<7<оо).
У л J
УТ
а
Для положительной точки а > 0 функция распределения
Ро {т < /} имеет совсем другой характер. В частности, при
соответствующее решение и^(х) таково**), что
1
х ch /2л
*) Р. 3. X а с ь м и н с к и й, Распределение вероятностей для
функционалов от траектории случайного процесса диффузионного
типа, Докл. АН СССР, 104, 1 (1955), 22—25.
**) К. Ito, Н. М с k е a n, Diffusion processes and their sample
paths, Berlin, Springer, 1965.
2] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С HF3ABHC. ПРИРАЩЕНИЯМИ 311
Модуль непрерывности. Для почти всех траекторий про-
цесса броуновского движения имеет место следующее соот-
ношение:
| + —g(/)|
lim sup ъ v <!. = 1;
*-»+o y' 2/1 log A
при этом
lim 2 [А£,(/гА)12 = 6,
Л->оо £=0
где Й = А, +
Закон повторного логарифма. Для почти всех траек-
торий (относительно условного распределения Ро)
г- Ш) 1
lim---=г- — I.
л^°у' 2Л log log 4
В применении к процессу броуновского движения вида
(/) = (A-j этот закон повторного логарифма может быть
записан в иной форме:
.-1
/-»оо К 2/log log £
Локальное время. Пусть
f 1 при х £ В.
Фв (х) — О при х (£ В.
Рассмотрим
t
фц(5) = / Фв [£(“)] du.
о
Для каждой фиксированной траектории процесса броуновского
движения ф* (В), как функция переменной В, представляет
собой меру на о-алгебре борелевских множеств действитель-
ной прямой.
Для почти всех траекторий эта мера абсолютно не-
прерывна:
Фо(5)= / x)dx-
в
312
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
13
Соответствующая плотность т(/, х) называется локальным,
временем в точке х. Как функция от /, величина т(/, х)
представляет собой случайный процесс, непрерывный с ве-
роятностью 1.
3. Структура случайных процессов с независимыми
приращениями.
Центрирование случайного процесса с независимыми
приращениями. Рассмотрим случайный процесс £(/) с не-
зависимыми приращениями от непрерывного параметра t на
некотором конечном или бесконечнохМ отрезке Т — [а, &].
Степень рассеивания 6(/) = 6[£(/)— д(я)] такого процесса
является монотонно неубывающей функцией от t и имеет
не более чем счетное множество точек разрыва, причем при
всех t существуют предельные значения
б(/_ 0) = lim 6(5) и 6(/4-0)= lim 6(5).
Вследствие этого имеется такая центрирующая функция b(t)t
например, удовлетворяющая условию
М arctg [т] (/) — b (/)] = 0,
что для процесса с независимыми приращениями т](/) — b(t)
при каждом фиксированном t существуют предельные зна-
чения lim [л (5) — &(5)1- Чтобы не менять обозначений, будем
5—>/±0
считать, что этим свойством уже обладает сам процесс т](/),
т. е. 40-^0. При этом соглашении равенства
г|(/ — 0) = т| (/) или 1] (t 4- 0) = т] (/)
выполняются с вероятностью 1 тогда и только тогда, когда
соответственно
6 (/ — 0) = 6 (0 или 6 (/ 4- 0) = 6 (/).
Скачки 1](5) — Г) (5 — 0) и т) (5 4~0) — л($) случайного
процесса т](/) в фиксированных точках 5 не зависят от тече-
ния процесса т|(/) до момента 5 — 0 и 5 соответственно,
точнее, не зависят от совокупности случайных величин т|(/),.
t < 5, и т](f), t 5, и могут изучаться отдельно. В част-
ности, занумеровав все точки разрыва функции 6(/) — фикси-
рованные точки разрыва случайного процесса т] (/),— можно
3| § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 313
определить последовательность случайных процессов л^ЧО
с независимыми приращениями вида
«0= 5 [л (S* + 0) - Т) (sk - 0)1 - с<"> (/).
1 < к < п
Предполагается, что если момент t является точкой разрыва
t = sk, то вместо лС^/г + О) берется л(^)’ центрирующие
постоянные подобраны так, что с вероятностью 1
существует предел
ЛД0 = lim Л;,"'(0-
Л->Х
Грубо говоря, случайный процесс ЛДО с точностью
до центрирующей функции представляет собой сумму скачков
исходного процесса л (/) в фиксированных точках разрыва
до текущего момента t и является процессом с независимыми
приращениями. Степень рассеивания bd (t) — 6 [r)r/ (0 — %(^)1
этого процесса совпадает с функцией скачков в разложении
монотонной функции 6(/) на непрерывную компоненту 6f(/)
и функцию скачков 5//):
6 (0 - Ъс (/) 4-5//).
Непрерывной компоненте степени рассеивания 6(/) исходного
процесса л (0 отвечает стохастически непрерывный случайный
процесс Лг(О вида
лЛО = л (О — л</(0 — с (/).
где центрирующая функция c(t) подобрана, например, так,
чтобы удовлетворялось условие
М arctg [т] (0 — T]d (/) — с (01 = о
(при этом степень рассеивания 6^(/) = б (Лс(0 — лДя)1
совпадает с непрерывной компонентой 5/0 в разложении
монотонной функции б(/). Случайный процесс Лг(0 имеет
независимые приращения, которые не зависят от приращений
«скачкообразного» процесса л/О-
Пусть |(0 — стохастически непрерывный сепарабельный
процесс с независимыми приращениями на некотором отрезке
Т = [а. Ь\. При каждом фиксированном t с вероятностью 1
314 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [3
Это не означает, конечно, что будут непрерывными траекто-
рии процесса £ (со, /). Однако почти все траектории Е, (со, t)
будут иметь, самое большее, разрывы первого рода, т. е.
при почти всех со для любого t существуют пределы
с, (со, t — 0) = lim £ (со, 5), с, (со, / —0) = lim | (со, s),
s->/-0 5->/4-0
или, что то же самое, на ограниченном интервале А имеется
лишь конечное число колебаний траектории £ (со, /), пре-
восходящих произвольное фиксированное е > 0 {числом
колебаний функции х = х(/) называется максимальное л,
для которого на рассматриваемом интервале найдутся точки
такие, что \x{tk)— —
= 1, 2, ...» п).
Всегда существует эквивалентный исходному процессу
случайный процесс £(/), траектории которого непрерывны
справа: с вероятностью 1
* + О) = £(0, /).
Пуассоновский процесс. Случайный процесс с независи-
мыми приращениями такой, что
Р {В (О - Us) = *} = —
при любых s, t £ Tt s называется пуассоновским про-
цессом. Это стохастически непрерывный процесс с независи-
мыми приращениями, траектории которого являются простыми
монотонными функциями параметра на каждом конечном
интервале имеющими конечное число скачков единичной длины
(приращения являются целочисленными неотрицательными
величинами), причем
м IU0-S)
для любых s, t £ Т, s^t. Приращения £(£)— £(s) распре-
делены по закону Пуассона с параметром а — % {t — s).
Стохастические меры, построенные по скачкам слу-
чайных процессов. Пусть £(/) — стохастически непрерывный,
с вероятностью 1 непрерывный справа процесс с независимыми
приращениями. Обозначим символом v(AX^) число таких
скачков процесса £(Z) на интервале времени А, значения
которых попадают в некоторое борелевское множество В,
3] § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 315
лежащее на положительном расстоянии от начала координат:
Для каждого ограниченного интервала А случайная величина
v(AX^) с вероятностью 1 конечна, причем величины
v^X#) и V(^X^)> соответствующие непересекающимся
интервалам А2 и А2, независимы, и, кроме того,
P{v(AX^)> 1} = о (| А |),
где |Д | — длина интервала А. Таким образом, случайная
величина v(AX^) распределена по закону Пуассона:
р {v (А X в) = Ч = е-N <л х в\
где N (А X В)= Mv(A X в)-
Случайная величина v(A Х^)> как функция множеств, про-
должается в о-конечную обобщенную меру на плоскости (/, х)
(у(Л) и N (Л) могут обращаться в 4~°° Для множеств А,
примыкающих к оси х — 0).
Структура процессов с независимыми приращениями.
Будем считать интервал Т = [а, Ь] конечным. Введем слу-
чайные процессы вида
Ь(0=/ xv([a, /JXrfx),
В
которые представляют собой не что иное, как сумму скачков
исходнбго процесса (до текущего момента /) со значе-
ниями во множестве В. Имеют место формулы:
М£д(0= J ^([e, t] Xdx),
В
DlB(0= J x2N(Ia, t}Xdx).
В
Если множества Вх и В2 не пересекаются, то соответ-
ствующие случайные процессы и %В2(0 независимы
между собой.
Рассмотрим последовательность случайных процессов
отвечающих множествам Вп = {| х | > ел} и
представляющих собой сумму скачков исходного процесса
316 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [3
на интервале [а, /], абсолютная величина которых не менее е/Г
Примечательно, что если исключить из процесса £ (/) скачки»
абсолютная величина которых превосходит некоторый фикси*
рованпый уровень (например, единицу), то получающийся
при этом случайный процесс £,(/) — ^(0 имеет все моменты.
В частности,
J xW ([a, £] X dx} = D [В, (/) - (01 < со-
Если исключить из процесса £(/) все скачки, то получим
случайный процесс с непрерывными траекториями. Именно
таким будет процесс
lim UU0-U01-м 1^(0-^(Olb
72->00
где последовательность ея выбрана так, чтобы
J xW ([а, 6] X dx) < оо
(это условие гарантирует равномерную сходимость по t при
описанном предельном переходе).
Непрерывный с вероятностью 1 случайный процесс £f(Z)
имеет независимые приращения и, кроме того, не зависит
от пуассоновской меры
Случайный процесс с независимыми приращениями»
имеющий непрерывные с вероятностью 1 траектории, пред-
ставляет собой не что иное, как (неоднородное) броуновское
движение — случайный процесс с независимыми гауссовскими
приращениями, математическое ожидание Л(/) = М^(0 и
дисперсия Z)(O=D^(O которого являются непрерывными
функциями от t (всякий сепарабельный гауссовский процесс
с независимыми приращениями и непрерывными средним
значением и дисперсией с вероятностью 1 имеет непрерывные
траектории).
Таким образом, строение произвольного стохастически
непрерывного случайного процесса £(/) с независимыми при-
з; § 3 СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗЛВИС. ПРИРАЩЕНИЯМИ 317
ращениями отчетливо видно из представления его в виде
£, (О = Ы0+ / х [V ([а, Л X dx) - N ([а, Л X «*-"01 +
1*1 <1
4- J XV (1«, Л Xdx),
1*1 >1
где — непрерывный гауссовский процесс с независи-
мыми приращениями, не зависящий от пуассоновской меры
\(dt y^dx), построенной по скачкам исходного процесса £(/).
Распределения вероятностей случайных процессов
с независимыми приращениями. Распределение вероятно-
стей величины £(/) —1($) для стохастически непрерывного
процесса с независимыми приращениями является, конечно,
безгранично делимым. Верно и в некотором роде обратное
утверждение: всегда можно указать стохастически непрерыв-
ный случайный процесс с независимыми приращениями, для
которого величина — £(s) (t и 5 фиксированы) имеет
наперед заданное безгранично делимое распределение (оно
может быть взято произвольно). Натуральный логарифм
характеристической функции приращения t>(t)— £($) имеет вид
logMexp \1и [£(/)— &($)]) =
= 1и И (О - A ($)] - 4 «2 [D (0 - D ($)] 4-
4- j (eiux — 1 — lux) N ([$, 01X dx) 4-
1*1 <1
4. J _ 1)/V([$, X dx),
I*I>1
где A (f) — непрерывная функция, равная математическому
ожиданию непрерывной гауссовской компоненты ^(/) в пред-
ставлении процесса £(/), D(t) и £)(/) — D(s) — дисперсии
самого значения ^c(t) и разности £Д/)— £Д$) соответственно»
N ^1 X — математическое ожидание пуассоновской меры
v(l$, /] X ^)» построенной по скачкам процесса £(/):
4(0 = М|Д0. 0(0 = DU0. .
W([s, л X0) = Mv([s, ЛХ-8).
318 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
13
Полагая
G ([s. t\ X 5) = J N ([$, t] X dx),
В
Y(0=^(0 + [ -Y^N({a,t}^dx)-
|Х| >1
— J xG([a, /] Xdx),
ki<i
получим
log M {iu [| (t)-1 (.?)]} = iu [Y (0-Y (s)]-у «2 [D (0-D (s)J+
CO
+ J {e^ - 1 - - ±±± G([s, x dx).
— oo
Однородные процессы. Процесс ^(t) с независимыми при-
ращениями называется однородным, если распределение ве-
роятностей приращений ^(t)—£(s) зависит лишь от раз-
ности t — s (не зависит от начала отсчета времени). Необхо-
димое и достаточное условие однородности состоит в том, что
A(t)=at. D(f)=tft,
N(dtXdx) = N(dx)t.
Класс однородных процессов с независимыми прираще-
ниями совпадает с классом однородных марковских процес-
сов, переходная функция которых инвариантна относительно
преобразований сдвига фазового пространства — действитель-
ной прямой — сю < х < оо:
Р(Л х, В) = Р(/, 0, В\х).
где В\х означает множество точек у — х, у£В.
Однородный процесс £>(/) с независимыми приращениями
называется устойчивым, если его приращения имеют закон
распределения одного и того же устойчивого типа (см. § 7
гл. IV). Мера N (dx), связанная со скачками устойчивого
процесса £ (/), имеет вид
A'(S,=C1 I
ВП(-с°,О) ЛП(0,оо)
3J § 3. СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕЗАВИС. ПРИРАЩЕНИЯМИ 319
где параметр а меняется в пределах 0 < а < 2, что диктуется
условиями j x2N {dx) < оо и J N {dx) < оо. Важной
|х|>1
характеристикой устойчивого процесса является и параметр р.
определяемый как
Например, при крайних значениях р= ± 1 процесс ^{t)
имеет скачки лишь одного знака вместе с р.
Пример. Время до первого достижения фиксирован-
ной точки. Пусть ^ = ^{t) — процесс броуновского движе-
ния, т = т(а) — время до момента первого достижения точки
а > 0. Если рассматривать точку а как параметр, то слу-
чайный процесс х = х{а) на полупрямой а^О является
устойчивым случайным процессом с параметрами а = у,
р = 1. Распределение вероятностей таково, что при b а ^>0
Ро{^-тв<4 = j 2s ds==
о '
a
= 1 — у I e 2 dx (0 < t < oo).
0
Свойства траекторий. Процесс %{t) является непре-
рывным (с вероятностью 1) тогда и только тогда, когда он
гауссовский, т. е.
N{dx) = 0.
Среди разрывных процессов важное место занимают так
называемые «ступенчатые» процессы, у которых траектории
(с вероятностью 1) принимают в ограниченном промежутке
времени лишь конечное число различных значений, каждое
на соответствующем интервале вида [s, t). Чтобы процесс £ (/)
был «ступенчатым», необходимо и достаточно отсутствие
гауссовской компоненты и ограниченность меры N {dx):
1
о2 = 0, jN(dx)<c>o.
-1
320
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
(1
Аналогичное условие
1
о2 = 0, J | х | N (dx) < схэ
-1
является необходимым и достаточным для того, чтобы почт»
все траектории процесса ^(t) были функциями ограниченной
вариации. Процесс с ограниченной вариацией можно пред-
ставить в виде
со
U0 = £(s)4-«(*-—«)+ J *¥([$, t]Xdx)
— со
(постоянная а здесь отличается слагаемым J xN (dx) от
f IxJCl
скорости сноса А (/)). Такой процесс £(£) является диффе-
ренцируемым в каждой фиксированной точке с вероят-
ностью 1
lim UO-Us) _а
t ->s t S
Для процессов с неограниченной вариацией
lim IU0-WI-оэ.
t — S
§ 4. Диффузионные процессы
1. Дифференциальные и стохастические уравнения.
Коэффициенты сноса и диффузии. Под диффузионным
процессом £(/), фазовым пространством которого является
действительная прямая, обычно понимают непрерывный мар-
ковский процесс с переходной функцией P(s, х, t, В), удо-
влетворяющей следующим условиям: для любого е > 0
lim 4т Г P(s, х, А/, dy) — 0,
Д/->0 & J
|у-л|>е
г 1
111П -ГГ
Д/->0
(у —х)Р($, х, $4~АЛ dy) = a(s, х),
(4.1)
lim 4т f (у—x)2P(s, х, s + А/, dy) = o2(s, х).
Д,->0
У-л |<е
1] § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 321
Величина а ($, х) характеризует среднюю тенденцию
в эволюции случайного процесса £(<?) за малый промежуток
времени от $ до s-|-zV при условии, что |($) = х, и на-
зывается коэффициентом сноса. Величина o(s, х) характе-
ризует среднеквадратичное отклонение процесса £(/) от его
среднего значения и называется коэффициентом диффузии*.
+ + £($)]A/ + a[s, ШМШ.
где Лг| (s) — случайная величина такая, что
м {ДП О’) 11 (и)> и < <s} ~ О, D {Ат] (5) I g (zz), и < $} ~ А/.
Важнейшим представителем этого класса процессов яв-
ляется броуновское движение, впервые рассмотренное как
математическая модель процессов диффузии (отсюда и назва-
ние «диффузионные процессы»). К этому классу относится
и общий гауссовский непрерывный процесс £(£) с независи-
мыми приращениями, имеющий гладко меняющиеся моменты
Д(/)=М£(О и D (/) — D£ (t), которые связаны с коэффи-
циентами сноса а (Л x) = a(t) и диффузии а(^, х) = о(0
следующими соотношениями:
i i
A(f) — A (t0) = J a (s) ds, D(f)~D (Q = j a2 (s)ds.
to to
Для такого процесса соответствующая величина
И ' G(S)
является гауссовской и не зависящей от течения процесса
до момента
Распределение вероятностей процесса £(/) точно такое же,
как и у процесса £(f), построенного при помощи стохасти-
ческого интеграла:
t t
Ш = Ш + Ja(5)ds+|a(s)rfT](s)
to t0
где т](/) = — процесс броуновского
движения.
21 Ю. В. Прохоров, Ю. А. Розанов
322 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [(
Дифференциальные уравнения Колмогорова. Пусть пре-
дельные соотношения (4.1) выполняются равномерно по
и пусть ф(х)— некоторая ограниченная непрерывная функ-
ция. Определим ф ($, х) формулой
Ф (s, х) = j ф (у) Р ($, х, /, dy) (<$ < /).
Предположим, что функция ф($, х) вместе со своими пер-
д д2
выми двумя производными *) и Ф (s’, х) ограни-
чена и непрерывна. Тогда функция ф($, х) имеет произвол-
д , , ,
ную ф ($, х) и удовлетворяет следующему дифференциаль-
ному уравнению:
x} — —a{s, х)-^-<р($, х) — |a2(s, х) <р ($, х)
с «концевым» условием
lim ф($, х) = ф (х).
s-^t
Если имеется переходная плотность
/ > ч P(s, х, t, dy)
p{s, X. t, y) = - dy ”.
которая непрерывна no s и x вместе co своими производ-
ными -ч— p(s, х, t, у) и -T-2P(st xt y)t то она является
С/Л С/Л
фундаментальным решением дифференциального уравнения
Ap(s> х, t, у) =
— — a(s, х) — р($, х, t, у) —^-a2(s, х) р (s, х, t, у),
которое называется обратным уравнением Колмогорова.
В однородном случае, когда коэффициенты сноса а (Л х)^
= а(х) и диффузии о (Л х) = а(х) не зависят от времени /,
обратное уравнение Колмогорова для соответствующей пере-
ходной плотности p(s, xt Л y) = p(t — st х, у) имеет вид
д г) Id2
X, у) = а (х) р (t, X, У) + -2 О2(х)^-2р^. X, у).
1|
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
323
Решение этого уравнения существует и единственно (и
является переходной плотностью однородного диффузионного
процесса), если, например, коэффициенты а (х) и о(х) огра-
ничены, удовлетворяют условию Липшица
| а (х) — а (у) | < С | х — у |,
|о (х) — а(у)|<С| х — у|
и, кроме того, при всех х
о(х) о > 0.
Пусть соотношения (4.1) выполняются равномерно по s и
х, и пусть Q(dx) — некоторая обобщенная мера с непрерыв-
ной плотностью Q Определим Q(t, А) формулой
Q(t, Д) == J Q (dx) Р (s, х, t, A) (t > $).
Предположим, что при каждом t обобщенная мера Q(/, fix')
имеет плотность q(t, х), причем производные х)>
x)q(t, х)] и x)q(t, х)] существуют и
непрерывны (первая — по t и х, остальные — по х). Тогда
функция q(tt х) удовлетворяет следующему дифференциаль-
ному уравнению:
^-q(t, х) = — ~^{a(t, x)q(t, x)J+y ^[а2(Л x)q(t,x)]
с начальным условием
lim q(t, х) = q(x).
t->s
Если существует переходная плотность р (s, х, /, у),
имеющая непрерывную по t и у производную р (5, х, /, у)
такую, что функции
7^-[а (Л y)p(s, х, t, у)] и y)p(s, х, t, у)]
21*
324 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
непрерывны по у, то р (t, х, t, у) является фундаментальным
решением дифференциального уравнения
р (s, X, t, у) = — [a (t, у) р ($, х, t, у)] +
+ у-дуг [о2 (A y)p(s. х, t, у)],
которое называется уравнением Фоккера — Планка или
прямым уравнением Колмогорова.
Стохастические уравнения Ито. Пусть £(/) — диффу-
зионный процесс такой, что с вероятностью 1
м ЦШШО)} Мт]5<оо
при /0 S < t < и
А/
— j a[s,|(Ws
t
<[1+|(О21Д^(А0,
М([^+Д0-Ш]21Ш}-
t+M
- J ОЬ.
t
[1 +UO21 WO.
где a(t, x) и о(Л x)— соответствующие коэффициенты сноса
и диффузии и д(Л)->0 монотонно при /г->0. В этом случае
м U(0-Us)|s(«). «<S} =
а [и,
и $
так что процесс т|* (/) вида
t
Л* (0 =1(0-^ (^о) - / й [S Л (S)l ds
является непрерывным мартингалом;
1] § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 325
Стохастический интеграл
t
/-ju:b)i
*0
(предполагается, что о(/, х) > 0) задает процесс броуновского
движения т](/) такой, что его течение после момента вре-
мени t не зависит от поведения исходного процесса £(s) до
этого момента /, если фиксировано состояние £(/).
Диффузионный процесс £(/) имеет стохастический диффе-
ренциал вида
= dt+o [Л UONnW.
т. е. при любом /, принадлежащем отрезку
t t
Ш = 1 (4>) + / a [s Л (5)] ds + J о [s л (s)l rfn (5).
*а ’“о
В свою очередь, если отправляться от некоторого вспомо-
гательного процесса броуновского движения т] (^), то, задавшись
некоторыми функциями a(t, х) и о (Л х)^0, можно по-
строить диффузионный процесс £(Z) с коэффициентами сноса
a(t, х) и диффузии о (Л х) как решение стохастического
дифференциального уравнения Ито
dl(t)=a[t, U0W0;
другими словами, можно построить диффузионный процесс £(/)♦
удовлетворяющий стохастическому интегральному урав-
нению вида
t t
(Q+ J a [s, £($)] J о [5. !(*)]
/о h
(^0 Л)‘
Решение £(/) этого уравнения существует и определяет
диффузионный процесс, если, например, коэффициенты a(t, х)
и o(t, х) удовлетворяют следующим условиям: во-первых,
функции a(ft х) и о(/, х) растут не слишком быстро при
х~>оо, так что
|а(/, х)|<С(1-|-л-2)1/’, |а(/, х)|<С(1+х2)'/2.
326
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
и, во-вторых, равномерно по t и х в каждом ограниченном
интервале функции а (Л х) и о(/, х) удовлетворяют усло-
вию Липшица по х, т. е.
|«(*. xj — atf, x2)|<C|xi — х2|,
| о (/, Xi) — о (Л х2) | < С | Xj — х21.
При таких коэффициентах a(t, х) и о (Л х) решение
стохастического интегрального уравнения может быть найдено
методом последовательных приближений. Именно, пусть £0(/)—
произвольный случайный процесс с непрерывными траекто-
риями, приращения £(£)— £($) которого не зависят от при-
ращений л(О — исходного процесса
броуновского движения, такой, что
t
= /М|Ш12^<оо.
А)
Например, в качестве «нулевого приближения» можно взять
постоянную во времени величину £0(/) = £(Z0). Последова-
тельные приближения определяются с помощью стохастиче-
ских интегралов как
t
(О = I (Q + / a [s. 1я-! (S)J +
А)
t
+ J <ф. £Я-1(«)ИШ (П=1,2. ...).
Эта последовательность случайных процессов с вероятно-
стью 1 равномерно по t на каждом ограниченном интервале
сходится к решению £(£), причем среднеквадра-
тичное отклонение £л(/) от £(/) убывает экспоненциально
быстро:
Л
Дискретная модель диффузии. Приближенной дискрет-
ной моделью диффузионного процесса £(/) является сле-
дующая схема случайного блуждания, в котором £(/) означает
положение блуждающей частицы в текущий момент времени t.
11 § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 327
В дискретные моменты времени, кратные А/, частица может
менять свое состояние'таким образом, что при l>(t) = x она
с вероятностью p(t, >) переходит в со-
седнюю точку х-\-кх и с вероятностью [1—х)]—
в точку х — &х, кх ~ a(t, х)У&t, причем этот переход
совершается независимо от поведения частицы до момента t,
Пусть P^(s, В)— переходная функция описанного
случайного блуждания. Формула полной вероятности дает сле-
дующее конечно-разностное уравнение для функции u(s, х) =
= X, t, В):
и ($, х) = р (s, х) и (s + АЛ х + Ах) 4-
+ [1—x)]zz(s4“A/, х — Ах);
при AZ->0 в случае гладко меняющихся a(s, х), a(st х) и
0(5, х) оно переходит в дифференциальное уравнение вида
x) — ~a(s, x)-^-u(s, x)-|o2(s, х) ^-«(s, x).
Пусть — — диффузионный процесс, являющийся ре-
шением стохастического уравнения
t t
U0 = £(0)+ J а И, &(s))dn(s),
0 0
где £(0) не зависит от броуновского движения r](Z), 1;
a(t, х) и о (Л х) непрерывны по совокупности переменных
и удовлетворяют условию Липшица по х. Пусть k =
= 0.....п,—случайные величины, связанные в марковскую
цепь с переходной функцией Pn(s, х, t, В), п=1, 2, ..., и
пуст ь
оо
an(kh, х) = у j (У — х) Рп (АЛ, х, (А 4-1) A, dy),
— ОО
ОО
<тя (АЛ, х) = J j (У — X)2 Рп (kh, х, (А 4- 1) Л, dy),
— ОО
где k — Qt 1, ...» п и h—ljn.
328 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
(2
Предположим, что при п—>оо выпс янены следующие
условия:
ПтаДМ, х) < оо, Птол(АА, х) > О,
п
Л 2 М{|ал(^, Ы|2 +
л=о
+ |М^, U)-<*(**• U)|2} -*о,
МЦл+11Л— п |2+б -* о для некоторого д > О,
sup 2 М {117+1, „ — „ |21 kk, J -* 0 по вероятности.
k j=k
Кроме того, предположим, что распределения вероятностей
случайных величин £0/г слабо сходятся к распределению ве-
роятностей случайной величины £(0). Тогда распределения
вероятностей РЛ = Р„(Л) на борелевских множествах А про-
странства С [0, 1] всех непрерывных на отрезке [0, 1] дей-
ствительных функций х — х (/), отвечающие случайным про-
цессам |л = |л(0 вида
т~\
k~0
где т — \nt\ — целая часть числа nt (если О t < ~ , то
(0 — , слабо сходятся при п->оо к распределению
вероятностей Р = Р (Л), отвечающему случайному диффу-
зионному процессу £ = £(Z).
2. Поведение однородных диффузионных процессов
в граничных точках. Эргодические свойства. Пусть | =
= £(0 — однородный диффузионный процесс на полупрямой
[О, оо), который в окрестности каждой внутренней точки х
замкнутого отрезка [Гр г21 имеет переходную плотность
p(t, х, у), удовлетворяющую обратному уравнению Кол-
могорова'.
WP^LP. L = a(x)-^ + b(x)^,
где коэффициенты а(х) и Ь(х) непрерывны и #(х)>0.
Грубо говоря, в достаточно малой окрестности всякой внут-
21
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
329
ренней точки х случайный процесс £(/) управляется стоха-
стическим дифференциальным уравнением
dl (t) = а (t) ] dt + о (/) ] dx\ (/). 1 о2 (х) = Ь (х).
Граничные экраны. Рассмотрим поведение процесса
непосредственно в окрестности граничной точки г (г есть
либо либо г2). Условие непрерывности траекторий во всем
замкнутом отрезке [гр г2] оставляет лишь три возможности.
Именно, в граничной точке г возможны поглощение {погло-
щающий экран), отражение {отражающий экран) и явле-
ние так называемого эластичного экрана, представляющее
собой комбинацию явлений поглощения и отражения.
Явление поглощения очень просто. Если интерпретиро-
вать £(/) как процесс случайного блуждания некоторой ча-
стицы, то эффект поглощения в точке х = г заключается
в том, что, попадая в точку г, частица остается там навсегда.
Соответствующее граничное условие на переходную плот-
ность p{t. х, у) как решение дифференциального уравнения
~f — Lp выражается следующим образом:
lim Lp {t, х, у) — 0.
x->r
Несколько сложнее явление отражения. Можно ограни-
читься рассмотрением полуоси [г, оо] и дать следующую
геометрическую интерпретацию этого явления. Продолжим
функции а{х) и о(х) на все значения х симметрично отно-
сительно граничной точки г. Полученные таким способом
коэффициенты сноса а(х) и диффузии о{х) определяют не-
который диффузионный процесс f{t) с переходной плот-
ностью p{t, х. у). Процесс £(/) геометрически получается
из £(/) при помощи зеркального отражения относительно гра-
ничной точки г:
| 1(0 при
S()~|2r-i(0 при Ш < г.
Переходная плотность р {t. х. у) процесса с отражением свя-
зана с переходной плотностью р {t, х, у) вспомогательного
процесса £(/) соотношением
p(t> X, y) = p(t, X, У) + pit, 2г — х, у)
330
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
XX др г
и как решение дифференциального уравнения -~ = Ьр удов-
летворяет граничному условию вида
lim 4- p{t, х, у) = 0.
Эластичный экран с точки зрения граничных условий на
переходную плотность р (t, х, у) задается просто линейной
комбинацией условий поглощения и отражения:
Пт [Др (t, х, у) — Z р (t, х, у)] = 0,
где 0 А оо — некоторая постоянная. Если Z = 0 — перед
нами чистое поглощение, если Z = оо — отражение в гра-
ничной точке х — г.
Вероятностную интерпретацию явления эластичного экрана
можно дать, обратившись к приближенной модели диффу-
зионного процесса £ (/) — соответствующим образом построен-
ному дискретному случайному блужданию, когда из точки х
частица через промежуток времени переходит в соседние
с ней точки х ± Ах, Ах ~ о (х)]ЛА/ в положительном на-
правлении с вероятностью р (х)—у и в от'
рицательном направлении с вероятностью 1 — р (х).
Если, попадая в граничную точку г, частица с вероят-
ностью 1 остается там и на следующем шаге — перед нами
явление поглощения; если из состояния г она обязательно
переходит в смежное с ним состояние x = r~j-Ar — перед
нами явление отражения; если же частица по достижении
в момент t граничной точки х — г с вероятностью 1—6
остается в
-'А
а(х)
перед нами
Переходная функция P(t, х, у) описанного случайного
блуждания есть решение конечноразностного уравнения
P(7 4-AZ, У) =
= р (х) Р (/, х + Ах, у) + [ 1 — р (х)] Р (t, х — Ах, у)
с граничными условиями
г, у)=(1— б)Р(/, г, y) + bP(t, г + Аг, у).
ней и на следующем шаге, а с вероятностью
переходит в смежное состояние x = r-\~krt то
эластичный экран.
2]
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
331
При kt —>0 это уравнение переходит в дифференциальное
др ,
уравнение -~- = Lp, а граничные условия — в граничные
условия элластичного экрана с параметром Z для непрерыв-
ного диффузионного процесса.
Возвратные и невозвратные процессы. Пусть £ = £(£)—
диффузионный процесс в открытом интервале (гр г2),
1с, d]—замкнутый отрезок, целиком лежащий внутри
интервала г2), и г[а — момент первого выхода из этого
отрезка. Моментом первого выхода из самого интервала (гр г2),
по определению, считается величина
V Г \ = Г1т Т|
\ 1’ 2/ n->oo I
где тг < . , — последовательность моментов первого выхода
г д’ ап\ '
из расширяющихся замкнутых отрезков dn\, предел кото-
рых составляет все фазовое пространство (гр г2).
Для любой точки х (о(х)>0) существует такая ее
окрестность (с, d), что с вероятностью 1 момент первого
выхода будет конечным; более того, для любого наперед
заданного е можно так выбрать окрестность (<?, d), что
Из самой точки х траектория выходит мгновенно:
Px(V, х]==()}=1>
а также
Рл [Т(с, х] ~ V, d\ — °} — 1
при любых с х и d^ х.
Обозначим буквой т момент выхода из интервала (гр г2)»
т. е. т = т(г гу Диффузионный процесс %(t) называется
регулярным, если
Px[T(r„ d<T}>0’
Px{V r2)<T}>°>
т. е. с положительной вероятностью траектория покидает
любое множество вида (гр с] или [d, г2), выходя через внут-
ренние точки с или d интервала (гр г2). Если это происхо-
дит с вероятностью 1, процесс £(/) называется возвратным.
332 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
Диффузионный процесс будет регулярным, если коэф-
фициент диффузии о(х) не обращается в нуль на интер-
вале (гр г2). Если процесс £(£) возвратный, то с вероят-
ностью 1
= lim g(0 — r2-
Если процесс не возвратный, то с вероятностью 1 суще-
ствует предел
lim £(f) = r,
/->т
где г — граничная точка интервала (гр г2) (г есть либо гр
либо Г2)'
Граничная точка rt называется притягивающей, если
существует положительная вероятность того, что предел г
в этом соотношении есть именно гр в противном случае гра-
ница rt называется отталкивающей. Если процесс £(/) воз-
вратен, то обе границы гх и г2 являются отталкивающими;
для невозвратного процесса £(/) хотя бы одна из граничных
точек fj или г2 является притягивающей.
Характер границы целиком определяется поведением коэф-
фициентов сноса а(х) и диффузии о(х) в ее окрестности.
Именно, граница rt является притягивающей тогда и только
тогда, когда функция
R (х) = ехр
интегрируема в окрестности точки х = гр
ri
J R (х) dx
х0
СЮ.
Это аналитическое условие возникает благодаря следующим
обстоятельствам. Вероятность и (х) = и (х, с, d) попасть
в точку с раньше, чем в d (при начальном положении
|(/0) = х, г2 < с < х < d < г2), представляет собой решение
дифференциального уравнения
Lu — О, L — а (х) # (*)
4 ' дх 1 4 7 дх2
эд § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 333
f граничными значениями п(с)=1, и(сГ) — 0 (см. п. 4 этого
параграфа). Общим решением такого уравнения является
функция
u(x) — Cl j /?(у)«?у4-С2,
где Сг и С2 — произвольные постоянные. Условие, что гра-
ница rt (скажем, г/ = г1) является отталкивающей, означает,
что вероятность w(x, rp d) = lim и(х, с, d) достигнуть гг
с-ьц
раньше, чем d, тождественно равна нулю, а это равносильно
реинтегрируемости функции R(x) в окрестности точки
Граничная точка гх является отталкивающей тогда и только
тогда, когда уравнение Lu = 0 не имеет ограниченных реше-
ний на интервале (г, с) с заданным условием а (с) — uv
Для притягивающей границы гх вероятность и(х, d)
достигнуть гх раньше, чем d, представляет собой положи-
тельное решение указанного дифференциального уравнения
с граничными условиями u(r1)= 1, u(d) = 0.
Пример. Пусть интервал (гр г2) есть вся бесконечная
прямая: гх —— оо, — и пусть коэффициент диффу-
зии равномерно ограничен и положителен: 0 < о<^о(х)<^С,
а коэффициент сноса а(х) отрицателен на положительной
полуоси х>0и положителен на отрицательной полуоси х<С0,
т. е. детерминированное смещение процесса £ (0 всегда
направлено к началу координат:
а(х)><0 при х > О,
а (х) 0 при х < 0.
Тогда диффузионный процесс £ (t) будет возвратным, по-
скольку
ОО
J R(x)dx — J R (х) dx — оо.
— со Хо
Если же коэффициент сноса а(х) имеет тот же знак, что
и состояние х:
а (х) > 0 при х > 0,
а(х) 0 при х < 0,
334 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
12
причем | а (х) | если и убывает, то не слишком быстро:
х0 оо
J R (х) dx < оо и J R (х) dx < сю,
-оо _г0
то обе границы г1 = — ооиг2 = -|-оо будут притягивающими.
Достижимые и недостижимые границы. Притягиваю-
щая граница rt называется достижимой, если имеется поло-
жительная вероятность того, что траектория (со, /) выйдет
именно на границу rt через конечное время, т. е. соответ-
ствующий момент т выхода из интервала (г[> ^2) с положи-
тельной вероятностью будет конечным:
Рх 1 lim £ (/) = rt, т < 00 I > 0.
I /-+Т f
В противном случае граница называется недостижимой.
Если граница rt достижима, то она достижима за конеч-
ное время для почти всех траекторий £(<о, /), выходящих на
границу гр
Рх I lim \ = т < оо I =РХ J lim £(0 = М •
u-*r j u->r J
Граница rt является достижимой тогда и только тогда, когда
функция
х
/?, (х) = Я (х) j b(y)R(y)
Хо
R (х) ~ ехр
интегрируема в окрестности точки х — гр
ri
j Rx (x)dx
оо.
К этому результату можно прийти, обратившись к диффу-
зионному процессу £(/), отличающемуся от исходного про-
цесса тем, что в некоторой точке d > гх поставлен отра-
жающий экран. Граничная точка гх будет достижимой или
недостижимой одновременно для обоих процессов; одним и
тем же будет и дифференциальный оператор А:
L = а (х) + b (х) .
21
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
335
Граничная точка гх является достижимой тогда и только
тогда, когда существует некоторое конечное Т такое, что
для времени т выхода из полуинтервала (Гр d]
inf Рх {т < Г} — {т Г) = р > 0.
г, < х < d
Но тогда
sup Рх (г > Т] < 1 — р, Рх [г > пТ] <
г, < x^d
<Рх{т>(ге-1)Т}(1-р),
так что
sup Рх {т > t\ ^Ce~Di
1\<х ^d
при некоторых положительных постоянных С и D.
Это говорит, в частности, о том, что граница гх достижи-
ма тогда и только тогда, когда для процесса с отражающим
экраном среднее время достижения этой границы конечно:
sup Мхг < оо.
rt < х < d
Но функция zz(x)"Mxr является решением уравнения Lu =
—1 с граничным условием u (fj) = 0, общее решение
которого есть
«(*) = — J Rl(y)dy + C1 J R(y) dy-{-C2
•*3 %3
(см. п. 4 этого параграфа).
Пример. Пусть r = r2 = oo. Если
и, кроме того,
|а(х)| <С,
то граница г2 = оо является недостижимой. Если же коэф-
фициент сноса а(х) возрастает при х->оо достаточно быстро,
скажем,
а(х)>Сх1+б (6 > 0),
то соответствующая функция Rx (х) будет интегрируемой на
полупрямой [х0, оо), и, следовательно, граница г2 будет до-
стижимой.
Пример. Пусть интервал (гр г2) конечен, а(х) = 0
и £(х)>0. Граница г является достижимой тогда и только
тогда, когда коэффициент Ь(х) не слишком сильно вырож-
336 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
12
дается при приближении х к точке г, так что функция
х
(х) = J интегрируема в окрестности этой точки.
В частности, так будет, если b (х)^> > 0.
Эргодические свойства. Пусть £(/) — возвратный диф-
фузионный процесс в открытом интервале (гр г2), т. е.
с вероятностью 1 траектория процесса |(/) выходит из мно-
жества вида (гр г] или [tf, г2) через внутреннюю точку с
или d. Это означает, что обе граничные точки гх и г2
являются отталкивающими.
Условие, что обе границы гх и г2 будут отталкивающими,
можно сформулировать в терминах дифференциального опе-
д д2
ратора £ = 4?(х)-ч—следующим образом: для
интервала (с, d), вместе с граничными точками с и d лежа-
щего в фазовом пространстве E = (rv г2), в открытом мно-
жестве Е \ [с, d] существует лишь единственное ограниченное
решение уравнения Lu = 0 с заданными условиями на гра-
нице u(c)=uv u(d) = u2. На каждом из полуинтервалов
(гр с] и \d, г2) этим решением является постоянная и(х) = их
и и(х)^и2 соответственно.
Диффузионный процесс | мгновенно возвращается
в каждую исходную точку х:
Рх{ inf / = т1Х1Х1) = 1.
t>x[x, X]
ММ
Пусть Tj — момент первого возвращения в точку х после
достижения некоторой точки d, d>x, т2— момент вто-
рого возвращения в точку х после достижения точки d
и т. д. (тл+1 имеет тот же смысл по отношению к тл, что
и момент Tj по отношению к начальному моменту времени
Z = 0). Весь процесс можно разбить на последовательно со-
вершаемые циклы в промежутке времени от хп до тл+Р
n=0, 1, ... (то = О), причем поведение процесса в каждом
промежутке тл<7<тл+1 подчиняется одним и тем же ве-
роятностным закономерностям при всех n = 0, 1, ... и те-
чение процесса при тл<^<^тл+1 не зависит от его пове-
дения до тл и после тл+р
где
(
Фв(*) = {
2] § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 337
Обозначим символом т(В) время, проведенное траекто-
рией процесса £(0 в борелевском множестве В за один
цикл — до момента т возвращения в исходную точку х\
т
о
1 при х £ В,
О при х (£ В.
Если множество В вместе со своей границей целиком
содержится в интервале (гр г2), то
Q°(£) = Мт(В)<со.
Это соотношение определяет о-конечную меру на интервале
(гр г2), которая является инвариантной:
Г2
QO(B)= J Q°(dx)P(t, х, В).
П
Всякая инвариантная мера отличается от Q°(Wx) лишь посто-
янным множителем. С вероятностью 1
т
, J<PB, 1ИИ
1 ->ОО - - XX/
J
о
при О°(В2)>0, т. е. отношение времен пребывания про-
цесса в соответствующих множествах Вг и В2 фазового
пространства на большом промежутке 0 t Т приблизи-
тельно равно отношению мер Q°(B1) и Q°(B2) этих множеств.
Стационарные распределения. Пусть инвариантная
мера конечна. Тогда существует стационарное распреде-
ление вероятностей Р на фазовом пространстве (гр г2):
Г2
Р(В)= j P(dx)P(t, х, В).
22 Ю. В. Прохоров, Ю. А. Розанов
338 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
(2
В этом случае переходная функция P(t, х, В) процесса £(/)
обладает тем свойством, что
х, В) = Р(В)
t -> оо
для любого борелевского множества В и всех х^(гр г2).
Это значит, что по прошествии большого промежутка времени
вероятностные закономерности процесса £(/) носят стацио-
нарный характер. Предельный стационарный процесс £ = £(/)
таков, как если бы в качестве начального распределения веро-
ятностей было бы взято стационарное распределение Р (dx).
Необходимое и достаточное условие существования ко-
нечной инвариантной меры (стационарного распределения Р)
состоит в том, чтобы математическое ожидание времени воз-
вращения в исходную точку х было конечным:
Mr < оо.
Это соотношение выполняется или не выполняется одновре-
менно для всех внутренних точек х интервала (гр г2).
Аналитическое условие существования стационарного рас-
пределения состоит в том, чтобы функция
R^= b(x)R(x) = - J ь (У) * *0
была интегрируемой:
Г 2
j < °0’
Гх
Это аналитическое условие возникает благодаря следующим
обстоятельствам. Функция и (х)' = MxTj, где xd — момент
первого достижения точки d, является решением дифферен-
циального уравнения
д д2
Lu = —\, L = a(x)^ + b(x)^
v 7 дх 1 v дх2
с граничным условием u(d) = 0 (см. п. 4 этого параграфа).
Общее решение такого уравнения имеет вид
и(х) — ~ J R^yjdy + Ci J R(y)dy + С2,
хл хй
u(xt ct d) =
(2 § < ДИФФУЗИОННЫЕ ПРОЦЕССЫ 339
где
х
R (х) = R(x) f .
1 ’ J /> (у) R (у)
•*0
и Ср С2—произвольные постоянные.
Математическое ожидание Мт рассматриваемого времени
возвращения в точку х будет конечным тогда и только
тогда, когда
lim и(х, с, d)M/rd<oo, lim и(х, d, с)М</т6.<оо,
с -> d + r2
где
к(х. с, d)=Px{rc<:xd}
представляет собой вероятность достигнуть точку с раньше,
чем d, и выражается формулой
х d
Я (у) dy I j R(y)dy.
С с
Указанные выше соотношения равносильны интегрируемости
функции /?2(Х)'
Предположим, что имеющееся стационарное распределе-
ние Р задается плотностью р = р (х). Тогда
Р(У) = / Р (x)p(t, х, y)dx.
Если возможно дифференцирование по t и двукратное диф-
ференцирование по х под знаком интеграла, то плотность
стационарного распределения р (х) удовлетворяет следующему
дифференциальному уравнению:
д д2
L*p^—fa[а (х) р(х)1+№[г> р(х)1 = °-
Пример. Пусть фазовое пространство есть вся беско-
нечная прямая {гх — — оо и г2 = -|-оо), а коэффициенты
а(х) и 6(х) имеют следующий вид:
а(х) — a,Q-{-axx, b(x)~bQ-\-blx-]-b2x2,
где aQ, и bQi bv b2 — некоторые постоянные (аг < 0, b2 > 0).
22*
340 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |3
В этом случае существует стационарное распределение ве»
роятностей с плотностью р(х), удовлетворяющей уравнению
р' (*) _ -у —с0
р(х) + + *
где
г __ ~~aQ J ______ ^0 Л __ J __________ ^2
0 а,— 2b2 ’ Uq~ а1—2Ь29 1 al—2b2t а1 — 2Ь2*
Решением его при различных с0 и d0, dx, d2 являются так
называемые плотности распределений Пирсона.
3. Преобразования диффузионных процессов.
Преобразования фазового пространства. Взаимно одно-
значным преобразованием х = ф(х) фазового пространства
марковский процесс £=£ (Z) с переходной функцией Р (5, х, t, В)
может быть преобразован в случайный процесс | | (О»
который также будет марковским процессом с переходной
функцией P(s, х> t, В):
Ш^ф1Ш1> ^(5, х~ /, В) = Р($, х, Л{Ф€Я)).
В однородном случае при помощи такого рода преобра-
зования всегда можно перейти от диффузионного процесса £ (О
с произвольными коэффициентами сноса а(х) и диффузии о(х)
к диффузионному процессу £(/) с соответствующими коэф-
фициентами а и о. Как функции от старой переменной х,
эти коэффициенты имеют вид
а (х) = а (х) ф' + b (х) ф", b (х) — о2 (х),
[о(х)]2=о2(х)[ф'(х)]2.
В частности, выбирая преобразование л; = ф(х) так,
чтобы
имело место равенство
ф' (х) = R (х) = ехр
получаем процесс £(/) с нулевым коэффициентом сноса:
а (х) = 0;
выбирая
ф' (х) = —-1— ,
31
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
Ml
получаем процесс £(0 с единичным коэффициентом диф-
фузии:
о (х) = 1.
Случайная замена времени. Рассмотрим отдельные
траектории £(<о, t) диффузионного процесса £ = |(^), кото-
рый можно интерпретировать как движение некоторой ча-
стицы по одной из случайно выбираемых траекторий - (со, /).
Считая траекторию уже выбранной, изменим скорость дви-
жения частицы по ней, изменив для этого масштаб времени.
Именно, для каждого случая со (для каждой траектории
| (со, t)) введем преобразование времени т = т((о, /) по фор-
муле
dx __ 1
dt — V [/, | ((о, т)] ’
где V = V(t, х) — некоторая положительная функция, и
определим случайный процесс £ = £(/), положив
f(<o, /) = у<о, т(со, /)].
Полученный при помощи такого случайного преобразова-
ния времени процесс £, = £(£) будет марковским. Грубо го-
воря, новый процесс £ = £(Г)отличается от исходного процесса
£=£(£) тем, что, выходя в момент t из какой-либо точки х,
случайно блуждающая частица в последующем бесконечно
малом промежутке Л/ движется в раз быстрее.
Коэффициенты сноса а (Л х) и диффузии а (Л х) нового про-
цесса связаны с соответствующими коэффициентами
исходного диффузионного процесса следующим образом:
а (/, х) =
a(t, х)
о(Л х) —
о (/, х)
Vv(t, х)
Преобразования, связанные с аддитивными функцио-
налами. Пусть £=£(/) — диффузионный процесс с пере-
ходной функцией P(s. xt t. В), и пусть ?l(s, t) есть о-ал-
гебра событий, порожденная событиями вида {|(и)£В),
Р5 х = Ps х (4)—соответствующие условные рас-
пределения вероятностей на ?l(s, оо), М5>Л(-)— отвечающие
им математические ожидания.
342 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |3
Семейство действительных или комплексных случайных
величин ф = ф* (со), зависящих от параметров s^t, опреде-
ляет так называемый аддити&ный функционал от процесса
£=£(/), если каждая из величин ф* — ф* (со) измерима от-
носительно соответствующей а-алгебры 21 (s, t) и при любых
s и t с вероятностью 1
Пусть ф = ф* (<о)— произвольный аддитивный функционал,
для которого при всех $ и t
М51Хехр{—<р'((о)} < оо.
Тогда соотношения
P(s, х, t, В) = J ехр{— ф'(со)} PJ>x(rf<o) (4.2)
{£(06 Я)
определяют семейство обобщенных распределений на бо-
релевских множествах В в фазовом пространстве, удовлетво-
ряющих уравнению Колмогорова—Чепмена:
Р (s, х, /, В)= J Р($, х, и, dy)P(ut у, t, В)
—оо
и /).
Так же, как и переходные функции марковского про-
цесса, «переходные функции» P(s, х, /, В) задают обоб-
щенные распределения Р5 Л. (Л) на о-алгебре 21 (s, оо):
.....ииб5я)} =
= j ... J P(s, х, tv dXy)P(tv xp Z2, dx^ ...
••• P /г-l» Xn-V
Обобщенное распределение P5> x — РЛ x (Л), рассматривае-
мое на а-алгебре событий 21(5, О при конечных $ и/, абсо-
лютно непрерывно относительно исходного распределения
вероятностей Р5> Х==Р^ х(4), причем соответствующая плот-
ность р (со) = будет иметь вид р (<о) = ехр [— ф* (<о)1 •
3J
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
343
Изменения коэффициента сноса. Пусть диф-
фузионный процесс, описываемый стохастическим дифферен-
циальным уравнением Ито:
и пусть ср — ср' (со) — аддитивный функционал вида
= Г 2[u,gW]- a [«;1(un d (а)_
’ J О [и, 5(«)] 14 ’
3
t
_ 1 f ( а [и, l(u)]-a[u, l(u)] 12
2 J I а[и, И“)1 f
5
Тогда преобразование (4.2) задает переходные функции P(s, х,
t, В) диффузионного процесса £ = £(£) с коэффициентом
сноса a(t, х) и тем же самым, что и у исходного процес-
са £ = £(/), коэффициентом диффузии о(/, х). Соответ-
ствующее распределение вероятностей Р5> х — Ps> х (Л) на
о-алгебре Й($, /) будет абсолютно непрерывно относительно
исходного распределения Р^ х = Р^ х (Л), причем плотность
/ \ Рс, х (d(d)
р(о)= phw'имеет вид
р (со) = ехр
а [Ц, I 00] — а[иЛ (и)] ,
a [a, U«)] +
а[^ Нсс)1 —£(")]
100]
2
du
Таким образом, описанным преобразованием распределения
вероятностей диффузионный процесс ^ = ^(0 может быть
преобразован в диффузионный же процесс £ = £(/) с произ-
вольным коэффициентом сноса a (t, х) и тем же самым коэф-
фициентом диффузии о (Л х) = о(/, х). Подобным преобра-
зованием нельзя перейти к процессу £ = £ (/) с коэффициентом
диффузии о (С х), отличающимся от исходного коэффициента
о (/, х). Всякий диффузионный процесс может быть получен
из процесса броуновского движения описанным выше преобра-
344 , гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ (3
зованием распределения вероятностей и последующей случай-
ной заменой времени.
Обрыв процесса. Пусть £ = £(/)— диффузионный процесс
и т = т((о) — момент выхода из некоторого интервала (гр г2)«
Определим аддитивный функционал ср = ф* (со) как
{оо, если />т(<о),
О, если
Соответствующее этому функционалу преобразование (4.2)
удобнее переписать в виде
P(s, X, t. В) — J =
= / Р.,ДЛо).
где
{О, если t > т((о),
1, если
Оно определяет переходные функции нового процесса £ = £(/),
получающегося из £ = £(/) обрывом после момента т. Рас-
пределения вероятностей Р5> х = х (Л) абсолютно непре-
рывны относительно исходного распределения Р5> х = Ps> Х(Д)
на каждой из о-алгебр 91 (s, t), t < оо, и плотность р(®) —
х (^®)
— /j-т- имеет вид
•sx
р(о) = Ф,<х(<<>).
Обрывающийся диффузионный процесс £ = g (t) имеет те же
самые коэффициенты сноса и диффузии:
a (t, x) — a(t, х), о (Л х)
при всех t и х£(гр г2). Переходная функция P(st х. t, В)
такова, что P(st х, t, В)~0 при х(£(гР г2).
Момент обрыва другого типа можно определить следую-
щим образом. Именно, каждая траектория £(со, t) исходного
процесса £ = £(/) такая, что | (со» f) — х, обрывается в следую-
щем за t промежутке времени А/ с вероятностью V (t. х)№ +
о (Л/), где V = V (t, х) > 0 — так называемая плотность
обрыва. Получаемый таким образом случайный процесс |=£(0
31
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
345
обрывается в некоторый случайный момент т. Переходная
функция такого процесса % = %>(/) получается преобразова-
нием типа (4.2) с аддитивным функционалом вида
t
ф'(®) = J l(u)]du-
s
Случайный процесс % = %(t) обрывается в случайный мо-
мент т, который можно определить, обратившись к расширен-
ному пространству элементарных событий Q=QX(““OO« сю),
точками которого являются пары со — (со, Z), где co£Q,
— оо < X < оо. При этом следует положить т (со) = К при
со — (со, Л) и задать условные распределения формулой
Р {т > 111 (jl), S
s
Обрывающийся процесс £ = £(/) на расширенном простран-
стве Q можно определить как
£ (со, t) — I (со, Z) при (0 == (со, Z),
где t < Z. При таком определении
Р(5, х, /, В)=Р5, JHOES, x>t} =
( t
= f exp! — f V [w, % (zz)] du Ps> x (Jco).
fail I -
Пусть
L — a(s, x)-~, b(s, x) = ja2(s, x).
— дифференциальный оператор в обратном уравнении Колмо-
горова для диффузионного процесса | = £ (/). При определен-
ных условиях (см. п. 1 этого параграфа) функция u(s, х) =
= f <Р(У)P(s, х, /, dy) удовлетворяет дифференциальному
уравнению
= + Ш х)^-.
346
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
И
Пусть
u(st х) = J <p(y)P(s, х, t, dy),
где P(s, х, t, В) — переходная функция обрывающегося диф-
фузионного процесса | — £,(/) с плотностью обрыва V=V (/, х).
Для ограниченной и непрерывной в точке (5, х) плотности
обрыва V соответствующая функция и = u(s, х) удовлетво-
ряет дифференциальному равенству
(Й / Ч | А / \ d2u Т7 z ч ~
----— a(s, х)~ч------— V (s, x)ut
ds v 7 дх ' 4 7 дх2 v ’ 7
т. е. соответствующий дифференциальный оператор L для
процесса % = есть L = L — V.
Такую трансформацию дифференциального оператора
можно понять, обратившись к дискретной модели диффузион-
ного процесса £ = | (/) (см. п. 1 этого параграфа). Именно,
если в момент <$ из точки х случайно блуждающая частица
с вероятностью /?($, х)—
a(st х) уд СМещается на
2а (5, х) F
величину Ax~o(s, х)]/kt, с вероятностью 1 — p(s, х)—
— V (s, x)At смещается на величину —Дх, а с вероятностью
V ($, х)А£ исчезает из рассматриваемого фазового простран-
ди
ства, то аналогом дифференциального уравнения----^ = Lu
является конечноразностное соотношение вида
u(s, x)~p(s, х)и($ + Д/, х + Дх)Н~
+ [1—p(s, x)]u(s-\-\t, х — Дх) — V (s, x)u(s, x)kt.
4. Обратное уравнение Колмогорова и распределения
вероятностей некоторых функционалов от диффузионного
процесса. Пусть | = £ (/) — диффузионный процесс в конеч-
ном или бесконечном интервале (гр г2)» переходная плот-
ность р (s, х. t, у) которого удовлетворяет обратному урав-
нению Колмогорова:
х^’
где a(s, х) и b(s, х) непрерывны, b(s, х) > 0. Пусть т —
момент выхода из некоторого интервала (с, d) в фазовом
4j § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 347
пространстве и ф(х)—функция на его границе. Среднее зна-
чение
«($. х) = М5>л.ф[£(т)],
где Мл х (•) — математическое ожидание, соответствующее
условному распределению Р5> удовлетворяет дифферен-
циальному уравнению
с граничными условиями
u(s, с) = ф(е), u(s, d) = <p(d).
При <p(c)=l и ф(б?) = 0 решение u(s, x) = u(s, х, с, d)
совпадает с вероятностью попасть в точку с раньше, чем в d.
Дифференциальное уравнение для u(s, х) возникает из
функционального соотношения
u(s, х) — J u(ty y)P(s, х, t, dy),
где P(s, х, t, В) — переходная функция диффузионного про-
цесса £ = £(/), для которого граничные точки с и d являются
поглощающими (т. е. процесс £ = | (/) останавливается при
выходе из рассматриваемого интервала).
Дифференциальные уравнения для характеристиче-
ских функций. Пусть V (t, х) — действительная или ком-
плексная ограниченная функция. Величина
т
u(s, x)=MSt жехр — ф[£(т)].
где т — момент выхода из интервала (с, d), удовлетворяет
функциональному соотношению
г2
u(s, х) = J u(t, y)P(s, х, Л dy),
в котором P(s, х, t, В) — «переходная функция» вида
t
P(s, х, t, В)— J exp —j V[u, %(u)}du PStX(dai).
348 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [4
При определенных условиях (см. п. 1 этого параграфа)
функция u(s, х) удовлетворяет и дифференциальному урав-
нению
da z ч ди . , , ч д2и лг , ч
—+ x>~d^~V(-s' х>“
с граничными условиями
u(s, а) = ф(с), u(s, b) = q(d).
Если V (t, х) = — х), гдеф(Л х) — действительная
функция, то
A J ф \t> I (01 dt
s
как функция от X, — оо < Z < оо, является характеристиче-
г
ской функцией случайной величины4r=J ф [/, а при
фиксированном % удовлетворяет дифференциальному уравнению
—-^- = a(s, + х)и,
u(st ct Z) = w(y, d, Z)= 1.
Все сказанное выше остается справедливым, когда фигу-
рирующий в выражениях различных функций u(st х) момент
т — не момент выхода из какого-либо интервала, а просто
постоянная величина x = t. В этом случае вместо граничных
условий для функций u(s, х) нужно задать соответствующие
«концевые» значения:
u(t, х) = ф(х).
Точно так же все сказанное выше остается справедливым
и для момента т выхода из интервала (с, tf), граничные точки
которого могут совпадать с граничными точками и г2
фазового пространства, при том условии, что и с и d до-
стижимы.
Дифференциальные уравнения для математических
ожиданий. Пусть
t
V(s, х) = М5, х j ф [и, I (и)] da,
S
51
§ 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ
349
J Ф [Я, £ («)] du,
Где Т — момент выхода из некоторого интервала (ct d) или
некоторая постоянная, Имеет место следующее функ-
циональное соотношение:
Г2 t
v(s, х) = j v(t, y)P(s, X, t,
Г[ 5
где P(s, x, t, B) — переходная функция процесса | (^),
получающегося из исходного диффузионного процесса £ = £(£)
обрывом после момента т. При определенных условиях (функ-
ция ф ограничена и непрерывна) функция v (5, х) имеет
до д2о
ограниченные и непрерывные производные и при-
чем выполняется дифференциальное соотношение
до / ч dv I а / ч д2и , . , ч
___=й(5. х)_+^, Х)__+ф(5> х)
с граничными условиями
v (5, с) = v (s, d) = О
(если т есть момент выхода из интервала (с, d)) или
v(t, х) — О
(если x = t есть постоянная).
5. Многомерные диффузионные процессы.
Многомерным диффузионным процессом обычно назы-
вают непрерывный марковский процесс
ЫО.......МО}.
фазовым пространством которого является n-мерное вектор-
ное пространство Еп и переходная функция P(s, х, t, В) кото-
рого удовлетворяет следующим условиям: для любого е > О
lim f Р (t, х, dy) — Ot
Д/->0 <
1У-х |>е
lim f (yk — xk)P(t,x,t^rM,dy) = ak(t,x),
{k — 1......................и),
J (Ь—xk){y}—
д/'>0 |у-х 1<е j— 1......я).
350 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ р
Вектор a—{ay(t> х), ...» an(t, х)} характеризует локаль-
ный снос процесса £(/)» матрица о2 — (2bkj(t, х)), /, k —
= 1, .... л, характеризует среднеквадратичное отклонение
случайного процесса £ (/) от исходного положения х за малый
промежуток времени от t до
При некоторых-дополнительных ограничениях переходная
плотность р($, х, Л у) диффузионного процесса удовлетво-
ряет обратному и прямому дифференциальным уравне-
ниям Колмогорова',
п п
Х^~дх^~ dxkPdxj '
Л = 1 k, / = 1
п п
у)р!+ 2
к-\ k k,j-l k
Локальное поведение диффузионного процесса £(/) может
быть описано при помощи стохастических дифференциальных
уравнений Ито:
п
dW) = ak[t, Ut)]dt + ^okj[t,
(£ — 1, . .., п),л
где TJi (/), ...» Лл(0—взаимно независимые процессы бро-
уновского движения, а векторы
ау={о1у(Л X), .... Onj(t, х)} (7=1......я)
являются собственными векторами матрицы в2 — (2bkj(t, х)).
Пример. Стационарные гауссовские процессы с ра-
циональными спектральными плотностями. Пусть £0(Z)—
стационарный гауссовский процесс с рациональной спектраль-
ной плотностью /(Х)= |Q(Z)|-2. Многомерный стационарный
процесс £(/) = U* компоненты которого суть ис-
ходный процесс £0(7) и все его производные k =
— \,п—1, является однородным марковским процессом.
Его переходная функция P(t, х, В) при фиксированных t
5j § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 351
и х представляет собой гауссовское распределение вероят-
ностей со средним значением
{п-1 ч
2 с*до } ____
'£«0, п-1
и корреляционной матрицей (Bkj (/)), совпадающей с кор-
реляционной матрицей компонент вектора £ (f)_С(/)£(0),.
где С= — матрица, дающая наилучший прогноз.
Иными словами, разности £Л(/)— 2 С*;(ОЬ(0) ортогональны
;=о
всем значениям £0(s),
Если zv z2....zn — корни многочлена | Q (к) |2, лежа-
щие в верхней полуплоскости 1т<г^0, то в случае, когда
они все различны, элементы матрицы C(f) — (Ckj(t)) могут
быть найдены из следующих систем линейных уравнений:
л-1
2 ] — elZqt (?=1. •••» k — Q.........п~ i).
Локальные коэффициенты сноса указанного многомерного
диффузионного процесса £ = £(/) суть
л-1
= (Л = 0, 1....я—1),
/-0
где коэффициенты с =С'^(0) удовлетворяют системам
линейных уравнений вида
л-1
(?=1.......я; Л = 0.......п-1).
Матрица диффузии о2 (х) = 2 (bkj (х)) рассматриваемого
процесса £ = £(/) вырожденная; лишь последний диагональ-
ный элемент b = bn_lt отличен от нуля:
= *2 ^«-1, л-i (0).
Стохастические дифференциальные уравнения имеют вид
dlk (0 = ak (х) dt (k = 0........n - 2),_____
(0 = (*) dt -I- о di\ (0. a = V„-1 (0).
352 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [5
Соответствующий дифференциальный оператор в обратном
уравнении Колмогорова есть
п-1
dxn_ldxal •
Условные марковские процессы. Пусть — диффу-
зионный процесс, управляемый стохастическим дифференци-
альным уравнением
= + Л (О,
и пусть процесс £2(/) связан с (7) следующим образом:
^2(0 = ^2[€1(0. ЫЪ Л^ + о21[^(0, ЫЛ. *} (0 +
+ а22[^(0, Л
где t)j (/) и т]2(/)—независимые процессы броуновского дви-
жения. В совокупности ^(/) и %2(/) образуют марковский
двумерный процесс {^(7), £2(0Ь
Предположим, что случайный процесс £2(/) по каким-
либо причинам недоступен наблюдениям исследователя и
о его поведении можно судить лишь по наблюдениям над
процессом (/). В качестве характеристики ненаблюдаемого
процесса можно взять условную переходную функцию
P(s, х, t> В, o) = P^2(/)€B|£2(s) = x, *<«<*}
или так называемое апостериорное распределение вероят-
ностей неизвестного значения £2(0 в текущий момент /,
определяемое как
л(5, /, В, (о)= J Ps{dx)P(s, х, Л В. (о),
£
где Ps(dx) — {априорное) распределение вероятностей на-
чального значения £2($). Наибольший интерес представляет
эволюция апостериорного распределения л(<$, Л В, со) с тече-
нием времени t.
Предположим, что условная переходная функция Р($, х,
Л В, со) при каждом со (со — элементарное событие, связан-
ное с поведением наблюдаемого процесса (/)) имеет плот-
ность
/ 4. ч Р (5, х, /, dy, со)
p{s, X, t, у, ©) = —Ь-dy -у
5] § 4. ДИФФУЗИОННЫЕ ПРОЦЕССЫ 353
Основой для изучения эволюции функции p(st X, t, у, (О)
с течением времени t (так же как и для обычной переход-
ной плотности) может служить следующее функциональное
соотношение:
p(s, х, ^ + ^2, у, (о) =
= //>($. х, tt, ур со)р(/р Ур t^t2, у, Ю)б/Ур
В предположении однородности рассматриваемых про-
цессов для апостериорной плотности распределения
«(/. У. «»= / X, I. у, «»
Е
ненаблюдаемой величины £2(/) имеет место следующее сто-
хастическое дифференциальное уравнение:
<w, у)+<4& &}dt~
—-^-{«2(li(O. У) л (Л у)} dt —
— -^{«21 (^1(0. У)Л(^, у)} rfT)l(0-
При фиксированном у условная плотность л(/, у), как слу-
чайная функция от /, вместе с ^(/) образует двумерный
диффузионный процесс, называемый условным марковским
процессом.
Пусть £j(Z) — марковский процесс, принимающий лишь
конечное число состояний, занумерованных от 1 до д, такой,
что плотности перехода XZy(f) из состояния i в состояние J
не зависят от поведения случайного процесса £2(0» управ-
ляемого стохастическим дифференциальным уравнением вида
где т](/)—некоторый процесс броуновского движения, не
зависящий от процесса ^(/). Предположим, что случайный
процесс ^(0 по каким-либо причинам недоступен наблю-
дениям исследователя и о состоянии этого процесса (/) в
момент времени t можно судить лишь по наблюдениям
случайного процесса £2 ($)» $ в совокупности с (/)
образующего двумерный марковский процесс (/), £2(0}•
23 Ю. В. Прохоров, Ю. А. Розанов
354 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [5
Если Ps(k) = P {^(s) = k], k=l, n, — распределе-
ние вероятностей ненаблюдаемого процесса ^(s) в исходный
момент времени то апостериорные вероятности
п
ft-1
0= 1, .... ti)
вместе с наблюдаемым процессом %2(/) в совокупности обра-
зуют так называемый условный марковский процесс, эво-
люция которого с течением времени t описывается следую-
щими стохастическими дифференциальными уравнениями:
4ГлД0 =
л aj[t, лНОМ'.ЫО!
2 а2 [^, Ь (О]
ы
п
(01
+л/0------------------------^(0>
где ak(t, х2) = а(1, k, х2).
Если фиксированы л^)» ...» лл(£) и £2(/), то дальней-
шая эволюция вероятностей .......лл происходит независимо
от течения процессов (5), |2 (s) и лт ($), ..., лл (s) при $ <; t.
Если коэффициенты сноса и диффузии наблюдаемого про-
цесса £2(/) зависят лишь от времени и состояния процесса
^1(O: ak(t> *2) = ak(t) и о(/, х2)'=о(/), то совокупность
апостериорных вероятностей {л^/)....лл(/)} представляет
собой многомерный диффузионный процесс, управляемый ука-
занными стохастическими дифференциальными уравнениями *).
*) См. А. Н. Ширяев, Стохастические уравнения нелинейной
фильтрации скачкообразных марковских процессов, Проблемы пе-
редачи информации, № 3 (1966), 1—22.
1] § 5. ОБЩИЕ МАРКОВСКИЕ ПРОЦЕССЫ И ИХ ХАРАКТЕРИСТИКИ 355
§ 5. Общие марковские процессы и их характеристики
1. Полугруппы, отвечающие переходным функциям,
и их инфинитезимальные операторы. Пусть £(/), />0,—
однородный марковский процесс с переходной функцией
Р(Л х, В) в компактном фазовом пространстве Е со счет-
ной базой. Пусть переходная функция P(t, х, В) является
стохастически непрерывной:
lim Г <р(у)Р(Л х, ^у) = ф(х),
для любой непрерывной ограниченной функции ф(х) на Е,
и, кроме того, выполнено так называемое условие Феллера:
распределения P(t, х, В) в фазовом пространстве Е слабо
сходятся к P(t, х0, В) при х-»х0:
Р(Л х, В)гфР(Л х0, В).
Пусть С (В) — пространство всех непрерывных функций
ф(х) на фазовом пространстве Е с нормой [[ <р || = max|ср (х) |.
Соотношение
7’/ф(х) = J <f>(y)P(t, х, dy)
Е
задает полугруппу линейных преобразований Tt, про-
странства С (Е):
Ts-Tt = Ts+t, Тй = 1.
Условие стохастической непрерывности переходной функции
P(t, х, В) эквивалентно условию непрерывности полугруппы
операторов Tt:
lim 7\ф = 7\ф, ф£С(Е).
S-*t
Для некоторого всюду плотного линейного подпростран-
ства Da (вообще говоря, незамкнутого) существует предел
Лф = Шп^И- (фСОд), (5.1)
/->0 I
который определяет так называемый инфинитезимальный
оператор А полугруппы
23*
L
356 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ J1
Дифференциальные уравнения полугруппы. Предполо-
жим, что инфинитезимальный оператор А является ограни-
ченным и определенным во всем пространстве С (£*), причем
предельное соотношение (5.1) выполняется равномерно по ф,
||ф||<1. Тогда операторная функция Tt дифференцируема
по t (в смысле сходимости по операторной норме) и удовле-
творяет дифференциальному уравнению вида
^=47-,, То = /,
решением которого является операторная функция
В общем случае дифференцируемой является функция Т,ф,
удовлетворяющая следующему дифференциальному уравнению:
= То — 1.
Резольвента. Инфинитезимальный оператор А однозначно
определяет соответствующую полугруппу В частности,
для любого элемента q>£C(E) преобразование Лапласа /?кф
функции Т,ф от /, называемое резольвентой*.
оо
R^=\e~uT^dt (Х>0),
О
принадлежит области определения DA инфинитезимального
оператора А и является единственным решением уравнения
ЦЯхф) —ЖЯ)Л>) = Ч> (*>0).
Полугруппа операторов 7\ однозначно определяет соответ-
ствующее семейство переходных функций P(t, х, В) марков-
ского процесса 1(f).
Какими свойствами должен обладать некоторый линейный
оператор А на всюду плотном линейном подпространстве
DA с; С (£*), чтобы быть инфинитезимальным оператором неко-
торого марковского процесса £(/) в фазовом пространстве f?
В случае компактного фазового пространства Е для этого
необходимы и достаточны следующие условия. Во-первых,
если функция ф(х) из DA достигает своего минимума в не-
которой точке х0, то (Дф) (х0) 0 (принцип минимума)*,
1] § 5. ОБЩИЕ МАРКОВСКИЕ ПРОЦЕССЫ И ИХ ХАРАКТЕРИСТИКИ 357
в частности, Л* 1=0. Во-вторых, уравнение А/ф—Лф = ф
при А > 0 имеет решение ty£C(E) для всех элементов
ф£С(В). Именно, при этих условиях линейный функционал
Т/р(х) от ф (t и х фиксированы) является ограниченным,
положительным и представляется в виде
7>р(х) = / х, dy),
Е
где P(t, х, В) — некоторое распределение, зависящее от t
и х, т. е. некоторая переходная функция.
Сопряженная полугруппа. Обозначим символом Tt полу-
группу сопряженных к Tt операторов, действующих в сопря-
женном пространстве С* (В") элементов, представляющих собой
обобщенные распределения Q = Q (В) на фазовом4 простран-
стве В. Сопряженная полугруппа Tt задается формулой
T*Q(B) = j P(t, х, B)Q(dx),
Е
где В — борелевское множество из Е. Инфинитезимальный
оператор этой полугруппы совпадает с оператором Л*, сопря-
женным к Л. Дифференциальное уравнение для Tt имеет вид
d Т*Q » л *
~^- = л ла, т0=/.
Пример. Пусть £(/), Z^-0,—марковский процесс с
конечным числом состояний (скажем, фазовое пространство Е
состоит из конечного числа точек х — 1...... п). В этом
случае пространство С (Е) есть n-мерное евклидово про-
странство векторов ср — ср(х), х£Е, с координатами ф(х),
х — 1, .... п, в котором операторы Tt задаются соответ-
ствующими матрицами {р/у-(0} переходных вероятностей рас-
сматриваемого процесса:
п
^ф(0 = 2ф(/) Pijit)-
Инфинитезимальный оператор Л определен (для всех ф£С(В))
формулой
п
Лф(0 = Шп
358 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
т. е. А задается матрицей плотностей перехода. Урав-
нение dTt^dt = ATty равносильно обратной системе диф-
ференциальных уравнений
п п п
2 ф р\j V = 2 2 ф
j-1 й=1 /=1
Каждая обобщенная мера Q=Q (В) в фазовом пространстве Е
задается некоторой функцией q — q (х)> х £E:Q (В) = 2 <7 (х)»
х£В
так что фактически сопряженным к С (Е) является п-мерное
евклидово пространство векторов q — q (х) с компонентами
#(х), х=1, п. Сопряженные операторы задаются соот-
ветствующими сопряженными матрицами, так что уравнение
dT*tq]dt = A?T*tq равносильно прямой системе дифференциаль-
ных уравнений
п п п
2 я (о р'ц (0 = 2 2 я tf) ptk (О-
/ = 1 £ = 1 Z = 1
2. Инфинитезимальные операторы, гармонические и
эксцессивные функции. Пусть £(£) — непрерывный справа
марковский процесс в компактном фазовом пространстве Е
со счетной базой, переходная функция Р(Л х, В) которого
стохастически непрерывна и удовлетворяет условию Феллера.
Для инфинитезимального оператора А процесса имеет
место следующая формула:
ЛФ(х)= lim
} V+x
где V означает окрестность точки х, а предельный переход
совершается по системе^ монотонно убывающих окрестно-
стей V, стягивающихся к точке х (т. е. пересечение ука-
занных окрестностей V содержит единственную точку х),
a r = xv—момент выхода процесса £(/) из соответствую-
щего множества V.
Пример. Пусть | (t) — диффузионный процесс в замкну-
том отрезке [гр г2] с коэффициентами сноса а (х) и диффузии
о(х) (а(х) и 6'(х) непрерывны, (х) =-^ о2 (х) > 0^. Для
внутренней точки х выберем интервал V — (x— кх, х + Дх)
так, чтобы с точностью до бесконечно малых высших поряд-
2] § 5. ОБЩИЕ МАРКОВСКИЕ ПРОЦЕССЫ И ИХ ХАРАКТЕРИСТИКИ 359
КОВ М/С—ДЛ Для ЭТОГО нужно ВЗЯТЬ Дх— При
таком выборе Д£ и Дх процесс £(0 с вероятностью р(х) =
= — + выходит из интервала V через точку х + Дх,
а с вероятностью q(x)— 1—р (х)—через точку х — Дх.
Поэтому
|im Ф(х + Ах)р(х)+ф(х~>Лх)^(х)—<р(х) ,
дг-»о
где предел существует и определяет непрерывную в некото-
рой окрестности х функцию Лф(х), тогда и только тогда,
когда ф(х) дважды непрерывно дифференцируема в точке х:
Лф (х) — а (х) ф' (х) Ц- у о2 (х) ф" (х).
В граничной точке х = г из условия непрерывности функ-
ции Лф(х) на всем отрезке [гр г2] имеем
Лф(г) = lim Лф (х).
При этом для разных границ получаем следующие ограни-
чения на функции ф(х) из области определения DA инфини-
тезимального оператора Л:
Лф(г) = 0 в случае поглощения в точке х=г,
ф'(г)=0 в случае отражения в точке х —г.
Общий вид инфинитезимального оператора А регу-
лярного марковского процесса на замкнутом отрезке
[гр г2]. Регулярность процесса £(/) означает, что для любой
внутренней точки х процесс с положительной вероятностью
выходит через эту точку как из интервала (гр х), так и из
интервала (х, г2)-
Пусть [с, d] — какой-либо отрезок фазового пространства,
и пусть zz(x, с, d)—вероятность того, что, выходя из точки х,
с процесс £ (0 раньше попадает в точку с, чем в d.
Существует такая монотонно возрастающая непрерывная
функция zz(x) (единственная с точностью до линейного пре-
образования), что
а(х d с)==
W(.x, а. С)—
для любого отрезка (с, d}.
360
ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
[2
Далее, математическое ожидание d\ времени выхода
из отрезка [г, d] (при начальном положении х) как функция
от х выпукла вниз относительно монотонной функции и(х)
(т. е. после замены переменной х на и = и(х)), а функ-
ция v(x), определяемая как
tf|
du (х)
является монотонно возрастающей (но не обязательно непре-
рывной). Функция v(x) с точностью до постоянного слагае-
мого одна и та же для всех отрезков [с, d].
Определим дифференциальные операторы Du и фор-
мулами
D+<o(x)= lim Ф^ + ^)-ф(х)
л->о u(x-\-h) — и(х) ’
D®(x)= lim
гФ( ’ /,,/,?-»« v <х + Л2) - v (х - Л2)
Оказывается, инфинитезимальный оператор А во всякой вну-
тренней точке х имеет вид
Дф(х) = DvDuq(x).
В точке поглощения х = г инфинитезимальный оператор
имеет вид
Дф(г) = 0.
Если обозначить символом Д/ математическое ожидание вре-
мени выхода процесса из полуинтервала [г, z* + ^x) при
начальном положении х = г, то в граничной точке г, не являю-
щейся точкой поглощения, инфинитезимальный оператор за-
дается формулой
Лф(г)== Пт фе+м-W,.
Область определения DA инфинитезимального оператора
состоит из всех функций ф(х), непрерывных вместе с функ-
циями Дф(х), определенными в каждой точке х с помощью
описанного выше локального оператора Д. Это требование
непрерывности налагает на функции ф(х)^£>л некоторые
условия гладкости и граничные условия при x—rv г2.
2| § 5. ОБЩИЕ МАРКОВСКИЕ ПРОЦЕССЫ И ИХ ХАРАКТЕРИСТИКИ 361
Гармонические функции. Функция и (х) £ С(Е) называется
гармонической для процесса £(Z), если
и(х) = МЛн[£(т)]
для любого постоянного т. Указанное равенство будет авто-
матически выполняться для любого марковского момента т.
Пусть £(/)—процесс с непрерывными траекториями.
Определенная в области G функция и(х) называется гармо-
нической в G, если она непрерывна на G (включая границу)
и и(х) — [£(т)] для всех х £ О. Гармоническая в области
G функция и(х) удовлетворяет уравнению
Au(x) = 0 (x^G). (5.2)
Более того, если процесс £(/), останавливающийся при выходе
на границу области G, удовлетворяет предположениям пункта 1,
то функция и(х) является гармонической в Q тогда и только
тогда, когда она принадлежит области определения DA
инфинитезимального оператора А описанного процесса и
удовлетворяет уравнению (5.2).
Если на границе области G задана некоторая непрерыв-
ная функция ф(х), то формула
а (х) = Мл.<р [£, (т)1
определяет гармоническую в G функцию, совпадающую на
границе с <р(х), и задает тем самым решение уравнения (5.2)
с указанными граничными условиями.
Пример. Пусть процесс £(/) представляет собой много-
мерный диффузионный процесс: | (t) = каждая
компонента которого является броуновским движением с ну-
левым математическим ожиданием и единичным коэффициентом
диффузии, причем эти компоненты взаимно независимы. Тогда
инфинитезимальный оператор А процесса £(/) совпадает
с оператором Лапласа:
и гармонические функции и = и(х) для процесса сов-
падают с обычными гармоническими функциями, являющимися
362 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [1
решением уравнения Лапласа:
Функция и (х) £ С (Е) называется супергармонической для
марковского процесса £(/), если
«(х)<Мх«[£(т)]
для любого постоянного т. Указанное неравенство автомати-
чески выполняется и для любого марковского момента т.
Положительная супергармоническая функция называется экс-
цессивной.
§ 6. Управляемые марковские процессы
1. Управляемые марковские последовательности. Пред-
положим, что изменение положения некоторой системы с те-
чением времени t (t пробегает целые значения) происходит
таким образом, что если в момент t система находится в со-
стоянии £(/)=х, то в следующий момент t-\- 1 она перей-
дет в состояние у (независимо от поведения до момента
времени Z) с вероятностью P(t, х, у, d), зависящей от не-
которого параметра d, который может быть выбран наблю-
дателем. Решение наблюдателя выбрать тот или иной пара-
метр d основывается, вообще говоря, на наблюдении всего
поведения системы до текущего момента Л так что решение d
есть функция от —отрезка наблюдаемого процесса
в промежутке от /0 до t.
Пусть W (t, х) — некоторая функция двух переменных t
и х, представляющая собой выигрыш от «эксплуатации» рас- /
сматриваемой системы за единицу времени от t до /+1 при
условии, что в момент t система находится в состоянии
£(/) = х. Пусть т—некоторый не зависящий от будущего
момент времени (не исключается и т=оо), до которого си-
стема подвергается эксплуатации; удобно считать, что рас-
сматриваемый процесс обрывается после момента т.
Тогда средний суммарный выигрыш определяется выражением
х
п
§ 6. УПРАВЛЯЕМЫЕ МАРКОВСКИЕ ПРОЦЕССЫ
363
Математическое ожидание М У IV [/, £(/)] зависит от ре-
h
Шений d = d (t, принимаемых наблюдателем на каждом
шаге Л и в итоге зависит от принятой стратегии с^0’001—
функции двух «переменных» t и /0. (Принятие наблю-
дателем стратегии ^/о’ °°J означает, что в момент t принимается
решение d{t, zl), если поведение системы до этого момента
описывается траекторией Таким образом,
V = V(rf|Z”001).
Величина
V* = sup У (<?"’“')
jRo, 001
называется ценой — ценой «предприятия по эксплуатации»
рассматриваемой системы. Стратегия называется опти-
мальной, если
у^^^у*.
и г-оптимальной, если
У(^°’°°0> V* —е.
Марковские стратегии. Стратегия d^'001 называется
марковской, если соответствующие решения d(t, £lz°’
в каждый момент времени t принимаются лишь в зависимости
от t и состояния x — каково бы ни было поведение
системы до момента времени t\ d(t, zl) = d [t, £ (Ol-
Какова бы ни была стратегия d^0’001, существует марковская
стратегия d^,QO\ обеспечивающая тот же средний выигрыш:
V(d[tli' °°}) = V(d1'0’ °°]\
Уравнение Веллмана. В дальнейшем рассматриваются
лишь марковские стратегии. Обозначим символом V (/, х, d^'001)
средний выигрыш от эксплуатации системы за промежуток
времени от момента t при условии, что ^(t) — x\
У(/, х, d[t*' °0’) = М I s W[s, !($)] I&(/) = х).
364 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [1
Этот выигрыш определяется марковской стратегией d?" 001
лишь в рассматриваемый промежуток времени [£, оо]:
V(t, X, dilt,oor)=V(t, х, d1'’00').
При этом
V(t, X, dlt’c°l) = '^lP(t, X, у. у, d1<+1’"1).
У
Соответствующая цена
V(t, х) = sup V(t, X,
оо]
удовлетворяет функциональному уравнению Веллмана*.
V(t, x) = W(t, x) + sup2S^(*. х, У> у).
d у
При начальном положении (/0, х0) стратегия d1/0,001 оптимальна
тогда и только тогда, когда она оптимальна в любом про-
межутке времени [/, оо] при любых исходных положе-
ниях (t, х), достижимых из (/0, Xq).
Если для каждого е > 0 существует е-оптимальная стра-
тегия d^,ooi в промежутке времени [Л оо], т. е. при любом х
V(f, X, dlt'°°})^V(f, х) — е
(исходный момент t может зависеть от е), то для каждого
е > 0 существует Е-оптимальная стратегия на всем проме-
жутке [/0, оо]. Если при некотором t существует оптималь-
ная стратегия tf1*’001, причем верхняя грань (sup) в уравнении
Веллмана достигается в некоторой точке d — d (tt х), то
существует оптимальная стратегия d^’001 на всем промежутке
[Zo, оо]. После момента t она совпадает с исходной опти-
мальной стратегией, а при каждом s * соответствующие
оптимальные решения d(s, х) определяются последовательно
одно за другим вместе с ценой V (s, х): d (s, х) есть точка
максимума выражения
х, у, d) V (s -1- 1, у),
у
1] § 6. УПРАВЛЯЕМЫЕ МАРКОВСКИЕ ПРОЦЕССЫ 365
В частности, если момент обрыва x = t не является
случайным и конечен, то любая стратегия будет опти-
мальной; соответствующая цена есть
У (Л х),
и оптимальная стратегия в промежутке времени [/0, t\ может
быть найдена описанным выше способом.
Пример. Задача о наилучшем выборе. Предположим,
что имеется п предметов разного качества, из которых нужно
выбрать по возможности наилучший. Сравнивая один предмет
с другим, всегда можно сказать, который из них лучше, но
процесс выбора осложняется тем обстоятельством, что, об-
следуя поочередно указанные предметы, нельзя возвращаться
к отвергнутым ранее. (Можно представить себе, например,
разборчивую невесту, которая выбирает себе жениха из п
претендентов; отвергнутый жених в дальнейшем не возвра-
щается, а процесс выбора заканчивается, как только невеста
принимает предложение какого-либо очередного претендента
на ее руку.)
Предполагается, что предметы обследуются наугад, так
что в зависимости от случая и удачи при любом правиле
выбора можно остановиться и на самом лучшем, и на самом
худшем предмете. Если уже обследованы и отвергнуты k
первых предметов, то следующий предмет можно сравнить
со всеми предшествующими и на основе этого решить, оста-
новиться ли на этом предмете или отвергнуть его и про-
должать осмотр.
Ограничимся процедурами осмотра следующего типа.
Пусть £ (0) — 1 — первый попадающий на осмотр предмет.
Он либо принимается, либо отвергается. Если он отвергается,
то автоматически отвергаются и все последующие предметы,
которые хуже, чем £(0), и следующее решение принимается
лишь при появлении предмета лучшего, чем £(0). Пусть
£(1) — порядковый номер этого предмета в процессе осмотра.
Предмет с номером £(1) принимается с некоторой вероят-
ностью или отвергается; если он отвергается, то автомати-
чески отвергаются и все последующие предметы, которые
хуже, чем £(1), а следующее решение принимается лишь
при появлении предмета £(2) лучшего, чем £(1), и т. д.
Если выбор останавливается на &-м по счету предмете,
то вероятность W (k) того, что выбранный предмет является
366 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [1
наилучшим из всех, равна k/п (где п— известное заранее
число всех предметов). Если очередной наилучший предмет
появляется после осмотра k предметов, т. е. £(/)=&, то
при решении остановиться на нем дальнейший процесс вы-
бора обрывается; если же в зависимости от £(0), .... £(/—1)
принимается решение продолжать осмотр, то вероятность
того, что следующий наилучший предмет будет /-м по счету
k
(т. е. !(/) = /), есть ууу:
О, если d = принять &-й предмет,
р(£, /, d)= k ,
I* если — продолжать осмотр.
Средний выигрыш при выбранной стратегии яП0’001 есть
“')= М1Г [|(Т)Ь
где £(т)— порядковый номер принимаемого предмета. Момент
обрыва т не превосходит п, так что существует оптимальная
стратегия, при которой средний выигрыш равен цене:
V = max V^0’001).
/),оо1
Обозначим символом V (k) цену при условии, что были
отвергнуты первые k—1 предметов, а очередной &-й пред-
мет оказался наилучшим из всех предшествующих. Если этот
предмет является последним: k = nt то по условию он яв-
ляется наилучшим и естественно принимается:
У(п)^Г(п)=г 1.
Пусть тп— такое число, что при появлении наилучшего
предмета с очередным номером £(/)^тл этот предмет обя-
зательно принимается и процесс выбора заканчивается (такое
число тп п, очевидно, существует). Тогда цена V (k) при
k тп есть
Уравнение Веллмана позволяет определить число тп.
Именно, для k тп
V (k) = max (г (А). 2 p(k,
I /-Л+1 J
11
§ 6. УПРАВЛЯЕМЫЕ МАРКОВСКИЕ ПРОЦЕССЫ
367
где p(k, j)= _• ууу> / > «» и тп есть наименьшее целое
число k, для которого
п
£ p(.k,j)V{j) =
1 I 1 , , 1
т- е- * + л4-1+--- + л — 1<ь
Если выбирать предмет с порядковым номером k < mnt
то средний выигрыш окажется меньше, чем если этот пред-
мет отвергнуть и дальше выбирать по оптимальной стратегии.
Таким образом, оптимальная стратегия выбора наилучшего
предмета заключается в том, что сначала обследуются пер-
вые тп — 1 предметов, а затем принимается первый предмет,
который лучше всех предшествующих. При больших п
число тп приблизительно равно n/З, точнее, lim
л-»оо п е
6? = 2,718 . . .
Оптимальная остановка марковского процесса. На
каждом шаге t принимается одно из двух альтернативных
решений: остановить ли процесс (т==/) или не делать этого.
Случайный момент остановки т является марковским. Цена
определяется формулой
У == sup МГ [£(?)].
х
Если функция выигрыша W(x) является эксцессивной,
то при любом исходном положении х
МхГ[^(т)1<Г(х),
так что процесс нужно останавливать немедленно. В общем
случае нужно рассмотреть эксцессивную мажоранту функ-
ции W (х), т. е. такую эксцессивную функцию U (х), что при
всех х U(x)>W(x)
и U (х) является наименьшей эксцессивной функцией, мажо-
рирующей W (х). Она может быть определена последователь-
ными приближениями как предел
£7(х) = lim TnW(x), TW(x) = max (Г(х), МХГ [|(1)]}.
л->оо
368 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
Пусть U (х) — эксцессивная мажоранта для функции 1Г (х);
остановка процесса в момент т первого достижения множе-
ства Ге={х: U7(x)^Z7(x)— е} является Е-оптимальной
стратегией. В случае, когда фазовое пространство состоит
из конечного числа точек х, существует оптимальная стра-
тегия, заключающаяся в том, что процесс останавливается,
как только функция W [£(/)] станет равной U (/)], т. е.
при достижении множества Го= {х: W(x) = U (х)}. Точка х0
принадлежит Го тогда и только тогда, когда существует не-
которая эксцессивная функция U (х0, х), мажорирующая W (х)
и совпадающая в точке х0 с функцией выигрыша W (х0)
(такая функция U (х0, х) называется барьером *)).
Пример. В рассмотренной выше задаче о наилучшем
выборе соответствующее множество Го состоит из точек тпУ
. .., п и может быть найдено путем отыскания соот-
ветствующих барьеров U (х0, х) ^ими являются функции
U(k, x) = min(4. v)’ k>mn)-
2. Управление по неполным данным. Предположим,
что состояние £(/) рассматриваемой системы по каким-либо
причинам наблюдается лишь частично. Именно, состояние
1(0 = {£j (Z), £2(/)} описывается двумя компонентами ^(/)
и (О’ из которых наблюдается лишь £2(/). Пусть для опре-
деленности возможными значениями ненаблюдаемой компо-
ненты ^ (/) являются целые числа 0, 1, 2, ... и Pkj(t* d)
есть вероятность того, что процесс (/) из состояния k
перейдет в состояние /, если в момент t наблюдатель при-
нимает решение d. Это решение d = d(t, принимается
по наблюдаемым значениям второй компоненты £2 до теку-
щего момента t.
Пусть поведение процесса %2(0 таково, что при условии
(/) = k и £2 (/) = х вероятность перейти в состояние у есть
Pk(t* У» d), причем соответствующий переход совершается
независимо от поведения процесса до момента t. Состояние
ненаблюдаемой компоненты характеризуется апостериорными
вероятностями
лу (0 = 2 лор (0 = J | (Q = k. V/»’ '1} (/ = о, 1. ...
*) См. Е. Б. Дынкин, Управляемые случайные последова-
тельности, Теория вероят. и ее примен., X, 1 (1965), 3—18.
2]
§ 6. УПРАВЛЯЕМЫЕ МАРКОВСКИЕ ПРОЦЕССЫ
369
где л^, k—0, 1.......— распределение начальной величины
£1(/0)- Функция выигрыша W [/, £(Z)] зависит как от наблю-
даемой компоненты £2(/), так и от ненаблюдаемой компо-
ненты (Z); положим
W{t, {£, x\) = Wk(t, х).
Стратегия tZ^0’001 называется марковской, если в каждый
момент времени t принимаемое решение d = d(t, *1) за-
висит лишь от состояния £2(Z) наблюдаемого процесса и
апостериорного распределения л(/)={л1(/), л2(/), •••}*
d = d[t, л(/),
Для любой стратегии tZ1*0’001 существует марковская стра-
тегия °01» обеспечивающая тот же средний выигрыш:
у(^о, оо])= оо])
Уравнение Веллмана. Эволюция апостериорных вероят-
ностей «!</), ^(0» • •• может быть описана следующим
образом:
лл ('+!) =
2 лу (о р} \t, ь (z), i2 (/+о, d} pJk (/, d)
j______________________________
MO, M' + D, d]
j
(k = 0, 1, ...).
Обозначим символом V(t, л, x, tZ^0’001) средний выигрыш
от эксплуатации системы в промежутке времени от момента t
при условии, что л(£)~ л и £2(Z) = x:
V(t, л, X, |(s)J.
Этот выигрыш определяется марковской стратегией d^0'
лишь в рассматриваемом промежутке времени [Z, оо]:
V(Z, л, х, л, х, d[t> °°1);
при этом
У(л л, X, dv> 2 nkWk(t, х) +
k
+ 2 2 pk(t. х, у. d)v(t+1, л’, у, dlt+i> °0').
k у
24 Ю. В. Прохоров, Ю. А. Розанов
370 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ [2
где
2^(4 х, у, d)Pjk (Z, d)
rf = nk(t+\)=-} ----------- (* = 0, 1, ...).
Л, ^Jpj (<. х, у, d)
j
Соответствующая цена
V (tt л, х) = sup V (t, л, х, d^'
001
удовлетворяет уравнению Беллмаяа\
V(t, л, х)=2лЛ(^ х) +
k
+ 8ир2лл х> У> л*, у).
d k у
Так же, как и в случае управления системой £(/) по непо-
средственным наблюдениям ее поведения, в рассматриваемом
случае управления по наблюдениям над процессом £2(0 опти-
мальные и е-оптимальные марковские стратегии на всем про-
межутке времени [£0, оо] могут быть'построены из оптималь-
ных или е-оптимальных стратегий d?' 001 на промежутке [/, оо].
Именно, если 001, s < t, — оптимальная стратегия и
V(s-|- 1, л*, у) — соответствующая цена для любого распреде-
ления л* и положения у, то оптимальное решение d=d(st л, х)
на шаге s есть точка максимума выражения
5 2 Pk(s, X, у, d) V($+ 1, л», у).
ь у
В случае, когда момент обрыва т есть постоянная,
т = Т < оо, то все стратегии d^' 001 после момента Т являются
оптимальными. Соответствующая цена V (t, л, х) есть
V(t, л, х) =
0
х)
k
при
t>T,
при t = T.
Пример. Задача о двух шипах оружия. Предположим,
что имеется некоторая цель, на поражение которой дано п
снарядов, причем имеется два орудия (с номерами 0 и 1),
одно из которых лучше другого; точнее, вероятность попа-
дания для одного из них есть Р, а для другого р, р
2] § 6. УПРАВЛЯЕМЫЕ МАРКОВСКИЕ ПРОЦЕССЫ 371
и неизвестно, какое именно орудие лучше. Обозначим
неизвестное качество орудия с номером 1. Условно считается,
что — случайная величина, принимающая одно из двух
значений, скажем 0, если вероятность попадания есть р, и 1,
если вероятность попадания есть Р.
Исход (0 очередного выстрела с номером t является
случайным; с соответствующей вероятностью р или Р %2(/) = 0
(промах), а с вероятностью 1 — р или 1 —Р £2(0= 1 (попа-
дание). За результатами стрельбы ведется наблюдение, так что
к моменту выстрела с номером t известны результаты всех
предшествующих выстрелов £2G)» • ••» £г(^—О» т- е- СЛУ"
чайная последовательность %2(/) является наблюдаемой. Ве-
роятность попадания на каждом шаге зависит от выбирае-
мого орудия d и от его качества (от состояния ^). Положим
Рк{Х, d) = P{|2(O = x| &! = £}•
Имеем:
Ро(О, 0)=1—Р, Ро(О, 1)=1-р,
р0(1, о) = Р, Ро(1, П-Р,
Р^О, 0)=1—р, Pj(0, 1)=1—Р,
Л(1, о) = р, ^(1, 1)=р.
Нужно так выбирать орудие d на каждом шаге (основываясь
при этом на результатах наблюдения за стрельбой), чтобы
среднее число попаданий было максимальным. Такая стратегия
является оптимальной по отношению к функции выигрыша W(x)
вида
0 при х = 0 (промах),
1 при х = 1 (попадание).
W (х) —
Пусть л = {л^, nJ — апостериорные вероятности того, что
орудие с номером 1 имеет соответствующее качество 0 или 1,
и V (t, л, х) — цена стрельбы в промежутке от t до п выстре-
лов при условии, что выстрел с номером t дал результат х.
Очевидно,
У(п, л, х) = Г(х),
V (п— 1, л, х) == W (x)-f- max ^P0(l, й?) + я1Р1(1, </)}•
d
24'
372 ГЛ. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |3
так что оптимальное решение при последнем оставшемся сна-
ряде заключается в том, чтобы стрелять из орудия, которое
с наибольшей апостериорной вероятностью имеет лучшее
качество: d — 0, если л0^>лр и d—\, если л0<^лР
Уравнение Веллмана
{1 ч
2 1, л*. У)}
позволяет последовательно найти оптимальное решение на
каждом шаге t. Именно, всегда нужно выбирать то орудие,
которое с наибольшей апостериорной вероятностью имеет
лучшее качество: d(t, л) = 0 при л^О^л^О и d(tt л)=1
при Ло (0 Л! (t).
3. Управляемые диффузионные процессы. Пусть
| = — марковский диффузионный процесс, управляемый
стохастическим дифференциальным уравнением вида
где коэффициенты сноса a(t, х, и) и диффузии о (Л х, и)
зависят от управляющего параметра u = u(t, •), скажем,
принимающего числовые или векторные значения. Управле-
ние и^’ 001 называется марковским, если при каждом t соот-
ветствующий управляющий параметр u(t, •) зависит лишь от t
и наблюдаемого состояния х — I (/):
u(t, • ) = u(t, х).
При определенных ограничениях на управляющую функцию
и = и (t, х) от двух переменных t, х и на коэффициенты
a(d, х, и), b(t, х, и) решение указанного стохастического
дифференциального уравнения существует и единственно.
Пусть средний выигрыш от эксплуатации системы, состоя-
ние которой в момент t есть £(Z), задается как
1Т
j W{t, Ut)\dt-YW0[x, |(r)]v,
где W(tt х) и 1Г0(/, х)— некоторые функции выигрыша,
т — определенный марковский случайный момент. (Удобно
считать, что после т процесс обрывается.)
§ 6. УПРАВЛЯЕМЫЕ МАРКОВСКИЕ ПРОЦЕССЫ 373
Цена «предприятия по эксплуатации системы £» после
момента времени t определяется , как
V (t, х) — sup М6 х
/ Г[5> |(S)1^ + IFO[T, |(т)] .
Управление zz^’ °°J называется оптимальным после t, если
соответствующий выигрыш
У(/, х,
Г 1
j £(s)] ^4- UZ0[T, ^(T)l
равен цене V (/, х). Управление и^*г001 после момента /0
является оптимальным тогда и только тогда, когда для вся-
кого t tQ соответствующее управление и^’ °°J оптимально
(с теми же управляющими параметрами и [s, £,(<$)], что и
у исходного управления zz|Z°’ °°1).
Предположим, что имеется оптимальное управление и^Т' 001
после некоторого момента Т т. Дискретной моделью диф-
фузионного процесса £(/), является управляемое
случайное блуждание, при котором частица за каждый шаг
длительности из соответствующей точки х переходит
/2 ч 1 . a (t, хт и) /--г-?
с вероятностью p(tt х, — V в смежную
точку х-\-кх, а с вероятностью q(t, х, zz) — 1 — p(t, x, zz) —
в точку x —Ax, где Ах=о(/, x, zz)]/rA/; вероятности пере-
хода p и q зависят, кроме всего прочего, и от управляю-
щего параметра zz. Для такой дискретной модели средний
выигрыш нужно определить как
{Г-1
2 Г[5, g,($)]A^ + 1Z[7\
t
Цена от эксплуатации'’ дискретной модели в промежутке
времени от t до Т удовлетворяет уравнению Веллмана:
V*(/, x~)=W (t, x)Af-|-sup[p(/, х, u)V (Z-4-А/, х-\-&х)-\-
x, и)У(t-|-А/, x—Ax)]t
V*(T, x) = V(T, x).
374 гл. V. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ , [3
Когда А/->0, уравнение Веллмана в пределе запишется как
дУ* __
dt ~
г дУ* 1 п д2У*1
= sup^(/, X, + (^’ х- a)-^2~j + W. *)>
У* (Г, х) = У(7\ х).
Если это уравнение имеет единственное достаточно гладкое
решение У*(/, х), то это решение и будет ценой: V*(tt х) =
~V(t, х). Более того, если существует функция uQ — uQ(t, х),
которая допустима в качестве управления рассматриваемой
системы и такая, что
дУ . 1 2 г, ,, д2У
a\t, х, u0(t, х)]—4-^-а2 И. х, u0(t, x)J-^ =
Г ,, ч dV . 1 ... .
= sup|a(Z, x, x,
то эта функция uQ=uQ(tt x) и будет давать оптимальное
управление *).
*) См. W. Н. Fleming, The Cauchy problem for degenerate
parabolic equations, J. Math, and Meeh., 13, 6(1964), 987—1008.
Г Л А В A VI
СТАЦИОНАРНЫЕ ПРОЦЕССЫ
§ 1. Спектральная теория гармонизуемых процессов
1. Линейные преобразования.
Спектральное представление- Стационарный действи-
тельный или комплексный случайный процесс
рассматриваемый как функция параметра t со значениями
в гильбертовом пространстве Z?(Q) всех действительных или
комплексных случайных величин л = Л (<*>)» М | т| |2 < оо (со
скалярным произведением (т]р т]2) = может быть
представлен в виде
^(/)= |еШф(йХ). (1.1)
В правой части (1.1) интегрирование ведется в пределах
—для дискретного параметра /, пробегающего все
целые значения, и в пределах — оо < Z < оо для непрерыв-
ного tt пробегающего все действительные значения; функция
Ф = Ф(А)— спектральная стохастическая мера (обоб-
щенная ортогональная мера со значениями в L2(Q)):
МФ(А1)Ф(ДГ) = 0
для любых непересекающихся Aj и А2, определенных на о-
алгебре измеримых множеств (по отношению к спектральной
мере F = Г (А); см. § 2.1 гл. III).
Спектральная мера и ковариационная функция
376
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
[1
связаны между собой соотношением
B(t)= J eiUF(dK)
(—оо < t < оо),
при этом Г(Д) = М | Ф(Д) |2.
Пусть Н(Т) — замкнутая линейная оболочка значений
в гильбертовом пространстве I? (Q) и l3T — гильбертово
пространство всех функций ф = ф(Х) со скалярным произве-
дением (фр ф2)=| ф! (X) ф2 (X) F (tfX)—замыкание всех функ-
ций вида
ф(*) = 2 ckelU* (tx.........tn£T),
ы
где ср сп — действительные (или комплексные) коэф-
фициенты.
Всякий элемент h£H(T) допускает спектральное представ-
ление вида
Л = | ф(Х)Ф(^Х),
где ф —ф(Х)— некоторый элемент пространства и для
любого ф £ l3r стохастический интеграл h = j* ф (X) Ф (tfX)
определяет некоторый элемент h£H(Т). При этом
м [ j <Pj(Х)Ф(йХ) / <р2(1) Ф(^)] = J Ф1 (%) <P2(X) Р(<Ы),
т. е, пространства Н (Т) и Дг изометричны. Функция ф=ф(Х)
называется спектральной характеристикой соответствую-
щего элемента h£H(T).
Формулы обращения. Пусть
при
при
при
1
2
О
Фд W =
X или 1 = 12,
X Xj или X Х2»
Для любого интервала Д = (ХР Х2) такого, что
F(X1) = F(%2) = 0.
1] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 377
функция фд(Х), как элемент пространства 1?г разлагается в ряд
1 1 VI p—ik2t___
= S .
когда параметр t меняется дискретно. Если же t меняется
непрерывно, то фд (Л) представима в виде интеграла
со
1 f _Л—
= J ---------~t-------e dt-
— co
В соответствии с этим величина Ф(Л)= J фд(Х)Ф(^Х) пред-
ставима в виде
1 1 Vi ___p—^it
1>(M=ir(’-2->-i)M0)+^r S ---------------------W>
t^Q
(для дискретного t) и
оо
1 Г _ р—ikit
ф<4’ = ^- J ^-=77----------W"*1
— ОО
(для непрерывного /).
Пусть
{1 при Л — Zo,
0 при X =£ ^0.
Функция ф? (X), как элемент пространства 1?г есть предел
10 Г-1
фЛ°(А,)= lim у-У}
т'>со
когда параметр t меняется дискретно, и
т
ф (X) = lim — f dtt
К° Г->оо Т J
когда t меняется непрерывно. В соответствии с этим вели-
чина Ф: V -= J ф/о(Х)Ф(й?Х) представима в виде
Г-1
Ф(М= lim -^гУ
378
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
11
для дискретного t и
т
Ф(ХО)= lim 4- f
r-х» T J
для непрерывного t.
Аналитическое представление процессов с ограничен-
ным спектром. Пусть £=£(/) — стационарный процесс
с непрерывным временем tt имеющий ограниченный спектр,
т. е. спектральная мера F — F (А) целиком сосредоточена на
некотором ограниченном интервале (—Wt Wy F(—W, 1Г)===
— F{—оо, оо). В качестве элемента пространства Lt функ-
цйя <р(%) = гш может быть представлена как
оо
В соответствии с этим процесс £(Z) = J eiKtQ(dL) предста-
— оо
вим в виде
Линейные преобразования. Линейным преобразованием
стационарного процесса £ = £(£) называется преобразование
вида
4(0= / ешф(Х)Ф(</А,),
где функция А^-оо, со) называется спектральной харак-
теристикой данного линейного преобразования, задающего
определенный выше стационарный в широком смысле процесс
т] = т] (/) со спектральной мерой
О(Д)=/ |q>(%)|2F(dX).
д
Если исходный стационарный процесс £ = £(/) имеет спек-
тральйую плотность / = f (X), т. е. если его спектральная
1] § f. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 379
мера /?=/?(Д) абсолютно непрерывна и /7(А) = J /(Х)^Х,
д
то соответствующий процесс rj = rj (/) имеет спектральную
плотность
g (X) = I <р (X) |2 f (X).
Как всякий стационарный в широком смысле процесс, т| = rj (t)
допускает спектральное представление
r|(/) — p^W(dX),
где стохастическая спектральная мера W связана с соответству-
ющей стохастической спектральной мерой Ф следующим
образом:
Чг(А)= | <р(Х)Ф(</Х).
д
В свою очередь стационарный процесс — может быть
получен «обратным» линейным преобразованием
1(0 = / ешф(Х)Т(</Х)
тогда и только тогда,' когда спектральная характеристика
ф = ф(Х) отлична от нуля для почти всех X относительно
спектральной меры F. Спектральная характеристика ф = ф(Х)
«обратного» линейного преобразования задается формулой
Пример. Дифференцирование. Пусть £=£(/) — ста-
ционарный процесс с непрерывным временем Л такой, что
его спектральная мера F удовлетворяет условию
J X2F(tfX) < оо.
— оо
Тогда определено линейное преобразование со спектральной
характеристикой
ф (Z) = /X.
380 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ |1
Соответствующий стационарный процесс т| = т] (/) представ-
ляет собой производную исходного процесса | | (?):
t] (О = J (dA,) = (О
— ОО
(имеется в виду дифференцирование £ = £(/) как функции
со значениями в гильбертовом пространстве Л2(й)— диф-
ференцирование в среднем квадратичном).
Как первообразная от интегрируемой на каждом конеч-
ном интервале функции (/), случайный процесс £ = £(/)
имеет вид
t
*0
где £'($), интегрируется, как функция со значе-
ниями в Л2(й) '(в частности, при каждом фиксированном t
указанное равенство выполняется с вероятностью 1). Случай-
ный процесс V — является стохастически непрерывным,
и, не ограничивая общности, его можно считать измеримым;
при сепарабельности дифференцируемого в среднем квадра-
тичном случайного процесса £=£(£) он будет непрерыв-
ным с вероятностью 1, и почти все его траектории будут
иметь вид
t
I (®, 0 = I (со, t0) Ч- J (®, s) ds.
‘о
Пример. Интегрирование. Пусть £ = £(/) — стацио-
нарный процесс, спектральная мера которого удовлетворяет
условию
оо
| -p-F(d%)<oo.
— ОО
Тогда определено линейное преобразование со спектральной
характеристикой
1] §1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 381
задающее дифференцируемый в среднем квадратичном ста-
ционарный процесс
оо
П(0 = [ е1К‘ -4- Ф(^)
J л
— оо
такой, что
Пример. Скользящее суммирование. Пусть ф=ф(Х)—
преобразование Фурье некоторой интегрируемой функ-
ции с (t):
<p(Z)= J е~с (t) dt.
—oo
Тогда определено линейное преобразование со спектральной
характеристикой ф = cp(Z). Соответствующий стационарный
процесс Л —Л(0 представляет собой следующее:
П(0 = J ^Чр(Х)Ф(<П)= J c(t — s)Us)ds.
— ОО —оо
Физически осуществимые линейные преобразования.
Линейное преобразование со спектральной характеристикой
ф = ф(Х) называется физически осуществимым, если ф при-
надлежит пространству Грубо говоря, физическая
осуществимость линейного преобразования означает, что зна-
чения процесса т](0 = J гшф(Х)Ф(^А) в данный момент
времени t формируются по значениям £($) исходного про-
цесса в моменты времени s t.
Пример. Пусть с — с (t) — некоторая функция, обращаю-
щаяся в нуль при отрицательных Z: с (0 — 0 при t < 0, и пусть
оо
2 | с(0| < °о (для дискретного 0,
о
оо
J |c(0|ctf<oo (для непрерывного 0.
о
382 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ (2
Тогда линейное преобразование с соответствующей спект-
ральной характеристикой
оо
= (О (в дискретном случае),
о
оо
ф(Х)— J e~iU с (t)dt (в непрерывном случае)
о
будет физически осуществимым. Стационарный процесс
П(0= / гш<р(Ь)Ф(^)
имеет вид
t
Л (О— 2С(^— $)£($) (Для дискретного /),
— оо
t
Л (О— J c(t— ds (для непрерывного /).
— оо
2. Регулярные стационарные процессы.
Процесс «белого шума». Простейшим по своей струк-
туре стационарным процессом с дискретным временем
является процесс £ = £(/) с некоррелированными значе*
ниями-.
МС(/) = О, М|С(0|2=1,
МС(Ш('2) = 0 (^2).
- В случае непрерывного времени t аналогом такого процесса
является так называемый «белый шум» — обобщенный ста-
ционарный процесс Q вида
{и, £)= J «(/)Ц<И)
(параметр и = и (t) есть бесконечно дифференцируемая функ-
ция; см. § 2.1 гл. III, а также п. 6 этого параграфа),
где стохастическая мера £ = £(А) такова, что
МС(А) — О, М | С (А) |2 — t — $ при Д = ($, /),
МС(А!)ЦД2) = о
для любых непересекающихся Aj и А2.
2| § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 383
Регулярность. Стационарный процесс £ = £ (О» Щ (0 — О»
называется линейно-регулярным, если
(—оо, /)== О,
где Н (5, t) — замкнутая линейная оболочка в пространстве
L2(Q) значений £(ы), Стационарный процесс
= со спектральной мерой F является линейно-регу-
лярным тогда и только тогда, когда F = F (А) абсолютно
непрерывна: /7(А)= J а спектральная плотность
д
f = f(К) удовлетворяет условию
л
J log f (Л) d'K > — оо
-Л
ОО
—оо
(для дискретного f),
(для непрерывного /).
Стационарный процесс £ = £(/) линейно-регулярен тогда и
только тогда, когда он получается некоторым физически
осуществимым линейным преобразованием из процесса —
с некоррелированными значениями — в случае дискретного t:
t оо
|(O=Sc(/-s)£(s). 2|с(0|2<оо,
—оо О
и из процесса £ = {а, С) «белого шума» — в случае непре-
рывного t:
t оо
^(0= —S)C(rfs), J|c(0|2^<OO
—оо О
(ср. § 2.1 гл. III).
Спектральная характеристика ф = ф(Х) указанного ли-
нейного преобразования в случае дискретного времени t
имеет вид
<р(Х) = 2 e~iKtc(t)
о
384
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
12
и является граничным значением аналитической в единичном
оо
круге | z | < 1 функции у (z) = 2 zt с (t)’> граничное значе-
о
ние выражается формулой ф(Х) == уВ случае непре-
рывного t спектральная характеристика ср = <р (Z) имеет вид
оо
ф (Z) = J e~iKt c(t)dt
о
и является граничным значением аналитической в нижней
оо
полуплоскости Im z < 0 функции у(г)~ J e~izt c(t)dt, при-
0
чем ф(Л) = у(Х). Спектральная плотность f (Z) стационарного
процесса £(/) имеет вид
s Соответствующий процесс С = СЮ или соответствующая
стохастическая мера £ = £(Д) с некоррелированными значе-
ниями могут быть получены при помощи «обратного преоб-
разования»
л
СЮ — У (Для дискретного /),
-л
£(Л)= У у eiKtdt ф-1 (%)Ф(^%) (для непрерывного /).
—оо |_А
Среди всех функций ф = ф(^) указанного вида сущест-
вует единственная (с точностью до постоянного множителя)
функция Фо — ФоЮ, которая является граничным значением
максимальной аналитической функции у0 = у0(г):
I Yo(*) | > | Y(*)|
для каждой аналитической функции у (г), удовлетворяющей
тому же граничному условию | у (г) | =/ (Z), что и функ-
ция Уо (z). Этой и только этой функции Фо(Х) отвечает фи-
зически осуществимое линейное преобразование» спектраль*
2] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 385
ная характеристика ф"1^) которого принадлежит классу
^_оо,0|(О- Соответствующие процесс £ = £(/) или £=(«, £)
и стохастическая мера £=£(Д) называются фундаменталь-
ными для стационарного процесса £ = £(/).
/Максимальная аналитическая функция y = может
быть следующим образом выражена через спектральную
плотность f — f (X) процесса | £ (0:
y(z)= ]/2л exp
л
-Л
(в случае дискретного /) и
у(г)= ]/ лехр
2^- J log/W-5^
1 + Л2
(в случае непрерывного /).
Процессы с рациональными спектральными плотно-
стями. Важный класс образуют стационарные процессы
с рациональными спектральными плотностями. Пусть
fm=^‘
2j ake
— неотрицательная и интегрируемая на отрезке —л<^А,<^л
рациональная функция от причем числитель и знаме-
натель не имеют общих множителей. Лежащие на границе
единичного круга нули полинома от е~1\ стоящего в числи-
теле, обязательно имеют четную кратность; полином же
от e~iKt стоящий в знаменателе, не имеет ни одного такого
нуля.
Функция /(X) всегда может быть представлена в следую-
щем виде:
JW~ 2л | Q(e"a)|2 ’
где полином
т
P(z)= %akzk = am(z — Pi)... (z — pm)
A* = 1
25 Ю. В. Прохоров, Ю. А. Розанов
L
386 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [2
имеет нули, лежащие 'вне единичного круга или на его гра-
нице, а полином
п
Q(z)~ ^f>kzk = (z — qi')...(z—qn)
имеет нули, лежащие вне единичного круга.
Функция
»<2>=W' =
является максимальной аналитической в единичном круге
|z|<l функцией, и стационарный процесс £(/) со спект-
ральной плотностью f (Z) (время t меняется дискретно)
получается из фундаментального процесса с некоррелиро-
ванными значениями линейным преобразованием со спект-
ральной характеристикой cp(Z)== Связь процессов
£ = £(/) и £ = £(/) может быть выражена следующим об-
разом:
п т
^W-k)=^akUt-k).
Л=0 k—0
Пусть
. X ck^k
2idk^
— неотрицательная и интегрируемая на действительной пря-
мой — оо < К < оо рациональная функция от %, причем
числитель и знаменатель не имеют общих множителей. Ле-
жащие на действительной прямой нули полинома, стоящего
в числителе, обязательно имеют четную кратность; поли-
ном же в знаменателе не имеет ни одного такого нуля. Функ-
ция /(X) всегда может быть представлена в следующем виде:
1 |/>(Х)|2
2л J Q (Л) Р
где полином
т
P{z)= ^lakzk = am{z — pi)...{z — pm)
Л-1
2j § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 387
имеет нули, лежащие в верхней полуплоскости или на дей-
ствительной прямой, а полином
п
Q(Z)= '£it>kZ>l = (z — q1)...(Z—qJ
А = 1
имеет нули, лежащие в верхней полуплоскости.
Функция
является максимальной аналитической в нижней полуплоско-
сти Imz<0 функцией, и стационарный процесс %(t) со
спектральной плотностью /(Л) (время t меняется непрерывно)
получается из фундаментального процесса £ — (и, £) «белого
шума» линейным преобразованием со спектральной харак-
теристикой (p(Z) = y(A>). Связь обобщенных процессов
£ = £) й £) может быть выражена следующим
образом:
п т
Л = 0 /?=0
Полная регулярность. Рассмотрим линейно-регулярный
стационарный процесс £=£.(Z), М£(0 = 0, удовлетворяю-
щий условию полной линейной регулярности’. при t—s->vQ
r(t — s)= sup МЛ^-^О,
где sup берется по всем —оо, s) и Л2£/7(Л оо),
МЛ1=МЙ2= 1.
Остановимся на случае дискретного времени t. Если ста-
ционарный процесс £=£(/) удовлетворяет указанному усло-
вию, то его спектральная плотность / = /(Х) представима
в виде
/(1)=|P(1)|W).
где Р — Р(к)— тригонометрический полином, а функция
g = g (А.) не имеет нулей; точнее, при каждом Ао
lim . ;а . г = со.
Л -> л01 °® । 11
25*
388
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
При этом первообразная G = O(X) функции g обладает тем
свойством, что при /г—>0
+ 2<7 (Л) + <7 (X — р)
(о(Л) — sup sup-—> -ТЛа ।—? ----—->о.
Если спектральная плотность / — f (X) стационарного
процесса | = £(0 представима в указанном виде, причем
оо
2[®(2-*)р<оо,
# = 1
то стационарный процесс £ = £(£) удовлетворяет условию
полной линейной регулярности. При этом соотношение
где п—целое положительное число и 0<а< 1, имеет ме-
сто тогда и только тогда, когда соответствующая функ-
ция £(Х) имеет n-ю производную удовлетворяющую
условию Гёльдера с показателем а: при /г—>0
sup | + —йг(л)(^)| = О {Аа}.
Соотношение
г (t — $) = О (с > 0)
выполняется тогда и только тогда, когда спектральная плот-
ность /(X) аналитически продолжается в полосу—с < 1шХ<с
комплексной плоскости переменной X. В частности, этим
свойством обладают стационарные процессы с рациональными
спектральными плотностями.
В случае непрерывного времени t имеют место анало-
гичные результаты. В частности, пусть спектральная плот-
ность / = f(K) представима в виде
/(%)=! P(i)|2g(x),
где Р — Р (X) — аналитическая функция экспоненциального
Т , оо
типа: Р(Х)= J a(t)eiUdtt j \a(t)\2dt a g = g(K)
обладает следующими свойствами: J
co, и
—oo
3] 5 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 389
функция log g (Z) имеет n-ю производную, удовлетворяющую
условию Гёльдера с показателем а. Тогда*)
г «у —S) = O {(Y —s)-"-0}.
3. Линейное прогнозирование стационарных процессов.
Задача о прогнозе. Пусть нас интересует значение не-
которой величины г], М | Л |2 < оо, а известными являются
лишь значения стационарного процесса £=£(/) в моменты
времени t из некоторого множества Т. Иными словами, нас
интересует прогноз величины л по значениям £(/), t£T.
Прогноз л = Л 1^(0* является функционалом от
значений £(/), t£T. В случае, когда величина л есть эле-
мент подпространства И (Т) — элемент замкнутой линейной
оболочки величин £(£), t £ 7,— прогноз называется линей-
ным. Линейный прогноз л называется наилучшим, если
г2 — М|л — л|2= inf М|л — ^|2-
ЛОТ) ,
Геометрически задача о наилучшем линейном прогнозе
представляет собой следующее. Имеется некоторый элемент л
гильбертова пространства A2(Q) и подпространство Н(Т).
Требуется опустить перпендикуляр на это подпростран-
ство из точки л- Основание перпендикуляра и будет наилуч-
шим линейным прогнозом для величины л*
При решении задачи о прогнозе естественно считать
известными корреляционные связи величины л с «наблюдае-
мыми» величинами £(£), t£T, т. е. функцию М[л£(О] от
/ £ 7, а также корреляционную функцию В= В (t) или спек-
тральную меру F — F самого стационарного процесса
£ = £ (0- По этим данным нужно найти спектральную харак-
теристику cp(Z) величины
n == J ф(1)ф(сг%),
*) См. И. А. Ибрагимов, Об условиях сильного пере-
мешивания для стационарных гауссовских процессов, Докл. АН
СССР, 161, 1 (1965), 33 — 36.
390 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [3
дающей йаилучший линейный прогноз (здесь Ф = Ф(А) —
спектральная стохастическая мера стационарного процесса
Основание перпендикуляра, опущенного из точки т] на
подпространство Н (Т), однозначно определяется двумя усло-
виями! во-первых, ч]£Н(Т), и, во-вторых, разность т) — т|
Ортогональна всем величинам % (£), t£T. Это равносильно
тому, что спектральная характеристика <p(Z) величины т]
принадлежит пространству LT и удовлетворяет интегральному
уравнению
j е-'• (X) F {d’K) = М hl (01 € Т).
Решение этого уравнения всегда существует и единственно
в классе Ar(F).
Пример. Пусть множество Т конечно. Тогда спектраль-
ная характеристика ф = ф(Х) является функцией вида
ф(^)= ^a(t)eiU,
t£T
и интегральное уравнение сводится к системе линейных урав-
нений относительно неизвестных коэффициентов a(t)t t £Ti
2a(S)B(S-o=M[Ti-i(o] aen
где B = B(t)— корреляционная функция процесса £ = £(/).
Линейная экстраполяция. Наиболее важной является
задача о прогнозе процесса £ = £(/) в будущее. Скажем,
известны все значения g (s) до момента t (т. е. s t) и
требуется дать наилучший прогноз неизвестных значений
£(/4“Т), т > 0. Исходя из такой задачи, естественно выде-
лить класс процессов, для которых возможен безошибочный
линейный прогноз: при любом т > 0
£(/ + т) = ^ + т).
Такие процессы называются линейно-сингулярными. Усло-
вие сингулярности равносильно тому, что при всех t
Н [—оо, — оо, оо].
3J § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 391
Пример. Сингулярным является всякий процесс с огра-
ниченным спектром:
w
КО = J е1иФ (dX) (ТГ < оо)
-W
(время t меняется непрерывно). Такой процесс |(/) является
аналитическим, так что при любом t
оо
1(О = 2тг1(я)(4>)(*-4)Л
0
Пример. Сингулярным является всякий стационарный
процесс с дискретным спектром:
ко=2*шФ(Х).
АСА
где суммирование идет по некоторому конечному или счет*
ному множеству А точек % — точек спектра процесса £(0-
С вероятностью 1 каждая его траектория является почти
периодической функцией и по своим значениям на времен-
ной полуоси может быть целиком восстановлена.
Для того чтобы стационарный процесс £ = £(/) со спек-
тральной мерой F 'был линейно-сингулярным, необходимо и
достаточно, чтобы
(здесь при F(t/X)/dX = 0 считается, что log[Г(гА)ДА]===—оо).
В частности, сингулярными являются все стационарные про-
цессы, для которых плотность Ftdty/dk обращается в нуль
на некотором множестве положительной лебеговой меры.
Всякий стационарный процесс £(/) может быть разложен
в сумму некоррелированных стационарных процессов — регу-
лярного процесса %r(t) и сингулярного процесса каждый
из которых может быть получен из | (/) физически осуществи-
мым линейным преобразованием:
М|Д/1)^(0) = ° при всех и t2.
392 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [3
Если в этом разложении присутствуют обе компоненты
£г=Чг(О и L = то спектральная мера Fr = Fr(A)
регулярной части есть FT (Л) = J — ^). dK а спектральная
д
мера Fs—Fs{&) совпадает с сингулярной частью меры
F — F (Л). Более того, если Л — «носитель» этой сингуляр-
ной части Fs-. F5(A) = Fs{—оо» оо), то при Fr(A) = 0
1г (0 = J еш[1-Фд (%)]Ф(<П).
U0= J ешФд(Х)Ф(йХ),
где
( 1 при Х£Д,
фд (М I q При д
Задача о прогнозе любого стационарного процесса £ = £ (О
сводится к задаче о прогнозе его регулярной части (0:
Общая формула экстраполяции {дискретный случай).
Пусть £ = £(/) — линейно-регулярный стационарный процесс
С дискретным временем, и пусть £==£(£) — отвечающий ему
фундаментальный процесс с некоррелированными значениями:
—оо
Фундаментальный процесс обладает тем свойством, что при
любом t замкнутая линейная оболочка значений £(5),
совпадает с соответствующей оболочкой Н{—оо, t) значе-
ний £($), так что наилучший прогноз для
есть
t
f (^т) = 2 С (t 4- Т — S) £ (s).
— ОО
а среднеквадратичная ошибка этого прогноза может быть
выражена следующим образом:
е2=МГ5(М т)-1(* + т)|2=2 |c(s)|2.
3] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 393
Стационарный процесс £=£(/-|-т), —сю < t <"оо,
являющийся наилучшим прогнозом процесса £ = £(/) на т
«шагов» вперед, может быть получен физически осуществи-
мым линейным преобразованием со спектральной характери-
стикой
<р(Х, х) — е'ал
ф(Х) — e~tKs Ф“ЧМ»
f(f + r)= J т)Ф(^Х),
где ф(Х) = у(е~А)—граничное значение максимальной ана-.
литической в единичном круге функции у (г) = jg с (О **
о
с граничным условием |уО~а)|2 — /(X),/—спектральная
плотность стационарного процесса £ = £(/), Ф—его спектраль-
ная стохастическая мера.
Пример. Пусть стационарный процесс £ = имеет
корреляционную функцию
В(/) = а2^-аМ! (а>0).
Его спектральная плотность /(X) есть
так что
Ф(Х, т) =seiU = Рт-
Таким образом, наилучший линейный прогноз для £(^-|- Q
дается формулой
|(/ + т)= T)O(rfX) = ₽^(0.
394 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [3
Пример. Пусть стационарный процесс £ (t) имеет спек-
тральную плотность вида
/(Х)==^ ’ |Q(^a)|2 ’
п
где полином Q(^)=^bkzk не имеет нулей внутри единич-
о
ного круга. Тогда
оо
Т-1
1 — Q{e~i}) S cke~iKk
о
п-1
О
Таким образом, наилучший линейный прогноз дается фор-
мулой
л п-1
^+т)= т)Ф(йХ)=2^а-л).
-Л О
В случае стационарного процесса со спектральной плот-
ностью, рациональной относительно е~1\ спектральная харак-
теристика ф(Х, т) наилучшего прогноза на т шагов вперед
является также рациональной функцией от
Общая формула экстраполяции {непрерывный случай).
Пусть £ = £(/) — линейно-регулярный стационарный процесс
с непрерывным временем и £ = £(Д)— отвечающая ему фун-
даментальная стохастическая мера:
t
1(0 = / C(t-s)^ds).
— 00
Фундаментальная стохастическая мера обладает тем свой-
ством, что при любом t замкнутая линейная оболочка зна-
чений £(Д) для интервалов Дс(—оо, /] совпадает с замк-
3J § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 395
нутой линейной оболочкой Н(—оо, t) значений £($),
так что наилучший прогноз для есть
t
^4-т)= f c(^4-T-s)C(rf5),
— оо
а «среднеквадратичная ошибка» этого прогноза может быть
выражена следующим образом:
т
е2=М|^+т)-^4-т)|2=
О
При фиксированном т наилучший линейный прогноз
£ —£(?4“т) стационарного процесса £ = £(/) является ста-
ционарным процессом, который может быть получен физи-
чески осуществимым линейным преобразованием со спектраль-
ной характеристикой
<р(Х, x) = eilx
ф(Х)—J e~iKsc (s)ds дгЦХ).
о
Такой прогноз выражается формулой
оо
((^ + т)= J т)Ф(<Д),
— ОО
где ф(Х) = у(Х)— граничное значение максимальной анали-
со
тической в нижней полуплоскости функции у (г) = J e~iztc (t) dt
о
с граничным условием | у (А.) |2 = —?—/(А).
Пример. Пусть стационарный процесс £(/) имеет кор-
реляционную функцию
В(/) = о2^-«1Л (а > 0).
Его спектральная плотность /(X) есть
f (}. \_________________°2 а2
л ‘ |а-НЛ|2 ’
396
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
[3
так что
оо
<р (Z) = о ]/2а -у/X = о ]Л2а J е-ше-ал
о
ф(Х, т) = еат е-пле-т dt
1
u -j— /Л
г~ат.
Таким образом, наилучший линейный прогноз для ^(^4~т)
дается формулой
•> оо
((/-|-т)= j ег«ф(%, т)Ф(Л) = е-°^(/).
— ОО
Формула экстраполяции процессов с рациональными
спектральными плотностями. В случае стационарного
процесса со спектральной плотностью, рациональной отно-
сительно
/(М =
1 I р (X) |2
2л |Q(Z)|2 ’
спектральная характеристика <p(Z, т) наилучшего прогноза
на время т вперед является также рациональной функцией,
аналитической в нижней полуплоскости:
Ф(^. х) = р (X.)
где степень v меньше степени п полинома Q(Z). Неопреде-
ленные коэффициенты xk могут быть найдены из условия
аналитичности в верхней полуплоскости функции
ф(*. т) =--------------------/(*)•
3] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 397
Если — нули полинома Q(z), каждый кратности
то коэффициенты xk удовлетворяют системе линейных урав-
нений . *
dm
dXm
— О,
где /п = 0, 1, tij и 2nj = n-
Пример. Пусть стационарный процесс £(/) имеет спек-
тральную плотность /(Z) вида
f ~ 2л ‘ | Q (Л) |2 '
где полином Q(z) = ^bkzk не имеет нулей в нижней полу-
плоскости. Тогда спектральная характеристика ф(Х, т) есть
просто полином
ф(Х, т)=2-МЛ
где коэффициенты xk определяются из линейной системы
уравнений вида
dm
d\m
eiKx—
= 0
(здесь qj — корни полинома Q(z) соответствующей крат-
ности Пу, /и = 0, .... tij\ = Таким образом, фор-
мула наилучшего прогноза для £(^ + т) имеет вид
|(/ + т)= т)ф(^) = ^(-1)‘х*£<*>(/).
Стационарно связанные процессы. Стационарные про-
цессы £ = £ (0 и т] = т] (0 называются стационарно свя* *
занными, если их взаимная корреляционная функция
0 = М£($)т](0 не зависит от начала отсчета вре-
мени:
398
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
13
Если Ф^ = Ф^(Д) и ФЧ = ФТ)(Д) — случайные спектраль-
ные - меры стационарно связанных процессов | (0 и
Т) = Т)(/), то
МФ^ДО Ф#^=0
для любых непересекающихся интервалов и Д2, и
Рц(Д) = МФ£(Д)Фл(Д)
есть обобщенная ограниченная мера на борелевских множе-
ствах Д, называемая взаимной спектральной мерой про-
цессов £ = £(£) и т] = т](t). Она связана со взаимной кор-
реляционной функцией следующим образом:
Если обобщенная мера F%n абсолютно непрерывна, то
производная /^(Z) = —— называется взаимной спек-
тральной плотностью процессов £ = £(/) и Л = г1(0-
Линейная фильтрация. Пусть £ = £(/) и т| = г| (/)—
стационарно связанные процессы, из которых £ = £(/)
является «наблюдаемым». Требуется по значениям £($),
дать наилучший линейный прогноз л(^ + т) неизвест-
ных' значений Л(^ + т) (т здесь может быть как положи-
тельным, так и отрицательным). Наилучший линейный про-
гноз т] = y|(Z-|-t), —оо < t < сю, является стационарным
процессом, который может быть получен физически осуще-
ствимым линейным преобразованием:
т) т) = | £ш<р(Х, т)Ф^(^).
Остановимся на случае дискретного времени t и линейно-
регулярного стационарного процесса £ = £(/). Спектральная
характеристика (p(Z, т) может быть выражена следующим
образом:
где
л
-Л
3] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 399
<р(Х) = у (е~1К) — граничное значение максимальной аналитик
ческой функции, удовлетворяющей граничному условий
| у |2 = fn (X); здесь fn (Z) — спектральная плот-
ность процесса £ = £(f), Д|(Х) — взаимная спектральная
плотность процессов т] = г](/) и £ = £(/).
Пример. Пусть стационарные процессы £ (/) и т] (/)
таковы, что
f гь—"2 |1—ай~а|2 , . be~iK(l—ae~iK)
П-р.-'Ч1' At< )~—'
где а > 0, р < 1. Тогда
za4 1—ае~1^
ф (Л) — а----тг-,
1 1—ae~tK
ф (Z) —--------------— =
2л fn (X) а 1—aelK
= ~ —а£~а + (1—а2)^а*г*и ।
L л=о
так что коэффициенты а (А) в формуле для спектральной
характеристики <р (X, т) суть
а(0) = |(1-а2), а(1) = -^, а(2) = а(3) = ... =0.
Наилучший линейный прогноз при т = 0 следует дать как
я (Л 0) == 4- I* eiU (1 —«2 ——Ре~,х) ф =
-л
= -^ (1-а2ШО-(а3 + ₽(1-а2))^-1) +
ОО
+ а(р —а) —А) .
Л=2
400
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
13
' Пусть время t меняется непрерывно. Тогда спектральная
характеристика (p(Z, т) может быть выражена следующим
образом:
<Р(Х, т) =
' оо
.о
где
оо
«(0 = ^-
— оо
и <₽(*) = Y(X) — граничное значение максимальной аналити-
ческой в нижней полуплоскости функции у = у(^), удовле-
творяющей граничному условию IY (Л) I2 = f (X).
П £ /14 1 |/э(Л)|2
Пусть спектральные плотности (л) — • ’[q и
рациональны относительно X. В этом случае спек-
тральная характеристика ф(Х, т) также рациональна относи-
тельно 1 и может быть представлена в виде
ф ________ Q W . _______2__________
Р{М (X —г1} ... (Л —гЛ) ’
где гр .... гп — полюсы взаимной спектральной плотности
Д|(Х), лежащие в верхней полуплоскости, а степень v по-
линома в числителе меньше, чем число п указанных полюсов,
считаемых столько раз, какова их кратность. Коэффициенты
хг....xv могут быть найдены из условий аналитичности
функции
ф(1, т) = е^(Х)-$(Х, т)/п(Х)
в верхней полуплоскости. Условия эти состоят в том, что
выражение
V
(*) К* - G) ... (X - гя)] - -^g- (X) 2 хкМ
k=0
должно обращаться в нуль вместе со своими производными
до порядка tij— 1 включительно в каждой точке X, ImZ>0,
являющейся полюсом порядка функции
3] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 401
Пример. Пусть стационарные процессы и т)(0
таковы, что
/и (М =
а2 (V + а2)
2л(Л2 + ₽2) (V + y2)
f W дг _|_ у2 *
где а, 0, y > 0- Тогда соответствующие полиномы Р(К)
и Q (А) выражаются формулами
Р (X) = а (А — /а), Q (А) = (А — /0) (А, — 1у),
так что спектральная характеристика ф(А, т) имеет вид
ф(1,-т) = х-=—
где коэффициент х определяется условием аналитичности
функции ф (А, т). Это условие в данном случае выражается
равенством
Таким образом,
b
2iy
ia (У + «)
(V + ₽) 2v
e-vr ₽±Y . —ill ф (dx) =
a-pY A — raj '
а е а4-у
00 j e-as^y— sjrfs л
О
Линейная интерполяция. Рассмотрим * задачу о наилуч-
шем линейном прогнозе неизвестных значений £(0 стацио-
нарного процесса на отрезке Tj t т2 по всем остальным
его значениям £ (0, соответствующим t < Tj или t > т2. При
решении этой задачи, не ограничивая общности, можно счи-
тать, что ?! = — т и т2 = т, а сам процесс £ = £(/) имеет
спектральную плотность f = f (А).
С точки зрения задачи линейной интерполяции естественно
выделить класс безошибочно интерполируемых процессов,
т. е. таких процессов, что наилучший линейный прогноз
для неизвестных значений £(0, —совпадает с
при любых т. Геометрически условие безошибочной интер-
поляции стационарного процесса £ = £(/) выглядит следую-
щим образом: при любом т
Н(Т) = Н(— оо, оо),
26 ю. в. Прохоров, Ю. А. Розанов
402 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ (3
где Т = (—оо,—r)U(t, оо) и Н(Т) означает замкнутую
линейную оболочку значений £(/), t£T. Это равносильно
следующему аналитическому условию:
f I р WI2
J ЛЬ) rfX = o°
для любого тригонометрического полинома Р (X) = ^akeilk
k
(в случае дискретного t) и для любой аналитической функции
т
экспоненциального типа Р(Х) = J a(t)eiU dt (в случае не-
-г
прерывного причем Р(Х)=^=0.
Остановимся на случае дискретного времени t. Назовем
число Хо нулем порядка k для функции f (X), если
f |Х — Хор-1 f | Л —Ло I* .
J /(Х) rfX==o°’ J -ущ-
-Jt -л
Стационарный процесс ^(t) не является безошибочно интер-
полируемым тогда и только тогда, когда его спектральная
плотность f (X) обладает лишь конечным числом нулей, при-
чем каждый из них имеет определенный конечный порядок*
Пусть для такого процесса £(/) нули его спектральной плот-
ности суть Хр .Хл, и пусть Ху имеет порядок kj. По-
ложим
п
Р^ = И^-е^,
7 = 1
где
г 6; 4-11
—2— —целая часть числа (&у+1)/2.
Тригонометрический полином Р0(Х) обладает тем свой-
ством, что
f IA.(Х)Р
J “ХТ"^00’
-л
причем всякий тригонометрический полином Р(Х), обладаю-
щий этим свойством, делится на Р0(Х):
Р(Х) = Р0(%)2аЛ^.
k
3] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 403
Значения £(/), —т<7<т, допускают безошибочную
линейную интерполяцию (при данном т) тогда и только
п
тогда, когда 2т<^/п, где — степень минималь-
ного тригонометрического полинома P0(Z).
Пусть 2т >/и. Наилучший линейный прогноз £(/)
для величины £ (/) представляет собой основание перпенди*
куляра, опущенного из |(/) на подпространство Н(Т), где
Т — (— оо, т) (J (т, оо), и может быть представлен в спек*
тральном виде:
л
((0 = / Ф(Х)Ф(<Д),
-л
причем спектральная характеристика ф(Х) выражается фор*
мулой
2t-m
ф(Х,) = е‘^ — W. V
Jr (Л)
Л = 0
Неопределенные коэффициенты А = 0, . ,м 2т — /и, мо-
гут быть найдены из системы линейных уравнений вида
2т~от | 0 при j =£ t + т,
*-о Х*ак-1 ~I 1 при / = ^4-т.
где / = 0, .,., 2т — m и
ак~ 2л
f РМм
J /w e dK
Пример. Пусть спектральная плотность f — / (Л) не
имеет нулей (в указанном выше смысле) и т = 0. Наилучший
прогноз величины ЦО) по остальным значениям Ц/), £=#0,
может быть представлен в виде
£(0)=
2л
7W
dp,
77ю
O(dX)j
26*
404
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
|3
при этом средняя квадратичная ошибка прогноза выражается
формулой л
е = (М | £(0) -|(0)Р)1/2 = 2л ( [-7^-) .
\ «/ J /
\-л /
Интегральное уравнение задачи линейного прогнози-
рования. Рассмотрим интегральное уравнение, возникающее
в задачах о наилучшем линейном прогнозе:
где F = F (А) — некоторая ограниченная мера, A — A(t) —
некоторая заданная функция на множестве 7, <р = ф(Х) — не-
известная функция из пространства Лр. Это уравнение имеет
решение (и притом единственное) тогда и только тогда, когда
2 /7(Л)>0,
inf J ckeiU
‘^Т
где inf берется по всем с1, с2, ... таким, что
(здесь исключен тривиальный случай Д(/) = 0, для которого
<р (X) = 0 является единственным решением в Z,r(F)).
Остановимся на одном методе отыскания решения ср(Х)
в случае, когда соответствующий процесс £, = £(£) является
действительным, а его спектральная плотность /(X) ра-
циональна. Пусть время t меняется непрерывно и множество Т
представляет собой интервал Т = (—т, 0). Будем предпола-
гать, что спектральная плотность f — /(X) нигде на действи-
тельной оси не обращается в нуль. Такая спектральная плот-
ность может быть представлена в виде
f — । Р <а) I2
7 I Q (/X)|2 ’
Q(z)=2^‘
k~0
представляют собой полиномы с действительными коэффи-
циентами. Все нули этих полиномов лежат в левой полу-
плоскости.
т
P{z)= 5 akzk.
где
3] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 405
Если ф = ф(Х) — искомое решение, то функция
оо
— оо
определенная при всех действительных /, является решением
дифференциального уравнения с постоянными коэффициентами
причем граничные условия выражаются равенствами
xW(~'r+°)==o>
I к (й = 0, 1......m— 1).
q(^)x(»(-0) =0
При этом
oo
— OO
так что искомое решение ф=^ф(Л) является преобразованием
Фурье от обобщенной функции у (t) = Q Q (— х (/)
(в качестве «обобщенных компонент» она содержит лишь
d-функции и их производные в концевых точках интервала
(-т, 0)).
Решение ф = ф(Л) может быть выписано в явном виде:
п - т — 1 0
<p(A,) = 4>-Ur £ J eiUc(t)dt,
ft—0 -Т
где
п
< = 2 ’+°>]
J = m + k + l
п
/«zn + fc + 1
f
Sin(M)®2(^)»
406 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [4
Аналогичный метод применим и в случае дискретного
времени t.
4. Физическая интерпретация спектрального представ-
ления. Пусть £ = £(/) — действительный стационарный про-
цесс. Спектральное представление (1.1) можно переписать
в действительной форме, используя тот факт, что спектраль-
ная стохастическая мера Ф = Ф(А) действительного стацио-
нарного процесса удовлетворяет условию
Ф(— А) = Ф(А),
где — Л есть множество точек вида — К, К £ А. Именно,
cos(V) Oj (dX)4- J
где интегрирование ведется в пределах 0 л (для дис-
кретного t) или в пределах 0 % < оо (для непрерывного /),
Ф1 = Ф1(А) и Ф2 = Ф2(А)— действительные стохастические
меры такие, что
(А) = 2 Re Ф (А), Ф2 (А) — — 2 Im Ф (А),
(А')Ф2(А") = 0
при любых Az и А".
Формула (1.1) дает разложение стационарного процесса
в «непрерывную» сумму гармонических колебаний вида
Ф(<Гк)еш с соответствующими частотами X, амплитудами
|Ф(</Х)| и фазами arg<b(X) (амплитуды и фазы являются
случайными). Спектральная мера F = F (А) задает распреде-
ление суммарной энергии стационарного процесса £ = £(£)
по его отдельным составляющим Ф(^Х)гш: средняя энергия,
приходящаяся на гармонические составляющие с частотами X
в интервале А, с точностью до постоянного множителя равна
соответствующему значению F (А).
Линейные преобразования. Спектральная характеристика
<р = ф(Х) линейного преобразования стационарного процесса
тесно связана с так называемой передаточной функцией
ф = ф(р) соответствующего линейного устройства, при по-
мощи которого осуществляется данное преобразование.
Именно, если на вход линейного устройства с передаточной
функцией ф = ф (/?) подать стационарный процесс £ = £(£)
4] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 407
(рис. 26), то — после установления стационарного режцма
— на выходе будет стационарный процесс т| = т] (/)
оо
вида т](/) = J гшф(Х) Ф(б/Х), где спектральная характери-
— оо
стика ф(Х) есть
<р(%) = ф(гХ).
Регулярность. Реально встречающиеся стационарные про*
цессы, как правило, возникают в результате некоторого слу-
чайного стационарного возму-
щения £ = £(£) типа «белого
шума». Процесс £ = £(/) под-
вергается некоторому физически
осуществимому линейному пре- рИс. 26.
образованию, часто совершенно
скрытому от глаз исследователя, имеющего дело лишь с ко-
нечным результатом такого преобразования — стационарным
процессом £ = £ (/)• Спектральная плотность f = f (X) такого
процесса в диапазоне спектра (— л X л для целочислен-
ного времени, и — оо < X < оо для непрерывного времени t)
не может обращаться тождественно в нуль ни на каком
интервале: в противном случае стационарный процесс £(/)
будет сингулярным, т. е. может быть целиком восстановлен
по значениям лишь на временной полуоси (—со, tf0) до ка-
кого-либо момента £0. Этот факт часто кажется парадоксаль-
ным. Широко распространенные в технике и других областях
процессы, спектр которых практически сосредоточен в не-
которой полосе частот — W < X < W, отнюдь не обладают
свойствами сингулярных процессов. С энергетической точки
зрения указанные процессы действительно имеют ограничен-
ный спектр — настолько мала энергия составляющих эти про-
цессы элементарных гармонических колебаний вида Ф(е/Х)еш
с частотами X вне интервала (— W, W), — но эти колебания
существенным образом проявляют себя при рассмотрении
вопроса о линейном прогнозе значений £(£ + ?) по значе-
ниям £($) на временной полуоси
Фильтрация и сглаживание. При рассмотрении вопро-
сов о линейном прогнозе, фильтрации и др. в реальной об-
становке часто приходится принимать во внимание один важ-
ный фактор, а именно: используемые при решении той или
408
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
И
иной задачи линейные устройства должны иметь вполне опре-
деленную постоянную времени Т (она называется еще вре-
менем переходных процессов). Строго говоря, это значит,
что весовая функция h = h (t) рассматриваемого линейного
устройства, связанная с соответствующей передаточной функ-
цией ф = ф(р) равенством
ф(р) = J e~pth(t)dtt
о
должна удовлетворять требованию
Z? (/) == 0 при t >Т.
к
Остановимся на задаче линейной фильтрации, когда на
входе имеется процесс £ = £(£) вида
где = т| (/) условно назовем «полезным сигналом», а неза-
висимый от т] — т|(/) случайный процесс £ = £(/) — «шумом».
Нужно так подобрать линейное устройство (с постоянной
времени Г), чтобы процесс на выходе £ = £(£) был по воз-
можности близок к входному «полезному сигналу» т] = т](/),
точнее, чтобы в стационарном режиме работы
М||(0 — n(012—niin
(предполагается, что т]==т](/) — стационарный случайный про-
цесс). Отвечающее поставленным требованиям линейное уст-
ройство должно иметь такую передаточную функцию ф =
= ф(р), чтобы соответствующая спектральная характеристи-
ка ср (X) = ф (ZZ) являлась решением интегрального уравнения
оо
J eiMq> (X) fa (X) dX = (/) (- T < t < 0),
— OO
где /^(X) = /^(X)-}- /^(X)— спектральная плотность вход-
ного процесса £(/), а Влл(0 — корреляционная функция
«полезного сигнала» т](0-
5] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 409
Пусть «полезный сигнал» т](/) имеет вид
т п
bktk.
/М fe=0
В стационарном режиме работы всякое линейное устройство
с передаточной функцией ф(р) будет преобразовывать вход-
ную функцию т](0 в функцию т](/) такого же типа:
т п
л (0 = Zj akel(*kt + 2
£=0 ' ьо
где
= М (^) (k = О, ..., т),
п
h = 2 (-1/ тттДмг ь$}~к}(°) (* = о, ..:, п).
j=k
Предположим, что назначение линейного устройства со-
стоит в том, чтобы в стационарном режиме работы произ-
водить выходной «сигнал» т) (/) заданного вида (скажем,
выдавать сам «полезный сигнал» т](/) — в этом случае все
коэффициенты ak и bk должны совпадать с соответствующими
коэффициентами ak и bk) и вместе с тем максимально сгла-
дить «вредный шум» £(?), т. е. чтобы
М |1 (0 — r)(0|2 = min.
Спектральная характеристика <р (%) = ф (z’Z) такого линейного
устройства является решением интегрального уравнения
оо т п
j е-‘«ф(%) /£С (Z)ске1^ _|_ dktk,
—оо k—О £=0
где неопределенные коэффициенты cQ, . .., ст и d0......dn
можно найти из указанных выше соотношений между коэф-
фициентами ak и ak (k — 0........./и), а также bk и Ьк
(й = 0.....п).
5. Многомерные стационарные процессы.
Спектральное представление. Под многомерным стацио-
нарным в широком смысле процессом | = |(/) понимают
совокупность нескольких стационарных и стационарно
410
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
I*
связанных между собой процессов, скажем (/)......(/); их
число п называют размерностью процесса |(/) = {^(f), .
.... UOb
Матричная функция B(t) = [Bkj(f)} (kt J—l, ..., n),
составленная из элементов Bkj(t)— соответствующих взаим*
ных корреляционных функций отдельных компонент
k—\> ...» п,— называется корреляционной функцией
многомерного процесса g(^); матричная функция F(A) =
= {Fkj(A)} (^» 7=Ь •••> я)» составленная из элементов
— соответствующих взаимных спектральных мер от-
дельных компонент — называется спектральной мерой
многомерного процесса |(/). В дальнейшем будем предпола-
гать, что все компоненты многомерного процесса g(^) имеют
спектральные плотности, так что | = также имеет спек-
тральную плотность /(Л), которой называется матричная
функция f— {fkj} J=1.............n), составленная из эле-
ментов fkj (%) = FkJ- (dKy/dX.
Обозначим буквой Н гильбертово подпространство слу-
чайных величин Л, М | h |2 < оо, являющееся замкнутой
линейной оболочкой значений k—\t 2, п\
—оо < t < оо. Пусть A2 (F) или просто L?—совокупность век-
торных функций ф = {фр .. ., фл} таких, что
f [ф/ф* WJ dK = / Pg Фй (X) ФУ (%) fkj (%)1 dl
1Л i
где
<Р1
Ф =
Фп
представляет собой вектор-столбец, эрмитово сопряженный
вектору-строке ф = {ф1....фл}. Если ввести в L2 скаляр-
ное произведение как
(фр ф2) = J [Ф1/Ф2(М]^.
то между пространствами Н и L2 можно установить изо-
метричное соответствие, при котором значениям соот-
5] § I. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 411
ветствуют векторные функции eiKkbk, где А-я по счету ком-
понента вектора 6^ равна 1, а остальные равны 0.
Каждый элемент h пространства Н может быть пред-
ставлен в виде
п
Л - / (Ф (X) ф* (dX)) = / £ ФДХ) Фл (dX),
ы
где ф = {фр ...» Фя)—соответствующая элементу h функ-
ция из пространства Л2, а ФЛ — спектральные стохастические
меры каждого из процессов k = l...........п.
Векторная функция Ф={ФР ..., Фл} называется спек-
тральной стохастической мерой процесса |(/) = 1’11(0» • • •
• • •» МО}- пРи этом
Мй1Л2 = | [ф^фДХурХ,
где ф! и ф2 — функции из пространства Л2, соответствующие
элементам hx и h2.
Две функции ф! и ф2 из A2(F) представляют один и
тот же элемент этого пространства, если их разность ф =
= Ф1 — ф2 удовлетворяет условию
п
ф (X) /(X) ф* (X)=* 51 фй (X) ^Дх) Л/(Х) = 0.
В случае, когда спектральная плотность f(K) для почти
всех X является невырожденной матрицей, ф! и ф2 совпадают
тогда и только тогда, когда ф1(^) = ф2(^) почти всюду.
Но не исключена возможность того, что один и тот же эле-
мент представляется разными по виду функциями ф! (Z) и
Ф2(^); например, если все компоненты ^(0.......... МО
многомерного стационарного процесса совпадают, то функ-
ции eiKtbk при всех &=1, . .., п представляют один и
тот же элемент пространства A2(F), соответствующий общему
значению (О = ... = (/).
Линейные преобразования. Стационарный процесс
4(0= {П1(0......Пт (0}.
состоящий из т компонент, получается из n-мерного ста-
ционарного процесса
£(0=^(0.........МО)
L
412 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [5
линейным преобразованием, если
n(0= J еш<р (А,) Ф* (<А),
где ф={фуЛ) (У=1, ...» т\ k=\, ..., п) — матричная
функция размерности т X я, каждая строка которой
Ф/={фд.......ф;я}
представляет собой элемент пространства L2.
В свою очередь процесс £(/) может быть получен из т)(0
«обратным» линейным преобразованием, если существует
матричная функция ф={фй;.) (А? = 1, ...» п; у = 1, ...» т)
такая, что произведение ф(^)<р(^) представляет собой ма-
трицу, каждая строка которой является элементом простран-
ства Л2, совпадающим с соответствующим вектором
(k— номер строки):
ф(Л,)ф (%> ==
где 1п — единичная матрица порядка п. Указанная матричная
функция ф служит спектральной характеристикой «обрат-
ного» линейного преобразования. В частности, когда ф(Х)—
невырожденная почти всюду матрица,
Ф(Л) = ф-1(Л)-
Спектральная плотность
(/, /= 1.....tn)
процесса я(0» получающегося из g(f) линейным преобразо-
ванием со спектральной характеристикой ф (Z) = {фуЛ (Z)}
(J = 1, . . ., т\ k=\, п), выражается формулой
^(М = фМ/Мф*(Ь).
где ф*—матрица, эрмитово сопряженная матрице ф.
Ранг многомерного процесса. Регулярность. Говорят,
что n-мерный стационарный процесс |(/) имеет ранг т> если
его спектральная плотность /(Х) = [fk- (Z)) (Аг, / = 1, ...»
для почти всех % имеет один и тот же ранг т. Каждая
5] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 413
компонента такого процесса может быть представлена
в виде (в случае дискретного времени)
т оо
и (О = 2 2 ск} (t -sKj(s) (k=1.........n),
/«I —00
где
мш)ад=о
при j и любых tx и /2, а также при i — j и /2.
Если же время t непрерывно, то
т оо
Ь (О = S f ckj (t - д) (ds) (k = 1.....в),
j = 1 — 00
где
MCz(A1)C/A7) = 0
при Z=/= J для любых интервалов At и Д2, а также при i = J
для непересекающихся интервалов Aj и А2.
Процессами такого типа являются все линейно-регуляр-
ные n-мерные стационарные процессы g(Z), физически пред-
ставляющие собой линейно преобразованные стационарные
возмущения типа «белого шума»:
' п t
ыо=2 2M-W (*=1..........................«)
/—1 —00
для дискретного времени и
п t
Ь(О = Ц ^kj(t-S)^(ds) (k=\......n)
7 = 1 -00
для непрерывного времени t.
С точки зрения приложений наиболее интересным является
случай, когда все компоненты £*(£) рассматриваемого ста-
ционарного n-мерного процесса |(Z) являются результатом
одного и того же стационарного возмущения (случай про-
цессов ранга 1) или когда все компоненты £*(/) практически
мало связаны друг с другом, так что стационарный процесс g(£)
имеет максимальный ранг т = п.
414 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [5
Спектральные характеристики указанных преобразований
выражаются формулами:
оо
<р(Х) = 2<?(О*“ш для дискретного /,
о
оо
<p(Z)= | c(t)e~iU(lt для непрерывного tt
о
где
ctf)—{ckj(t)} (6=1, .... п\ J=l,..., w),
оо
22 1^л>(^)12 < 00 для дискретного времени,
о /
со
J < оо для непрерывного времени,
о к, j
При этом спектральная плотность /(1) n-мерного процесса £(/)
может быть представлена в виде
^<х>=
(или, как говорят, /(X) допускает факторизацию).
Матричные функции (p(Z) являются граничными значе-
ниями функций у (г), аналитических в единичном круге или
нижней полуплоскости соответственно. Среди всех таких
функций у (г) существует единственная (с точностью до по-
стоянного множителя, который представляет собой унитарную
матрицу порядка т) так называемая максимальная функ±
ция Yo — Vo (г)» обладающая тем свойством, что разность
у у*— УУ* является положительно определенной матрицей:
V0(2)V*(^) —т(г)Т*(г)>0
(z лежит внутри единичного круга или в нижней полу-
плоскости).
Стационарный л-мерный процесс g(Z) линейно-регулярен
тогда и только тогда, когда его спектральная плотность /(X)
допускает факторизацию. Регулярны, например, все процессы
с рациональными спектральными плотностями (т. е. все про-
цессы, у которых спектральные плотности представляют собой,
матрицы с рациональными элементами fkj).
5] § 1. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 415
В случае, когда спектральная плотность /(Z) имеет эле-
менты, рациональные относительно e~iK (время t меняется
дискретно), она может быть представлена в виде
где
VC*)= {?*/(*)} (А=1..........«; у=1.........т)
— матричная функция с рациональными относительно z эле-
ментами, аналитическими внутри единичного круга, такая,
что ее ранг при всех z, |z|< 1, равен рангу т стационар-
ного процесса g(^). Это матричная функция v(^) и является
максимальной.
В случае, когда спектральная плотность/(А,) имеет эле-
менты, рациональные относительно % (время t меняется не-
прерывно), она может быть представлена в виде
где
V(^)={Y»;(xr)} (А=1........п; ............т)
— матричная функция с рациональными относительно z эле-
ментами, аналитическими внутри нижней полуплоскости, такая,
что ее ранг при всех zt Im z < 0, равен рангу т стацио-
нарного процесса (/). Эта .матричная функция у (г) и является
максимальной.
Условие регулярности процесса максимального ранга /п = п
состоит в том, что
J log [det f (X)] d'K > — оо
—л
(для дискретного времени),
ос>
J log [det/(l)J f-pjy > — оо
— ОО
(для непрерывного времени),
где det/(Z) — определитель матрицы
/(*)={/«(*)} (k, Z = 1....n).
В общем случае, когда для почти всех К ранг спектраль-
ной плотности /(X) равен т9 для регулярности
416
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
[5
процесса, кроме указанных условий (det/(X) в этом случае
следует заменить произведением всех положительных соб-
ственных значений матрицы /(Л)), необходимо и достаточно,
чтобы подпространство Ет(к)— линейная оболочка векторов
/(W=(/uW. •••. Ш G=l. •••>«)
— было аналитическим. Последнее означает, что существует
матричная функция
ф(М = [ф^уСЧ (6=1............п; /=1.........т),
являющаяся граничным значением аналитической матрицы у (г),
для которой линейная оболочка векторов
ФУ(Х) = {Ф17(1)....флУ(Л.)) (/=1.........т)
совпадает с подпространством Ет (X) при почти всех X.
Например, в случае спектральной плотности /(X) с рацио-
нальными компонентами Дг(Х) в качестве матрицы <р(Х) можно
взять матричную функцию
(6 = 1.....п;/=1.........т),
где Z)(X)— наименьшее кратное знаменателей всех компо-
нент fk l а
Л ! W Л / (М • • Л ! W ]
.............................1
— т линейно независимых столбцов матрицы /(X).
Насколько сложной является зависимость максимальной
матрицы y(z) от соответствующей спектральной плотности
в многомерном случае, можно видеть на примере процессов
ранга 1. Процесс такого типа будет регулярным тогда и
только тогда, когда
л
J log/yy (А.)6?Х > — оо
-л
Л,(Х)
при некотором /, a 4ki(e являются гранич-
J J}j\M
ними значениями функций комплексного переменного ykj (z),
5] § I. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 417
представляющихся в виде отношения двух аналитических
ограниченных в единичном круге функций (речь идет о про-
цессах с дискретным временем). Такого типа функции одно-
значно определяются своими граничными значениями.
Пусть z^\ z$\ ... — все полюсы различных функций
\kj (z), считаемые столько раз, какова их максимальная
кратность, nij — максимальная кратность полюса z = 0, и
пусть zty, z^l, ...—полюсы лишь функции считае-
мые столько раз, какова их кратность, mkj — кратность по-
люса z = 0. Положим
. . . . V/o С?) (*)
yk/(z) (г)-
- z(p\-z |4РЛ
Yw (z) = exp
-Л
Соотношение
X<2
p->1 i.
определяет действительную обобщенную меру на ин-
тервалах A = (ZP Z2) таких, что akj (Xj) = okj (Z2) = 0.
Пусть
°* j <л) = °tj — °kj
— разложение меры аЛу-(^Х) на положительную и отрица-
тельную части о+ДбА) и Положим
оу(Л) = ру(Х)2 о+/Л),
P*j(Z) = 1 Pi (Z) = mfХ [pki (Х)} •
k
Тогда компонента уу-(г) максимальной матрицы
V(2)={Yft(^)) (Л=1......«)
27 Ю. В Прохоров, Ю. А. Розанов
418
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
16
представляется в следующем виде:
zW — z
' р J
Ap)h
ех₽х
J /
2л J е~^—2
-Л
Остальные компоненты могут быть получены аналогичным
путем или по формуле
Y*(*) = Y*>(z)Y;(*) (k—1.......«).
где ykj(z) — указанные выше функции в единичном круге
(являющиеся отношением аналитических ограниченных функ-
ций), при z = e~iK равные f kj (k)/f (Z).
6. Обобщенные стационарные процессы и процессы
со стационарными приращениями.
Линейные преобразования. Пусть ^ = {и, — обобщен-
ный стационарный процесс, и пусть
оо
(«, |)= j2(X)O(di) (и^и)
— оо
—его спектральное представление (см. § 2.1 гл. III). Линейное
преобразование процесса % = {и, со спектральной харак-
теристикой ф = ф(А,) определяется как обобщенный стацио-
нарный процесс t] = (zz, т]) вида
(zz, т])= J и (Z) ф (X) Ф (<А),
— оо
где функция ф(Х) при X—>оо растет не быстрее некоторой
степени Спектральная мера G=O(A) обобщенного
стационарного процесса т] == (zz, т]) связана со спектральной
мерой F — F (А) исходного процесса £~=(zz, |) соотноше-
нием
О(Д)= J | ф (Z) |2 F
6] § Т. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 419
Пример. Пусть ,<р = ср(Z) — преобразование Фурье не-
которой интегрируемой функции на отрезке (—т, т):
ф(Х)= j e~iktc(t)dt.
— т
Линейное преобразование обобщенного стационарного про-
цесса £ = (zz, %) со спектральной характеристикой ср дает
стационарный обобщенный процесс r) = (zz, вида
00
(и, = ( j c(t —s)u(s)ds,
— ОО
Дифференцирование. Пусть | = (zz, %) — обобщенный
случайный процесс со средним значением
Л (zz)= М (zz, £)
и ковариационным функционалом
В(и, г>) = М {(«, l}(v, £)}.
Производной этого процесса называется обобщенный случай-
ный процесс £/=(zz, £'), определяемый как
и получающийся в результате линейного преобразования со
спектральной характеристикой <p(Z) = zX. Его среднее значе-
ние и корреляционный функционал суть — A (и') и В (u't vf)
соответственно, где и' = ur (t) и У — У (/) — производные
бесконечно дифференцируемых функций u—u(t) и
принадлежащих пространству U.
Если обобщенный случайный процесс % = {и, £) имеет
вид
оо
(«. |)=
— 0°
и £ = £ (t) представляет собой обычный случайный процесс,
то будем обозначать обобщенный процесс по-прежнему как
£ = £(^), а его производные как (/), n = 0, 1, ...
27*
420
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
16
«Белый шум». Пусть £ = £(Д)— стохастическая мера
с некоррелированными значениями такая, что при Д = ($, t)
М£(Д) = 0, М |С(Д)|2 = t-s.
С ней можно связать обобщенный процесс С=(и, С)» опре-
деляемый формулой
оо
— оо
Среднее значение такого процесса равно нулю, а корреля-
ционный функционал есть
B(s, t) = b(s — t),
где 6($— t)— обобщенная функция двух аргументов, опре-
деляемая формулой
ОО ОО 00
J | (5) и2 (f) 6 ($ — t) ds dt — J (t) u2 (Z) dt,
—oo —oo —oo
Описанный обобщенный процесс является стационарным
процессом, называемым «белым шумом». Его спектральная
мера F = F (к) абсолютно непрерывна: Л(Д)_ / /(МА
д
а спектральная плотность f (К) есть —
Пример. Пусть | = —пуассоновский процесс со
средним значением A(t) = at (£(£) = О при Произ-
водная — V (£) представляет собой обобщенный процесс
вида
k
где тр т2, ...—случайные моменты времени — точки роста
пуассоновского процесса £(£), a b(t— т) означает 6-функцию
с особенностью в точке т: (и, u(xk). Среднее зна-
k
чение этого процесса равно постоянной:
М и (т*) = a J u(t) dt.
и о
6) § I. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 421
Корреляционная функция пуассоновского процесса есть
B(s, t)~ a min(s, t)t
так что корреляционный функционал производной £' = £'(/)
равен ab (s — t):
_____________________________ оо
м____________________________aj u(t)v(t)dt.
k I 0
Пример. Пусть £ = £(£), M£(O = 0*— процесс броу-
новского движения. Его ковариационная функция есть
B(s, Z)=min(s, /).
Производная £' = £'(/) процесса броуновского движения
имеет ковариационный функционал, равный б ($ — t), и
является процессом «белого шума».
Интегрирование. Пусть их — их (Z), их £ Ut — некоторая
фиксированная функция такая, что
оо
j av(t)dt = 1.
— ОО
Тогда произвольная функция u — u(t), u£U> может быть
представлена в виде
оо оо
u(t)— ux(f) J и (s) ds + «0 (i). j uo(s)ds — 0.
—oo —oo
Если £=(zz, — заданный обобщенный процесс, то его
«первообразная» т]== (ut т]), rf = £, может быть представлена
в виде
t
(и, П> = ( / u0(s)ds, Q + C,
— СО
где С — некоторая постоянная. При этом все первообразные
совпадают на подпространстве элементов u£U, удовле-
творяющих условию
j и(/)Л = 0.
— ОО
422 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [6
Аналогично все обобщенные процессы т] —(и, 1]), имею-
щие заданную n-ю производную £ = (zz, £), совпа-
дают на подпространстве С7(п) элементов u£U, удовлетво-
ряющих условию
jiku(t)dt = O (6 = 0.........п— 1),
— ОО
п-1
и отличаются друг от друга лишь слагаемым вида S
о
Т0ЧНее’ оо п-1
{и, 11) = (а, По) + j и (0 2 dt-
-оо &=0
Если оо
(«. £)= J «(%)Ф(<П)
—оо
— спектральное разложение заданного процесса £ = (и, £),
то при и £
{и, j а(А.)(/1)""Ф(</Х).
—оо
Процессы со стационарными приращениями. Случай-
ный процесс называется процессом со стационарными п-ми
приращениями, если его n-я производная представляет со-
бой стационарный процесс. Для обычного процесса т| = т](/)
это равносильно тому, что n-я конечная разность
п
ДдП(О = 2С*(— l)ft+1n(^ + ^)
£=0
при любом h представляет собой стационарный процесс.
Всякий обобщенный стационарный процесс £ = (и, %)
является производной порядка п от некоторого обычного
процесса (необобщенного) со стационарными n-ми прираще-
ниями, где п таково, что
J (l + l2)"nF(rfX)<oo
— СО
(здесь F— спектральная мера рассматриваемого процесса %).
6] § I. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 423
Пусть
(и, 0= / ^(Х)Ф(Л)
— спектральное разложение такого процесса. Соответствую*
щий процесс т| — т| (t) со стационарными n-ми приращениями
может быть построен следующим образом. Обобщенный про-
цесс = г|), определенный лишь на функциях u —
u£U^n\ получается n-кратным интегрированием:
(и, Т])= j «(%)(Л)"ЯФ(</Х)= | «(ЭТОА).
В спектральном представлении обобщенного процесса г] =
= (л, т|) стохастическая мера Ч/ такова, что спектральная
мера 0(Д)= М | Ч*(Д)|2 удовлетворяет условиям: при любом
8 > О
f G (tfX) < оо, J Х2п0 (dty < оо, f G (сГК) < оо.
Обычный (необобщенный) процесс т| = т| (Z) со стационарными
л-ми приращениями, который связан с обобщенным процес-
сом Ч) соотношением
(«. П)= J u(t)i\(t)dt
и л-й производной которого является £ = (я, £), может быть
представлен как
n(0= /
чгда
Общий вид процесса со стационарными л-ми прираще-
ниями *), л-й производной которого является обобщенный
*) А. М. Я г л о м, Корреляционная теория процессов со слу-
чайными стационарными л-ми приращениями, Матем. сб., 37,1 (1955).
424 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [6
л-1 л-1
процесс ^ = (и, £), есть т)(0+ 2 ck^> где ПР°~
° 0
извольный полином степени п— 1.
Регулярность. Пусть
оо
(«, £)= / «(%)Ф(</Л)
— оо
— обобщенный стационарный процесс со спектральной ме-
рой F, H(s, t) — замкнутая линейная оболочка в гильбер-
товом пространстве Z,2(Q) значений {и, £), где и пробегает
все функции из U, обращающиеся в нуль вне интервала [$, £].
Всякий элемент h из И (— оо, оо) может быть представлен
в спектральном виде:
л = J <Р(1)Ф(Л),
— оо
где спектральная характеристика <р = ф(^) — соответ-
ствующий элемент функционального пространства L2. При
этом
MM2= J Ф1 (%)<p2(%)F(rfX).
—оо
Обобщенный стационарный процесс £(/) с нулевым сред-
ним называется линейно-регулярным, если
f|//(-oo. 0 = 0,
и линейно-сингулярным, если при всех t
Для линейной регулярности процесса необходимо и до-
статочно, чтобы его спектральная мера Г была абсолютно
непрерывна, а спектральная плотность f (Z) была такой,
чтобы
J log/W > —со.
7J § I. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 425
Линейное прогнозирование. Наилучшим линейным про-
гнозом обобщенного стационарного процесса £ = (//, по
значениям (г/, £), где v пробегает лишь функции, обращаю-
щиеся в нуль вне полуоси [—оо, /], называется величина
<«. оо, t), удовлетворяющая требованию
М|(«, £> — <«, £)|2= min М|(«, £) — А]2-
h^H (—00, t)
Для сингулярного процесса (и, £) = (и, £), а для регу-
лярного процесса величина (и, £) представима в виде
оо
<«. £)= / ф(Х)Ф(й1),
—оо
где
<р(Х) =
J е-^и(ц) ds.
i Ks
у = у(Х) — граничное значение аналитической в нижней полу-
плоскости функции
у(г)= jAr ехр
оо
2ЙГ J llog/(Ml г__к 1-1-V
— оо
Ошибка прогнозирования
е2=М|(«, Ь-(«. OI2
может быть выражена следующим образом:
оо оо
t —00
7. Гармонизуемые случайные процессы. Некоторые
нелинейные преобразования.
Гармонизуемые процессы. Случайный процесс £ = £(0
(время t меняется непрерывно, —со < t < оо) называется
гармонизуемым, если он допускает представление в виде
J eiW£>(dfy,
— СО
(1-2)
426 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [7
где Ф = Ф(Л)— обобщенная мера со значениями в гильбер-
товом пространстве Z,2(Q). Так же, как и в стационарном
случае,
т
Ф(Х0)=Ит-Х Г Ktye-^dt (—оо<%0<оо),
Г->оо
Т
ф (А) = lim ---------i----1 (t) dt
T^°° Jt ~~ 1
для любого интервала A = (XP X2) такого, что ®(Xj) =
= Ф(Х2) = 0.
Пример. Пусть £ = £(?) — стационарный в широком
оо
смысле процесс, с (t) — J eiKtm(dk), где /и = /п(А)—неко-
— оо
торая комплексная мера ограниченной вариации, и пусть
случайный процесс т] = т](^) определен как
л(0=с Ш (О-
Такой процесс т) = т](^) является гармонизуемым:
я (0— j* eiu4(d'k).
— ОО
где случайная мера Т = W (Л) определена как
Чг(Л)= J /и(А —Л)Ф(Л)
А
(Д— X есть множество точек ц— X, ц£Д).
Пример. Пусть | |(/)—-гармонизуемый случайный про-
цесс вида (1.2), А — некоторый линейный ограниченный опе-
ратор на подпространстве Н гильбертова пространства A2(Q),
являющегося замкнутой линейной оболочкой значений £(Z),
— оо < t < оо, и случайный процесс г| — г| (/) определен как
тЦ0 = Ш
Такой процесс т](/) является гармонизуемым:
т] (t) = J eiKty¥ (dK)t
7] § Т. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 427
где случайная мера W — W (А) определена как
W(A) = ЛФ(А).
Ковариационная функция гармонизуемого процесса.
Будем считать, что функция
Г(А1ХД2)=МФ(А1)Ф(А^
борелевских множеств AjX^2 действительной плоскости
задает комплексную меру F ограниченной вариации. Случай-
ный процесс £ = £(/) является гармонизуемым и имеет спек-
тральную меру F тогда и только тогда, когда его ковариа-
ционная функция В (5, Z) = M£(s)£(Z) допускает предста-
вление вида
Спектральные моменты. Случайный процесс £ = £(/)
относят к классу Ф(2л), если М | ^ (^) |2л < оо и для
всех & + Z < 2/г моменты
0 = М^) ••• ...Щ)
О = ($1.....Sk), t = (tx.....tt))
представимы в виде
t)= | e/(U-uWft,Z)(dlrf|i)
/ h = (A-p ...» Ajj,), p = (pp ...» p^); \
= AqSj + ... ~\r^ksk> p^ = p1^1 + ... + p/J
где о/И[1г'1}— комплексная мера ограниченной вариации *) на
(&4-/)-мерном действительном пространстве ER+l.
Пусть £ — £ (Z) — гармонизуемый случайный процесс и
случайная функция Ф(*’Z) =*Ф(Л> Z) (А) определена на множе-
*) См. А. Н. Ширяев, Некоторые вопросы спектральной
теории старших моментов, Теория вероят. и ее примен., V, 3 (I960)»
293—313.
428
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
(7
ствах вида Д = Д1Х ••• Х^лХ^хХ ••• Xдействи-
тельного (&-}- /)-мерного пространства Ek+l формулой
Ф^о(д):=ф(д1) ф(Дй) ф(д') . Ф(Д0-
Случайный процесс £ = принадлежит классу Ф(2/2) тогда
и только тогда, когда М | Ф(/г’ 2)(Д) |2 < оо при любых Д и
k-{-1 <^2п, а спектральные моменты
о^(*-°(Д)=МФ(*’ ° (А)
определяют комплексные меры () ограниченной вариа-
ции, которые совпадают с обобщенными мерами, фигури-
рующими в спектральном представлении моментов f).
В классе Ф(2л) случайные функции Ф(/?’Z) при всех k, I ^п
являются обобщенными мерами со значениями в Z?(Q), назы-
ваемыми стохастическими спектральными мерами.
Спектральные семиинварианты. Пусть £ = — дей-
ствительный случайный процесс класса ф(2Ч Семиинварианты
этого процесса
5|>>ОТ=7..Га8-^Мех|,1,“»<)'
= .... u — (ux.......uk),
= ••• 4-и^Л))
связаны с моментами
A1W(/)=MUQ ••• №) =
= / exp j I liifp+i'j j <^р' ?)(<Д ф) *)
(^ = (^1...V- h = (Hi........и?). р + q=k)
*) Такое представление момента (/) тождественно отно-
сительно всех целых неотрицательных р и q таких, что р + q — k.
Это же замечание справедливо и для указанного ниже представле-
ния семиинварианта (/).
71 § I. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 429
следующими соотношениями:
q р-1
и
Р=1 р
q
«''(/>= 2! П **”(/„>
q р-[
иЛ=/
p=i
Здесь
/ = .......4Y IP = {tix.........Цс[
и суммирование ведется по всем разбиениям множества / на
непересекающиеся подмножества /р.
Семиинварианты допускают представление в виде
( 7 р q \ |
Sw(/)= J exph £ Мй-S
Ek I V k=i 1=1 J J
где спектральные семиинварианты ^р' связаны со спек-
тральными моментами &ft{p,q} соотношениями указанного
выше типа. В частности,
S(1) (0 = Л1(1) (0 и ^(1’0) (Д) = 0) (А).
где М(1)(/)= М£(0 = я (0—среднее значение процесса £(0.
МФ(А)— среднее значение его случайной спек-
тральной меры Ф = Ф(Д), и
S(2) (fp t2) = /И(2) (^, t2) — Ж(1) (Q M(2) (t2),
(Д 1 X д2)=^(1' ° (Д1X д2) — 0) (Д1) n(A2>.
Л4(2) (^, t2) — М£ (^) I (t2) = В (/р /2) корреляционная функ-
ция процесса, ’’(А, ХА2)=МФ(Д1)Ф(А2)=Г(А1ХА2)-
его спектральная мера.
При рассмотрении семиинвариантов удобно обратиться
к так называемому характеристическому функционалу
(и) процесса | = £ (7)» определяемому как
( оо |
(jp£ (zz) = М exp I i f (dt) |»
430
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
17
где и = и (А) пробегает нормированное пространство U всех
действительных обобщенных мер, || и || = Var и. Для гармо-
низуемых процессов
Ф| (п) = М ехр
I J и(А,)Ф(<А)
—оо
где
w(X) = J eiKtu(dt).
—00
В некоторой окрестности точки и = 0, т. е. при всех и,
норма которых не превосходит некоторого е > 0, имеет место
следующее разложение характеристического функционала:
2«-i k
iogn («) = 2 4г J SW и + ° (II и II2") =
Ъ=Л Ек
2л-! k
= + 0 (II« II2").
где || и || = sup | и (Z) |.
Пример. Пусть £=£(/) — действительный гауссовский
процесс с математическим ожиданием 4(^)=M|(Z) и кова-
риационной функцией В (^, /)= №£($)£(£). Тогда
logq)|(zz) =
= I J А (0 и (dt) — J [В (s, 0 — A (s) А (01 «(ds) и (dt).
В» Е2
В стационарном случае, когда среднее значение равно нулю,
а спектральная мера есть F = F (А), имеем
со
log ф£ («) = — у J I « W I2 F
— оо
Пример. Пусть
1(0= J с (t. sK(ds),
— <JO
7] § Т. СПЕКТРАЛЬНАЯ ТЕОРИЯ ГАРМОНИЗУЕМЫХ ПРОЦЕССОВ 431
где £ = £(Д)— случайная мера такая, что для каждого интер-
вала А величина £(А) распределена по закону Пуассона:
log М ехр {/я£(А)} = (eia — 1) о (А).
Здесь о — о(А)—конечная положительная мера на времен-
ной оси —оо < t < оо. Такого типа случайный процесс
^ — ^(t) носит название процесса «дробового эффекта».
Его характеристический функционал (и) описывается
следующей формулой:
log<h(«) = J
с (/, 5) и (ds)
о (dt).
Если c(t, s) — с (t — s), причем весовая функция c(t)
представима в виде
со
с (t) = J ешт (dk),
— со
то процесс £ = £(/) дробового эффекта будет гармонизуемым:
со
1(f) = J eiU®(dX),
- оо
где
Ф(А) = [ [ e~iKst>(ds)
Л L — со
т (dk).
Его первые два спектральных семиинварианта описываются
формулами:
<^(1)(А) = J /(X)m(dX),
А
Д1
где
/(Z)= [ e-iU0(dt).
— ОО
432 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [7
Некоторые преобразования гармонизуемых процессов.
При линейном преобразовании гармонизуемого процесса
£ = £(/), результатом которого является
Я(0= J ешф(Л)Ф(Ж>.
— ОО
спектральные моменты процесса т| = т] (/) связаны
с соответствующими моментами исходного процесса £ —
следующим образом:
о<,0(А1ХА2) =
= / J ф(\) • • • ф(Ч)ф(^) • • • ф(И/)°^?’ °(^40-
А1 А,
В случае действительных процессов £ = £(/) и т] = г| (/)
аналогичные формулы имеют место для спектральных семи-
инвариантов:
= J j ф(^) • • • ф(4) ф (h) • • ф(Н/)^’
Д| Д7
Весьма широкий класс преобразований случайного про-
цесса £=£(/) класса Ф(2/1) может быть описан формулой
г / k i
п(о= У / ехр j 2 кр~ 2
j?k+l ( 4 р=1 q — l
Хф*л(Х,
где 1 — (1]....Xft), цг) и Ф(*’° — стохасти-
ческие спектральные меры гармонизуемого процесса —
Такого рода преобразования включают в себя возведе-
ние в степень с последующим линейным преобразованием.
1J §2 СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 433
Каждый процесс Л “ Л (0 указанного вида является гармо-
низуемым:
Т](/) == | (<Д),
— со
где
4f(A)= S / Фл(\+ ... +Ч-Н,- ••• ~И;)Х
k +1 ft ]~k +1
Х<РМО- И)Фл/)(Лйц),
а функция фд(Х) имеет вид
I 1 при Х£Д,
Фд(М |q ПрИ Х(£Д.
§ 2. Стационарные в узком смысле процессы
1. Эргодические свойства. Пусть (Q, 21, Р) — простран-
ство элементарных событий с вероятностной мерой Р, St —
семейство сохраняющих эту меру преобразований сдвига мно-
жеств А из о-алгебры 21 = 81 (—оо, ос), соответствующее
стационарному в узком смысле случайному процессу £ = £(/),
и пусть Ut — соответствующее семейство преобразований сдвига
случайных величин г| = л (со), измеримых относительно о-ал-
гебры 81 (см. § 2.5 гл. III). Будем считать, что процесс £—£(/)
измерим.
Теорема Биркгофа—Хинчина. Эргодичность. Множе-
ство А £ 81 называется инвариантным, если при любом t
множества StA и А совпадают с точностью до множества
вероятности нуль. Случайная величина т| = т] (<о), измеримая
относительно 8(, называется инвариантной, если при любом t
Upc\ = т] с вероятностью 1. Совокупность 81 всех инвариант-
ных множеств является о-алгеброй. Случайная величина л
инвариантна тогда и только тогда, когда она измерима отно-
сительно о-алгебры 81 инвариантных множеств.
Пусть 1] = ((о)—произвольная случайная величина, изме-
римая относительно о-алгебры 81 и имеющая математическое
ожидание.
28 Ю. В. Прохоров, Ю. А. Розанов
434
ГЛ. VT. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
[1
Имеет место следующая
Теорема Биркгофа — Хинчина (закон боль-
ших чисел):
lim 4г V т] (/) = т] (для дискретного t),
Т о
т
lim 4~ I Л (0 dt — Л (для непрерывного t),
где /q = T|(^) — стационарный процесс, порожденный пре-
образованиями Ut: T](f) = t//<q, а т] = М (т) | 91) — условное
математическое ожидание исходной случайной величины т]
относительно о-алгебры Й инвариантных множеств.
Кроме того, если М | г| |р < оо при некотором р^>>1, то
в указанных предельных соотношениях имеет место схо-
димость и в пространств Lp (Q).
Стационарный процесс £==£(£) называется эргодическим
или метрически транзитивным, если для любой случайной
величины т| = т] (со) соответствующий предел г| оказывается
равным математическому ожиданию этой случайной величины:
1]=Мт]- Стационарный процесс £ = £(/) эргодичен тогда и
только тогда, когда всякое инвариантное множество имеет
вероятность 0 или 1 или, что то же, всякая инвариантная
величина г| с вероятностью 1 является постоянной.
Для любого действительного Л с вероятностью 1 (а в слу-
чае, когда М | т] |р < сю при р 1, — ив пространстве Lp (Q))
выполняются соотношения:
7-1
lim /j £~/vy|(Z)==t|(Z) (для дискретного времени Z),
ЗГ-»оо
Т
lim 4“ I rf/ = T)(X) (для непрерывного времени Z),
где предельная величина ti(Z) обладает тем свойством, что
С вероятностью 1
Up] (Z) = eiKtr\ (X)
1] § 5. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 435
при всех т. е. г|(Х) — собственная функция группа опера-
торов Uti отвечающая собственному значению к.
Рассмотрим Ut как группу унитарных операторов в гиль-
бертовом пространстве £2(й). Для эргодичности стационар-
ного процесса |(0 необходимо и достаточно, чтобы всякое
собственное значение % было простым, т. е. чтобы размер-
ность подпространства собственных величин r|(Z) была равна 1.
Это равносильно требованию, чтобы простым являлось соб-
ственное значение Х = 0 или, что то же, чтобы всякая соб-
ственная функция т], отвечающая собственному значению Z = О,
совпадала с постоянной.
Разложение на эргодические составляющие. Пусть
стационарный процесс £ = £(/) обладает тем свойством, что
а-алгебра 91=91 (—оо, оо) сепарабельна, а вероятностная мера
Р = Р(Д), А £ 91, совершенна. Тогда существует разбиение
пространства Q на непересекающиеся инвариантные множе-
ства Да^Й:
s=ua.
а
и такое семейство вероятностных мер Ра=Ра(Д)» Д£?1
(параметр а пробегает некоторое множество действительных
чисел), что
Р0(А)=1.
Р(Л) = / Ра и (Л) Р (d®)
£2
для любого А £ 91, где а(со) = а при <о£Да, и £ = £(£)
по отношению к каждой из вероятностных мер Ра пред-
ставляет собой стационарный эргодический процесс.
Эргодичность, перемешивание и регулярность. Эрго-
дичность стационарного процесса £ (t) равносильна тому, что
для любых событий Др Д2£91
Т-Л
lim ^УР{(М1)ПЛ2} = Р(Л1)Р(Л2)
Г-> ±со 1
28*
436 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ ||
(в случае дискретного t) и
т
lim A- [ р {(^4j) Q 42} = Р (А) Р (А)
г->±о° 5
(в случае непрерывного /).
Стационарный процесс £(/) называется процессом с пере-
мешиванием, если для любых множеств Др
lim Р{(М1)ПЯ2))=Р(Д1)Р(Д2).
t-Ь ± оо
Это соотношение выражает собой свойство, которое грубо
может быть описано следующим образом: точки (о мно-
жества Sj/lj при >оо «равномерно перемешиваются»
(равномерно распределяются по всему пространству Q) так,
что для любого множества этого пространства попадающие
в него точки со из имеют меру, пропорциональную мере
этого множества (общая мера точек со £ StA сохраняется при
всех /).
Свойство перемешивания слабее, чем свойство регуляр-
ности случайного процесса £ = £(£), означающее, что для
любого фиксированного °°) ПРИ — $->оо
sup I Р {41 nA} — Р MJ Р Иг} |->0.
(-оо, $)
В свою очередь свойство регулярности случайного про-
цесса £ = £(0 слабее, чем свойство полной регулярности
(называемое также сильным перемешиванием), когда при
t — s—> оо
sup |Р {4j П А2] - Р {41} Р {42} |->0.
Л1 Г(-оо, s)
Л £$!(', оо)
Имеется одно важное различие между такими свойствами,
как эргодичность, перемешивание, с одной стороны, и свой-
ствами регулярности, с другой. Именно, свойства эргодич-
ности и перемешивания сохраняются при переходе от самого
процесса £(/) к любому стационарному процессу т|(0» являю-
щемуся функцией от £(/): = (гДе Л — случайная вели-
чина, измеримая относительно о-алгебры ?1 = 31(—оо, оо));
свойство же регулярности при таком переходе может быть
потеряно.
§ 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 437
Центральная предельная теорема. При определенных
условиях регулярности стационарного процесса £ = £(/)
характер сближения «временных средних»
Г-1
при дискретном t,
Пг = <
о
г
J y\(t)dt при непрерывном t
о
с математическим ожиданием г| = Мт] описывается централь-
ной предельной теоремой, согласно которой распределения
вероятностей нормированных разностей
Г "г
слабо сходятся к гауссовскому распределению с нулевым
математическим ожиданием и единичной дисперсией:
= Dnr.
Р{ДГ
1 f
~т= \ е 2 du.
/2л J
Разного типа условия, при которых справедлива централь-
ная предельная теорема, связаны с различными свойствами
регулярности процесса £ (/). Пусть, например,
а(/)= sup |Р(Л5) — Р(Л)Р(5)| = О(Г1_£).
А РЛ (-со, 0)
В £ 21 (/, оо)
Тогда указанное предельное соотношение будет иметь место
по крайней мере для всех случайных величин т) = г| (со),
измеримых относительно некоторой о-алгебры 91 ($0, /0)
и имеющих абсолютный момент порядка 2 4“ д» где
М|п|2+б<оо,
и для которых величина а2г правильно возрастает при Т—>оо:
а2гхЛ
т. е. 0 < lim (о^/Т) lim (а|/Т)< оо.
438 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [2
2. Общие эргодические свойства. Приложение их
к марковским процессам.
Сохраняющие меру преобразования. Пусть (й, 21, Q) —
измеримое пространство с положительной мерой Q(^<o),
причем не исключается возможность того, что Q (й) = оо
(точнее, Q представляет собой о-конечную меру), и пусть
5 — взаимно однозначное отображение пространства й на
себя, сохраняющее меру Q, т. е.
О(5Д) = О(Л)
для любого А £ 21.
Множество А £ 21 называется блуждающим, если с каждым
из своих образов оно имеет пересечение лишь нулевой
меры:
QHnM)=o a=i, 2, ...у
Говорят, что система (й, 21, Q, S) не имеет диссипативной
части, если не существует блуждающих множеств положи-
тельной меры.
Для любой измеримой действительной функции т] — т| (со)
положим
т](со, O = t)(5z(d) (/=1, 2, ...).
Пусть система (й, 21, Q, S) не имеет диссипативной
части. Тогда для всякой положительной измеримой функции
£ = £((о) при почти всех (о
г
lim 2$(со, t) = оо.
Т~>оо О
Для любых т] = т|(со) и положительной £ = $((о) из Л1 (Й)
при почти всех (о существует предел
т
2 я (°-о
lim —--------= г) (со),
Г->оо
2 z о
О
причем функция т) = т|((о) инвариантна относительно S
(т). конечно, зависит от С) и
J n (со) Q (dco) =| n (со) £ (со) Q (Ло).
2 Q
2] § 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 439
В частности, если Q (Q) < со, то при почти всех о
Г-1
Пт О = *)(»•
Г->00
Если Q(Q) = co и, более того, не существует инвариантных
множеств положительной конечной меры, то при почти всех <о
Г-1
В случае метрически транзитивной системы (Q, 21, Q, S),
т. е. когда всякая инвариантная функция г| = г| ((о) почти
всюду совпадает с постоянной, предельная функция т] = rj (со)
есть
| 1] (о) Q (d<o)
П="7------------•
j £(®)Q(d<o)
Q
Аналогичные результаты имеют место и для систем
(Q, 21, О, Sz) с непрерывным параметром когда St пред-
ставляет собой полугруппу преобразований (t 0), взаимно
однозначно отображающих Q на себя и сохраняющих меру Q.
Инвариантные распределения однородного марковского
процесса. Пусть £ = £(/), ^^>0, — однородный марковский
процесс с дискретным временем в фазовом пространстве (Е, 23)
и с переходной функцией Р(х, В), задающей вероятности
перехода «за один шаг» из точки х £ Е в множество В £ 23.
Положительная о-конечная мера Q°=Q°(B) в фазовом про-
странстве (Е. 23) называется инвариантной, если
Q0(B)= J Q0(dx)P(x, В)
, Е
для любого В £23.
Предположим, что для марковского процесса £=£ (0 суще-
ствует инвариантная мера Q0. Пусть Рх — Рх (Л) — условные
440
ГЛ. VI. СТАЦИОНАРНЫЕ процессы
12
распределения вероятностей на о-алгебре 31—21(0, оо)
пространства элементарных событий Q. Тогда формула
Q (Л) = J Qo (dx) Рх (Л) (А 6 И)
Е
определяет на о-алгебре 21 о-конечную меру Q = Q (Д),
инвариантную относительно преобразования сдвига S. Для
любого начального распределения вероятностей Р°=Р°(В)
в фазовом пространстве (Е, 53), абсолютно непрерывного
относительно инвариантной меры Q0 = Q0 (В), соответствую-
щее распределение вероятностей Р — Р (Д) в пространстве
(Q, 21):
Р(Л)= J P°(dx)Px(A),
Е
будет абсолютно непрерывным относительно инвариантной
меры О = О(Д).
Диссипативная часть системы (Q, 21, Q, S) будет отсут-
ствовать, если выполняется следующее условие:
РАШ ев для бесконечного числа значений £}=1
при почти всех х £ В относительно меры Q0 и любого мно-
жества В£53, Ct°(/2)>0. Если интерпретировать ~ (Z) как
процесс случайного блуждания частицы, то это условие
означает следующее: отправляясь из точки х множества В,
частица с вероятностью 1 бесконечно много раз в процессе
блуждания попадет в это множество В. При указанном усло-
вии для любых случайных величин т] = г| (со) и положительной
£ —£(ю), измеримых относительно 21 и таких, что
J | Л («) | Q (cfco) < оо, J £ (<о) Q (б?(о) < оо,
с вероятностью 1 существует соответствующий предел
т
2 (°’
lim ~---------------------------= у] (q).
2] § 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 441
Если указанное условие отсутствия диссипативной части
выполняется не только для почти всех х из соответствую-
щего множества В. а при Q°(B)>0 и для почти всех
то система (Q, ?l, Q, S) метрически транзитивна,
так что предельная величина rj будет постоянной:
I г| (о) Q (б/о)
I — г
J UW®)
Условия существования инвариантной о-конечной меры
Q0 = Q0(B) для марковского процесса £ = £(f) могут быть
описаны следующим образом *). Пусть т = т (В) — некото-
рая о-конечная мера в фазовом пространстве (Е. 53); мар-
ковский процесс £ = £(£) называется т-сингулярным, если
для почти всех х (относительно т) существует множество
Вх £ 53 нулевой меры tn (Вх) = 0 такое, что
пРи всех *} = 1.
Если процесс £(/) не является /n-сингулярным и, кроме
того, если при /п(В)>0
для бесконечного числа значений Z} = 1
при почти всех х£Е (относительно /и), то существует
инвариантная о-конечная мера Q° —О°(5), абсолютно не-
прерывная относительно исходной меры /п = ш(В). Эта
инвариантная мера Q0 единственна с точностью до постоян-
ного множителя (разным мерам т могут соответствовать,
вообще говоря, разные инвариантные меры Q0).
Условия существования инвариантной вероятностной меры,
т. е. условия существования стационарного распределения
вероятностей, выраженные непосредственно в терминах
переходных функций Р{п. х. В), можно сформулировать
в следующей форме. Пусть мера т = т(В) является конечной
и равенство m(B) = Q влечет за собой равенство Р (х, B)~Q
для почти всех х (относительно т) при каждом измеримом В.
Тогда для существования конечной инвариантной меры
*) См. К. Ito, Invariant measures for Markov processes, Trans.
Amer. Math. Soc., ПО, 1 (1964), 152—184.
442 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ |2
Qo = Q0 (В) необходимо и достаточно, чтобы при каждом В,
т(В)^>0, выполнялось соотношение
lim — V P(k, х, В) > О
я->оо п
k = 1
для всех х в некотором множестве Во, т (Во) > 0. При этом
мера Q0 эквивалентна мере т.
Пусть мера tn = m (В) задает распределение вероятностей:
/п(В) = Р0(В).
Тогда соответствующее стационарное распределение вероят-
ностей Q° = Q0 (В) может быть явно выражено в терминах
соответствующих распределений вероятностей «на п-м таге»*.
рл(Я) X. B)PQ(dx).
Е
Именно,
п
Q0(B)=.lim
Л“>СО Л=1
для любого измеримого множества В.
Говорят, что для марковского процесса £ = £(/) с пере-
ходной функцией Р(п, х, В) выполняется условие Деблина,
если существуют конечная мера т — т (В), целое число
и е>0 такие, что
Р(п, х, В)<^1—е при /п(В)<^е.
Если выполнено это условие, то при каждом х'£Е суще-
ствует предел
lim ±V Р(й, х, B) = Q°(x, В).
п м
Функция Q°(x, В) от В £33 задает стационарное распре-
деление вероятностей.
Пример. Пусть фазовое пространство Е состоит
из конечного числа точек. Условие Деблина будет выполнено
для меры /п = /л(В), численно равной количеству точек х
в соответствующем множестве В, п=1ие<^1. Действи-
2J § 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 443
тельно, при т (В) < 1 множество В оказывается пустым и
Р(х, В) —0.
Пример. Пусть фазовое пространство Е является
многомерным евклидовым пространством, а переходная функ-
ция Р(х, В) задается плотностью
Р(х, В)= j р(х, y)/n(tfy),
в
где т = т (В) — некоторая конечная мера. Если плотность
Р (х> У) равномерно ограничена: р (х, у) то условие
Деблина выполняется для меры т = т (В), п = 1 и
е< 1/^+1).
Рассмотрим однородный марковский процесс £ = £(/),
для которого выполнено условие Деблина. Множество В £ ®
фазового пространства Е называется инвариантным, если
Р(х, В)=1 при всех х£В.
Непустое инвариантное множество В обязательно имеет
меру т(В), не меньшую положительного числа е, фигури-
рующего в условии Деблина. Инвариантное множество В
называется минимальным, если оно не содержит других
инвариантных множеств. Два минимальных инвариантных мно-
жества Вх и В2 либо не пересекаются между собой, либо
совпадают с точностью до некоторого множества нулевой
m-меры. Всего имеется не больше чем m(E)[s существенно
различных минимальных инвариантных множеств фазового
пространства Е.
Пусть Bv ..., BN— система непересекающихся мини-
мальных инвариантных множеств фазового пространства Е,
Тогда для каждого х£Е
lim Р In, х, IIВ Л — 1,
причем сходимость в этом предельном соотношении является
экспоненциально быстрой. Наглядно это соотношение можно
интерпретировать следующим образом: отправляясь из любой
точки х£Е, блуждающая частица с вероятностью 1 через
какое-то конечное число шагов попадет в одно из инвариант-
ных множеств Bv . . ., BN, после чего остается там навсегда.
Предельное стационарное распределение Q°(x, В) одно
444 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ (2
и то же при всех х, принадлежащих одному и - тому же
минимальному инвариантному множеству Вк\
Q° (х, В) = Qt (В) (В 6 23)
при x£Bk> Ze = 1, ...» ЛЛ Всякая инвариантная мера Qa
в фазовом пространстве (В, ®) является конечной и предста-
вляет собой линейную комбинацию взаимно перпендикуляр-
ных стационарных распределений вероятностей Q* = Q* (В)>
k= 1......N:
Cd (В*) — 1, Bk П Bj = 0 при k 4* j-
Множество состояний В фазового пространства Е назы-
вается нулевым, если при всех х£Е
lim Р(п, х, В) = 0.
п->оо
Система непересекающихся минимальных инвариантных мно-
жеств Bv .... BN определяется с точностью до нулевых
множеств и может быть выбрана таким образом, чтобы каждое
из множеств Bk (называемое также эргодическим классом)
могло быть разбито на не пересекающиеся между собой
циклические подклассы Cki, . .., — множества состоя-
k
ний фазового пространства, обладающие тем свойством, что
р(х’ ck,i+i)= 1 при х^Ск1 (1=1...................dk)
(множества Cki следуют друг за другом в циклическом
порядке), и такие, что предельные соотношения
lim P(ndt-(-i0, х, B) = O.°ki(B)
J = i-{-i0(moddk))
определяют распределения вероятностей cd/=cdy(B),
j=\, ..., dk, связанные со стационарным распределением
вероятностей Q* = (В) следующим образом:
dk
Cd (В)=А. V cd , (В) (В 6 23).
Л-1
2]
§ 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ
445
При этом сходимость в указанном предельном соотношении
такова, что
Var{P(ndft4-z0, х, B) — O°ki(B)}^Ce~Dn
при некоторых положительных С и D.
Свойство цикличности подклассов Ckit ...» См наглядно
к
может быть охарактеризовано в терминах случайного блу-
ждания: из любой точки х множества Cki блуждающая ча-
стица на следующем шаге с вероятностью 1 переходит в не-
которую точку множества следующего в циклическом
порядке за множеством Cki. Распределения вероятностей
Q°*y = <X(B), У=1, ...» dk> так же, как и стационарные
распределения Cl£ = Cd(B), k — 1....2V, определены одно-
значно; при этом
Ол/(Сй/)=1, Cki{\Ckj=0 при l^j.
Если марковский процесс £ = £(£) таков, что имеется
лишь один эргодический класс без циклических подклассов,
то существует лишь единственное стационарное распределе-
ние вероятностей Q° = Q° (В). При этом для любого началь-
ного распределения Ро — P0(Z?) соответствующее распреде-
ление вероятностей РЛ=РЛ(2?) «через п шагов»:
Р„(В)= Jp0(dx)P(n, х. B) = PU(«)€5},
Е
обладает тем свойством, что
lim P„(£) = Q0(£)
Л->оо
т. е. при я—>оо оно сходится к стационарному распределе-
нию вероятностей Q° = Q°(B). Сходимость в этом предель-
ном соотношении равномерно экспоненциально быстрая:
Var (Рл — Q0} ^Ce~Dn
для некоторых положительных постоянных С и D.
Аналогичные результаты имеют место и для случая не-
прерывного времени t (эти результаты в известном смысле
проще, поскольку не существует циклических подклассов).
446
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
12
Приведем иные по форме условия существования стацио-
нарного распределения вероятностей *). Пусть 1=% (/), t О,—
однородный марковский процесс с непрерывным временем,
и пусть переходная функция Pit. х. В) этого процесса удо-
влетворяет следующим требованиям: для любого е > О суще-
ствуют конечная мера /п=ги(В) в фазовом пространстве^, 93),’
множество ВО£23 и положительные числа tQ и д такие, что
при t^>tQ и В с BQ
P(tQ. х, В)^дт(В) (х£В0),
РДВ)= / P(f. х, В)Р0(^)</п(В) + е,
Е
для любого начального распределения Ро = Ро (В), В £ 23.
Тогда имеется, и притом единственное, стационарное распре-
деление вероятностей Q° = Q°(B) в фазовом простран-
стве (Е, 23) такое, что
lim Var (Р, — Q°) = 0>
f->oo
для любого начального распределения Ро.
Регулярность и центральная предельная теорема.
Пусть £=£(/) — марковский процесс, удовлетворяющий усло-
вию Деблина. При стационарном распределении вероятностей
процесс £=£(/) является эргодическим тогда и только тогда,
когда имеется лишь один эргодический класс без циклических
подклассов. В этом случае при любом начальном распреде-
лении процесс £ = £(/) обладает следующим свойством регу-
лярности: при t — s—>оо с вероятностью 1
P(f— <?) = sup | R {Л | 2l(—оо, s))-P(4)|<CrD^)
Л С SC (G оо)
для некоторых постоянных С > 0 и D > 0.
Пусть величина т] = rj (<о, t) измерима относительно неко-
Г-1
торой о-алгебры 21 (s0, ^0), М | т) |2 < оо и D2 Т| (/) —> оо.
о
*) См. Б. А. Севастьянов, Эргодическая теорема для мар-
ковских процессов и ее приложения к телефонным системам с от-
казами, Теория вероят. и ее примен., IL 1 (1957), 106—115.
3] § 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 447
Т-1
Тогда отклонение временных средних т]г = — ^ 1] (^) от ма-
о
тематического ожидания т] = Мт] подчиняется центральной
предельной теореме: при Т —> оо
х 1
Р(ЛГ <-»!->
— ОО
Дг = 2!?_=21, 02 = Dv
т
Аналогичные результаты имеют место и в случае непрерыв-
ного времени t.
3. Спектральные условия эргодичности некоторых
стационарных процессов.
Общие спектральные условия. Пусть £=£(£) — стацио-
нарный эргодический процесс, Ut — отвечающая ему группа
унитарных операторов в пространстве £2(Я). Всякая соб-
ственная функция т] = г| (Z):
Ut^\ (%) = ешт| (X)
при всех обладает тем свойством, что модуль р(Х)=| rj(Z) |
с вероятностью 1 равен постоянной, а аргумент 0 (Z)=arg т| (Z)—
случайная величина, равномерно распределенная на отрезке
— л0(Z)<^ л. Если
Tj(Z) = p(Z)£ze<4
то
(У^(Х) = р(Х)^Н0(Х)+М.
Пусть для некоторого конечного
чений X выполнены соотношения
числа собственных зна-
2 0 (mod 2л), если время t дискретно,
к
= если время t непрерывно,
где коэффициенты т(Х) являются целыми числами.
448 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ |3
Тогда с вероятностью 1 для некоторой постоянной 0
2 т (А) 0 (Х) = в (mod 2л). (2.2)
Если стационарный процесс £ = £(£) обладает свойством,
перемешивания, то единственным собственным значением
является А = 0, отвечающее собственной функции т| = 1.
Процесс с дискретным спектром. Так называется ком-
плексный стационарный процесс £ = | (^), М | £ (Z) |2 < оо,
представимый в виде
где суммирование производится по конечному или счетному
множеству Л точек спектра А стационарного процесса £ = £ (О»
а Ф = Ф (А) — совокупность некоррелированных случайных
величин. Каждая из величин Ф(А) представляет собой соб-
ственную функцию операторов Uv отвечающую соответствую-
щему собственному значению А.
Стационарный процесс £ = £(/) такого типа является эрго-
дическим тогда и только тогда, когда модуль р(А) = | Ф(А) |
каждой из величин Ф(А) является постоянным, а величины
О (А) = arg Ф (А) таковы, что для любого конечного числа
точек А£Л, удовлетворяющих условию (2.1), и соответ-
ствующих целых т(К) имеют место соотношения (2.2).
Рассмотрим совокупность М всевозможных последователь-
ностей m = m(k), А£Л, с целыми компонентами /и (А), отлич-
ными от нуля лишь для какого-нибудь конечного числа точек
А £ Л. Определим сложение последовательностей т — т (А)
и их умножение на целые числа а как
т = арщ ^d2m2, т (А) ~ (А) + а2/п2 (А).
Пусть MQ—совокупность тех из последовательностей
т = zn(A), для которых выполнены соотношения (2.1). Выбе-
рем из всей совокупности Л40 последовательностей т — т (А)
лишь линейно независимые между собой, т. е. /п1 = /п1(А),
zn2 = w2(A), ... такие, что из равенства
2 чтк = °-
ы
3| § 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 449
где ар а2.....ап — некоторые целые числа, вытекает, что
«j = а2 = ... = ал = 0.
Как отмечалось выше, существуют постоянные 0Р 02, ...
такие, что
2 (X) 9 (X) 01 (mod 2л),
2 (X) 0 (X) = 02 (mod 2л),
к
........................
Распределение вероятностей эргодического стационарного
процесса £ — £(/) с дискретным спектром А однозначно опре-
деляется заданием положительных р(Х):
3 [р(М]2 < оо>
л
и чисел 0Р 02, ... (—л<^0^<^л), каждое из которых отве-
чает соответствующему элементу mk = mk (X) из выбранной
системы линейно независимых элементов совокупности /Ио.
Именно, о-алгебра 91=91(—оо, оо) совпадает с о-алгеброй,
порожденной случайными величинами 0(Х) = argO(X), Х£А,
и пополненной событиями вероятности нуль. Конечномерные
распределения этих величин описываются следующим образом.
Если точки ХР .... ХЛ£А таковы, что ни при каких целых
m(X), X = Xj......Хл, невозможны соотношения (2.1), то
случайные величины 0(Хг), ...» 0(Х/г) взаимно независимы
и равномерно распределены на отрезке [— л, л]. Если
же точки Хх.......Хя удовлетворяют условию (2.1), то
числа m(X), X = Хр ..., Хл, для которых выполняются соот-
ношения (2.1), образуют элемент т — т (X) £ Л40, линейно
выражающийся через тх — /^(Х), т2~я/2(Х), ...: т —
я
— 2 • Распределение вероятностей случайных величин
р
0(Х) = argO(X), Х = ХР ..., Х/г, будет в этом случае выро-
жденным. сосредоточенным на (п — <?)-мерной поверхности
n-мерного тора определяемой системой уравнений
s rnkl (А) 0 (А) == 0л, (mod 2л),
2 (X) О (X) = 0^ (mod 2л).
2J Ю. В. Прохоров. Ю. А. Розанов
450 ГЛ. Vf. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [3
На этой поверхности распределение вероятностей будет равно-
мерным. (Здесь ^-мерным тором Кп названа совокупность
точек 0 = 0(X), Х=ХР компонентами которых
являются действительные числа 0(Х), отождествленные по
mod 2л с числами отрезка [—л, л].) Для несоизмеримых
точек Хр Хл, ни при каких т(Х) не удовлетворяющих
условию (2.1), распределение вероятностей случайных вели-
чин 0(X) = argd>(X), X — Xj.....Хл, является равномерным
на Кп> что равносильно независимости этих величин
0(Xj), . .., 0(Хл), каждая из которых равномерно распреде-
лена на отрезке [—л, л].
Стационарные процессы класса Ф(2л). Пусть £ = £(/) —
стационарный в узком смысле случайный процесс класса Ф(2л).
Отвечающие стационарному процессу ^ = ^(^) унитарные опе-
раторы Ut в пространстве X2(Q) действуют на элементы
ф(л, О (Д) (на значения стохастической спектральной меры Ф(*’Z))
по следующему закону:
Цф(*>'’(Д) = j exp.
д
Подпространство L
Xi + ... -
таково, что для любе
ф(*> 0 (д q 0) являе1
ческого процесса Ф
§ 1.7 этой главы). Бо
вательность множеств
= Г)ДЙ то
k
lim С
п->оо
it
'р
Ф(*’ l\dK dp).
(k,l\ описываемое уравнением
—Hi— —^ = 0.
>го измеримого множества А величина
'ся инвариантной, и в случае эргоди-
= (см.
лее того, если монотонная последо-
Ai 2 А2 5 ... такова, что Д =
Частным выражением этого факта является то, что для лю-
бого эргодического стационарного процесса £ = £(/),
М | £(012 < сю, имеет место предельное соотношение:
п
Um
Л->00
3] § 2. СТАЦИОНАРНЫЕ В УЗКОМ СМЫСЛЕ ПРОЦЕССЫ 451
(здесь берется разбиение произвольного интервала 6 = (Хр Х2)
на п интервалов 6knt длины которых равномерно стремятся
к нулю при/г—>оо; F(dk) = М | Ф(<М)|2 — спектральная мера
стационарного процесса £ = £(/)).
Спектральные моменты Z) = (А) стационарного
процесса £ = £(/) класса Ф(2л) обладают тем свойством, что
для любого измеримого множества А /)-мерного про-
странства £(ft+Z) имеет место равенство
т. е. подпространство Z) является «носителем» меры
\d\dv).
В случае эргодического процесса £ = £(Z) спектральным
моментам о/ИУ1'1'1 присущи дополнительные свойства, которые
могут быть коротко охарактеризованы следующим образом.
Пусть kx и — произвольные целые числа такие, что 0
k и Aj2 = Z?— и — h- Обозначим
символами £(*1’и 1^2> /г) подпространства, описываемые урав-
нениями Xj-f- . . . = Hi+ • • • + HZ1 и \,+i~b •”
... +^ = М'/+1+ ••• +Р7- Тогда для любых измеримых
множеств О и A2cZ?2,/2) справедливо равенство
Z) (At X А2) = Z1) (At) (А2),
т. е. на подпространстве F 17 X L спектральный мо-
мент Z) равен произведению спектральных моментов
Z1) и (имеется в виду произведение мер на произ-
ведении пространств О и L^2'/г)). Если £ = £(/)—ста-
ционарный процесс класса Ф(оо) (т. е. £=£(Z) принадлежит
всем классам Ф(2л), п=1, 2, . . .) такой, что его конечно-
мерные распределения вероятностей однозначно определяются
всевозможными моментами М^' — M{k' (s, t) (см. § 1.7
этой главы), то указанные соотношения не только необхо-
димы, но и достаточны *) для эргодичности процесса % = £(/).
*) См. А. Н. Ширяев, Об условиях эргодичности стационар-
ных процессов в терминах моментов старших порядков, Теория
вероят. и ее примем., VIII, 4 (1963), 470—473,
29*
452 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ Ц
Класс Ф(со) включает в себя многие важные процессы.
Например, в класс Ф(О0) входят все гауссовские стационарные
процессы. Для эргодичности гауссовского стационарного про-
цесса £ = g (/) необходимо и достаточно, чтобы его спек-
тральная мера Р — Р (Д) была непрерывна, т. е. F(K) — 0
для любого «одноточечного» множества К.
§ 3. Гауссовские стационарные процессы
1. Некоторые свойства траекторий.
Непрерывность. Гауссовский стационарный процесс
£=£(£) либо с вероятностью 1 непрерывен, либо почти все
его траектории не ограничены на любом интервале. Сепара-
бельный гауссовский стационарный процесс £ = £(0 непре-
рывен с вероятностью 1, если
В (0) — В (Л) < С -п—7
4 ’ | log | Л ||2
при достаточно малых h или если
оо
j nog(14-|lj)]aF(dl)<oo
-ОО
(а> 1)
(a > 1).
Пусть в достаточно малой окрестности точки t — О кор-
реляционная функция В — В (/) выпукла вниз. Тогда при
условии
В(0) —В(/г)>с
1
I log| h |l
почти все траектории | (со, t) будут неограниченными на лю-
бом интервале Д: с вероятностью 1 для любого наперед за-
данного числа N найдутся точки — и /2 = /2((о) такие,
что Л>£Д и
^2)>М
Пусть корреляционная функция B = B(t) сепарабельного
гауссовского стационарного процесса £, = £(/) удовлетворяет
неравенству
/,2а
В(0) — В(А)<С
1|
1| § 3. ГАУССОВСКИЕ СТАЦИОНАРНЫЕ ПРОЦЕССЫ
или неравенству
453
со
/ IM2“ log(l+|l|)F(^)<oo
(а > 0).
Тогда с вероятностью 1 его траектории удовлетворяют уело-
вию: на любом отрезке —при всех достаточно
малых h
п2а+1
| | (<о, t + Л) - £ (со, О | < f С р I h |а.
Если в некоторой окрестности точки /~0 корреляцион-
ная функция выпукла вниз и при некотором с>0
Л2«
5(0)-BW>Cwtw,
то с вероятностью 1 имеет место неравенство *)
lim Ц (со, — £(«>, t)\h~a^>y"c.
п~^0
Билинейные формы от бесконечно малых приращений.
Своеобразные свойства траекторий стационарного гауссов-
ского процесса £ — £(/) находят свое выражение в поведе-
нии функционалов вида
п
Vpq ('о) = I S [АП (ЛА)] [Л& (t0 + kh)\
/г = 1
где ДЛ—разностный оператор:
связанный с разбиением отрезков 0 t т — tQ и
Предположим, что для любого е > 0 можно указать систему
конечного числа интервалов /е (число интервалов может зави-
сеть от е) общей длины не более е такую, что равномерно
по всем t, — т < t < т, лежащим вне /е,
A^.4B(0 = p(W)
(Л->0).
*) См. Ю. К. Беляев, Локальные свойства выборочных функ-
ций стационарного гауссовского процесса, Теория вероят. и ее при-
мен., V, 1 (i960), 128—131.
454 ГЛ. VI'. СТАЦИОНАРНЫЕ ПРОЦЕССЫ (1
Здесь Л£ означает р-ю степень оператора Д^ и
Д£Д^В = Д£Д^В(0).
Так будет, например, если, за исключением конечного числа
точек (исключая и f = 0), существует и непрерывна (2р)-я
производная В(2р)(£) корреляционной функции B(Z), имеющая
разрыв в начальной точке / = 0. При указанном выше
условии существует среднеквадратичный предел
lim (ДдД^АВ)-1урр(0) = 1.
h —О
Отметим, что
М7рр(0) = Д£Д'дВ,
DVpp (0) = [Д'Д? hB ((k - У) <.
k, j
Рассмотрим функционал Vn(/0) от недифференцируемого
стационарного процесса £,-=£, (7), когда производная В'(t)
корреляционной функции может иметь точки разрыва. Пред-
положим, что для некоторой последовательности {/zj, Лу-> 0,
Лу—>0, существуют односторонние пределы В'(/о— 0) =
= lim Bf —hj) и В'(/оЦ-О) = lim В'(^о +^у). Пусть при
Л->0
дАв=<,{/*}.
и пусть, что, как правило, всегда выполняется,
72- S [ДЛД_АВ(й-у)й)р = О{й(ДАВ)2}.
Тогда существует среднеквадратичный предел *)
Пт [hj1 Vn (f0)] = В' (t0 ~0) — В' (t0 -f- 0).
*) См. IO. А. Розанов, О вероятностных мерах в функцио-
нальных пространствах, отвечающих гауссовским стационарным про-
цессам, Теория вероят. и ее примен., IX, 3 (1964), 448—465.
2] § 3. ГАУССОВСКИЕ СТАЦИОНАРНЫЕ ПРОЦЕССЫ 455
Аналогичное соотношение имеет место для функционала
У21 (tQ) при условии, что
\hB = o{h У~й},
и, следовательно, первая производная В'(t) непрерывна.
Именно,
lim [Л71 V2i (/о)] = В" (t0 - 0) - В" + 0).
о
Для достаточно быстро убывающих последовательно-
стей {hj] указанные предельные соотношения имеют место и
с вероятностью 1.
2. Выходы стационарного гауссовского процесса за
определенный уровень. Пусть £ = £(/) — стационарный гаус-
совский процесс, имеющий непрерывную с вероятностью 1
производную = Для такого процесса на любом ко-
нечном интервале времени с вероятностью 1 имеется лишь
конечное число пересечений какого-либо уровня а, причем
с вероятностью 1 производная £' (/) сохраняет определенный
знак (положительна при пересечении уровня а снизу вверх
и отрицательна при пересечении сверху вниз) в некоторой
окрестности момента пересечения т, так что в этой окрестно-
сти траектория самого процесса монотонно возрастает
или убывает. Отметим, что если гауссовский стационарный
процесс не имеет непрерывной производной, то его траекто-
рии ни на каком интервале (даже на очень малом) не являются
монотонными.
Введем следующие обозначения: т~ — момент первого
пересечения уровня а снизу вверх после некоторого фикси-
рованного момента времени Z —/0, — момент первого пере-
сечения уровня а сверху вниз после момента т“, т“ — момент
второго пересечения снизу вверх, — момент второго пере-
сечения сверху вниз и т. д.; v" (^0, /)— число пересечений
уровня а снизу вверх за промежуток времени (t0, t),
v+ (/0, 0 — число пересечений этого уровня сверху вниз,
v(^0, t) — общее число пересечений.
Число пересечений на любом конечном интервале не
только ограничено с вероятностью 1, но и имеет конечное
456
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
12
математическое ожидание:
Mv“ (*0, 0 = X (t — Q, Mv+ (f0, /) = X (t — /0),
Mv(/0, — /0),
где параметр X — среднее число пересечений за единицу
времени — может быть найден по формуле
1 Т/Жсхр|__________all
~ 2л V В (0) ехр I 2В (0) |
(здесь В = В (t) — корреляционная функция рассматриваемого
гауссовского процесса £=£(/)).
Остановимся на пересечениях уровня а снизу вверх (ре-
зультаты для остальных типов пересечений совершенно анало-
гичны). Отметим, что при Л—>0
P{v-(/0, /о+^)> 1} = ^W
и, более того,
lim {v“(/0, f0-4~/z)== 1} = X.
л-»о
Существует условное распределение вероятностей продол-
жительности «swd’pocoe» т+ — т~, — т~, ... стационар-
ного процесса за уровень а, когда фиксирован момент
— tk выхода траектории процесса за этот уровень; положим
/Ч0 = Р{^ — Tft-<qr- = 4}.
Функция распределения F = F (t) одна и та же для всех k
и и может быть определена следующим предельным
соотношением:
F(O= Hm
v' л_>0 P{v-(-A, 0)«l}
Условное распределение «выброса» тесно связано с функ-
цией
O(0==PU(s)>a, 0<s<7).
Именно,
Г(0==1 + |(}4/4_0).
2| § 3. ГАУССОВСКИЕ СТАЦИОНАРНЫЕ ПРОЦЕССЫ 457
Имеет место следующая
Теорема сравнения*). Если B(t) и B(t) — кор-
реляционные функции стационарного гауссовского про-
цесса £ = £(/) с нулевым средним, отвечающие распре-
делениям вероятностей Р и Р соответственно и такие,
что
B(s)>5(s)
при всех s, то и
Р{£(«)>0, >Р U(s)>0, 0<s</}.
ОО
Средняя длительность «выброса» Д== J tdF(t) может
о
быть вычислена по формуле
2В (0) } dx'
Эргодические свойства. Пусть рассматриваемый стацио-
нарный процесс £ = £(£) является эргодическим. Тогда
с вероятностью 1
lim (0, Т)= X,
Г->оо 7
lim
Т ->оо
vf СО, Т)
v- (0, Т)
~ F (t),
где (0, Т) — число «выбросов» с начальным моментом х"
из интервала (0, 71), длительность которых не превосходит t.
Предельные распределения. Укажем асимптотические
формулы для распределений вероятностей числа пересечений
и длительности отдельного «выброса», когда уровень а не-
ограниченно возрастает. Пусть £ = — гауссовский вполне
*) D. S1 е р i a n, The one-side barrier problem for Gaussian
noise, Bell System Techn. J., 41, 2 (1962), 463—SOI.
458 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ (2
регулярный процесс, соответствующий показатель г(/) кото-
рого удовлетворяет условию
г(/) = О{ге} (8>0)
(см. § 2.2 гл. III и § 1.2 гл. VI).
Среднее число пересечений уровня а (за единицу вре-
мени) весьма быстро убывает при я—>оо. Удобно перейти
к новому масштабу времени, положив t = k~}t. Имеет место
предельное соотношение
lim Р {v-(sL .....v~($n, =
fi-»OO
п k
/=1 1
для любых непересекающихся интервалов (s.t si=<ks"f.,
tt = i = 1, . . ., n.
Средняя длительность Л отдельного выброса за уровень а
такова, что _________
lim \ = в (°) -1 Z 2я
а->оо а V В"(0)’
Для функции распределения F = F (t) длительности выброса
имеет место предельное соотношение
(ОО).
Обозначим т(0, t) время пребывания процесса £(Z) над
уровнем а в промежутке времени от 0 до Л и пусть И = V ($)—
функция распределения вероятностей с характеристической
функцией
(и) = exp {t [е я (1 — 1]}
(V = V ($) задает распределение вероятностей суммы случай-
ного числа v независимых величин, имеющих одну и ту же
функцию распределения 1—ехр {—л/2/4}), причем число v
не зависит от самих этих величин и распределено по закону
Пуассона со средним значением t. Имеет место предельное
3] § 3. ГАУССОВСКИЕ СТАЦИОНАРНЫЕ ПРОЦЕССЫ 459
соотношение *)
j™ р{т(о. s} = l/(S).
Поведение максимума. Распределение максимума про-
цесса £=£(/) на отрезке тесно связано с распре-
делением числа пересечений v(0, Т) уровня а. Именно,
Pl max £ (/) С а 1 -Ь Р ( min £ (0 > а 1 — Р {v (О, Т) = 0\.
1о</<г J I
При описанных выше условиях регулярности, когда r(f) =
= 0 {ге},
lim Р ( max = lim Р {v(0, Т) = 0} = е~У
Т->оо 10</<Г ] Г->оо
где у — некоторое фиксированное число, Л — среднее число
пересечений уровня а, равное
1 п / ВЧр) ~ f а* \
2л И 5(0) ехр( 25 (0) Г
Если максимум рассматриваемого процесса представить
в виде
„ ... п / 5(0) [. Г2 V — В" (0) . у. \
о</а<г ~ V 2 log Т ( Og 2л + •
то для случайной величины £г, определяемой этим соотно-
шением, имеет место следующая предельная теорема:
lim Р z} = е~у, где y = e~z.
Т -»оо
Таким образом, при Т->оо
max (0 ~/25(0) log Т.
0<!<Т
3. Эквивалентность распределений вероятностей гаус-
совских стационарных процессов. Условия эквивалентности
общих гауссовских распределений указаны в § 2.2 гл. III.
*) См. В. А. Волконский, Ю. А. Розанов, Некоторые
предельные теоремы для случайных функций, Теория вероят. и ее
примен., VI, 2 (1961), 202—215.
460 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [3
Использование спектрального разложения позволяет предста-
вить эти условия в спектральнохм виде, что открывает сравни-
тельно эффективные пути для отыскания плотности (отноше-
ния правдоподобия) эквивалентных распределений.
Эквивалентность на бесконечном интервале. Пусть
Р^Р(Л) и Р = Р(Л) — два распределения вероятностей
гауссовского стационарного процесса | = £ (t), — со < £ < со,
и пусть B = B(t) и B = B(t), F — F (Л) и F =F (/X) —
корреляционные функции и спектральные меры, соответствую-
щие распределениям Р и Р. Условие эквивалентности
распределений Р и Р (на 6-алгебре 51 (—со, со)) • со-
стоит в следующем. Во-первых, множество точек К, для
которых /7(Z)>0, совпадает с множеством точек Z, для
которых F (л) > 0; в этих точках %2, ... должно выпол-
няться соотношение
Во-вторых, непрерывные части спектральных мер F и F
должны совпадать:
F(A) = F(A)
для любого измеримого множества А, не содержащего точек Л
положительной меры. В частности, в случае эргодичности
условие эквивалентности распределений Р и Р равносильно
тому, что Р и Р тождественны.
Эквивалентность распределений, отличающихся сред-
ними значениями. Пусть Р — распределение вероятностей
гауссовского стационарного процесса
£(0= J е‘х'Ф(<Д)
с нулевым математическим ожиданием и спектральной ме-
рой F. Предположим, что распределение вероятностей Р
отличается от Р лишь средним значением A (t) — М£ (/)> С Т, на
некотором множестве Т действительной прямой — сю < t < сю.
Для эквивалентности Р и Р на о-алгебре 51 (Т) необходимо
31
§ 3. ГАУССОВСКИЕ СТАЦИОНАРНЫЕ ПРОЦЕССЫ
461
и достаточно, чтобы функция a~A(t) была представима
в виде
a(t) = аб D. (3.1)
где <p(Z) — некоторая функция пространства Л К т. е.
j Iф (М I2 F W < оо ,
Соответствующая плотность р (со)
ражена следующим образом:
____ Р (did)
Р (rfco)
может быть вы-
р (q) = D ехр
оо
j Ф(МФ(<Л)
— оо
где постоянный множитель D определяется из условия
Мр(со)= 1. В рассматриваемом случае
D — ехр
оо
-у J |?W!2F(dX)
— ОО
Соотношение (3.1) представляет собой интегральное урав-
нение относительно неизвестной функции ср £ Лг.
Пусть множество Т представляет собой отрезок [0, т].
Если спектральная мера F такова, что
lim V" - (.У > 0 (3.2)
--- бгЛ
при некотором п, то всякая функция a(f), имеющая (п—1)-ю
абсолютно непрерывную производную такую, что
J | (/) |2 dt < сю,
о
представима в виде (3.1). Если же спектральная мера Р
462 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [Я Ж
убывает при X—>оо очень быстро, например так, что Я
= 0 (д > 0), Я
Л->оо W
то уже функция a (f), тождественно равная постоянной, не Я
может быть представлена в виде (3.1). Если, кроме (3.2), Я
г— Л 2л Z7 (dh) Я
11Ш Л —< ОО, Ж
х-»°° Я
то для представимости функции a(t) в виде (3.1) необходимо, Я
чтобы она имела п — 1 абсолютно непрерывных производных Я
и квадрат n-й производной [я^(/)]2 был интегрируем на рас-
сматриваемом интервале JI
Эквивалентность распределений с различными корре- У
ляционными функциями. Пусть Р и Р — распределения -X
вероятностей гауссовского стационарного процесса с нулевыми Ц
математическими ожиданиями и корреляционными функциями
В (0 = J eiUF (dX). В (0 = J ем ?
Для эквивалентности Р и Р на о-алгебре 21(7) (Т— произ-
вольное множество на действительной прямой) необходимо и
достаточно, чтобы разность соответствующих корреляционных
функций b(s, — t) — B(s, t) была представима в виде
b(s> t)= J J g)(^> ц) p (^X) F (dye)
A*
(s, t,£T), (3.3) J. !
*tr
где ф (Z, p) — некоторая функция пространства L2(F, F)t
определяемого как совокупность функций ф, удовлетворяю- -
щих условиям: - I
inf
sk ’ т
/ J IФ (^. H) I2 p (db).F (dll) < oo,
j j ф(Х, ц) - V Сл.е‘ (^-^) 2 руК) F (ф)=0.'
3]
§ 3. ГАУССОВСКИЕ СТАЦИОНАРНЫЕ ПРОЦЕССЫ
463
Соответствующая плотность р ((d)
жена формулой
Р(da) *
может быть выра-
Р ((/(О) г
р (о) = D ехр
— -i- lim || <р(Х, ц) Ф ((А) Ф (tfp) —
1 л->оо .
L|_(pj<n
— j ф(Х, l)F(rfX) ,
I ф| <п J .
где постоянный множитель D определяется из условия
М р (cd) = 1.
Соотношение (3.3) представляет собой интегральное урав-
нение относительно неизвестной функции F).
Пусть множество Т есть отрезок [0, т]. Если
t. «а F (dh) р— аа F (d\) ,
л <r lim Л —Ьш X—< оо,
Л->оо л-^-оо
то при а = 2п функция b(s, t) представима в виде (3.2) тогда
и только тогда, когда она имеет абсолютно непрерывные
d‘2n’~1b(st 0 Э2л“1^(5, 0
частные производные -------- ? ’ и --------„ .7 , причем
н dsn~xdtn ds dt 1 Е
д2лШ 0 I2 л
dsn dtn I ds dt < °°-
о о
Если спектральные меры F и F имеют плотности f = /(X)
и / = /(Х), то в случае рациональных f (X) и /(X) распре-
деления Р и Р эквивалентны тогда и только тогда, когда
lim
Х->оо
rw
/W
Если спектральная плотность /(%) такова, что
lim Xе [/(X) —/(!)] = О
Х->оо
464
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
U
при некотором p>a + V2» то распределения Р и Р эквива-
лентны. Если же / (Z) / (Л) и
lim ??[/(?•) -/(?.)]> О
Z->oo
при то распределения Р и Р будут перпенди-
кулярны.
Пример. Пусть корреляционные функции суть
, ~ (1 —1/1 при
В(0 = а1 2е-«1'1, £(/) = ‘
(О при
|Ч<1.
Pl> 1.
Соответствующие спектральные плотности имеют вид
/ zlч_ G2 ® 'f (У \ COS
При o2a = 1 имеет место эквивалентность распределений Р
и Р для любого т<^1. При o2a =^= 1 или т> 1 распределе-
ния Р и Р перпендикулярны.
Пример. Пусть Р и Р — распределения вероятностей
гауссовского стационарного процесса, отвечающие нулевым
математическим ожиданиям и корреляционным функциям
В(£) = (Л>-а1'1 и ё(/) = о2^-«1И.
В этом случае формула для плотности (со) выгля-
дит следующим образом:
/ х a
Р(®) = техр
т
|(a2-a2) / [fe(«. t^dt-
О
— 4 (S - a) [ U (®. 0)]2 + [&(<». t)]2J
§ 4. Элементы математической теории передачи
информации по стационарным каналам связи
1. Основные результаты о возможности передачи
информации.
Канал связи. Математическая модель канала связи описы-
вается некоторой совокупностью элементов xlt называемых
1] § 4. ЭЛЕМЕНТЫ МАТЕМАТИЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 465
сигналами на входе канала, совокупностью Х2 элемен-
тов х2, называемых сигналами на выходе канала, и услов-
ными распределениями вероятностей Р2 = Р2 (Л21 Xj) на про-
странстве Х2 выходных сигналов х2. Если посланный сигнал
(сигнал на входе) есть хр то с вероятностью Р2(Л2| Xj) на
выходе канала будет принят сигнал х2 из некоторого множе-
ства А2аХ2 (условные распределения задают вероятности
того или иного искажения посланного сигнала Xj).
Канал связи предназначается для передачи сообщений.
Совокупность всех возможных сообщений обозначим симво-
лом Х$. Считается, что каждое из сообщений х0 £ Х$ может
поступить с определенной вероятностью, точнее, на простран-
стве Х^ имеется определенное распределение вероятностей
Ро = Ро W
Сообщения х0 не могут быть переданы по каналу связи
непосредственно: для их передачи могут лишь использоваться
сигналы х1^А’1. «Кодирование» сообщений х0 в сигналы х,
описывается при помощи условного распределения вероят-
ностей Pj — Rj (Xj | x0): если поступает сообщение х0, то
с вероятностью Pi(^Jx0) будет послан один из сигналов хр
входящих в множество Хх (условные распределения
Pi(A|x0) учитывают возможные искажения при кодировании
сообщений). Аналогичным образом описывается «декодиро-
вание» принимаемых сигналов х2 в сообщения х3: оно за-
дается условным распределением вероятностей Р3 = Р3 (Л31 х2)
на пространстве Х3 сообщений х3, принимаемых на выходе
канала связи.
Схема передачи сообщений выглядит следующим образом.
На вход канала связи поступает случайное сообщение
с заданным распределением вероятностей Р0 = Р0(Д0). При
его поступлении передается сигнал £р распределение вероятно-
стей которого задается «правилом кодирования» Pi=Pi(^i|x0);
В результате передачи посланного сигнала на выходе канала
связи возникает сигнал %2:
Pf^CAI^ U = Р2(А1 U-
Наконец, принятый сигнал £2 декодируется, в результате
чего получается сообщение £3:
Р U3€ и = Рз(А>1У-
30 Ю. В. Прохоров, Ю. А. Розанов
466
ГЛ. VT. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
[1
Последовательность -> -> £2 ьз является марковской.
При любых правилах кодирования и декодирования описан-
ного типа имеет место следующее неравенство:
/(Во. Вз)</(Вр в2).
где / (£0, £3) — количество информации о £0 в принятом
сообщении |3, / (£р £2) — количество информации о в при-
нятом сигнале £,2.
Теорема Шеннона. Предположим, что распределение веро-
ятностей входного сигнала не может быть произвольным
и ограничено определенными требованиями, скажем, оно должно
принадлежать некоторому классу W. Величина
C = sup/(gp £2),
где верхняя грань берется по всем возможным распределениям
Pj £ Wt называется емкостью канала и характеризует мак-
симальное количество информации, которое может быть
передано по данному каналу связи.
Предположим далее, что передача сообщений -> £3 должна
удовлетворять определенным требованиям точности, скажем,
совместное распределение вероятностей Р^з передаваемого
и принимаемого сообщений £0 и £3 должно принадлежать неко-
торому классу V. Величина
H = inf/(^0, ^3),
где нижняя грань берется по всем возможным распределениям
РЫз £ У, характеризует минимальное количество информации,
которое должно заключать в себе принимаемое сообщение
£3 о чтобы было выполнено условие точности передачи;
величина 77 называется энтропией источника сообщений.
Если возможна передача —> £2 —> £3 с соблюдением
требований V и Wt т. е. существуют соответствующие способы
кодирования и декодирования (другими словами, существуют
соответствующие условные распределения Рр Р2 и Р3), то
При выполнении этого неравенства передача в некотором смысле
является возможной (имеется в виду возможность передачи по-
следовательно поступающих сообщений £(о\ ...» ЙУ
Предположим, что совокупность XQ всех возможных сооб-
щений xQ является дискретной (т. е. имеется не более чем
1] § 4. ЭЛЕМЕНТЫ МАТЕМАТИЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 467
счетное число различных сообщений х0, поступающих с соот-
ветствующими вероятностями Р0(х0), аг0^Х0) и условие точ-
ности передачи V состоит в том, что принимаемое сообщение
£,з должно просто совпадать с переданным сообщением
£3 = £э с вероятностью 1. Тогда
н = — 5 Ро (*о) log Ро (*о) = — М log Ро (у.
*0
Предположим далее, что^имеется лишь конечное число W
различных входных сигналов хг и нет никаких ограничений
на вероятности Р = xj, хх £ Xv Кроме того, предполо-
жим, что передаваемые сигналы принимаются без искажений,
т. е. с вероятностью 1 = Тогда емкость канала выра-
жается формулой
С = log 2Af,
т. е. передаваемое количество информации / (£р £2) будет
максимальным в том случае, когда сигналы хг £ Хг равно-
вероятны.
Если сообщения . . ., поступают независимо
друг от друга, то количество информации, которую несет
группа сообщений |0« = (^J>, .....£(g’). есть
ИП = — 2 р (*оп) log Р (хОя) = — М log Р (|оя) = пН,
где Хоп = (х<*>, .... x(g>) — группа сообщений, поступающая
на кодирование с вероятностью
р (Хоя) = Ро (х<>>) Ро (х?) . . . Ро (х(0«>).
Пусть Н <С. Положим д = у(С— Н). Согласно зако-
ну больших чисел (примененному к последовательности
независимых и одинаково распределенных случайных величин
logPo(^) (£=1, 2, ...) с математическим ожиданием
М logРо(£<*)) = — Н) для любого 8> 0 найдется п(е) такое,
что при всех
р{-я-д< ilOgP(g0n)<tf+d}>l-8,
где
п
30*
468
ГЛ VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
Полученное неравенство говорит о том, что все группы Я
сообщений хОл можно разбить на два класса. К первому Я
классу Х$п относятся «высоковероятные» сообщения Хоп, для Я
которых Р (хОл) 2“ п б) и количество которых не боль- Я
ше чем + 1
Л4л<2п(^+6). Ж
Ко второму классу Х2$п относятся все остальные «маловероят- В
ные» сообщения Хъп'- Р {|ол £Х%п] е. В
Каждую группу высоковероятных сообщений xQn можно I-
в принципе передать, закодировав ее соответствующей ком- J
бинацией сигналов Xin — (хф.....х(^). Число всевозможных
комбинаций такого вида есть Nn — 2пС, и видно, что Мп < Nn. . |
Таким образом, имеется Nn различных сигналов х1п, с помощью f
которых можно закодировать и передать безошибочно все Мл |
высоковероятных сообщений хОлС^ол- Если в дополнение |
к этому при поступлении любого маловероятного сообщения •
передавать некоторый один и тот же сигнал
(отличный от сигналов, при помощи которых передаются '
высоковероятные сообщения Хоп^А'ол). то с вероятностью,
не меньшей чем 1—е, на выходе канала связи будет при-
ниматься последовательность ...» совпадающая
с посланной последовательностью Vq......£(о):
Р ..... = |(»)} > j _ е.
Итак, при выполнении неравенства Н < С оказывается воз-
можной передача достаточно длинных сообщений ......
стой оговоркой, что с вероятностью е (е — наперед заданное
сколь угодно малое положительное число) может быть допуще-
на ошибка. По существу, здесь имеется целое семейство кана-
лов связи и источников сообщений, зависящих от параметра п.
Информационная плотность. Количество информации
f (£о> £з) Для абстрактных случайных величин и со зна-
чениями в пространствах Х$ и Х3 может быть записано в виде
/(U £з) = м/(и ы.
где
Kxq.
~ р0 (ахй) р3 (rfx3)
1] § 4. ЭЛЕМЕНТЫ МАТЕМАТЙЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 469
— так называемая информационная плотность. Последо-
вательность пар (£Ол, £3л) называется информационно устой-
чивой. если при /г->оо
/(&)„. 1зя)-*оо и 7 (1°оя. 1 (П0 веР0ЯТН0СТИ)*
Рассмотренная выше последовательность (|Ол, |3л), |3/1=1ол
поступающих сообщений g0« = .....обладает
свойством информационной устойчивости, что в конечном счете
и определило возможность передачи сообщений |Ол с точно-
стью до е. Этот факт имеет широкие обобщения. Именно,
если Сп — пропускная способность канала §1Л -> £2л, — мини-
мальное количество информации, необходимое для соблюдения
требуемой точности передачи причем
lim < 1,
и существуют информационно устойчивые последовательности
пар (§од, |3„) и (|1Я, 12п), для которых одновременно
£зя)->1 и ^-/(^л,^я)->1,
пп
то при весьма широких предположениях для любого наперед
заданного е > 0 существует такое п (е), что по всем каналам
связи с параметром возможна передача*) с точно-
стью до е.
Канал связи с изменяющимися состояниями. Как было
указано выше, канал характеризуется условными распределе-
ниями Р2, задающими вероятности тех или иных искажений
посылаемого сигнала хг Несколько изменим схему канала
связи, считая, что имеется некоторое множество Z возмож-
ных состояний z канала связи, причем если канал находится
в некотором состоянии z и на входе возникает сигнал
то независимо от других предшествующих обстоятельств
канал переходит в другое состояние zv Этот переход под-
вержен случайностям и описывается условными распределе-
ниями Р(С|хр z) (Р(С|хр z} — вероятность того, что
новое состояние zx будет входить во множество С a Z).
*) См. Р. Л. Добру шин. Общая формулировка основной
теоремы Шеннона в теории информации, Успехи матем. наук,
XIV (1959), 3—104.
470 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [1
При этом уже считается, что выходной сигнал х2 однозначно
определяется состоянием канала т. е. существует некото-
рая функция ф=ф(г) на пространстве / возможных состоя-
ний канала такая, что х2 = ф(г1). Эта более общая схема
позволяет учитывать те изменения, которые в принципе могут
возникать в канале связи по мере его работы.
Стационарные каналы. Рассмотрим стационарный режим
работы канала связи, считая, что последовательно передаваемые
сигналы ..., £j(—1), (0), ^(1)....соответствующие со-
стояниям канала £(—1), £(0), £(1), и опреде-
ляемые ими сигналы ...» £2(— 1), %2(0), Е,2(1), ... на выходе
образуют стационарные и стационарно связанные случайные
последовательности. Величина
e = sup^(^, Ь)>
тде $ (£р %2) означает скорость передачи информации
о стационарной последовательности {^(п)} последователь-
ностью {£2(п)} (см. следующий пункт) и верхняя грань бе-
рется по всем допустимым распределениям вероятностей вход-
ной последовательности (п)}, называется пропускной спо-
собностью канала связи.
Предположим, что поступающие на вход канала связи со-
общения {£о(я)}, п— ..., —1, 0, 1, ..., образуют случай-
ную стационарную последовательность. Будем считать правило
кодирования заданным, если при всех k, т и kx...km^k
определены условные вероятности
рlilacs,.........(km)сВтI(-оо. Л)}
того, что при поступлении последовательности сообщений
£о(~k) = ..., Ш
на соответствующих местах будут переданы сигналы (Z^), . . .,
£i (km), входящие в указанные множества Bv ...» Вт. Эти
вероятности считаются стационарными в том смысле, что они
не меняются при одновременной замене индексов k и kv . . .,
km на k-\-l и Z^-J-Z, ..., при любом целом Z. Ана-
логичными вероятностями Р{£з(А)€А» •••* £з(^/и)ё
£D„J|,2(—ск?, &)} задается правило декодирования.
Определим величину формулой
^з),
1] § 4. ЭЛЕМЕНТЫ МАТЕМАТИЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 471
где д (^о» £3) — скорость передачи информации о стационарной
последовательности (£0 (п)) последовательностью {£3 (п)},
п= ..., — 1, 0, 1, .. . (эти последовательности предпола*
гаются стационарно связанными), и нижняя грань берется по
всем допустимым распределениям вероятностей, удовлетворяю-
щим требованиям точности передачи (£э(п)} {£з(п)Ь
Неравенство
является необходимым условием возможности передачи
{£о(«)} -* & (»)}-* {Ы«)-> {1з(«)}.
Напомним, что каждое сообщение £0(&) представляет собой
некоторый элемент х0 из совокупности Х$. Можно интер-
претировать Xq как некоторый алфавит, состоящий из сим-
волов-букв х0. Предположим, что этот алфавит Х$ является
конечным и требование точности передачи состоит в безо-
шибочном воспроизведении передаваемых символов:
Р (£3(А’) = £а(&)} = 1 для любого целого k.
Предположим далее, что входных сигналов и состояний
канала z имеется лишь конечное число. Обозначим состояния
канала целыми числами 1, 2, ..., W, и пусть p(k, xv J) —
соответствующие вероятности перехода из состояния k в со-
стояние j при входном сигнале хг:
p(k, xv /) = Р[С(п+1) = /|С(п) = А, + =
Предположим, кроме того, что любые произведения вида
p(k0, Xi(l), Z?i) p(kv Xj(2), k2) ... p(kn_v x^n), kn)
являются стохастическими матрицами, задающими эргодические
цепи Маркова. (Это условие будет выполнено, например, если
каждая из переходных матриц {p(k, xlt /)} имеет положи-
тельный коэффициент эргодичности.) Тогда при выполнении
неравенства и соблюдении условия эргодичности ста-
ционарной последовательности {^0(n)j сообщений на входе
передача возможна с точностью до любого е>0, т. е. при
соответствующих способах кодирования и декодирования при-
нимаемая последовательность сообщений {£3(п)} будет обладать
тем свойством, что
Р ¥= £(#)) <8 для любого целого k.
472 гл. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [2
2. Формулы для количества информации.
Количество информации о гауссовских величинах.
Пусть = t£Ti} и &2={ъ(0> ^£Г2}—два семейства
случайных величин, имеющих совместное гауссовское распре-
деление вероятностей, и пусть Нх и Н2— замкнутые линейные
оболочки величин £(/), t£Tv и £(/), Т2, в гильбертовом
пространстве Z,2(Q). Обозначим буквами Р1 и Р2 операторы
проектирования на подпространства Нх и Н2 и положим
p(i) _ р(2) _ Р2РХР2. Количество информации / (£р £2)
о семействе величин содержащееся в семействе величин £2,
конечно тогда и только тогда, когда один из операторов
или Р<2) представляет собой ядерный оператор, т. е. после-
довательность 12, ... его собственных значений (все они
неотрицательны) удовлетворяет условию < оо. При этом
и
k
В случае, когда и £2 образованы конечным числом
гауссовских величин:
^ = (1(1).....Цда)}. = {!('«-М)...............&(*+«)}.
причем корреляционная матрица В общей совокупности
£(1), .... ^(/п4~п) является невырожденной, количество
информации /(£р £2) может быть выражено следующей фор-
мулой:
/ (t t \ — ± locr <det gi)(det
'tel. 62)— 2 10£ det В
где В{ и В2 — корреляционные матрицы соответствующих сово-
купностей и £2.
Гауссовские распределения обладают следующим экстре-
мальным свойством. Для произвольных распределений
вероятностей величин
^ = {Ц1).......Ц/и)1 и = ••• !(« + »)}
с соответствующими корреляционными матрицами В2 и В
количество информации I (£Р £2) удовлетворяет неравенству
га иг1 lAo-<det в,) (det
I (Ip 62) <7 ’og----И--------’
2| 5 4. ЭЛЕМЕНТЫ МАТЕМАТИЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 473
е-энтропия. Пусть £ = (Bi...В„) и П = (Чр Пя) —
векторные случайные величины в n-мерном евклидовом про-
странстве X и р(х, у) — некоторая неотрицательная функция,
определяющая условие близости величин | и г), которое вы-
ражается следующим соотношением:
мр(£. Т])<е.
Величину И — Н&, определенную как
т]),
обычно называют г-энтропией случайной величины | (ниж-
няя грань берется по всем случайным величинам т], удовле-
творяющим указанному условию е-близости к случайной ве-
личине £).
Пусть р(х, у) = р(|х — у|) и существует производная
Р'(О), 0 < р'(0) < оо. Тогда при е -> 0 имеет место асимпто-
тическая формула, в которой логарифмы берутся по основа-
нию е:
. г (4) [«• р' <°)]я
W„ = nlog-4-A(£)-Mog—------------------~ + О(1),
е s £ -т- къ/ 1 s (2jx)n/2 (п — 1)!^л ’
где Г(-) — гамма-функция и Л (У — так называемая диффе-
ренциальная энтропия случайной величины
Л(|) = — [ />a(x)logPi(x)dx
X
(Pl (*) — плотность распределения вероятностей, удовлетворяю-
щая весьма широким условиям, которые выполняются, напри-
мер, если плотность ограничена и /*(£)>—оо).
Пусть
п
р(х, = (а, 0 > 0).
k~\
Тогда
п г (—Г
1пД(ар<? WF2 г(1 И" *
474 ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ [2
В частности, при а =2, р=1 имеет место асимптотическая
формула *)
tfe = £10g|+*(£)-^/2^ +0(1).
Скорость передачи информации. Пусть пара случайных ,
процессов (£р (/), £2(0) образует станционарный в узком смысле
процесс, £1"» —совокупность значений | (/), и t с/, и пусть
41}
— условное количество информации о процессе = l^00»00!,
содержащееся в отрезке процесса |2. Среднее количе-
ство указанной информации представляет собой линейно ра-
стущую функцию от t\
Фигурирующая здесь величина g (£р £2) называется средней
скоростью передачи информации стационарным процессом £2
о стационарном процессе или короче — скоростью пере-
дачи информации.
Скорость передачи информации g (£р £2) обладает рядом
свойств, аналогичных свойствам количества информации. Но,
кроме того, она имеет и специфические свойства. Например,
для всякого сингулярного случайного процесса g2, т. е. та-
кого процесса, все значения £2(^) которого являются функ-
циями от совокупности величин °°’(^0 может быть вы-
брано любым), имеет место равенство
9^ &2) = 0-
Для всякого же регулярного случайного процесса £2 равен-
ство g (£р |2) = 0 справедливо лишь тогда и только тогда,
когда случайный процесс не зависит от процесса £2 (это
говорит, в частности, о том, что в некоторых случаях
ш
*) См. Ю. Н. Линьков, Вычисление Е-энтропии случайных
величин при малых е, Проблемы передачи информации, I, 2 (1965),
2] § 4. ЭЛЕМЕНТЫ МАТЕМАТИЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 475
При дополнительных условиях типа регулярности скорость
передачи информации (£р £2) совпадает с пределом
l2) = lim М’
t - /0->оо 1 г0 4 1 - z 7
где /0,1/°’Ц*0’— количество информации об отрезке про-
цесса заключенное в Так будет, например, когда
время t меняется дискретно, а отдельные величины (/) и £2(0
могут принимать лишь конечное число различных значений
или когда распределение вероятностей процессов и £2 является
гауссовским. В случае непрерывного времени t так будет для
гауссовских процессов, когда спектральная плотность / (X)
процесса %2(/) удовлетворяет условию
0 < с < Х27(Х)<С < оо.
Пример. Пусть стационарный процесс £ = % (t) пред-
ставляет собой последовательность величин, каждая из кото-
рых принимает значения из некоторого «алфавита» X, со-
стоящего из конечного числа «символов» xv х2, ..., х^
Предположим, что вероятность появиться на фиксированном
месте определенному символу xt есть pit а вероятность по-
явиться за ним символу Xj не зависит от предшествующих
Xt значений и есть р^:
Р U (0 = *i} = Pi> Р Ш D=х}\1 (О =
= Xt, 1)......}=pl}.
Другими словами, £ = £(/)— стационарная цепь Маркова с
переходными вероятностями {р^} и стационарным распреде-
лением {р^ Тогда скорость передачи информации стационар-
ным процессом £(/) будет
D^ — 'SJPlpijlogpiJ.
i, j
В частности, если £ = £(/) — последовательность незави-
симых величин (в этом случае то
0 (|. Q = -^^P№gPj-
J
Скорость передачи информации в случае гауссов-
ских стационарных процессов. Пусть (t) и
476
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
12
|2=£2(f)—стационарные гауссовские процессы со спектраль-
ными плотностями /п (X), /22(М и взаимной спектральной плот-
ностью /12(Л), причем процесс £2 = £2 (0 является регулярным.
Тогда
3 (1р Ь) = - i f log [1 -
J L /11 (A) /22 (A) J
Рассмотрим следующее условие близости гауссовских ста-
ционарных процессов |j(/) и |2(/):
MIU0- 12(012<б2.
Наименьшая скорость передачи информации
//=inf д (£р £2),
совместимая с указанным условием «d-точности», выражается
следующей формулой:
' f IA.WI’ 1А
4л J 6 О2 4л J 6 L /hW/22(X)J
/п(х»е2
™ при fn(X)>e2.
/22 W —I о при /П(Х)<02,
/12 (M — /22 W»
а параметр 02 определяется из равенства
j [/nW- /22(Х)ИХ = д2.
Эта формула показывает, какого типа спектральная плотность
/22(Х) Должна быть у регулярного стационарного процесса
£2(/), который несет мини-
мальную информацию д (£р
|2) « Н о процессе (/)
(рис. 27). В случае дискрет-
ного времени, когда /ц(^)^>
^>02 при всех X,—л Лл,
нижняя грань Н скорости
передачи достигается для
такого процесса £2(/) (со
спектральной плотностью /22 W« задаваемой приведенной выше
формулой), который связан с процессом ^(/) формулой
ю=^2 (о+т
2J § 4. ЭЛЕМЕНТЫ МАТЕМАТИЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 477
где £(/)—стационарный гауссовский шум, не зависящий от
процесса £2(0‘> в общем случае формула для /22(Х) задает
предельный вид соответствующей спектральной плотности ре-
гулярного процесса £2(0«
В случае, когда спектральная плотность /П(Х) прибли-
женно выражается формулой
/п(Х) ~
при |Х ± Хо|
при остальных — к
(рис. 28), соответствующая минимальная скорость передачи
информации может быть вычислена по приближенной фор-
муле вида z .
a2 = M(U012.
Симметричный на- ~2_д-ш. -2^ 0 2.^ 2.^ 'л
нал без памяти. Рас-
смотрим симметричный Рис. 28.
канал без памяти с ко-
нечным числом входных сигналов хр когда передаваемый
сигнал Xi с вероятностью 1 — р правильно принимается на
выходе канала связи, а с вероятностью р искажается, причем
все возможные искажения равновероятны: вероятность того
что на выходе будет сигнал х2, равна -д^-37р для любого
х2=/=Хр где N — общее число сигналов. Для такого канала
связи пропускная способность
e = sup^(£p g2)
достигается в случае, когда на вход поступает последователь-
ность независимых и равномерно распределенных сигналов ..
—1), £i(0), ^(1), эта пропускная способность выра-
жается формулой
e = \og2N — (1 — p)10g2(l — р) — />log2 д—у.
Пропускная способность при наличии гауссоеских шу-
мое. Рассмотрим канал связи, на входе которого сигналы
образуют стационарный процесс = £j (/), М [£х (О]2 < 00•
478
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
12
Пусть при прохождении сигнала (/) он подвергается
линейному преобразованию Дф со спектральной характеристи-
кой <р(Х) и, кроме того, на него накладывается аддитивный
стационарный гауссовский шум £ = £(/), так что на выходе
канала имеется случайный процесс £2(С вида
Предположим далее, что ограничения на входной процесс
состоят в том, что
1Ж(')]2<Д2
(постоянная А2 ограничивает среднюю энергию входного си-
гнала). Пропускная способность такого канала может быть
вычислена по формуле
С = ^ J
1ф(М 1262>/^(М
1<Р WP/W
1<р(М I2/ W
Ле W
(в последнем выражении интегрирование ведется в пределах
— л к л для дискретного времени t и в пределах
— оо < Z < оо для непрерывного /), где (X) — спектраль-
ная плотность гауссовского процесса £ (Q, функция / (Z)
имеет вид
/ °2-4£(WW|-2 при 02>/es(%)|<pw|-2.
(О в противном случае,
а параметр 02 определяется из равенства
J /(X) dk = k2.
Нужно сказать, что если функция /(X) представляет собой
спектральную плотность регулярного стационарного гаус-
совского процесса £х(0, то этот процесс, рассматриваемый
как входной сигнал, обеспечивает максимальную скорость
передачи информации: д (£р = Однако в наиболее
интересных случаях, когда время t меняется непрерывно,
функция f (Z) обращается в нуль на тех интервалах частот X,
где уровень шума сравнительно высок (отличные от нуля
2] § 4. ЭЛЕМЕНТЫ МАТЕМАТИЧ. ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 479
значения f(k) сосредоточены в основном на тех интервалах
частот X, где уровень шума сравнительно мал), и поэтому
не может служить спектральной плотностью регулярного про-
цесса. Более того, если в качестве входного сигнала выбрать
процесс £х(0 с такой спектральной плотностью /(А), то этот
сигнал будет сингулярным и соответствующая скорость пере-
дачи информации д (|р £2) будет равна нулю, а не макси-
мально возможному значению указанному выше.
Рис. 29.
Тем не менее приведенные выражения полезны, так как
позволяют приблизительно представить вид спектральной плот-
ности /(А) регулярного входного сигнала ^(О» обеспечи-
вающей скорость передачи д (|р £2), близкую к максималь-
ному значению С. С практической точки зрения наиболее
интересен случай, когда канал связи имеет ограниченную
полосу w пропускаемых частот, т. е*. когда спектральная
характеристика ф приближенно выражается формулой
1ф(М|2«
1 при | А, ± 10|С у Wt
О при остальных X
(рис. 29), а проходящий через канал шум имеет равномерный
спектр:
п2 1
"р" i’-±4i<4^.
О при остальных Z.
В этом случае пропускная способность может быть вычислена
по приближенной формуле
480
ГЛ. VI. СТАЦИОНАРНЫЕ ПРОЦЕССЫ
|2
При этом входной сигнал ^(/), обеспечивающий скорость
передачи информации близкую к максимальной,
является гауссовским стационарным процессом со спектраль-
ной плотностью f (Л) вида
/(*)«
Л2 1
при |X±Z0|<Ar.
О при остальных X,
так что параметры А2 и о2 имеют следующий физический
смысл:
Л2 = М | (t)|2 — энергетический уровень входного сигнала,
— энергетический уровень шума.
ЛИТЕРАТУРА
А йзен ш и ц Р., Статистическая теория необратимых процессов
(перевод с англ.), М., ИЛ, 1963.
Андерсон Т., Введение в многомерный статистический анализ
(перевод с англ.), М., Физматгиз, 1963.
Андреев Н. И., Корреляцонная теория статистических оптималь-
ных систем, М., «Наука», 1966.
Арлей Н., Бух К. Р., Введение в теорию вероятностей и мате-
матическую статистику (перевод с англ.), М., ИЛ, 1951.
Базовский И., Надежность (перевод с англ.), М., «Мир»,
1965.
Бартлетт М. С., Введение в теорию случайных процессов (пере-
вод с англ.), М., ИЛ, 1958.
Беллман Р., Динамическое программирование (перевод с англ.),
М., ИЛ, 1960.
Беллман Р., Процессы регулирования с адаптацией (перевод
с англ.), М., «Наука», 1964.
Беллман Р., Дрейфус С., Прикладные задачи динамического
программирования (перевод с англ.), М., «Наука», 1965.
Б е н д а т Д., Основы теории случайных шумов и ее применения
(перевод с англ.), М., «Наука», 1965.
Б ер ж К., Общая теория игр нескольких лиц (перевод с франц.),
М., Физматгиз, 1961.
Бернштейн С. Н., Теория вероятностей (изд. 4-е), М.—Л., Гос-
техиздат, 1946.
Бернштейн С. Н., Собрание сочинений, том IV, М., «Наука»,
1964.
Блекуэлл Д., Гиршик М., Теория игр и статистических реше-
ний (перевод с англ.), М., ИЛ, 1958.
Бор ель Э., Вероятность и достоверность (перевод со 2-го франц,
изд.), М., Физматгиз, 1961.
Бриллюэн Л., Наука и теория информации (перевод с англ.),
М., Физматгиз, 1960.
Бунимович В. И., Флюктуационные процессы в оадиоприемных
устройствах, М., «Советское радио», 1951. 1
Бусленко Н. П. и др., Метод статистических испытаний (метод
Монте-Карло), М., Физматгиз, 1962.
Буш Р., М о с т е л л е р Ф., Стохастические модели обучаемости, М.,
Физматгиз, 1962.
Вальд А., Последовательный анализ (перевод с англ.), М., Физ-
матгиз, 1960.
31 Ю. В. Прохоров, Ю. А. Розанов
482
ЛИТЕРАТУРА
Ван дер Варден Б. Л., Математическая статистика (перевод
с нем.), М., ИЛ, 1960.
Вентце ль Е. С., Теория вероятностей, М., Физматгиз, 1958.
Винер Н., Кибернетика (перевод с англ.), М., «Советское радио»,
1958.
Винер Н., Нелинейные задачи в теории случайных процессов (пе-
ревод с англ.), М., ИЛ, 1961.
Возенкрафт Д. М.» Р е й ф ф е н Б., Последовательное декодиро-
вание (перевод с англ.), М., ИЛ, 1963.
Вудворд Ф. М., Теория вероятностей и теория информации с при-
менениями в радиолокации (перевод с англ.), М., «Советское
радио», 1955.
Г и х м а н И. И., Скороход А. В., Введение в теорию случайных
процессов, М., «Наука», 1965.
Гнеденко Б. В., Курс теории вероятностей (изд. 4-е), М.,
«Наука», 1965. *
Гнеденко Б. В., Беляев Ю. К., Соловьев А. Д., Матема-
тические методы в теории надежности, М., «Наука», 1965.
Гнеденко Б. В., Хинчин А. Я., Элементарное введение в тео-
рию вероятностей (изд. 6-е), М., «Наука», 1964.
Голдман С., Теория информации (перевод с англ.), М., ИЛ,
1957.
Гренандер У., Случайные процессы и статистические выводы
(перевод с англ.), М., ИЛ, 1961.
Гренандер У., Вероятность на алгебраических структурах (пе-
ревод с англ.), М., «Мир», 1965.
Гренандер У., Сеге Г., Теплицевы формы и их приложения
(перевод с англ.), М., ИЛ, 1961.
Гум бель Э., Статистика экстремальных значений (перевод
с англ.), М., «Мир», 1965.
Давенпорт В. Б., Рут В. Л., Введение в теорию случайных сиг-
налов и шумов (перевод с англ.), М., ИЛ, 1960.
Д е ч Р., Нелинейные преобразования случайных процессов (перевод
с англ.), М., «Советское радио», 1965.
Дуб Д. JI., Вероятностные процессы (перевод с англ.), М., ИЛ<
1956.
Ибрагимов И. А., Линник Ю. В., Независимые и стационарно
связанные величины, М., «Наука», 1965.
Ито К., Вероятностные процессы, выпуск 1 (перевод с англ.);
М., ИЛ, 1960.
Ито К., Вероятностные процессы, выпуск 2 (перевод с англ.), М., -
ИЛ, 1963.
Кац М., Статистическая независимость в теории вероятностей, ана-
лизе и теории чисел (перевод с англ.), М., ИЛ, 1963.
Кац М., Вероятность и смежные вопросы в физике (перевод
с англ.), М., «Мир», 1965.
Клепиков Н. П., Соколов С. Н., Анализ и планирование экспе-
риментов методом максимума правдоподобия, М., «Наука»,
1964.
Климов Г. П., Стохастические системы обслуживания, М., «Нау-
ка», 1966.
ЛИТЕРАТУРА
, 483
Кокс Д., Смит У., Теория очередей (перевод с англ.), М., «Мир»,
1966.
Колмогоров А. Н., Основные понятия теории вероятностей,
М.—Л., ОНТИ, 1936.
К о ф м а н А., К р ю о н Р., Массовое обслуживание (перевод
с франц.), М., «Мир», 1965.
Крамер Г., Случайные величины и распределения вероятностей
(перевод с англ.), М., ИЛ, 1947.
Крамер Г., Математические методы статистики (перевод с англ.),
М., ИЛ, 1948.
Кубилюс И. П., Вероятностные методы в теории чисел, Вильнюс,
Госполитнаучиздат, 1959.
Лебедев В. Л., Случайные процессы в электрических и механиче-
ских системах, М., Физматгиз, 1958.
Левин Б. Р., Теория случайных процессов и ее применение в ра-
диотехнике, М., «Советское радио», 1960.
Левин Б. Р., Теоретические основы статистической радиотехники*
М., «Советское радио», 1966.
Леман Э. Л., Проверка статистических гипотез (перевод с англ.),
М., «Наука», 1964.
Л е н и н г Дж. X., Б э т т и н Р. Г., Случайные процессы в задачах
автоматического управления (перевод с англ.), М., ИЛ, 1958.
Леонов В. П., Некоторые применения старших семиинвариантов
к теории стационарных случайных процессов, М., «Наука», 1964.
Лившиц Н. А., Пугачев В. С., Вероятностный анализ систем
автоматического управления, М., «Советское радио», 1963.
Линник Ю. В., Разложения вероятностных законов, Л., Изд-во
Ленингр. ун-та, 1960.
Линник Ю. В., Дисперсионный метод в бинарных аддитивных
задачах, Л., Изд-во Ленингр. ун-та, 1961.
Линник Ю. В., Метод наименьших квадратов и основы матема-
тико-статистической теории обработки наблюдений (изд. 2-е),
М., Физматгиз, 1962.
Ллойд Д. К., Липов М., Надежность (перевод с англ.),- М.*
«Советское радио», 1964.
Месси Дж., Пороговое декодирование (перевод с англ.)* М.*
«Мир», 1966.
Митропольский А. К., Техника статистических вычислений, М.*
Физматгиз, 1961.
Монин А. С., Я гл ом А. М., Статистическая гидромеханика, М.,
«Наука», 1965.
Морз Ф. М., Ким бе л л Д. Е., Методы исследования операций
(перевод с англ.), М., «Советское радио», 1956.
Пинскер М. С., Информация - и информационная устойчивость
случайных величин и процессов, М., Изд-во АН СССР, I960.,
Постников А. Г., Арифметическое моделирование случайных про*
цессов, М., Изд-во АН СССР, 1960.
Риордан Д., Вероятностные системы обслуживания (перевод
с англ.), М., «Связь», 1966.
Розанов Ю. А., Стационарные случайные процессы, М., Физмат-
гиз, 1963.
31*
484
ЛИТЕРАТУРА
Романовский В. И., Дискретные цепи Маркова, М.—Л., Гостех-
издат, 1949.
Романовский В. И., Избранные труды, Ташкент, «Наука»,
1964.
С а а т и Т. Л., Математические методы исследования операций (пе-
ревод с англ.), М., Воениздат, 1963.
С а а т и Т. Л., Элементы теории массового обслуживания и ее
приложения (перевод с англ.), М., «Советское радио», 1965.
С а р ы м с а ко в Т. А., Основы теории процессов Маркова, М., Гос-
техиздат, 1954.
Свешников А. А., Прикладные методы теории случайных функ-
ций, СП, Ленинград, 1961.
Серебренников М. Г., Первозванский А. А., Выявление
скрытых периодичностей, М., «Наука», 1965.
Сираждинов С. X., Предельные теоремы для однородных це-
пей Маркова, Ташкент, Изд-во АН УзССР, 1955.
Скороход А. В., Исследования по теории случайных процессов,
Киев, Изд-во Киевского ун-та, 1961.
Скороход А. В., Случайные процессы с независимыми прираще-
ниями, М., «Наука», 1964.
Слуцкий Е. Е., Избранные труды, М., Изд-во АН СССР, 1960.
Смирнов Н. В., Дунин-Барковский И. В., Курс теории ве-
роятностей и математической статистики для технических при-
ложений (изд. 2-е), М., «Наука», 1965.
Солодовников В. В., Введение в статистическую динамику си-
стем автоматического управления, М.—Л., Гостехиздат, 1952.
Стратонович Р. Л., Условные марковские процессы и их приме-
нение к теории оптимального управления, М., Изд-во Моск,
ун-та, 1966.
Фа но Р. М., Передача информации (перевод с англ.), М., «Мир»,
1965.
Фанстейн А., Основы теории информации (перевод с англ.), М.«
ИЛ, 1960.
Феллер В., Введение в теорию вероятностей и ее приложения
(перевод со 2-го англ, изд.), М., «Мир», 1964.
Фе л ьд ба ум А. А., Основы теории оптимальных автоматических
систем (изд. 2-е), М., «Наука», 1966.
Ха л мош П., Теория меры (перевод с англ.), М., ИЛ, 1953.
Хал мош П., Лекции по эргодической теории (перевод с англ.),
М., ИЛ, 1959.
Хальд А., Математическая статистика с техническими приложе-
ниями (перевод с англ.), М., ИЛ, 1956.
Хант Д. А., Марковские процессы и потенциал (перевод с англ.),
М., ИЛ, 1962.
Харкевич А. А., Спектры и анализ (изд. 4-е), М., Физматгиз,
1962.
Харрис Т., Теория ветвящихся случайных процессов (перевод
с англ.), М., «Мир», 1966.
X е н н а н Э., Анализ временных рядов, М., «Наука», 1964.
X и н ч и н А. Я., Асимптотические законы теории вероятностей,
М.-~Л., ОНТИ, 1936.
ЛИТЕРАТУРА
485
X и н ч и н А. Я., Предельные законы для сумм независимых случай-
ных величин, М.—Л., ГОНГИ, 1938.
Хинчин А. Я., Работы по математической теории массового об-
служивания, М., Физматгиз, 1963.
Ховард Р. А., Динамическое программирование и марковские про-
цессы (перевод с англ.), М., «Советское радио», 1964.
Хэнссмени Ф., Применение математических методов в управле-
нии производством и запасами (перевод с англ.), М., «Про-
гресс», 1966.
Чернов Г., Мозес Л. Е., Элементарная теория статистических
решений (перевод с англ.), М., «Советское радио», 1962.
Чжун Кай-лай, Однородные цепи Маркова (перевод с англ.),
М., «Мир», 1964.
Шеннон К. Э., Работы по теории информации и кибернетике (пе-
ревод с англ.), М., ИЛ, 1963.
Шеффе Г., Дисперсионный анализ (перевод с англ.), М., Физ-
матгиз, 1963.
Юл Д. Э., Кендалл М. Д., Теория статистики, М., Изд-во ЦСУ,
I960.
Я гл ом А. М., Я гл ом И. М., Вероятность и информация, М., Физ-
матгиз, 1960.
Aitchison J„ Brown J. А. С., The lognormal distribution, Cam-
bridge, Univ. Press, 1957.
A s h В. B., Information theory, New York, Wiley, 1966.
Bailey N. T., The elements of stochastic processes with applica-
tions te the natural sciences, New York, Wiley, 1965.
Barlow R., Proschan F., Mathematical theory of reliability, New
York, Wiley 1965.
Bend at J. S., Pier sol A. G., Measurement and analysis of
random data, New York, Wiley, 1966.
Bharucha-Reid A. T., Elements of the theory of Markov pro-
cesses and their applications, N. J., McGraw-Hill, 1960.
Billingsley P., Ergodic theory and information, New York,
Wiley, 1965.
Blanc-Lapierre A., Fortet R., Theorie des fonctions aleato-
ires, Paris, Masson, 1953.
Bochner S., Harmonic analysis and the theory of probability, Ber-
keley, Los Angeles, Univ. Press, 1955.
Dubins L. E., Savage L. J., How to gamble if you must. Ine-
qualities for stochastic processes, New York, McGraw-Hill, 1965.
Feller W., An introduction to probability theory and its applica-
tions, vol. II, New York, Wiley, 1966.
Ficher R. A., Statistical methods and scientific inference, New
York, Hafner, 1956.
Finney D. J., An introduction to the theory of experimental design,
Chicago, Univ. Press, 1960.
Fraser D. A. S., Nonparametric methods in stitistics, New York,
Wiley; London, Chapman & Hall, 1957.
Godwin H., Inequalities on distribution functions, London, Griffin,
1964.
486
ЛИТЕРАТУРА
Grenander U., Rosenblatt M., Statistical analysis of statio-
nary time series, Stockholm, Almquist & Wiksell, 1956.
Hamilton W. C., Statistics in physical science. Estimation, hypot-
hesis testing and least squares, New York, Bonald Press, 1964.
Hammersley J., Handscomb D. C., Monte Carlo methods,
London, Methuen; New York, Wiley, 1964.
Harman H. H., Modern factor analysis, Chicago, Univ. ‘ Press,
1960.
Her d a n G., The advanced theory of language as choice and chance;
Bd. 4: Kommunikation und Kybernetik in Einzeldarstell., Berlin,
Springer, 1965.
Ito K., McKean H., Diffusion processes and their sample paths,
Berlin, Springer, 1965.
J oh ns on' N. L., Leone F. S., Statistics and experimental design
in engineering and the physical sciences, New York, Wiley, 1964.
Karlin S., A first course in stochastic processes, New York, Aca-
demic Press, 1965.
Keil son J., Green’s function methods in probability theory, London,
Griffin, 1965.
Kelly T. L., Fundamentals of statistics, Cambrige, Mass., Harvard
Univ. Press, 1947.
Kern per man J. H. B., The passage problem for a stationary Mar-
kov chain, Chicago, Univ. Press, 1961.
Kendall M. G., Buchland W., A dictionary of statistics terms,
Edinburgh—London, Griffin, 1957.
Kendall M. G., Diig A. G., Bibliographi of statistical literature
(1940—1949), New York, Hafner, 1965.
Kendall M. G., Stuart A., The advanced theory of statistics (in
tree vol.), London, Griffin, 1963.
Kotz S. (with collaboration of Hoeffding W.), Russian-English di-
ctionary of statistical terips and expressions, Oxford, Univ. Press,
1964.
Lindley D., Introduction to probability and statistics from a Baye-
sian viewpoent, Cambridge, Univ. Press, 1965.
Levy P., Prossesus stochastiques et mouvement brownian (2nd ed.),
Paris, Gauthier-Villars, 1965.
Lukacs E., La ha R. C., Applications of characteristic functions,
London, Griffin, 1964.
Morgenstern D., Einfuhrung in die Wahrscheinlichkeitsrechnung
und mathematische Statistik, Berlin, Springer, 1964.
Neveu J., Bases mathematiques du calcul des probabilites, Paris,
Masson et-Cie, 1964.
P a r z e n E., Modern probability theory and its applications, New
York—London, Wiley, 1960.
Parzen E., Stochastic processes, San Francisco, Holden-Day, 1962.
Quenouille M. H., The analysis of multiple timeserjes, London,
Griffin, 1957.
Rao C., Advanced statistical methods in biometric research, New
York, Wiley, London, Champan & Hall, 1952.
Rosenblatt M., Random processes, New York—Oxford, Univ.
Press, 1962.
ЛИТЕРАТУРА
487
Savage L. J., The foundation of statistics, New York, Wiley; Lon-
don, Chapman & Hall, 1954.
Selin I., Detection theory, New Jersey, Princeton University Press,
1965.
Spitzer F., Principles of random walk, New York—Toronto—Lon-
don, Van Nostrand, 1964.
Storm R., Wahrscheinlichkeitsrechnung, mathematische Statistik und
statistische Qualitatskontrolle, Leipzig, Fachbuchverlag, 1965.
Takacs L., Introduction to the theory of queues, New York-Oxford,
Univ. Press, 1962.
Tortrat A., Principes de statistique mathematique, Paris, Dunod,
1961.
Uspensky J. V., Introduction to mathematical probability, New
York and London, McGraw-Hill, 1937.
Wald A., Statistical decision functions, New York, Wiley; London,
Chapman & Hall, 1950.
Walsh J. E., Handbook of nonparametric statistics, I, New Jersey*
Van Nostrand, 1962.
Walsh J. E., Handbook of nonparametric statistics, П, New York—
Toronto-London, Van Nostrand, 1965.
Whittle P., Prediction and regulation by linear least-square met-
hods, London, Univ. Press, 1963.
Wolfowitz J., Coding theorems of information theory, Berlin,
Springer, 1964.
УКАЗАТЕЛЬ
Алгебра 74
База 74
Барьер 368
Белый шум 420
Бета-распределение 61
Билинейная форма от бесконеч-
но малых приращений 453
Блуждание случайное 257, 271
----симметричное 279
----с поглощающим экраном
272
Броуновское движение 301, 304
Вариация 119
Верхняя грань 108
Величина, не зависящая от буду-
щего 187
— случайная 39, 130
---- векторная 42
---- гауссовская 164
Вероятность 9, 10, 47, 130
— вырожденная 292
— «единица» 68, 133
— переходная 250, 266, 285
----минимальная 266
— условная 136
— финальная 273
Вероятности различных комбина-
ций событий 23
Взрыв 295
Время возвращения 67
----среднее 268
— дискретное 434
— до первого достижения фик-
сированной точки 319
— ожидания 258
----перемены состояния 258
Время первого достижения 69
— переходных процессов 408
— пребывания 310
---на положительной части
оси 308
Выбор без возвращения 13
— с возвращением 12
Выброс 456
Выход за верхнюю границу 306
— за двусторонние пределы 223
Гамма-распределение 57
Граница 83
— достижимая 334
— множества 83
— недостижимая 334
— отталкивающая 332
— притягивающая 332
Граничная точка 82
Декодирование 465
Детерминант случайный 250
Дисперсия 45, 209
Диссипативная часть 438
Дифференциальные уравнения
полугруппы 356
Дифференциал стохастический
182
Дифференцирование 379, 419
Емкость канала 466
Задача об игле 17
— об изюминках 63
— о двух типах оружия 370
— о наилучшем выборе 28. 365
УКАЗАТЕЛЬ
489
Задача о прогнозе 389
— о разорении игрока 30
— о совпадениях 24
Закон арксинуса 70, 71
— больших чисел усиленный 300
— нуля или единицы 34, 296, 297
— повторного логарифма 300,
311
— сложения вероятностей 23
Замена времени случайная 341
Замыкание 75
Значение среднее 44, 132
Значения некоррелированные 382
Комбинация элементов 12
Компакт 83
Компактность слабая 117
Композиция 44
Концентрация 222, 227, 298
Коэффициент диффузии 320,
321
— корреляции 48
•---максимальный 146
— сноса 320, 321
— эргодичности 186, 187
Кривая в гильбертовом простран-
стве 174, 303
Изменение коэффициента сноса
343
Измеримость 94, 95, 150
Изометричность 376
Инвариантность 193, 433, 443
Индуцирование 100
Интеграл 107, 126
простой интегрируемой функ-
ции 107
стохастический 180, 181
Интегральное уравнение задачи
линейного прогнозирования 404
Интегрирование 380, 421
— абстрактных функций 125
— повторное 128
Интегрируемость равномерная
112
Интерполяция линейная 401
Испытания Бернулли 62
Исход элементарный 20, 130
Канал связи 464
-----с изменяющимися состоя-
ниями 469
-----стационарный 470
Класс замкнутый 270
—- минимальный 270
— эргодический 444
Кодирование 465
Количество информации 36, 145,
146
-----максимальное 466
-----о гауссовских величинах
472
Кольцо 73
Лемма Бореля—Кантелли 25
— Урысона 84
Линейная регулярность 383, 414,
424
— сингулярность 390, 424
Линейность 389
Локальное время 311, 312
Мажоранта эксцессивная 367
Марковость строгая 187
Мартингал 176, 178
Матрица невырожденная 164
— ,случайная 250
Мера 92, 100
— борелевская 75, 80
— вероятностная 130
— внешняя 94
— конечная 93
— лебеговская 95
— множеств 93
— обобщенная 108, 109, 119,
127
— полная 97
— регулярная 99
— совершенная 101
— спектральная 161, 163, 410,
420
— — взаимная 398
--- стохастическая 375, 411.
428
— стохастическая 178, 314
--- винеровская 180
--- гауссовская 179
Меры ортогональные 120
— перпендикулярные 109
490
УКАЗАТЕЛЬ
Метод дифференциальных урав-
нений 307
Множества борелевские 75
— бэровские 80
— непересекающиеся 73
Множество 72
— всюду плотное 81
— дополнительное 73
— достижимое 269
— замкнутое 269
— компактное 83
— открытое 74
— пространств 72
— прямоугольное 77
— пустое 73
— сепарабельности 148
— состояний замкнутое 269
— типа G б 75, 82
---Fg 75, 82
---75
---Fob 75
— цилиндрическое 78, 84, 88
Модель диффузии 31
--- дискретная 326
Модель радиоактивного распада
64
Модуль непрерывности 311
Момент 203, 209, 210
— абсолютный 209
— марковский 187, 256, 362
— обрыва 189, 365, 370
— первого выхода 152
------- изнутри 153
— первого достижения 153
-------фиксированной точки
304
— порядка k 209
— последнего достижения фикси-
рованной точки 307
— смешанный 210
— спектральный 427, 428, 429
Независимость 43, 131, 140
— взаимная 34, 257
— событий 32, 33
Некоррелированность 48
Непрерывность 90, 434
— абсолютная 200
--- взаимная 167
— — обобщенной меры 108 ,л
Непрерывность с вероятностью
единица 151
— соответствия между распре-
делениями и характеристиче-
скими функциями 199
Неравенство Колмогорова 297
— треугольника 81
— Чебышева 46
Норма 90
— линейного функционала 88
Нули случайных многочленов 250
Нуль порядка k 402
Образ 78
Обрыв процесса 344
Объединение 19, 72
Однозначность соответствия вза-
имная 195
Одновершинность 236
Ожидание математическое 44, 45,
132, 155, 162, 165
--- условное 137
Окрестность 82
— сильная 89
— слабая 89
Оператор вполне непрерывный 90
— Гильберта—Шмидта 91
— изометрический 90, 157
— инфинитезимальный 355, 359
— линейный 89
— обратный 90
— положительный 90
— проекционный 90
— разности 96
— самосопряженный 90, 124
— сопряженный 90
— унитарный 91
— ядерный 91
---положительный 157
Определенность положительная
92
Оптимальная остановка марков-
ского процесса 367
Оптимальность 363, 373
Ортогональность 91
Отображение 99
— измеримое и непрерывное 79
— мнЪжеств 78
Оценки убывания концентрации
225
УКАЗАТЕЛЬ
491
Парадокс де Мере 11
Передача информации по стацио-
нарным каналам связи 464
Перемешивание 435, 436
— сильное 436
Пересечение 20, 73
Период состояния 269
Перпендикулярность мер 167
-----взаимная 444
Плотность вероятности 41
— гауссовского распределения
167
— информационная 468
— обрыва 344
— перехода 259, 261
— распределения вероятностей
41, 143
----- совместного 42
-----уСЛОВНОГо 143, 144
— спектральная взаимная 398
----- рациональная 350
Подклассы периодической цепи
270
— циклические 444
Подсчет вероятностей 11, 12
Полнота системы элементов гиль-
бертова пространства 91
Положение максимума 70
Полугруппа сопряженная 357
Полукольцо 73
— бэровских множеств 80
Полумартингал 178
Последовательность серий 219
— сходящаяся 81, 83
— фундаментальная 83
Постоянная полураспада 260
— центрирующая 299
Поток событий однородный 51
«Почти всюду» 108, 122
Предельная точка 83
Предельное распределение дли-
тельности выброса 457
Представление каноническое 156,
303
— операторов спектральное 123
— процессов с ограниченным
спектром аналитическое 378
Преобразование времени случай-
ное 341
— гармонизуемого процесса 452
— Лапласа 197
Преобразование линейное 378,
381, 406, 411, 418
— связанное с аддитивными
функционалами 341
— сдвига 163, 189, 190, 191
— сохраняющее меру 438
Приближение биномиальное 67
— наилучшее линейное 48
— нормализующее 231
— нормальное 63
Принцип минимума 356
Прогноз линейный 425
— наилучший 351
Продолжение меры 94
— распределения 95
Проекция 101
Произведение 73
— измеримых пространств 76,77
— компактов 83
— мер 101
— операторов 90
— распределений 101
— скалярное 86
— событий 20
— тихоновское 78, 84
— топологических пространств
76, 77
Производная абсолютно непре-
рывной части 243
Прообраз 78
Пропускная способность канала
связи 470
*--при наличии гауссовских
шумов 477
Пространство 73, НО
— банахово 86
— гильбертово 86
— измеримое 74
---координатное 77, 78
— комплексное линейное 85
— метрическое 81
--- нормированное 86
— нормированное 85, 114
— полное 83, 111
— с мерой 93
-------измеримое 92
— сопряженное 88, 89, 114
— счетно-гильбертово 87
--- нормированное 86
— топологическое 74, 85
— фазовое 131
492
УКАЗАТЕЛЬ
Пространство фазовое линейное
132
— элементарных событий 20, 130
— ядерное 87
Процесс белого шума 382
— броуновского движения 180
— ветвящийся 284
— винеровский 180, 301, 303
---- стандартный 302
— возвратный 331
— вполне регулярный 147
— гармонизуемый 425, 427
— гауссовский 164, 174
----комплексный 176
----обобщенный 165
----стационарный 350
— диффузионный многомерный
349
— дробового эффекта 431
— линейно-регулярный 159
— марковский 255, 361
----обрывающийся 188, 189
— у- однородный 192
---- стационарный 193
----условный 186, 352, 353, 354
— невозвратный 331
— непосредственно заданный 130,
132, 134, 149
— однородный 257, 318
— пуассоновский 262, 314
— радиоактивного распада 259
— с дискретным спектром 448
— сепарабельный непосредствен-
но заданный 149
— случайный измеримый 150
----обобщенный 133, 160
---- сепарабельный 148
----стационарный 160, 192
— с независимыми приращения-
ми 296, 315
— со стационарными прираще-
ниями 422
— с рациональной спектральной
плотностью 385
— стационарный в узком смысле
192
----в широком смысле 163
----гауссовский регулярный
478
----класса Ф<2п) 450
----непрерывный 452
Процесс стационарный случайный
160, 192
— стохастически непрерывный
150
— физически осуществимый 381
— чистого размножения 265, 2Ь6
— эргодический 434
Процессы, стационарно связан-
ные 397
Радиоактивный распад 257
Разбиение на замкнутые классы
состояний 270
— пространств 141
Разложение мер 141
— на эргодические составляющие
435
— спектральное 161, 164, 375,
376, 409
Размещение по ячейкам 13
Разность 72 £
— событий 20 4
----симметрическая 72
Ранг многомерного процесса 412
Распределение 93
— асимптотически равномерное
240
— безгранично делимое 217, 218,
226
— Бернулли 62
— бета 61
— биномиальное 62
---- отрицательное 66
— вероятностей 40, 130, 256, 317
----апостериорное 352
----априорное 352
----конечномерное 132, 134
----совместное 42, 131
---- стационарное 193, 441
----условное 140, 141
— в линейном пространстве 104
— гамма 57, 58
— гауссовское 53
— геометрическое 65
— гипергеометрическое 66, 67
— дискретное 39
— инвариантное 189, 439
— Коши 60
— логарифмически нормальное
55, 213 ;
УКАЗАТЕЛЬ’
493
Распределение максимального
шага 204
— максимума 305
------стационарного процесса 459
— маргинальное 250
— ^-сингулярное 441
— на компакте регулярное 99
— на прямой 95
— непрерывное 39, 41
— нормальное 53
-отраженное 60
— Паскаля 65
— пирсоновское 340
— показательное 52, 259
— предельное 295
— Пуассона 50, 57
-сложное 53
— решетчатое 203
— слабое 93
— стационарное 274, 337
------неограниченное 464
— условное 184
— устойчивое 236
- %59
- X2 57
Распределения перпендикулярные
464
— согласованные 103
Рассеивание 298
Реализация 132
Регулярность 75, 98, 99, 331, 383,
412, 424, 435, 436, 446
— полная 147, 387, 436
------линейная 387
Резольвента 356
Решение 362, 368
Свертка 44
Свойство марковское 255
— мультипликативности 194
— траекторий 319
— эргодическое 336
Сглаживание 407
Семейство согласованных распре-
делений 103, 105
Семиинвариант 209, 210
— спектральный 428, 429
Сепарабельность 75, 81, 84
Сечение 80
Сигнал на входе 465
Сигнал на выходе 465
Симметричный канал без памяти
477
Сингулярность 200, 407
— взаимная 109
Система дифференциальных урав-
нений Колмогорова 262
-------обратная 286
• прямая 262
— множеств 73
— несовместных событий полная
27
— обслуживания многоканаль-
ная 276
— центрированная 83
Скорость передачи информации
470, 474
-------в случае гауссовских
стационарных процессов 475
Событие дополнительное 20
— достоверное 21
— невозможное 21
— элементарное 20, 130
События непересекающиеся 19
— несовместные 19
Совокупность 34
Сообщения высоковероятные 468
— маловероятные 468
Состояние возвратное 268
— невозвратное 268
— несущественное 270
— нулевое 268
— периодическое 269
— положительное 268 (
Спектр дискретный 391
— ограниченный 391
Среднее значение 44, 132
Среднее число частиц 292
Средняя длительность выброса
457
Стационарность 338
— финального распределения 274
Степень рассеивания 298
Стопка книг 275
Стратегия 363
— оптимальная 363
— марковская 363
Сумма 72
— событий 19
Суммирование 136
Схема урновая 31
Li
494
УКАЗАТЕЛЬ
Сходимость 50
— в среднем 112, 123, 127, 243
------- с показателем а 115
— по вариации 115
— по мере 111, 122, 127
— почти всюду 127
• — равномерная 243
— распределений 50
— рядов из независимых слагае-
мых 297
— слабая 116, 118 i
— функций и интегралов НО
Теорема Биркгофа—Хинчпна 433
— локальная 240
— о сходимости значений про-
цесса 177
— предельная 135
— Шеннона 466
Теория восстановления 238
Точка разрыва фиксированная
150
Траектория 132
Транзитивность метрическая 434
Управление марковское 372
Уравнение Веллмана 363, 364,
369, 370
— дифференциальное для мате-
матического ожидания 348
— — для характеристической
функции 347
--- стохастическое 325
— интегральное стохастическое
325
— интегро-дифференциальное 282
— Ито стохастическое 324
— Колмогорова 260
— -* дифференциальное 322
------ — обратное и прямое 350
— Колмогорова обратное 322,
328
---прямое 324 *
---Колмогорова—Чепмена 184
— Фоккера—Планка 324
Условие Деблина 442
— спектральное 447
— стационарности 192
Устойчивость 318
Устойчивость процесса 264
Устойчивый закон положитель-
ный 68
Факторизация 414
Фильтрация 407
— линейная 398
Формула Байеса 143, 144
— количества информации 472
— обращения 376
---интеграла Фурье 197
— полной вероятности 27
— Стирлинга 14, 59, 252
— экстраполяции общая (ди-
скретный случай) 392
--------(непрерывный случай)
393
— Эрланга 277
Функционал аддитивный 342
— корреляционный 165
— линейный 87 .
— характеристический 134, 135,
429
Функция абсолютно интегрируе-
мая 197
---непрерывная 109, 122
— бета 61
— верхняя 223, 224
— гармоническая 361
— интегрируемая 106, 107, 120,
121, 126
— ковариационная 155, 162, 427
— концентрации 222, 299
— корреляционная 155, 410
— максимальная 414
— максимально аналитическая
384
— нижняя 224
— обобщенная 134
— переходная 184, 185
--- условная 185
производящая 49, 197, 285,
288
— распределения 40, 96, 131,
133
— супергармоническая 362
— характеристическая 133, 164,
210
— центрирующая 312
— эксцессивная 362
указатель
495
Характер 194
Характеристика спектральная
376, 378, 412
Центральная предельная теорема
240, 437, 446
Центрирование случайного про-
цесса 312
Центрированные ряды 299
Частота 9, 10, 47
Число возвращений 69
— размещений 13
— сочетаний 13
Эквивалентность мер 167
— распределений гауссовских
стационарных процессов 469
(на бесконечном интервале 460,
отличающихся средними зна-
чениями 460, с различными
корреляционными ' функциями
462)
Эквивалентность случайных вели-
чин 130
-----процессов 132
Экран граничный 329
— поглощающий 259, 272
Экстраполяция линейная 390
— процессов 396
Энергетический уровень входного
сигнала 480
-----шума 480
Энтропия 145, 466
— дифференциальная 473
Эргодичность 433, 435
е-энтропия 473
о-алгебра 74, 75, 80
~ 14
Юрий Васильевич Прохоров»
Юрий Анатольевич Розанов
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Основные понятия. Предельные теоремы.
Случайные процессы
М., 1967 г., 496 стр. с илл.
Редактор Л. Я. Большее
Техн, редактор С. Я. Шкляр
Корректор Е. Я» Строева "
Сдано в набор 13/1 1967 г. Подписано к печати
27/IV 1967 г. Бумага 84Х108‘/82. Физ. печ. л. 15,5.
Ус лови. печ. л. 26,04. Уч.-изд. л. 23,85.
Тираж 40 000 экз. Т-06905. Цена 1 р. 34 к. Заказ № 514.
Издательство «Наука»
Главная редакция физико-математической литературы.
Москва, В-71, Ленинский проспект, 15.
Ленинградская типография № 2
имени Евгении Соколовой Главполиграфпрома
Комитета по печати при Совете Министров СССР.
Измайловский проспект, 29.
Цена 1 р. 34 к.
СПРАВОЧНАЯ
МАТЕМАТИЧЕСКАЯ
БИБЛИОТЕКА
1. В. Л. ДАНИЛОВ, А. Н. ИВАНОВА и др., Матема-
тический анализ (функции, пределы, ряды, цепные дро-
би).
2. И. Г. АРАМАНОВИЧ, Р. С. ГУТЕР и др., Матема-
тический анализ (дифференцирование и интегрирование).
3. Л. А. ЛЮСТЕРНИК и др., Математический ана-
лиз (вычисление элементарных функций).
4. А. П. МИШИНА и И. В. ПРОСКУРЯКОВ, Выс-
шая алгебра (линейная алгебра, многочлены, общая
алгебра).
5. В. А. ДИТКИН и А. П. ПРУДНИКОВ, Интеграль-
ные преобразования и операционное исчисление.
6. Н. П. БУСЛЕНКО и др., Метод статистических
испытаний (метод Монте-Карло).
7. Н. А. КРИНИЦКИЙ и др., Программирование.
8. Р. С. ГУТЕР, Л. Д. КУДРЯВЦЕВ, Б. М. ЛЕВИТАН,
Элементы теории функций (функции действительного
переменного, приближение функций, почти-периодиче-
Ские функции).
9. Н. Я. ВИЛЕНКИН и др., Функциональный анализ.
10. В. М. БАБИЧ и др., Линейные уравнения мате-
матической физики.
11. С. Г. МИХЛИН и X. Л. Смолицкий, Приближен-
ные методы решения дифференциальных и интеграль-
ных уравнений.
12. Г. БЕЙТМЕН и А. ЭРДЕЙИ, Высшие трансцен-
дентные функции (гипергеометрическая функция, функ-
ции Лежандра).
13. Г. БЕЙТМЕН и А. ЭРДЕЙИ, Высшие трансцен-
дентные функции (функции Бесселя, функции парабо-
лического цилиндра, ортогональные многочлены).