Текст
                    ОГЛАВЛЕНИЕ
От автора -*	......................................
Глава I
ВВЕДЕНИЕ В ТЕОРИЮ ВЕРОЯТНОСТЕЙ
§ 1.	Некоторые подходы к определению вероятностей . »
1. Равновероятные исходы (9). 2.*. Один практический
пример (выборочный метод) (11). 3. Некоторые задачи
о случайных размещениях (12). 4. Условные вероятно-
сти (14). Б. Независимость событий (17). 6. Вероят-
ность и частота (18).
§ 2.	Некоторые вероятностные модели
1.	Схема со счетным числом возможных исходов (22).
2. Испытания Бернулли (24). ( 3. Преде ц>ная eopei..a
Пуассона (26). 4. Схема с конечным числом событий.
Понятие независимости (29). 5. Общая вероятностная
модель. Последовательности событий (31).
§ 3.	Условные вероятности...............................
i Формула полной вероятности (34). 2. Примеры ис-
пользования условных вероятностей (35). 3. Наилучший
прогноз событий (39).
s 4. Дискретные случайные величины ....................
1.	Примеры Некоторые определения (43). 2. Матема-
тическое ожидание (44). 3. Примеры использования
среднего значения (48). 4. Условные распределения и ус-
ловные математические ожидания (53).
§ 5.	Непрерывно распределенные случайные величины .
1.	Примеры. Плотность вероятности и математическое
ожидание (54). 2. Условная' плотность вероятности и
условное математическое ожидание (61). 3. Нормальное
распределение вероятностей (63).
§ 6.	Математическое ожидание и среднеквадратическое рас-
стояние ...............................................
1 Обшее определение математическо-о ижидания (67).
2. Средне'квадратическое расстояние (71) 3. Нормаль-
ная корреляция (75). 4. Некоторые задачи о иаилучших
оценк 1х (78).
§ 7.	Распределения вероятностей и характеристические
функции ...............................................
1.	Сходимость случайных величин и их средних значе-
ний (83). 2. Слабая сходимость распределений вероятно-
стей (86). 3. JVIeTOfl характеристических функций (90).

4. Критерий слабой сходимости (95). 5. Формулы для моментов и асимптотические 'разложения (9б). § 8. Законы больших чисел и центральная предельная теоре- ма .....................................................97 1. Вероятность и частота (97). 2. Закон больших чисел (99). 3. Усиленный закон больших чисел (99). 4. Цент- ральная предельная теорема (101). Глава II НЕКОТОРЫЕ МОДЕЛИ СЛУЧАЙНЫХ ПРОЦЕССОВ § 1. Последовательности событий и случайных величин, свя- занных в цепь Маркова..................................104 1. Вероятности перехода (от одного состояния к друго- му) (104). 2. Возвратные и невозвратные состояния (107). 3. Случайные блуждания (109). 4. Классификация состояний (112). 5. Сходимость к стационарному распре- делению (ИЗ). § 2, Однородные марковские процессы со счетным числом состояний..............................................119 1. Примеры. Марковское свойство (119). 2. Метод диф- ференциальных уравнений (126). 3. Пуассоновский про- цесс (130). 4. Сходимость к стационарному процессу (133). § 3. Ветвящиеся процессы 135 1. Метод производящих функций (135). 2. Дифференци- альные уравнения для производящей функции (138). 3. Вырождение процесса и явление взрыва (142). § 4. Некоторые процессы массового обслуживания и случай-’ ные блуждания (процессы восстановления) .... 143 § 5 Броуновское движение...............................147 1. Общее описание (147). 2. Некоторые свойства траек- торий броуновского движения (149).. 3. Распределения максимума и момента первого достижения (155). Глава III ВВЕДЕНИЕ В МАТЕМАТИЧЕСКУЮ СТАТИСТИКУ § 1. Некоторые примеры статистических задач и методов 159 1. Оценка вероятности в схеме испытаний Бернулли (159). 2. Оценка параметра пуассоновского процесса 1 (161). 3. Сравнение вероятностей (163). 4. Оценка пара- метров по выборке из нормальной совокупности (166). 5. Критерий хи-квадрат для проверки вероятностей (169). 6. Проверка независимости (172). 7. Выбор между двумя конкупирующчми гипотезами. Последовательный анализ (174). 8. Байесовский подход к проверке гипотез и оценкам параметров (178). 9. Метод наибольшего прав- доподобия (180). 10. Метод наименьших квадратов (183). 11. Выборочные распределения и метод моментов (188). 12. Метод стохастической аппроксимации (189). § 2. Некоторые принципы оптимальности статистических ре-» шений .... s ....... » 190 1. Наиболее мощный критерий (190). 2. Достаточные статистики (192), 3. Достаточные статистики и улучшен-
ные оценки (197). 4. Информация Фишера и неравенство для среднеквадратических сшибок (199). 5. Асимптоти- ческая нормальность и эффективность оценок наиболь- шего Правдоподобия (202). f Глава IV НЕКОТОРЫЕ ДОПОЛНЕНИЯ К ТЕОРЕТИКО-ВЕРОЯТНОСТНЫМ ОСНОВАМ 1. Общие распределения вероятностей- . '. . . . , 208 1. Расстояние между событиями и основанные на нем аппроксимации (208). 2, Отображения и порождаемые ими о-алгебры (210). 3. Понятие независимости (212). 4. Случайные величины и их распределения (212). 2. Математическое ожидание как интеграл Лебега . . » 215 3. Пространства 5?? (р = 1, 2).........................216 1. Определение. Полнота пространств S’* (216). 2. Гиль- бертово пространство S’2 (221). 4. Условные вероятности и условные математические ожи- дания ................................................. 223 1. Некоторый предварительные замечания (223). 2. Об- щее определение условного математического ожидания и его основные свойства (224). 3. Условные вероятнос- ти (227): 4. Дальнейшие свойства условных математиче- ских ожиданий (228). 5. Компактность распределений и критерий положитель- ной определенности для характеристических функций 230 ' 1. Слабая сходимость функций распределений (230). 2. Сходимость характеристических функций и критерий положительной определенности (232). Глава V ЭЛЕМЕНТЫ ОБЩЕГО СТОХАСТИЧЕСКОГО АНАЛИЗА 1. Ряды из независимых величин.......................236 1. Общий закон «нуля или единицы» (236). 2. Сходи- мость рядов из независимых величин (237). 2. Случайные функции..................’..............240 1. Некоторые общие понятия (240). 2. Случайные процес- сы кай функции в пространстве 2Г (243). 3. Стохастические интегралы..........................247 1. Простейшая конструкция стохастического интеграла (247). 2. Некоторые обобщения стохастического интег- рала (250). 3. Канонические представления случайных процессов (252). 4. Стохастический интеграл Ито.......................256 1. Определение и основные свойства (256). 2. Стохасти- ческие дифференциалы (260). 5. Стохастические дифференциальные уравнения . , . 263 1. Линейные стохастические дифференциальные у рав- нения га-го порядка (263). 2. Сходимость к стационарно- му процессу в устойчивых линейных системах (266). , 3. Нелинейные стохастические уравнения 1-го порядка (270).
§ 6. Приложение. Одна задача фильтрации случайного про- цесса .......................................... 274 Глава VI НЕКОТОРЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ S 1. Процессы с независимыми приращениями .... 283 1. Стохастическое интегральное представление (283). 2. Характеристические функции приращений (287). § 2. Мартингалы.......................................289 1. Определение. Сходимость в S’2 (289). 2. Моменты ос- тановки (290). § 3. Марковские процессы .............................294 1. Общее понятие. Переходная плотность (294). 2. Диф- ференциальные уравнения Колмогорова (296). § 4. Стационарные процессы......................... . 299 1. Спектральное представление и линейные преобразова- ния (299). 2. Эргодическая теорема и ее применения (304). 3. Стационарные в узком смысле процессы. Эрго дичнос.ь (306). Дополнение. Одна задача о случайном блуждании и ее при- ложение в теории массового обслуживания .... 312 Предметный указатель 319
Ю.А. РОЗАНОВ ТЕОРИЯ ВЕРОЯТНОСТЕЙ, СЛУЧАЙНЫЕ ПРОЦЕССЫ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА Допущено Министерством высшего и среднего специального образования СССР качестве учебника для студентов вузов, обучающихся по специальностям «Математика» и «Физика» МОСКВА «НАУКА» ГЛАВНАЯ РЕДАКЦИЯ ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ 1 08 6
ББК ‘’2.171 Р64 УДК 519.21 (075.8) Розанов Ю. А. Теория вероятностей, случайные процессы и математи тесная статистика: Учебник для вузов.— М.: Наука, Главная редакция физико-математической литературы, 1985.— 320 - Книга представляет собой единый учебный курс теории вероят- ностей, с 'учайных процессов и математической статистики для фи- зико-математических отделений университетов и вузов с повышен- ной математической подготовкой. 1 Изложейие материала таково, что книга во многих важных разделах доступна широкому кругу читателей, владеющих лишь началами математического анализа, линейной алгебры и теории обыкновенных дифференциальных уравнений. Табл. 8. Ил. 25. Рецензенты: кафедра теории вероятностей и математической статистики Ленинградского государственного университета им. А. А. Ждано- ва (заведующий кафедрой доктор физико-математических наук профессор В. В. Петров); доктор физико-математических наук профессор В. П. Чистяков. Юрий Анатольевич Розанов ТЕОРИЯ ВЕРОЯТНОСТЕЙ, СЛУЧАЙНЫЕ ПРОЦЕССЫ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА Редактор С. Е. Кузнецов Художественный редактор Т. Н. Колъченко Технический редактор Е. В. Морозова Корректоры О. А. Бутусова, И. Я. Кришталъ ИБ М 12566 Сдано в чаэор 14.12.84. Подписано к печати 08.08.85. Формат 84х108’/з5< Бумага -Тич. К» 3. Обыкновенная гарнитура. Печать высока Усл. печ. л. 16,8k Удл.^кр.-отт. 16.8. Уч. изд. л. 17,21. Гграж 23 000 акз. Заказ Ki 522. 4 . ,, Цена 90 н. Опдена Трудового Красного Знамени издательство «Наува» Главная p.pi_____[ид фирико математической литературы I17Q71 Москва В-71, Левинский проспект. 15 4-я типография изд 1"ельства «Наука» 630077 г. Новосибирск 77, Станиславского, 25 © Издательство «Наука». 1702060000—131 Главпая редакция Р Л)ЬЗ(С’’) "85 65-85 физико-математической литературы,
ОТ АВТОРА Теория вероятностей, случайные процессы и математи- ческая статистика составляют обширные области матема- тики и ее приложений. Их развитие неразрывно связано с общим развитием пауки и техники, в котором все бо- лее обозначается необходимость давать надлежащую ве- роятностную интерпретацию самым разным явлениям и процессам. Теория вероятностей и случайных процессов предлагает разнообразные математические модели для типичных случайных явлений и их эволюционного разви- тия, в рамках этих моделей изучает присущие им вероят ностныэ закономерности, разрабатывает методы решения таких важных для приложений задач, как задачи прогно- зирования, управления и др. Математическая статистика решает задачи оценивания отдельных параметров и струк- туры в целом той или иной вероятностной модели по статистическим данным, дает методы проверки различ- ных гипотез, рекомендует правила планирования самого эксперимента для получения необходимых статистических данных. Настоящая книга представляет собой единый учебный курс теории вероятностей, случайных процессов и мате- матической статистики для физико-математических отде- лений университетов и вузов с повышенной математиче- ской подготовкой. Первая же его часть, охватывающая довольно большой и разнообразный материал (гл. I—III), может служить учебным пособием и для других вузов (где математика вовсе не является профилирующей дисциплиной). В пер- вой части много сравнительно простых и естественных по своей постановке задач, приводящих к различным мо- делям теории вероятностей и случайных процессов, в при- менении к которым и развиваются основные вероятност- ные понятия и методы (гл. I, II); это относится также к понятиям -и методам математической статистики
(гл. III)'. Для активного овладения материалом здесь не требуется высокой математической подготовки — в пер- вой части используются лишь самые начала действитель- ного и комплексного анализа, линейной алгебры и обык- новенных дифференциальных уравнений (использование в ряде мест производящих функций и преобразований Фурье формально не должно быть препятствием для чи- тателя, не знакомого с этими понятиями) . Вторая часть (гл. IV—VI) посвящена элементам об- щего стохастического анализа и теории случайных про- цессов, и касается таких разделов, как стохастические ряды и интегралы, стохастические дифференциальные уравнения и др. На самом простом, по возможности, ма- териале здесь дается представление о специфике основ- ных понятий и методов для различных типов случайных процессов. Изложение предполагает знакомство с началь- ными- понятиями функционального анализа; при этом, хотя формально не требуется знааия интеграла Лебега, знакомство с основами общей теории меры и интеграла- существенно поможет активному овладению материалом. Говоря о взаимосвязи отдельных разделов книги, от- метим, что «Введение в математическую статистику» (гл. III) практически не зависит от результатов пред- шествующей гл. II («Некоторые модели случайных про- цессов»), и можно рассматривать вместе гл. I, III как вводный курс по теории вероятностей и математической статистике, который легко ’ дополнить тем или иным ма- териалом гл. II. Наконец, нужно сказать, что существенная роль отво- дится задачам и пояснениям к ним (порой они дают важные дополнения к основному материалу).
Глава I ВВЕДЕНИЕ В ТЕОРИЮ ВЕРОЯТНОСТЕЙ § 1. Некоторые подходы к определению вероятностей 1. Равновероятные исходы. Представьте, что бросает- ся симметричная монета так, как это делается при опре- делении жребия или при известной игре «в орлянку». Понятно, что исход такого бросания является случайным. Более того, для симметричной монеты оба возможных исхода («герб» или «решетка») являются равновероятны- ми, и в соответствии с этим можно сказать, что каждый из этих исходов имеет вероятность 1/2. Аналогичный пример случайности дает нам бросание игральной кости — правильного кубика с занумерованны- ми от 1 до 6 гранями. Исход бросания — выпадение одного из чисел со = 1, 2, ..., 6 — является случайным. Понятно, все эти исходы равновероятны и вероятность каждого из них есть ₽ (со) ==1/6. Чему равна вероятность того, что выпадает четное число? Исходя из симметрии «чет» — «нечет», можно было бы сказать, что эта вероят- ность равна 1/2. Но можно при определении этой вероят- ности пойти и по другому пути, подсчитав все шансы со = 2, 4, 6, которые ведут к наступлению события «со — четно», соответственно определив его вероятность как втрое большую, чем вероятность каждого отдельного со = 2, 4, 6, т. е. 3 1/6 = 1/2. Обобщая этот пример, представьте себе, что речь идет о случайном исходе со из некоторой совокупности Q воз- можных исходов, которые взаимно исключают друг друга и являются равновероятными. Имея в виду, что какой-то из этих исходов происходит обязательно, можно сказать, чтс вероятность каждого отдельного coeQ есть Р(со) = = 1/7V, где N — общее число всех со е Q. Как определить вероятность того, что исходом будет со s А из некоторого множества А Q? Указанное здесь событие {cos А) обозначим для удобства тем же *символом А, что и Лей,
' Вероятность Р(4) событияА определяют как Р(Л) = ф4 (1.1) основываясь на числе «шансов» 7V(4) для наступления А, где N(A) есть число всех тех исходов оеЙ, при ко- торых событие А наступает (т. е. число всех а е 4). Понятно, вероятность дополнительного события Ас, озна- чающего, что событие А не наступает, есть Р(4С) = 1 — Р(4). Из определения. (1.1) следует одно простое правило сложения вероятностей. Именно, если взять любые пепе- ресекающиеся At, А2 s Q, то для их объединения А = = At U А2 мы имеем Р(41иЛ2) = Р(Л1) + Р(42), (1.2) поскольку, очевидно, 7V(AUA2) = 7V(A) + 7V(A). (События 4, = {«е4|) и Л2={оей2}, отвечающие не- пересекающимся At, А2 s Q, также называют непересе- кающимися.) В связи с (1.2) дадим общие определения, которыми будем пользоваться в дальнейшем. Объединением AtUA2 событий At и А2 называется событие, которое означает, что наступает хотя бы одно из At и 42. События At, А2 называются непересекающимися (иначе, несовместными), если их совместное осуществление невозможно — насту- пление одного из пих исключает возможность наступле- ния другого. Упомянутое выше правило сложения выра- жает свойство, которое называют аддитивностью вероят- ностей,— для непересекающихся событий At и А2 вероят- ность их объединения дается формулой (1.2). Применимость предложенной схемы с равновероятны- ми исходами в опыте с бросанием монеты или игральной кости, по-видимому, не вызовет ни у кого возражений. Однако, если спросить, почему, собственно, следует счи- тать исходы бросания равновероятными, то ответить убедительно не так-то просто. Конечно, здесь можно го- ворить о соответствующей симметрии различных исходов, которую подсказывает мысленный анализ всей ситуации. Однако соображения «симметрия» могут привести и к до- вольно спорным выводам. Рассмотрим, например, броса-
ние двух монет с, казалось бы, симметричными исходами: «два герба», «один герб и одна решетка», «две решетки». Правильно ли будет считать их равновероятными? Оста- вим этот вопрос пока без ответа. Укажем лишь на другие возможные исходы «ГГ», «ГР», «РГ», «РР», в каждом из которых последовательно представлены воз- можные результаты при бросании первой и второй мо- неты («Г» означает герб, «Р» — решетку), и отметим, что если считать именно эти исходы равновероятными, то событие «один герб и одна решетка» будет иметь вдвое большую вероятность, чем события «ГГ» или «РР». 2*. Сдин практический пример (выборочный метод). Предположим, рассматривается большая совокупность предметов двух типов. Скажем, речь идет о партии п из- делий, в которой т изделий оказываются бракованными, а остальные п — т являются годными. При неизвестном т можно оценить это число по сравнительно малой вы- борке, выбрав паугад I изделий и определив среди них все бракованные (пусть их число равно к). Эти к изде- лий выбираются из совокупности т всех бракованных изделий, и число различных способов для такого выбора ГЛ 1 /-л т1- равно числу сочетании Ст из т по к, Ст = ZTfej'f- Аналогично, число различных способов выбрать 1 — к год- ных изделий из совокупности объема п — т равно и число различных комбинаций, при которых выбирается к бракованных и 1 — к годных изделий, равно произведе- нию Ст'Сп-^т. Считая все возможные выборки I изде- лий равновероятными (их общее число равно N = С'п\, для случайного числа g бракованных изделий в выбороч- ной партии получим, что вероятность события {£ = к} s-ih —h = = — /£ = 0,1, ...J. (1.3) Cn Такое распределение случайного g по всем возможным к — 0, 1, ..., I называют гипергеометрическим. По наблю- даемому числу £ можно дать оценку доли брака т/п во всей партии из п изделий, в качестве такой оценки взяв, иапример, отношение £,/1. 3 а д а ч а.в Найти вероятность того, что ошибка при этой оценке будет не больше б. Уточним, речь идет о
вероятности события понятно, что эта вероятность зависит от параметра т. (Воспользоваться правилом сложения вероятностей, при- няв в расчет все исходы {е, = к}, при которых соответ- ствующая оценка к/l отличается от т/п не больше чем на б.) х. Отметим,. что аналогичный выборочный метод может быть применен и для оценки неизвестной общей совокуп- ности п (скажем, речь идет о неизвестном числе живот- ных определенного вида в том или ином районе и т. п.). Здесь можно предварительно выбрать партию объема т, пометить ее и вернуть затем в общую совокупность, ко- торая с течением времени «перемешивается». После это- го берется выборочная партия ооъема I и в качестве оценки отношения т/п с неизвестным п берется наблю- даемое отношение |/Z, где | — число «меченых» живот- ных, оказавшихся в этой выборочной партии. 3. Некоторые задачи о случайных размещения^. Условно будем говорить о частицах, которые случайно распределяются по ячейкам. Пусть п одинаковых частиц случайно распределяется по г различным ячейкам таким образом, что все возмож- ные распределения (nt, ..., пг), где пк указывает число частиц, попавших в к-ю ячейку, являются равновероят- ными. Число N — A(n, г) всех возможных распределений есть число различных целых решений nlt ..., пг урав- нения щ + ... + пТ = п. Это число А (п, г) можно найти методом производящих-функций. Именно, взяв для функ- ции (ОО \ /СО X •S ••• ( 2 2J = (1 — z)~Ts |г)<1, п1=о / \ ] ее разложение в ряд ОО (1 — z)“r = 2 А (п, г) znt п—о мы имеем А (п, г) коэффициентом при z", откуда и по- лучаем А (п г\ - — /"> - r +1) • • - (г + re - 1) (п + г - 1)! 71 U - П| I W)--------------- - П| (,_!)! • Вероятность каждого из /V равновероятных исходов
(щ, ..nr} при размещении наших п частиц по г ячей- кам, следовательно, г Р(пъ ..., пг) = п\ (г—1)!/(п + г— 1)!. (1.4) Рассмотрим теперь те же распределения (щ, ..., /гг), но при условии, что в каждую ячейку попадает не более одной частицы, т. е. пк — 0 или 1, к = 1, ..., г (эти огра- ничения на пк могут выполняться, конечно, лишь при п =б г). Для нахождения числа всех таких распределений (ni, ..., пг) можно взять производящую функцию /(и) = f2 2 /^=(1 + ^ \nx=o / \nr=0 j и из разложения (1 -w)T = 2 c”zn' П—Q получить, что число N всех рассматриваемых распредели ний {rii, ..., пг) — это число сочетаний С” из г по п. Если считать, что все эти распределения равновероятны, то каждый из возможных исходов (п„ ..., и,) имеет вероятность х Р(пь ..., пг) = г!/(п!(г — и)!). (1.5)' До сих пор речь шла о неразличимых частицах, ко- торые рассматривались как целый «ансамбль» (скажем, так рассматриваются элементарные частицы в квантовой физике при определении их распределения по различным энергетическим уровням— «ячейкам»)*). Обратимся к другой ситуации. Рассмотрим случайное распределение различных частиц, когда равновероятными являются всевозможные распределения (й, ..., i„), где = 1, ..., г указывает номер ячейки, в которую попадает частица с номером к == 1, ..., п. Очевидно, число всех возможных комбинаций (г,, ..., in) суть N = г”, так что каждый из равновероятных исходов (^, in) имеет вероятность P(fi, i») = 1/r". Вернемся к событию (nt, ..., п,), состоящему в том, что • в к-то ячейку попадает пк частиц, безразлично каких, *) См. по э^ому поводу, например, Феллер В. Введение в теорчго вероятностей и ее приложения. ? М.; Мир, 1964.
Л=>1, г. Число всех исходов (f,, in), приводящих к этому событию, равно числу сочетаний из п различных час.иц в. группы по nt, ..., пг, которое есть ----7ГТ * В соответствии с этим вероятность события (щ, ..пг)’ p(nH...,nr)-reil ;'Пг,г~п. (1.6) Видно, что этот закон распределения частиц существенно отличается от закона распределения, описанного в (1.4)’. Однако при условии, что в каждую ячейку попадает не более одной частицы, оба эти закона приводят к одному и тому же распределению (1.5). Задача. Показать, что каждое событие А = (ret, ... ..., пг) при условии В =» {пк = 0 или 1, к = 1, ..., г) имеет условную вероятность Р(Л|В) = п! (г - п) !/г!, так^ю же, как ь законе распределения. (1.5). 4. Условные вероятности. При условии В, а точнее, при условии наступления события В, условная вероят- ность события А определяется как Р(Л|В) = Р(ЛВ)/Р(В), (1.7) где АВ — произведение событий А а В — так называют событие, означающее совместное осуществление А и В. Произведение АВ называют еще пересечением этих собы- тий, обозначая его А Л В. В схеме с равновероятными исходами о е Q для событий X = {<о s X} и В — {<л^ В} формула (1.7) может быть переписана в виде • P(A\B) = N(AB)/N(B), где АВ для соответствующих А, означает их пере- сечение (АВ = Л Л В), и N (В) представляет число всех исходов, возможных при наступлении события В, a N (АВ)— число всех тех из возможных исходов а>^В, которые приводят, к наступлению события А. Таким об- разом, формула (1.7) дает нам вероятность события А в схеме, где все возможные равновероятные исходы суть (О Е В. Пусть непересекающиеся В = В,, ..., В„ таковы, что их объединение U В^ есть совокупность всех возможных
походов. Справедлива следующая формула полной веро- ятности: Р(Л)= 2₽(Л|^Р(ВЛ)Л й=1 она выражает очевидное равенство = 2 K(ABh). Й=1 Пример (задача о наилучшем выборе). Опишем ату задачу в несколько шутливой форме (отражающей, тем не менее, самую суть дела). Представьте себе разборчи- вую невесту, которая имеет п женихов и должна сделать наилучший выбор, будучи поставленной в следующие ус- ловия. Заранее она еще ничего не знает о своих жени- хах— известно только их число п. Расположившись слу- чайно в очередь, женихи один за другим представляются невесте, так что встречая очередного жениха, она знает всех предшествующих. Задача выбора осложняется тем условием, что Представленный и отвергнутый жених боль- ше не возвращается! Невеста может, конечно, выбрать первого же, и после этого все кончено. Очевидно, при большом п такой выбор едва ли оправдан. Можно осмот- реть первых т женихов, никою из них не выбирая и надеясь на лучшее среди остатка. Но тогда есть опас- ность упустить самого лучшего! Как быть?! Чтобы не говорить больше о женихах, будем считать, что речь идет о точках на действительной прямой с координатами ёъ . • £п, которые появляются случайно одна за другой, и нужно остановить этот процесс так, чтобы остановить- ся по возможности на точке с наибольшей координатой тах(£ъ ..., £„). Рассмотрим следующую стратегию. Назначаем число т (в зависимости от п) и наблюдаем' процесс до появле- ния т «пробпых» точек, останавливаясь затем па первом максимуме (на первой точке, появившейся правее проб- ных т точек, взятых для сравнения с последующими). Какова вероятность того, что при такой стратегии мы сможем остановиться на абсолютно максимальной точке? После первой, для второй точки имеются две возможно- сти — быть левее или правее. Вообще после появления й-й точки имеется к + 1 промежутков, куда может по-
пасть следующая (к. + 1)-я точка. Легко видеть, что чис- ло всех возможных расположений равно числу переста- новок из п и есть N = 1 • 2... п = п\ Будем считать их все равновероятными. Рассмотрим те исходы, при кото- рых предложенная стратегия выбирает к-ю по счету точ- ку (событие Вк). Выбор к-я точки (остановка на к-м шаге) означает, что все точки па этапах от т+. 1 до к — 1 располагаются левее крайней правой из первых пробных т точек, а к-я — правее их всех. На располо- жение первых т точек это не налагает каких-либо огра- ничений, но для (т + 1)-й точки имеется не (т+1) промежутков среди т первых точек, как раньше, а лишь т (она не может быть крайней правой), для (т + 2)-й имеется лишь т +1 промежутков, куда она может по- пасть, ..., для (/с—1)-й имеется к — 2 промежутков, для А-й имеется единственная возможность — попасть правее всех предшествующих, затем для (к + 1)-й имеется уже к + 1 промежутков и т. д.,— всего 1... т • т(т + 1).. .(к — 2) (к + 1)...п исходов. Таким образом, вероятность сделать выбор на fc-м шаге (согласно предложенной стратегии по пг пер- вым образцам) есть Конечно, имеется возможность вообще не выбрать ниче- го — так случится, если максимальная точка попала в число первых т (пусть это будет событие Вт). Пусть А означает остановку на максимуме (выбор абсолютно мак- симальной точки). Рассмотрим событие АВк— сделать наилучший выбор именно на к-м шаге. Очевидно, если к-я по счету точка оказывается абсолютно максимальной, то для каждой следующей (к + ])-я точки имеется не к + / промежутков, куда она может попасть, а лишь к + j — l (она не может попасть правее наибольшей!). Это дает нам число исходов N(ABk), отличающееся от числа N(Bk) тем, что вместо последних сомножителей (fc + 1),. ,п нужно взять к...(п— 1), что дает нам I Bh) — N — п . По формуле полной вероятности получаем, что вероят-
ность сделать наилучшии вы ор есть п п—1 ртИ)= 2 РН1^)Р(вя)=т-2т- fe=m+i h=m Задача. Показать, что при оптимальной стратегии, когда вероятность сделать наилучший выбор является наибольшей: л Ржп И) = тах Р™ И)„ оптимальное т = тп таково, что *)’ тп ~ п/е, Р»пп(-4) ~ 4/е при «-><», где е = 2,718.. основание натуральных ло- гарифмов. (Воспользоваться соотг ошением и тем, что 1/е— точка максимума функции —х!н", О <х < 1.) 5. Независимость событий. Будем считать, что собы- тие А не зависит от события В, если наступление В не влияет на вероятность наступления А, точнее, если Р(Л|В) = Р(Л). С учетом формулы (1.7) для условных вероятностей это определение независимости событий А и В можно дать в виде равенства Р(ЛВ) = Р(Л)’Р(В). ' (1.8)’ Задача. Из обычной карточной колоды наугад вы- бирается карта. Показать, что событие А — выбирается «пика» и В — выбирается «дама», являются независимы- ми. Показать, что это не так, если в колоду добавлена хотя бы одна «пустая» карта. (При большом числе п «пустых» карт вероятность Р(Л) становится очень ма- лой, тогда как Р(Л|В) = 1/4 неизменно при всех и.) Независимые испытания. Представьте себе две раз- личные схемы Qj и Q2 с равновероятными исходами, ни- как не связанными между собой, объединение которых *) Здесь и далее соотношение ап ~ ₽п для переменных ап, ₽п ап означает, что lim -д— = 1. П-»6о Рп
можно описать с помощью £2 = Qi X £22 — совокупности различных пар со = (<0i, <о2) с со± е и <о2 е £22, считая все со е £2 равновероятными же, ₽ = где Л\ — число исходов в £2Ъ Л2 — число исходов в £2а и М N2 — число исходов в £2. Очевидно, любые исходы со4 е £2, и со2 е £22 являются независимыми событиями в смыслэ данного в (1.8) оп- ределения: Р (соц со2) = Р (соО • р (со2); о такого рода схемах £2t, £22 будем говорить как о неза- висимых испытаниях. Примером могут служить два последовательных бро- сания монеты и т. п. Задача. Показать, что любые события Лt s £2, и Л2е£22, точнее, события {со: coiE^J и {со: со2®Л2} яв- ляются независимыми. Легко представить себе, что речь может идти не о двух, а о нескольких независимых £2„ с равновероятными исходами coftе£2k (к = 1, ..., п), когда в схеме £2 —£21Xt..X£2„ (1.9J со всевозможными исходами со = (со7, ..., со„) все сое£2 являются равновероятными, \и в соответствии с этим P(co)r=P(coJ...P(co„) (1.10) при всех со=(соь ..., со„). Задача. Пусть имеется п различных частиц и г раз- личных ячеек. Пусть частица с номером к-случайно по- падает в одну из этих ячеек и все возможные исходы = ih (гА = 1, ..., г — номер ячейки, куда частица по- падает) являются равновероятными. Пусть для различ- ных к это пика ? пе связанные (точнее, независимые) исходы. Показать, что совокупность всех п частиц под- чиняется указанному в (1.6) закону распределения. 6. Вероятность и частота. По-видимому, впервые понятие вероятности цашло свое практическое примене- ние в сфере таких азартных игр, как «рулетка», игра «в кости» и др. Многочисленные наблюдения показывали,
что событие At происходит чаще, чем событие Л2, если Р(Л)>Р(Л). Была обнаружена следующая замечатель пая закономерность для больших серий из п одинаковых независимых испытаний Q„ (в каждом из кото- рых «делается игра»). Именно, пусть в такой серии п(4) есть число «выпадений» события А (число испытаний, в которых А происходит). Рассмотрим частоту п(А)/п события А. Оказывается, для разных серий из большого числа испытаний соответствующие частоты п(А)/п уди вительным образом практически не отличаются друг от друга, и более того, несмотря на случайность исходов в каждом отдельном испытании, частота п(А)/п события А при больших п практически совпадает с его вероят- ностью, (1.11) Для иллюстрации приведем табл. 1 *) с результатами в 400 различных сериях (по 100 испытаний в каждой), отдельное испытание в которых можно иптерпретировать как бросание монеты (с равновероятными исходами «гсрб» или «решетка»). Имея в виду поставленный ранее на стр. 11 вопрос о равновероятности исходов «ГГ», «ГР», «РГ», «РР» при двукратном бросании монеты, отметим, что их частоты в соответствующих испытаниях будут приблизительно равными. Это видно, например, из результатов табл. 1, Таблица 1 Число выпадений «"ерба» в 100 сериях по 100 испытаний Число испы- таний Число «гербов» Общее число «гербов» 0—1000 54 46 53 55 46 54 41 48 51 53 501 2 000 48 46 40 53 49 49 48 54 53 45 485 3 000 43 52 58 51 51 50 52 50 53 49 509 4 000 58 60 54 55 50 48 47 57 52 55 536 5 000 48 51 51 49 44 52 50 46 53 41 485 6 000 49 50 45 52 52 48 47 47 47 51 488 7 000 45 47 41 51 49 59 50 55 53 50 500 8 000 53 52 46 52 44 51 48 51 46 54 497 9 ОиО 45 47 46 52 47 48 59 57 45 48 Й94 10 000 47 41 51 48 59 51 52 55 39 41 484 *) Таблица взята из книги В, Феллера, цитированной на стр. 13.
что является подтверждением равновероятности именно этих исходов. Выраженная равенством (1.11) закономерность нахо- дит свое подтверждение в самых разных сферах практи- ческой деятельности (понятно, более серьезных, чем азартные игры) и служит основой для определения ве- роятности того или иного события А, точнее, для оценки вероятности Р(Д). Допустим, речь идет о событиях, связанных с неко- торым комплексом условий, ' при реализации которых каждое событие А наступает (ити не наступает) в зави- симости от случая. Представим себе реализацию упомя- нутых условий как опыт, который может быть воспроиз- веден многократно в серии одинаковых и независимых между собой испытаний Qb ..., Qn. Проведя такую серию испытаний, за оценку вероятности события А (связан- ного с каждым отдельным испытанием) можно взять Р(Л) = п(А)/п. Задача. Показать, что так определенные вероятно- сти обладают аддитивностью. (Очевидно, и(Л1иЛ2)== ==п(А1)+ п(А2) для непересекающихся событий Л4, Л2.)‘ Пример (количество информации}. Представьте се- бе, что разного рода сообщения, образующие большие по объему тексты, составляются из символов (букв) не- которого алфавита, которые встречаются в тексте с при- близительно одной и той ж^для каждого большого сооб- щения частотой, принятой за вероятность появления соответствующего символа. Скажем, имеется конечный алфавит из 7V символов и рк — вероятность k-го из них, JV 2 Ph = 1 (соответствующие вероятности для русского Й=1 алфавита приведены в табл. 2*)). Выраженная в (1.11) общая закономерность указывает на устойчивость частот, в силу которой среди разных сообщений большой длины п практически будут встречаться лишь сообщения, в ко- торых каждый к-й символ алфавита будет содержаться п-„ £аз, где пк ~ прк, к — 1, ..., N. Число всех возможных сообщений, в которых каждый к-й символ содержится п! тг ровно пк раз, равно —;------г. Для записи всех таких . Мд I возможных сообщений с помощью «двоичного кода» по- *) Данные взяты из книги: Я г л о м А. М., Я г л о м И. М. Ве- роятность и информация.— М.: Физматгиз, 1960.
Таблица 2 Частоты для букв русского алфавита, включая «пробел» |Г между словами 0,175 О 0,090 е, ё 0,072 а 0,062 и 0,062 m 0,053 н 0,053 с 0,045 Р в л к м д п У 0,040 0,038 0,035 0,028 0,026 0,025 0,023 0,021 Я ы 3 ь, ъ б г ч й 0,018 0,016 0,016 0,014 0,014 0,013 0,012 0,010 X ж ю ш Ч Щ & Ф 0,009 0,007 0,006 0,006 0,004 0,003 0,003 0,002 надобится 1п новых «двоичных» символов, где Z„ с точ- Л - 1 п\ ностью до 1 равно целой части числа log2 —j —? (уточним, здесь имеется в виду, что различные сообще- ния длины п «кодируются» различными последователь- ностями из 0 и 1 длины 1п). Если воспользоваться из- вестной в анализе формулой Стирлинга *) и! ~ V2nn nne_”, (1.12/ то для числа 1п с соответствующими t i Г о "~nk н ~ nphl nkl ~ v 2rnik nh e при n -> °° получим In 2 j, 1 П ИЛИ N — lnph 1 n n h=l В ЭТОЙ N n In n — 2 npk In (nPfc) h—1 N — ^Ph 10g2 ph. h=l асимптотической формуле выражение N i = — 2 Pk i«g2 Ph (1.13) ft=i носит название среднего количества информации (на единицу текста). *) См., например, Феллер В. Введение в теорию вероятнос- тей и ее приложения,— М.: Мир, 1964.
§ 2. Некоторые вероятностные модели 1. Схема со счетным числом возможных исходов. В схеме с конечным числом равновероятных исходов и е й вероятность Р (Л) события А была определена формулой (1.1). Эта схема, конечно, не является уни- версальной, и легко представить себе ситуацию, в кото- рой нужно рассматривать бесконечное (счетное) число различных исходов и (и их уже нельзя считать равно- вероятными) . З.адача. Представьте- себе, например, испытания с последовательным бросанием монеты, которые продолжа- ются до первого выпадения «решетки», так что каждый исход и можно описать числом испытаний п — при та- ком и в первых п — 1 испытаниях выпадает «герб», а в последнем — «решетка» (нужно предусмотреть и ис- ход со с п = оо, когда неограниченное число раз подряд выпадает «герб»). Какова вероятность ₽(со) каждого ис- хода <о = п?. Показать, что Р(о)) = 2-П, м = 1, 2, включая со = п с и —°о, для которого ₽(ю) = О. Какова вероятность того, что случайное число и будет четным? (Считать, что все возможные исходы в опыте с м-крат- ным бросанием монеты являются равновероятными.) Обобщением предложенного здесь примера является схема, в которой рассматривается счетное число всех воз- можных исходов и ей с определенными для пих вероят- ностями Р (и) > О, 5 ₽(«) = !. (2.1) соей В такой схеме вероятность Р(Л) события А — {и: ыеЛ), Лей, определяют как ₽ И) =£₽(«), (2.2) сое.1 что является очевидным обобщением формулы (1.1). (Рассматриваемые в (2.1), (2.2) события суть множества A s Q — событие А означает, что имеет место один из исходов оеЛ.) Назовем £2 пространством элементарных событий, рассматривая ев дальнейшем события как мно- жества Л ей и приняв за элементарные события сами <в s Q.
Интерпретация рассматриваемых в схеме (2.1) — (2.2) событий как множеств A s Q позволяет использовать обычные теоретико-множественные операции объедине- ния, ’ пересечения и перехода к дополнению- 4е = =={&>: и ^4} как операции над событиями. При атом операцию пересечения еще называют произведением со- бытий, используя соответствующие обозначения (скажем, AtA2 означает произведение событий At и 42). Отметим следующие свойства: 0^Р(4)^1; для достоверного события 4 = 0 Р(Й)=1, для объединения 4 = (J 4Л непересекающихся событий ь ₽(U Л) = 2₽(Л). (2.3) Последнее свойство называют с-аддитивностыо, где гре- ческая буква «сигма» указывает на счетное число собы- тий Ак, к = 1, 2, ... Равенство (2.3) очевидно, поскольку порядок суммирования в формуле (2.2) с Р(и)>0 не имеет значения и Р(4)= 2 Р(со) = 2( 2 ₽(*>)> 2₽(А) OSA h \asAh ) h для 4=0 4), с непересекающимися Ак, к = 1, 2, ... h Предлагаем показать, пользуясь данным в (2.3) пра- вилом сложения вероятностей, что 1) для дополнительного события 4 е Р(4С) = 1 - Р(4), 2) для разности ZA4 = АСВ Р (В\А}= Р (В) — Р (АВ), 3) для 4 s В Р.(4)<Р(£), 4) для события В вероятности Р (В) = 1 (такое собы- тие будем называть достоверным} Р(4В) = Р(4), 31 для любых 4 и В Pf4y£>=P(4) + P(B)-P(4B)\
Скажем, второе равенство можно получить, обратившись к представлению В = АСВ U АВ с непересекаютцимися АСВ и АВ, а последнее — обратившись к непересекаю- щимся А\В = АВ°, В\А = ВА° и АВ, объединение кото- рых дает A U В. Независимые испытания. Так называют ..., Qn, ь каждом из которых элементарные исходы сщ е име- ют вероятности P(ojft): а совместное осуществление любых ы, е Q,, ..., <on е Qn представляет собой элементарное событие oj = (<Oi, oj„) вероятности P(o)) = P(o)1)'...P(ojn). (2.4)’ Здесь где совокупность Q всевозможных элементарных событий и есть произведение пространств Й = Й1Х...Х (2.5) Задача. Показать, что для любых событий At s Qj, ..., Ап — выполняется условие Р(Л1...4П) = Р(Л1)...Р(Л„), где, уточним, произведение 41... Ап означает совместное наступление всех указанных в нем событий (сравни с данным в (1.8) определением независимости). 2. Испытания Бернулли. Легко представить себе ис- пытание с двумя возможными исходами: А и А°, тре, скажем, А условно означает «успех», дополнительное событие Ас — «неудачу». Серию независимых испытаний такого рода с одной и той же вероятностью успеха р = Р(Л) называют испытаниями Бернулли. Примером может служить последовательное бросание монеты, в ко- тором условно выпадение герба есть успех, а выпадение решетки — неудача. Каждый исход п испытаний здесь можно описать цепочкой событий и = (0)4, ..., <о„), где ыл = Л или Ас соответственно означает успех или
неудачу в /с-м испытании, fp при ©ft = А, f (CObl I А Л С ' 7 (1 — р при иь = А . Положим 1 — p — q. Какова вероятность цепочки событий (rot, гоп)? Для независимых исходов гоъ ..., го„ в по- следовательности независимых исйытаний вероятность их совместного осуществления согласно. (2.4) есть Р(го) = (го„), и для цепочки © = (©,, го„), в ко- торой имеется ровно к успехов и п — к неудач, получаем Р(го) = р*дп"Л. (2.6); Обозначим Q совокупность всех возможных исходов го = ₽(©!, ..., го„) — их общее число. N = 2я. Очевидно, weQ не являются, равновероятными, если р =/= q. Согласно об. п;ей формуле (2.2) определим вероятность события А = = {иеЛ}, AeQ, как Р (4) = 2 ₽(и)- Рассмотрим иеЛ число £ — В (го) всех успехов в цепочке событий го = = (<±4, ип). Какова вероятность, что В = /с? Очевидно, в А =‘{ш: В (©) = /» входят лишь равновероятные исходы го,— вероятность каждого из них указана в (2.6). Число всех го е А равно числу сочетании Сп — -гг-/-----мт и, л J (77 — rCj J следовательно, P^ = A} = C^V-bt ‘ Л = (2.7) Это так называемое биномиальное распределение, назы- ваемое также распределением Бернулли,— связь его с би- номом п (р+ <?)" = 24ЬГ = 1 k=0 налицо. Задача. Показать, что биномиальные вероятности (2.7) — мы их обозначим здесь как P(k1nlp) = Cknpkqn-kt (2.8) при к = 0, 1, ,.к* монотонно возрастают, достигают максимума в точке к*, лежащей в границах а — (1 — р)^ ^к*^а + р, где а —пр, и затем монотонно убывают. Показать, что точка а = пр есть среднее значение числа
успехов h=0 (Для доказательства удобно последовательно рассмотреть Р (к, п, р) а — (к — 1)р , . . отношение p(ft_1>ra>pj= fc(i-p) ' ПРИ fe = 1’ п) 3. Предельная теорема Пуассона. Назовем распреде- лением вероятностей последовательность неотрицательных чисел Р(к), к —0, 1, ..., удовлетворяющих условию 2Р(7с) = 1. (2.9) ь=о Введем производящую функцию /(Z)=S₽(A:)Z\ (2.10) к—о рассматривая ее, скажем, при Ы < 1. Попятно, функция f(z) является аналитической внутри круга |z| < 1 и Р(/с), к = 0, 1, ...,— коэффициенты ее разложения в степенной ряд; отметим, что |д*)1< 5 ₽(&) = !, м<1- ь=о Пусть распределение вероятностей Р„(й), к — 0, 1, ..., зависит от параметра п -> будем говорить, что оно схо- дится к предельному распределению вероятностей Р(&), если lim Р„ (к) = Р (Л к = 0,1, ... (2.11) П->оо (где, уточним, для предельных значений выполнено усло- вие (2.9)). Задача. Показать, что гипергеометрическое распре- деление (1.3) при п -> оо и гп/п-^р сходится к биноми- альному распределению: zife ztZ — Ь pn (ft)=р (^ р) = CW~\ ''п & = о,л ...tz (понятно, что при больших п для выборки сравнительно малого объема I можно считать, что пробные изделия
выбираются из общей совокупности одно за другим, каж- дый раз с вероятностью, приблизительно равной mln, и при такой интерпретации мы имеем дело с испыта- ниями Бернулли). Лемма. Сходимость распределений вероятностей рав- носильна сходимости fn(z)-*f(z}, lzl<l, (2.12); их производящих функций. Доказательство. Взяв достаточно большое т, для предельного распределения будем иметь У Р(й)^е при любом наперед заданном е>0. Используя (2.11), получаем также, что ТП 2] р„(&) = 1- k—Q т т <i-2₽(fc) + 2| р(&) - Рп(&)|<28 Л=0 й=0 и оо Т:1 2 |рд&)-₽(&)1< 2|рп(/с)-р(Л)| + Зв h—o h—o при достаточно больших п, откуда видно, что сходимость (2.11) влечет сходимость 5|Ри(й)-Р(&)|^0. К—О Ясно, что из этой сходимости вытекает равномерная по г, |z| 1, сходимость в (2.12), поскольку l/n(z)-/(z)|< S|P»(/«)-₽(^|. h=0 С другой стороны, как хорошо известно, для аналитиче- ских функций из равномерной сходимости в (2.12) при lz| =^г< 1 следует сходимость в (2.11) ₽п (к) - 1 /Д (0) -> | /№) (0) = Р (Л> при всех к = 0, 1, ..., причем ограниченные аналитиче- ские функции f„(z), |/n(z) I С1 при Izl =C 1, имея в каж- дом круге lzl^r<l ограниченные производные и’яв-
ляясь равностепенно непрерывными, сходятся там равно- мерно, если они сходятся при каждом z. Рассмотрим производящую функцию биномиального распределения. Легко находим, что /n(z)= 2₽(/€,n1p)zft = (jpz + <7)"1 g = l— р. ь=о Допустим, что пр -* а при п -> «>, где а > 0 есть некото- рая постоянная. Что происходит при этом с функцией /п(г)? Представив ее в виде заключаем, что A'(z)->/(z) = e-“(,-2). Здесь мы имеем 2 ?л fc=0 h=0 где Jl Р(А) = ^е“% А = 0Д .... (2.13) образуют распределение вероятностей: h=0 h=0 (оно называется распределением Пуассона}. Отмстим, что определяющий его параметр а есть среднее значение ОО CO k а АР (А) = е fc=o ь=г Сформулируем полученный результат. Теор е м а. Для биномиального распределения со сред- ним значением пр -> а имеет место сходимость * = °Л7., (2-14) к пуассоновскому распределению. Напомним, что в испытаниях Бернулли, где возникает биномиальное распределение, рассматривается «успех» — событие А вероятности р ~ aJn, и имея здесь в виду ма-
лость этой вероятности в большой серии из п испытаний, можно говорить о предельном в (2.14) распределении Пуассона как законе редких событий. Пример (поток d-частиц). Известно, что при ра- диоактивном распаде излучаются а-частицы, причем по- явление каждой из них есть результат распада отдельного атома радия Ra. Допустим, за определенный интервал времени Т каждый из имеющихся и атомов Ra распада- ется независимо от других атомов' с вероятностью р, так что условно можно говорить о п испытаниях Бернулли с вероятностью «успеха» р, в которых число успехов £ есть общее число а-частиц за время Т. Известно, что радио- активный распад протекает очень медленно, и для реаль- ного времени наблюдения соответствующая вероятность р очень мала. Вместе с тем число атомов п очень велико, и применяя здесь приближение Пуассона (2.14), следует считать, что (случайное) число £ всех а-частиц, ожидаемых за время Т, будет распределено по закону Пуассона: 3 /и I W L 3, 3> ею где а = 2 &Р {£ = А} можпо интерпретировать как сред- k=0 нее число а-частиц, ожидаемых за интервал времени Т. Задача. В процессе выпечки булочек с изюмом в большой объем теста высыпается сравнительно с ним малое количество изюма, все тщательно перемешивается, разрезается на отдельные булочки и закладывается в печь. Какова вероятность того, что в отдельно взятой булочке окажется хотя бы одна изюминка? (Показать, что число изюминок, попадающих в отдельно взятую бул- ку, приблизительно имеет распределение Пуассона с па- раметром а, равным среднему расходу изюма на одну булку.) 4. Схема с конечным числом событий. Понятие неза- висимости. Пусть события At, ..., А„ никак не связаны между собой. Это точнее можно выразить, обратившись к испытаниям с соответствующими исходами или Аь и сказав, что Q,, ..., — независимые испыта- ния (уточним, что = указывает наступление собы- тия Ah, а — Ack —. дополнительное событие «4fc пе на- ступает»), Независимость здесь означает, что совокуп-
ность любых исходов о) = (со1, Ип) имеет вероятность P(cot, (о„) = Р((о1)'...Р(со„)\ (2.15) Пусть А1г ,.Л„ — произвольные события, для кото-* рых определены вероятности всех исходов ©==(©t, .... ©„} (2.16J с ©Л = Лк или Л“, /с = 1, и. Будем называть эти со- бытия независимыми, если для них при любых исходах ©=(©!, о)п) справедливо равенство (2.15). Легко проверить, что для п = 2 это определение не- зависимости А, п А2 равносильно данному ранее, т. е. тому, что при © = AiA2 Р(Д1Л)>Р(Л1)Р(Л2)\ Скажем, для о = AjA^ мы имеем р(А^) =р (Д) -р (дл2) =р (дх) - р (А)Р (Л2) - -P(A)[i-P(A)]-=P(A)P(4), и теперь уже ясно, что равенство (2.15) сп = 2 выполне- но и для остальных исходов и. Задача. Показать, что независимость событий Л1, .... А„ равносильна тому, что kJ(A1...Ara) = ₽(4il)...P(Affl) (2Л5)’ для любых различных ..., fm == 1, •.п. .Пусть А,, ..., Ап — произвольные события и 81 есть совокупность событий, каждое из которых получается путем операций объединения, пересечения и перехода к дополнительному событию, произведенных над At, .Ап; будем говорить, что совокупность 81 порождается собы- тиями А„ ..., Ап. Очевидно, отдельные исходы (2.16)’ входят в 81. Задача. Показать, что 81 можно описать как сово- купность всех событий вида Л = {©: ©е=Л}, А = £2, (2.17) где £2 есть пространство всех исходов (2.16). Очевидно, 81 есть алгебра — так называют совокуп- ность событий, которая содержит Л = £2, для каждого Ле 81 также Лс<=81 и для любых Л,, Л2е81 также Л1П П Лз е Я, Л1иЛ2е81. Согласно представлению (2.17) ве- роятности Р(4) любых событий Л^81 могут быть
определены формулой Р(Л)= S Р(а>) (2.18) по вероятностям Р(<в) указанных в (2.16) исходов ® ® Q. Задача. Пусть события AIt ..., Ап независимы. По- казать, что каждое Ак не зависит от любого А, порож- денного остальными событиями •Arf к (т. е. от любого события А, входящего в алгебру, которая порождается событиями Aj, j =А к). 5. Общая вероятностная модель. Последовательности событий. Общая вероятностная модель представляет со- бой произвольное пространство Q элементов oj ей, каж- дый из которых описывает соответствующий случайный исход, и для определенной совокупности событий А “ = {®еЛ}, каждое из них означает наступление исхода о) еИ из соответствующего множества A s Q, имеются вероятности Р(Л), О^Р(Л)^ 1 (P(Q)=1), обладающие свойством с-аддитиености: Р(у А) = S₽(4) для объединения непересекающихся событий Ак,~ к =• «= 1, 2, ..; Q называют пространством элементарных со- бытий, за которые приняты сами о ей. Здесь указанные события А фактически отождествля- ются с соответствующими A s Q, означая наступление исхода <оеЛ из множества А. В этом смысле все про- странство Q является достоверным событием, пустое мно- жество 0 формально есть невозможное событие, включе- ние A s В означает, что наступление А влечет за собой событие В, дополнение Ас — Й\Л является дополнитель ным событием к А (его наступление означает, что само событие А не происходит), объединение и пересечение событий — обычные теоретико-множественные операции в Q (скажем, объединение (J Ah в Q есть событие, озна- чающее наступление хотя бы одного из событий Ак, к = = 1, 2, ..., а пересечение П Ah есть событие, означающее наступление всех этих событий), непересекающиеся со- бытия Л1? А2 суть непересекающиеся множества в Q (совместное осуществление событий А,, Л2 невозможно) Напомним здесь известное правило в операциях над мно- жествами — при-'переходе от различных А к соответству-
ющим дополнениям Ас объединения переходят в пересе- чения, и наоборот, скажем, ( (J ДЛ® _. П Ак и т. п. \ h I h Как уже фактически говорилось, совокупность §1 мно- жеств А е Q пространства Q называется алгеброй, если для любого А е 51 дополнение Ас входит в 51 (включая A~QflA = £] и для любых Ait Л2 е & пересечение At П ПЛа и объединение AjUAj содержатся в 81. Алгебра 81 называется а-алгеброй, если для любых Ак, к = 1, 2, ..., из 51 их (счетное) пересечение Г1 Ah и объединение (J Ah k h входят в 51. Задача. Показать, что если алгебра содержит объ- единения U А/, непересекающихся входящих в нее Ак, k к ~ 1, 2, ..., то она является о-алгеброй. Закончим теперь описание общей вероятностной мо- дели с произвольным пространством элементарных собы- тий Q. Именно, в дополнение к уже ранее сказанному нужно добавить, что в Q рассматриваются события из некоторой о-алгебры 81 с имеющимися для них вероят- ностями. Тройка (Q, 51, Р) с вероятностью Р = Р(А) как о-аддитивйой функцией, определенной на о-алгебре со- бытий Ае %., называется вероятностным пространством. Задача. Показать, что для любых событий справед- ливо неравенство Р(У ^)<2₽(Л). (2.19) (Представить событие В= (J Ah в виде объединения ь непересекающихся событий Вг = Alt В2 = Aa\Alt... . In—1 • • •» Вп = An\ (J Ак, ...) Последовательность событий At А2 — ... назовем воз- растающей (здесь включение Ап s Лэт+1 означает, что наступление Ап влечет наступление А„+1). Задача. Показать, что для такой последовательности П оо Ап=> (J Ак событие A — U 4ft = limAn имеет вероятность Ь==1 fe=i И-»оо р (и А) = Mm Р (Ап). \ п } п->оо (2.20) Выраженное в (2.20) свойство называют непрерывностью вероятности. Аналогичное' свойство непрерывности имеет
место и для убывающей последовательности событий зА2^... Задача. Показать, что для такой последовательности Р(П АЛ = ИтР(Лп) ' \ П ) п-юа (2.20)' (обратиться к дополнительным событиям А% £= A? s ..., объединение которых (J Ап есть дополнительное событие п к пересечению П АЛ- п ) * Лемма 1 (Бореля— Кантелли). В последователь- ности событий Ап, имеющих вероятности рп = ₽(Лп), га = = 1, 2, ..., при условии 2 Рп < °® п (2.21) с вероятностью 1 происходит лишь конечное число со- бы гий. Доказательство. Наступление бесконечного чис- ла среди At, А2, ... есть событие В — П ( J АЛ- По- п \й>п ) скольку Р(5)<Р( и АЛ< 2рй-*0 при п °о, ТО Р (В) = 0 И Р (Вс) = 1. Говоря о последовательности независимых событий ЙГь, к=ч=1, 2, ..., имеют в виду независимость ..., Л„ при любом п. Лемма 2 (Бореля — Кантелли). В последователь- ности независимых событий Ап, имеющих вероятности рп = Р (Л„), п — 1, 2, ..., при условии 2р« = оо (2,22) п с вероятностью 1 происходит бесконечное число событий. Доказательство. Наступление бесконечного чис- ла событий из Ац А2, ... это событие, дополнением к которому является Вс = (J I |~| Л)Л. Мы знаем, что для п \К^п J независимых Ai, А2, ... дополнительные события А’ А2г ... будут также независимыми. Воспользовавшись
неравенством 1 — х < е~х, 0 < х 1, получим, что ₽( л лА = р«)...р(лст)< \ k=n ] т - 2 Pfe <(!-?„)... (l-pm)<e ft=n ->0 при т -* оо, откуда заключаем, что все события Л А£, k>n входящие в объединение 5е = (J [ Г) 4 |» имеют веро- п Д fc>n ) ятность (т \ Л 41 = 0 k=n / и, следовательно, Р(5с) = 0, Р(В)=1. § 3. Условные вероятность. 1. Формула полной вероятности. В схеме с равнове- роятными исходами была введена условная вероятность* Р(Я|£) события А при условии наступления события В, определенная как Р(Л|£) = Р(Я5)/Р(£). Это определение условной вероятности распространяется на произвольные события А и В (при Р (Z?) > 0) и дает нам следующее общее соотношение: р(л£)=р(л is) р(Б). (3.1) Условную вероятность Р(Я|В) еще называют апосте- риорной — после наступления события В, отличая ее от априорной вероятности Р(Л)—до исхода события В. Рассмотрим полную систему событий Вк, к = 1,2,...,— так называют непересекающиеся Bt, В2, ..объеди- нение которых достоверное событие. Справедлива сле- дующая формула полной вероятности: Р(Л) = 2р(Л|вй).Р(вй). ' (3.2) k Она непосредственно следует из общего соотношения (3.1)
и равенства Р(Л) = Р(Л.уяь] = 2Р(ЛВл), которое мы имеем при достоверном событии U Bh для’ объединения i)ABk = A- lJ Bh непересекающихся со- ft ft бытии ABh, к = 1, 2, ... „. Задача. Для полной системы событий В2, ... и события А положительной вероятности Р(Л)>0 вывести формулу Байеса: (3.з) i Задача. Пусть В = (] Вк — объединение непере- ft секающихся событий Bh, к = 1, 2, ... Вывести следующую формулу полной условной вероятности: Р(Л|Я) = p^2p(41Sft)P(5ft). 2. Примеры использования условных вероятностей. Пример (модель радиоактивного распада). Рассмот- рим процесс радиоактивного распада, при котором радий Ra с течением времени превращается в радон Rn. В мо- мент распада атом Ra излучает ос-частицу (ядро атома гелия Не), и происходит переход Ra -* Rn. Известно, что этот процесс носит случайный характер. Предположим, что каждый атом Ra превращается че- рез время t в атом Rn с некоторой вероятностью F(t), зависящей от t. Уточним, что речь идет о времени распа- да отдельно взятого атома Ra, наблюдаемого с некоторого момента t0, а именно, F(f) = Р{т < t}, t^O, где т— время с момента t0 до момента перехода Ra -* Rn, и здесь не- явно предполагается, что вероятность F(t) распада за время t одна и та же независимо от того, в какой момент to мы «выбираем» тот или иной атом Ra. В соответствии с этим, «наблюдая» выбранный атом Ra с момента t0, при условии т > з в момент ft = t0 + s мы по-прежнему имеем дело с атомом Ra, и вероятность его распада за последующее время t есть F(t), а вероятность его сохра- нения, т. е. вероятность того, что т > s +1 при условии т>8, есть 1 — F(t). Введем функцию G(O=l-F(f) = P<'f>f}, t>0.
Как только что было укачано, G(t) совпадает с условной вероятностью того, что т > s +1 при условии т > я: Р{т > s + /1т> s} = G(t) = Р{т > Д. Используя это, получаем, что G(s +1) — Р{т > s + t} = = Р{т > s + Дт > s) P{x > s) = G(t) G(s) Таким образом, G(s + 0=G(s)-G(i) (3.4) при всех s, t 0. Это хорошо известное в анализе функ- циональное уравнение, которое приводит к показатель- ной функции G(t) = eu, t>0. (3.5) Конечно, речь идет о функции, не равной тождественно 0, а именно так и обстоит дело в нашем случае. Формула (3 5) особенно легко выводится из уравнения (3.4) в предположении,-что функция G(t) непрерывно диффе- ренцируема. Очевидно, для монотонно невозрастающей функции G(£) = P{x>J}, 0(0)“^0, из (3.4) вытекает ус- ловие G(0)= 1. Дифферэппируя обе части равенства (3.4) по переменному s. и полагая затем s — О, G' (0)— —X, по- лу шм дифференциальное уравнение G'(t)=—kG(t), £>0, решение которого с начальным условием G(0)=l опи- сывается формулой (3.5), в которой постоянная X должна быть положительной, поскольку G(i)s£l. Согласно (3.5) распад отдельно взятого атома Ra за малый промежуток времени h -* 0 происходит с вероят- ностью 1 — e~Kh — 7Лг 4- о (h). Внешне радиоактивный рас- пад заявляет о себе излучение^ ос-частиц. Пусть в те- кущий момент s имеется п атомов Ra. Какова вероятность того, что за последующее малое время h появится хотя бы одна частица? Считая, что распад каждого отдельного атома происходит независимо от состояния других ато- мов, заключаем, что эта вероятность есть 1 — (1 — е~*Л)" = = \xh + o{h), где р, = лА,- Известно, что процесс распада протекает очень медленно, и за реальное время наблю- дения количество вещества Ra практически остается не- изменным. В соответствии с этим величина X очень мала и произведение р, = rth соизмеримо с единицей времени наблюдения, в течение которого, как только что было
сказано, можно считать п постоянным. Отметим, что ве- роятность появления за малое время h более одной а-частицы не превосходит п2(1 — е_КЛ)2^(р,й)г = о(/1)', где (1 —e“w*)2 — вероятность распада каких-то двух от- дельно взятых атомов Ra. Задача. Вывести показательное распределение Р{т > t} = е~^, t > О, с параметром р для времени ожидания т первой а-части- цы. (Воспользоваться теми же соображениями, что и при выводе (3.5).) Показательное распределение возникает для случай ного времени ожидания т того или иного события в си- туации, когда ожидая уже время s, приходится ждать еще время t с той же вероятностью, как если бы пред- шествующего ожидания не было вовсе, что точнее мож- но выразить равенством Р{т > s +-tlx > s) = Р{т > Й, (3.6) которое раньше и привело нас к показательной формуле (3.5). Подобная модель применима во многих практиче- ских задачах. В качестве иллюстрации можно предста- вить себе, скажем, время ожидания «поклевки» при лов- ле на удочку в бедном рыбой водоеме, или время ожида- ния конца телефонного разговора «болтливой дамы» и т. п-. Отметим, что показательное распределение имеет свой аналог в схеме дискретного времени t = kh, к = О, 1, ... Это так называемое геометрическое распределение Р{т = kh} = к = 1, 2,... где р, q Q, р + q = 1. Оно возникает, скажем, в схеме испытаний Бернулли для времени ожидания т первого «успеха», если считать, что каждое испытание занимает единицу времени h > 0. Очевидно, геометрическое распре- деление можно охарактеризовать как дискретное показа- тельное распределение — для t = nh имеем ₽(»>Ч- 2 га*-1-и" 2/- Ь=п+1 h=0 если положить e~w = q.
Пример {вероятность разорения игрока). Рассмот- рим игру в так называемую «орлянку», когда игрок вы- бирает «герб» или «решетку», после чего бросается мо- нета. Если выпадает та сторона монеты, которая была названа игроком, то он выигрывает, получая, скажем, 1 рубль; в противном случае он столько же проигрывает. Предположим, что начальный капитал игрока составляет х рублей и игрок ставит себе целью довести его до неко- торой суммы в а рублей. Игра заканчивается, когда иг- рок либо наберет заранее определенную сумму а, либо разорится, проиграв весь имеющийся у него капитал. Какова вероятность того, что в конце концов игрок ра- зорится, так и пе набрав желаемую сумму а рублей? Ясно, что эта вероятность зависит от начального капита- ла а: и конечной суммы а. Обозначим р{х) вероятность того, что, имея х рублей, игрок все-таки разорится. Тогда вероятность разорения при условии- выигрыша па первом шаге будет р(х + 1), поскольку после выигрыша капитал игрока станет равным х +1. Аналогично, вероятность разорения при условии проигрыша на первом шаге равна р{х — 1), так как после проигрыша капитал игрока станет равным х — 1. Обозначим Bj событие, заключающееся в том, что игрок выиграл па первом шаге, В2 — событие, заключающееся в том, что он проиграл, и пусть событие А означает разорение игрока. Введем условные вероят- ности Р(А1В1) = р(х + 1), Р(А|В3) = р(ж-1). События В, и В2 образуют полную систему, так как на первом шаге игрок либо выигрывает, либо проигрывает, причем P(Bi) = ₽(В2)= 1/2. Формула полной вероятности дает следующее соотношение для искомых вероятностей р(х): р{х) == + 1) + р{х — 1)], ж = 1, ...,а —1 (очевидно, следует положить р(0)=-1 и р{а) = 0). Реше- ние уравнения р{х + 1) = 2р{х)— р{х — 1), х = 1,2,..., последовательно определяется через р(0)=1, р(1) = У для всех х — 2, 3, ... Как легко проверить, это реше- ние имеет вид р{х)=11 — (у — 1)х, откуда, учитывая, что р (а) — 1 — {у — 1) а = 0, получаем у — 1 — 1/а и
окончательно находим, что вероятность разорения есть р (х) = 1-------------х = 0, 1, ..., а. (3.7) • Задача (о вероятности выигрыша). Показать, что в рассмотренной здесь игре вероятность выигрыша есть q(x)~x/a, х — 0, 1,..а. (Отметим, равенство р(х) + q(x) = 1 фактически показы- вает, что игра не может продолжаться бесконечно долго, точнее, что с вероятностью 1 игрок на каком-то конечном гчаге п — 1, 2, ... либо разорится, либо выиграет назна- ченную сумму а.) Задача (об удвоении ставки). Допустим, идет игра «в орлянку», но с тем изменением, что вероятность вы- игрыша на каждом шаге равна /j <1/2, а вероятность проигрыша есть q = 1 — р > 1/2. Показать, что при на- чальном капитале х в игре со ставкой h вероятность ра- зорения ph(x) как функция от х есть решение уравнения / (х) = р/ (ж + fc) + д/ (х — h) и имеет вид ...... (ЗД — здесь считается, что а и х кратны h. Показать, что система «удвоения ставки» — замена h на 2h — умень- шает вероятность разорения. (Считая а и х кратными 2h, легко проверить, что р2к(х)< ph(x).) 3. Наилучший прогноз событий. Легко представить себе реальность следующей схемы. Допустим, должно произойти одно' из несовместных событий А,, А2, ..., и нужно ппедсказать, какое именно из них произойдет. Допустим, для составления прогноза используются на- блюдения над другими событиями, скажем, результатом этих наблюдений является исход событий В2, ... из некоторой полной системы. Как составить наилучшнй прогноз, при котором вероятность ошибки будет наимень- шей? Вместо событий Alt А2, ... нам удобно будет ввести величину | = 7 при наступлении А}, j — 1, 2, ..., и ана- логично, вместо В1л В2, ...— величину ц, = к при на- ступлении Bh, к = 1, 2, ... Поставленный вопрос касается нгилучшего прогноза случайной величины Е, в зависимо- сти от наблюдаемого значения величины тр Уточним, что
говоря здесь о прогнозе, мы имеем в виду задание вели- чины ф(т]) как функции от наблюдаемой величины ц, называя прогноз £ = фо(т1) наилучшим, если вероятность его ошибки минимальна: Р{ф0(т1)^}^Р{ф(пН^ (3.9) в сравнении с любой другой функцией <p(ri) (понятно, рассматриваются ср со значениями 7 = 1, 2, ..., которые может принять величина |). Вероятность ошибки при любом прогнозе ф(т]) есть Р{<Р(П)¥=£} = 1-Р{£ = Ф(П)} = = I - Х₽{5= ф(Л)|п = *}Р{п = *}. k Определим jo = qo(k) среди всех возможных значений величины £ как то, при котором условная вероятность Рт “ P{|=7l т] = к} является наибольшей: • Pkj =maxphj. (3.10) э Тогда для /'о = фо (к) имеем Р{£ = фо (к) I т] = £) Р{£ = ф (к) I т] = к}, и из общего выражения для вероятности ошибки видно, что прогноз фо (л) отвечает поставленному в (3.9) тре- бованию. В итоге получен следующий результат. Теорема. Значение фо('п), которое £ примет с наи- большей (условной) вероятностью при известном ц, дает наилучший прогноз случайной величины £. П ример (закон следования Лапласа). Представим себе серию испытаний Бернулли, в которых вероятность «успеха» зависит от каких-либо случайных факторов. Для наглядности обратимся к урновой схеме. Представим се- бе, что имеется урна с N белыми и черными шарами (причем число £ белых шаров неизвестно и является для наблюдателя «случайным фактором»)' и проводится се- рия испытаний, в каждом из которых из урны наугад вынимается один шар (с последующим возвращением). Допустим, что при всех проведенных « испытаниях каж- дый раз появлялся белый шар (событие А — «успех»). Как определить вероятность того, что на следующем шаге снова произойдет событие Л? Считая, что случайное (для наблюдателя) число белых шаров £ может быть любым — £ = 7 (/ = 0, 1, ..., N) с равными вероятностями P(g = = /} = 1/N + 1, вероятность того, что число успехов т]
N Рп=р{л = п}= S р{Л=и]ё = 7}Р{ё=7} = . .г 3=0 n , j у j_Y “ 7V-|-1 / 3=1 В соответствии с этим при условии, что событие А про- исходило каждый раз во всех п испытаниях, условную вероятность наступления этого события в следующем (п + 1)-м испытании нужно определить как Pn±JPn, что при больших N дает Это так называемый закон следования Лапласа. В рассмотренной нами урновой схеме со случайным числом £ белых шаров можно поставить вопрос об оцен- ке £ по результатам п испытаний с числом успехов тр Согласно обшей формуле (3.10) нгилучшей оценкой при т] = к будет то значение j = 7‘0, для которого апостериор- ная вероятность, вычисленная по формуле Байеса как p<5-/h=fc} = 1 является максимальной. Задача. Показать, что при условии т] — к наилуч- шая оценка есть | =• jB, где jB равно либо целой части , либо /vj + 1 (отметим, здесь к/п представляет частоту наступления события А — появления белого шара). Пример {задача «однорукого бандита»). Столь ус- ловное название не мешает этой задаче иметь самые серьезные приложения. Представьте себе, что «бандит» располагает двумя типами «оружия», однш;ратное при- менение которого приводит к «успеху» с вероятностью Pt в зависимости от типа 1 = 1, 2, причем Pi > р2. При
употреблении оружия естественно было бы выбрать тот тип, для которого вероятность успеха больше. Как посту- пить, если тип оружия не известен? Допустим, чтобы различать имеющееся оружие, его пометили номерами 1, 2. Пусть Вк при этом означает, что лучшему оружию (типа 1) присвоен номер k=i, 2 и имеются априорные вероятности Я1.о = Р(^1), ЗТг, о = Р(^г)« (Скажем, можно представить себе, что номера к — 1, 2 выбираются случайно по определенному бросанием мо- неты жребию, и тогда jij. 0 = л2.0 == 1/2.) Пусть для оп- ределенности 0 > л2.0; тогда, понятно, нужно сначала взять оружие с присвоенным ему номером к = 1. Допу- стим, первое испытание привело к успеху (событие Л). Очевидно, что это событие имело условные вероятности Р(4 IZ?±) = pi, Р(4|£?2) = р2, и по формуле Байеса условная вероятность того, что лучшему оружию присвоен номер 1, будет 1 (Л) = Р (5ХI Л) ----. ’ k ' 11 /'Л,о + ^л2.о Аналогично, в случае «неудачи» при первом испытании (событие' Ас) условная вероятность того, что лучшему .оружию был присвоен no^iep 1, будет Я1>1 (4е) =Р (В, 14е) = ----. (1 — Pj л110 + (1 — д2) л2 0 Таким образом, после первого испытания в зависимости от исхода (о1 = 4 или Ас получаем апостериорные вероят- ности Л,. 1 (®1), Л2. t (®i) = 1 - Л1,1 (COi> того, что лучшему оружию был присвоен соответствую- щий номер 1, 2. Если при данном исходе (щ имеем i(®i)^ зтг, i(®i), то на следующем шаге нужно ис- пользовать оружие с присвоенным ему номером к — 1 (оно окажется лучшим с большей вероятностью!), а если 3T1, i(®i) < л2, i(®i), то следует употребить оружие с при- своенным ему номером к — 2. В зависимости от такого рода апостериорных вероятностей л11П, я2, п = 1 — Hi, п
после каждого n-го испытания решение нужно принять аналогичным образом, выбирая оружие с присвоенным ему номером к = 1 в случае Л!, „ > л2, „ и с номером /с = 2 в противном случае. § 4. Дискретные случайные величины 1. Примеры. Некоторые определения. Со случайными величинами мы уже неоднократно встречались, имея дело с числом бракованных изделий в случайно выбранной партии при выборочном методе, с числом частиц при их случайном распределении по ячейкам, с числом «успе- хов» в серии испытаний Бернулли и т. д. Во всех при- веденных здесь примерах речь идет о дискретных слу- чайных величинах g, принимающих в зависимости от случая то или иное значение х ^на действительной пря- мой Z?1) из счетного множества X всех возможных для £ значений с соответствующей вероятностью PE(a:) = P{g = a:}, х&Х. (4.1)' Рассматривая конечную совокупность таких случай- ных величин gt, ..., gn с соответствующими возможными значениями а:,, ..., а:п, считают, что для этой совокупно- сти g = (gt, . g„) имеются вероятности ₽sfa) = PEi.En fan-• • •., *") = = Р{?1 = . • -г In = хп} = Р{£ = х} (4.2) для всех возможных a: = (a:i, ..., жи), образующих счетное множество X s Rn в п-мериом координатном прост- ранстве 7?п, Sp£fa)~i. X Сказанным здесь и можно было бы ограничиться при определении отдельно взятой дискретной' случайной ве- личины g •= (g,, ..., gn) в Rn, описывая сам «случай» в виде соответствующего исхода {g = х} и взяв X как про- странство всех возможных исходов с имеющимися для них вероятностями Р(а?) = РЕ(ж), хе=Х. В рамках общей схемы с вероятностным простран- ством (Q, §1, р), в которой «случай» представлен соответ- ствующими исходами и е Q, случайная величина g
рассматривается как функция от случайного исхода: В = В(®), со е£2, (4.3) и для дискретной величины В с возможными значениями х s X в R1, для всех х {£ = а;} = {со: £(<») = я) (4.4) суть события из о-адгебры событий с имеющимися для них вероятностями (4.1); формула (4.1) определяет так называемое распределение вероятностей дискретной слу- чайной величины В- Рассматривая совокупность таких величин £ц, ..., Вп для B = (Bii •••, Bn) с соответствующи- ми возможными значениями х =^{xi, ..., хп) в Rn, мы имеем {£ = *} = Л {В, = жй) g= St; fc=i соответствующая формула (4.2) определяет распределе- ние вероятностей многомерной величины В — (Вь • - Bn) в Rn, называемое также совместным распределением ве- личин Ви - • ч Вп (каждая из которых имеет свое соб- ственное распределение-в Я1). Дискретные случайные величины Ви •••, Вп называют независимыми, если их совместное распределение вероят- ностей имеет вид (ж1> • • •, жп) = (zj .. Pfcn (хп) (4.5) при всех возможных для них значениях Xi, ..., хп. (Дан- ное здесь определение относится как к действительным одномерным, так и к многомерным величинам Вн •Вп-) Задача. Пусть Bt, ..., Вп — произвольные совокуп- ности возможных значений для соответствующих Вн • • • ..., Вп. Показать, что для независимых случайных вели- чин события - <Bi s (Впейп) являются независимыми. Задача. Показать, что функции Ф*(В«)» ••••> <Рп(Вп) от. независимых В»> • Вп являются независимыми слу- чайными величинами. 2. Математическое ожидание. Для действительной случайной величины В со счетным числом возможных значений х е X, каждое " из которых «ожидается» с
соответствующей вероятностью РЕ(а:), выражение М£=»2*₽6й) (4-6) <хех I называется математическим ожиданием этой величины,- - здесь предполагается, что ряд в (4.6) сходится абсолютно, 2 |«|P6(«)<oo (4.7) sc&X , , (при этом условии величину g будем называть суммиру- емой). Математическое ожидание еще называют средним значением величины g, учитывая, что каждое ее возмож- ное значение х входит в выражение (4.6) для Mg с со- ответствующим «весом» Ре (х), ХР'Д^).—4. (Скажем, х если имеется лишь конечное число возможных значений х — xt, ..Xn и все они равновероятны, то М£ = 7Г Xh h=l есть просто среднее арифметическое этих значений.) Задача. Пусть g есть число «успехов» в п испыта- ниях Бернулли. Показать, что среднее число успехов есть Mg — пр, где р — вероятность успеха в ка ждом отдельном испытании. Задача. Пусть величина g имеет.пуассоновское рас- пределение с параметром а. Показать, что Mg = а. При нарушении условия (4.7) математическое ожи- дание МВ. можно определить, объединив все возможные значения одного знака и положив ’ = 2 жР6 (х) + 2 х<0 Х>0 если один из рядов здесь сходится; мы имеем Mg *= —<» при расходимости ряда с отрицательными членами и Mg — +оо при расходимости ряда с положительными членами.' Рассмотрим некоторые свойства математического ожи- дания. Очевидно, среднее значение постоянной величины рав- но ей самой, и, в частности. Ml = 1. Возьмем индикатор 1л произвольного события А, определяемый как 1А = 1 при наступлении А и 1А = 0 в противном случае; имеем М1А = Р(Л)..
Пусть £ — случайная величина, принимающая значе- ние хк при наступлении ’ события Ак из полной системы некересекающихся Ак, к — 1, 2, ... (полнота этой системы означает, напомним, что объединение U Ah есть ДОСТО- fc верное событие). Для такой величины = (os^ (4.8)' имеем- Р6(х)=5Р {£ = *} = 2 Р(Л) h: х/^х И = 2 р(А) = 2Ы₽И*). х к k: х^~х k При условии сходимости этого ряда получаем 2*ри*)=2* 2 р(Л) = 2^р(Л), h х ki x-j^x h поскольку перестановка членов абсолютно сходящегося ряда не меняет его суммы. Таким образом, для случай- ной величины g, заданной нам в виде (4.8), ее суммируе- мость означает, что 5|^|Р(Л)<о°4 • k и при этом условии Mg = S^P(A). (4.9) k Пусть — дискретная случайная величина со счетным ХеЛ1 всех ее возможных значений х^Х. Взяв полную систему событий {£ = х}, х<^ X, согласно общей формуле (4.9) получим м|£| = 2ИР|(^ х Это позволяет выразить условие суммируемости величины | в форме Mlgl < оо, выражающей существование конеч- ного математического ожидания М§, iM^ICMlgl. (4.10) Отметим здесь то обстоятельство, что из условия схо- димости ряда 21 х IР? (х) < 00 вытекает сходимость X М(|£Н®>«)) = 2 ИРб^-^О
при а -> 00, где 1(|6|>о) означает индикатор события 4 = == {|g| > а), 1А = 1 при наступлении А и 1Л “ 0 в против- ном случае. Рассматривая дискретные g,, g2, воспользуемся далее общей формулой (4 9), обратившись к представлению ти- па (4.8) с полной системой событий Аи = {g, = g2 = = ж23}, занумерованных двойным индексом к, 7 = 1, 2, ..., где различные пары (а?1м, ж23) пробегают все возможные для (g„ g2) значения. Пусть g„‘g2 имеют конечные Mg,, Mg2. Тогда для произвольных постоянных с„ с2 справед- ливо равенство 2 "Г Са^гДР (4ftj) = с12 я-ik Р (^ю) 4" ^2 аВ ^jP (^fej) = k,3 h,3 k,j ~ ci S S P (^fej) + c2 S 2 P t k 3 3 h где все ряды сходятся абсолютно, и тем самым опреде- лено конечное математическое ожидание M(c,g, + c2g2) = с,Mg, + c2Mg2. (4 И)' Это свойство выражает линейность математического ожи- дания Mg как функции переменной g (лучше сказать, как функционала от g, подчеркнув, -что случайная величина g = g(co) сама есть функция от со s Q). Кроме линейности, Mg обладает еще очевидным свой- ством положительности: Mg 5s 0 для неотрицательной ве- личины g 2s 0, что с учетом (4.11) можно выразить в бо- лее общей форме: Mg,CMg2 (4.12) при g, «£ g2. Для дальнейшего укажем здесь простое, но важное по своим применениям неравенство Чебышева: при лю- бом а > О ₽{|£|>а}<4 <4ЛЗ> Оно получается, если обратиться к случайным величинам (а при |g|>af (О при |g|<a и Ь — 1^1, для которых g, < g2 и Mg, = aP{|g| >a}s=Mg2. Задача. Используя неравенство Чебышева,' пока- зать, что если Mlgl =0, то g = 0 с вероятностью 1.
Установим еще важное свойство мультипликативности математического ожидания: для независимых случайных величин gi, Вг с конечными математическими ожиданиями справедлива формула m(5152)=M5.M|2. (4.14) Действительно, при независимости 51, 62 имеем Р {Bi = xil.i Вг = a'8j} = P|1.E2(a'ib, х2з) ~ Рц (xik) Pfc2 (х2з) для всех возможных значений (xlk, x2j), к, j — i, 2, этих величин и согласно общей формуле (4.9) для 5 == = 5^2 получаем ми2 = 2 ("Hfe, X2j) — 2 (Xlh) 2 J'2jP^2 (X2})‘ h,3 1 г ь 1 3 “ Задача. Пусть 5 = (Въ •, Вп) есть многомерная случайная величина со значениями в счетном множестве X^Rn. Пусть <р(л:), х^Х,— произвольная- действитель- ная функция. Показать, что случайная величина ср — ср( 5) при условии 21 <Р (ж) I ₽Е (*) <°° X имеет конечное математическое ожидание Mcp© = 2<P(*)PU^)- (4-15) Имея дело с комплексными ср = ф1 + йр2 (i = V — 1), где ср, и <р2 — действительные случайные величины, при условии конечности Мер,, Мср2 полагают Мер = Мер, + гМср2. Понятно, формула (4.15) распространяется на матема- тическое ожидание Мер комплексной случайной величины вида ср = ср (5). Задача. Для функций ср,(£,), срп(5п) от неза- висимых величин 51, - Вп вывести мультипликативную формулу М[ср! (51)... ср,. (5„) ]» Мер, (5,)... Мсрп(5„). (4.16) 3. Примеры использования среднего значения. Пример (постоянная полураспада). Обратимся сно- ва к нашей модели радиоактивного распада,* в которой время т ожидания распада отдельно взятого атома На
аспределено по показательному закону с парамет ром X, р{т > t} = е~и, t > 0. Число остающихся через время t атомов Ra зависит от исходного количества вещества и является случайным (обозначим это число v (t)). Пусть исходное количество вещества — число атомов Ra — равно п0. Каждый отдель- ный атом Ra сохраняется через время t с вероятностью р = е~>л, и следовательно, среднее количество остающегося через время t вещества Ra будет n(t) — Mv(t) = пое~м. Этот экспоненциальный закон, описывающий процесс распада с течением времени t, характеризуют обычно не самим параметром К, а так называемой постоянной полу- распада То, определяемой как то время, за которое рас- падается ровно половина исходного вещества: пое о = = п0/2 или То = In 2/Z. Пример (игра с отгадыванием монеты). Рассмотрим следующую игру двух лиц. Один игрок прячет монету до- стоинством в 10 или 20 копеек, а другой игрок отгады- вает, что за монета была спрятана. Если он называет монету правильно, то и получает ее в качестве выигрыша; если он ошибается, то платит 15 копеек. Каковы должны быть стратегии игроков при многократном повторении этой игры? Этот пример укладывается в следующую простейшую схему игры двух лиц*). Именно, каждый игрок может выбрать одну из двух стратегий, определяющих резуль- таты игры. При этом интересы игроков противоположны: то, что выигрывает один, фактически проигрывает другой. Такую игру можно описать с помощью матрицы {ц«}, I, j = 1, 2, две строки которой соответствуют двум имею- щимся стратегиям первого игрока, два столбца — двум стратегиям второго игрока, а сами величины vi} харак- теризуют тот выигрыш, который получает первый игрок при выборе каждым из игроков соответствующих страте- гий: если первый выбирает i-ю стратегию, а второй вы- бирает /-ю стратегию (i,/=*1,2), то выигрыш первого игрока равен vih а выигрыш второго игрока, равен — v(j. Возникает вопрос, какими стратегиями должен руковод- ствоваться каждый из игроков? На этот вопрос легко ответить в случае, когда, скажем, mm(pH, п1г)>тах(пг1, *) С элементами теории игр можно познакомиться, например, по книге. Мак-Кинси Дж. Введение в теорию игр.— М.: Физ- матгиз, 1960. •
р2г). Ясно, что, как бы ни играл второй игрок, наилучшей возможностью для первого является выбор 1-й стратегии, которая ему обеспечивает выигрыш, не меньший щ2). При расчете на «умного» противника для второго игрока наилучшей является та стратегия /, при которой наибольший выигрыш противника является минималь- ным, т. е. та стратегия /, при которой рц = тт(рц, щ2). Описанный случай можно считать исключением. Как же поступать в более распространенной и вместе с тем бо- лее сложной ситуации? Поставим задачу более точно. Предположим, что первый игрок выбирал j-ю стратегию с вероятностью pit, а второй игрок выбирает /-ю страте- гию с вероятностью p2j. Распределения вероятностей Pi = — {ри, Pizi и Р2 = {p2i, р2г}, с которыми каждый из игроков выбирает соответствующие возможности поведения, назы- ваются смешанными стратегиями. При выбранных сме- шанных стратегиях естественно рассматривать средний выигрыш (первого игрока) V (₽L, Р2) = 5 »ijPliPzi- i,3 Предположим, что противник первого игрока выбирает наилучший ответ на каждую его стратегию Р, == {ри, р12}, т. е. такую стратегию р2 = {Аъ P22I. что выигрыш первого игрока при выбранной им стратегии Pi является минимальным: у(р1Лр;) = шшК(р11р2) = у1(р1). Если считать, что противник играет таким образом, то при стратегии Р, первый игрок получает средний выиг- рыш Vi(Pi) и паилучшей смешанной стратегией для него является то распределение вероятностей PJ = {рп, pJJj для которого ^(Pj^niax^fPJ. ₽i Совершенно аналогичные рассуждения применимы и на месте второго игрока, для которого при расчете на наи- лучшую игру противника наилучшей является стратегия Р21 обеспечивающая максимальный средний выигрыш F2(P«) = maxV2(P2)1 Рл
Fa (p2) = min {— v (pu p2)} = — max Г (P13 P2). ₽i ₽i Найдем оптимальные стратегии Pj и P2 для каждого из игроков. Рассмотрим функцию !/)= = v2lxy + iw(l - у) + Г21 (1 -^х)у + п22 (1 - х) (1 - у)'. При х •= Рн и у = ри эта функция численно равна сред- нему выигрышу первого игрока, когда выоираются сме- шанные стратегии Pt = {ри, pi2} и Р2 = {р21, р22). Функция V(х, у) является линейной по каждому из переменных х и У, (Хя, jX 1. Следовательно, при каждом фиксиро- ванном х она достигает своего минимума в одной из край- них точек у = 0 или у = 1: V! (х) = min V Lx, у) = v = min {г>12я + z?22 (1 — х), v1Tx + v2l (1 — х)}. Как видно из рис. 1, на котором схематично изображена функция Vi (ж), ее график является ломаной с вершиной в точке х°, определяемой из урав- нения Vl2X° + V22 (1 — Ж0) = ViiX° + + v2i(l — я”). Имеем д.0 = ______и22 ~ ______ ’ Г11+*,22~(1’12 + г’81) * Точка х° — точка максимума функ- ции Ki(a:), (XaXl,— и есть та оптимальная вероятность рп, с конторой первый игрок должен вы- бирать 1-ю стратегию. Соответ- ствующая смешанная стратегия pi=lpii> Р?2] обеспечивает наибольший средний выиг- рыш при расчете на самую лучшую игру противника. Этот выигрыш есть К1(®0)= 1?ца;0 + п21(1 — я°) = щ2а:0 + п22(1 — я0)’. Каково бы ни было у, (X jX 1, V(A y)l= = у[уцХ° + v2l (1 — я0)] + (1 — у)[щ2я° + Р22(1 + XD) J —
Видно, что при оптимальной вероятности Рп = я0, как бы ни играл противник (каково бы ни было у = Ри), первый игрок обеспечивает себе средний выигрыш У, (а/1). Если же он отклоняется от оптимальней стратегии рп = = выбирая рн = х, то при подходящем ответе против- ника, когда р21 = у с надлежащим у — 0 или у — 1, сред- ний выигрыш первого игрока уменьшается до величины Т^/ж). Те же самые рассуждения применимы и на месте второго игрока, для которого оптимальное значение ве- роятности Р21 = у° есть уО ________U11 ~ Р12_____ Р11 + 1,22-(1?12+ р21) (оно формально. получается, если игроков поменять ме- стами, т. е. поменять местами индексы 1 и 2). Так же как и в случае первого игрока, при оптимальной вероят- ности Р21 = У° второй игрок обеспечивает средний вы- игрыш V2(y°) независимо от стратегии противника: -F(®, у°) = Уг(у°), O^x^i. Отсюда, в частности, вытекает, что У.(^)=У(х’, у°), 72(р»)=-7(х«, у»), • Вернемся к исходному примеру с отгадыванием мо- неты. Здесь следует положить Пн = —10, щ2 = 15, v2t = 15, п22=—20. Оптимальное значение вероятности Рп = х°, с которой надо прятать 10-копеечную монету (в предложенной схе- ме это 1-я стратегия первого игрока), есть •г° = 2Гбб== у = -J2". Оптимальное значение вероятности //fl=p"i, с ко- торой надо называть при отгадывании именно 10-копееч- ную монету (это 1-я стратегия второго игрока), есть У0 = ;TgQ = -j2. Таким образом, оптимальное поведение первого игрока состоит в том, что он с вероятностью Pii = 7/12 прячет 10-копеечную монету, а с вероятно- стью Р12 = 5/12 — 20-копеечную монету. Оптимальное поведение второго игрока состоит в том, что он с вероят- ностью ph = 5/12 называет 10-копеечную монету, а с
вероятностью р22 = 7/12— 20-копеечпую монету. При этом средний выигрыш первого игрока составит величину V У0) = —10 + 15 А (-V(x°, у») = - А бу. дет, следовательно, выигрыш второго игрока). Видно, что описанная игра является невыгодной для второго игрока, даже при наилучшем поведении каждый раз проигрыва- ющего в среднем 5/12 коп. Всякое же отклонение от этогс наилучшего поведения при соответствующем ответе про- тивника только приведет к большему проигрышу. 4. Условные распределения и условные математиче- ские ожидания. Пусть £ и р — дискретные случайные величины. Пусть Y — совокупность всех возможных для р -значений и Рч(у) = Р{р = у) > 0 при всех у е У. Услов- ное распределение вероятностей Р«(#1у), х^Х, величины | в X при условии р = у (у е У) связано с совместным распределением р5.ч(я, y)=PU = a;, Р = у1, х^Х, yeY, соотношением Ps.^z, y) = Ps(*lj/)p4y)'. что можно выразить равенством Р. „ (х, у) = Х^х‘ (4Л7) Рассмотрим величину £ со значениями в X = /?’ и вы- числим по условному распределению Ps(^ly), х^Х, ее условное математическое ожидание М(^|у)= УхР,(^|у). (4.18) X (мы предполагаем,. что оно конечно при всех y^-lt). Определенная с вероятностью 1 функция М(£|р) от р, М(£|р) = М(^у) при р = у е У, называется условным математическим ожиданием относительно р. Возьмем В s У и вычислим математическое ожидание Функции 1в(р^-£, где 1в(у)= 1 при у^В и 1в(у) = 0 при остальных у (1д есть индикатор В), С учетом
равенства (4.17) мы имеем м(Ы) = 22 (1в (г/)-*) (* I г/)₽ч (у) = у х •= 2 Г1в (у) 2 №)] ₽п О/) = 2 [1в (у) м (g | ffl] рч (у). V [ « J У Видно, что справедлива следующая формула пол- ного математического ожидания: , М(14) = М[1В-М(£|П)], (4.19) которая при В .= Y дает М£ = М[М(£|т])]. (4.20) Задача. Для функции ф(ц) от случайной величины т] установить равенства М[М(<Р (Т1) BI ц) ] = М[ф(n) M(g| ц)] = М[<рМ U (4.21) § 5. Непрерывно распределенные случайные величины 1. Примеры. Плотность вероятности и математическое ожидание. Пример {равномерное распределение). Представьте себе известную игру «в рулетку». Ее исход определяется положением случайной точки на окружности, указыва- ющей финальное положение шарика, случайно брошен- ного на вращающееся колесо рулетки. Очевидно, вероят- ность попадания этой случайной точки £ в тот или иной интервал не зависит от его расположения на окружности и пропорциональна длине интервала. Развернув окруж- ность (скажем, имеющую единичную длину) на отрезок (0, 1] действительной прямой, вероятность попадания точки | в интервал (а/, х"] можно определить формулой х" Р {х' < g < х") = [p(x)dxt (5.1) х' где /1, 0<я<1, = to, ж<0, ®>1. Пример {показательное распределение). В модели радиоактивного распада (см. с. 35) было установлено, что время ожидания распада — появления первой а-ча-
стицы (обозначим его £) подчиняется показательному закону: Р{£ > х) — е~Кх, х>0. Согласно этому х" Р {х' < £ х' } — — г~Кх" = J ?.e~7'xdx1 хг • О =С X7 х" оо. Видно, что имеет место формула [Хе-Хх, р«-{ 0, (5.1) о х^О, х< 0. В приведенных здесь примерах р(х) есть так называе- мая плотность вероятности случайной величины В рамках общей схемы с вероятностным простран- ством (Q, §1, Р) действительная случайная величина £ =* = £(<о) рассматривается как функция от случайного ис- хода со е Q; при этом предполагается, что {|<х} = {ы: £((о)Сх}, — оо<х<°°, суть-события из о-алгебры §1 — напомним, что вероятности Р (Л), А е §1, имеются для всех событий из этой о-алгебры.' Задача. Показать, что функция распределения F(x) = Р{§ х}, —oo<X <ooJ случайной величины £ не убывает, непрерывна справа и lim F (х) = 0, lim F (х) — 1. Х->—со X—>оо Понятно, для случайной величины £ имеются вероят- ности попадания в любой промежуток, скажем, Р{х' < | ^х") = F(х") — F(x'), и если существует производная, р (х) = F (х), так что u-C J X F (х) — J р (х) dx, —oo<Zx<ZooT — оо то для £ справедлива формула (5.1) с указанной здесь плотностью вероятности р(х), — °°<Х<°0. Плотностью вероятности, в Rn называют интегрируе- мую функцию р(х)>0, У p(x)dx=l. Будем называть нп Pi (*) = Ar.„^n . г хп)г х == (Жц ... г Хп) е Пп.
плотностью вероятности случайной величины | = ... ..., £п) в В.п или совместной плотностью вероятности действительных величин gi, ..., если для любой обла- сти B^Rn вида В = {х\ х'у <_ хЛ х'у, ..., х'п < хп sC Хп] вероятность попадания £ в область В равна РПВ)=Р{^В} = ^Pi(x)dx. (5.2) в Задача. Показать, что для указанной области В, ее «внутренней» части В’ = {ж: х'у < ху < Ху, ..., х„ <Z хп <Z х'п] и замыкания В” = [х: х'у^Ху^Ху, .. ,,Хп^х^Хп] при наличии плотности pt(x) вероятность попадания ве- личины £ в В' или В" такая же, как вероятность по- падания в В. (Показать, что вероятность попада- нения . ния на границу области В равна 0.) Понятно, что согласно свой- ствам о-аддитивности и непре- рывности вероятности формула (5.2) распространяется и на другие области В s Rn. Скажем, из непересекающихся областей Bhm указанного вида как из Рис. 2 отдельных кубиков можно со- ставлять всевозможные объеди- ни = U В km и перейти к областям В, являющими- ся пределами таких монотонно возрастающих или моно- тонно убывающих объединений Вт, В = (J Вт или В = . m в П схематично представленных на рис. 2,— для них т Р6(В) = lim Р£ (Вт) = lim 2 Рь(Вкт) = 771->00 7П-»ОО k «= lim 2 f Pi (ж) dx = lim f (x) dx = f pt (x) dx. ft вкт вт в « При наличии у действительных случайных величин ; S« совместной плотности вероятности каждая из
этих величин в отдельности имеет в R1 свою плотность вероятности, скажем, оо оо р61(^1)= J ••• J* Plv....ln(xn ...,xn)dx2 ... dxn, (5.3) — ОО — оо и вообще, совместная сложность величин ..., (т < п) в Rm -ri (Ж1> • • • > = ОО оо = j ... J .......1п (xlt .. .,хп) dxm+1... dxn. (5.3)' — оо —оо О совместной плотности вероятности говорят имея в виду совокупность не только одномерных, но и многомер- ных величин ..., — понятно, это значит, что совмест- ную плотность вероятности имеют все их рассматриваемые в совокупности одномерные компоненты. Случайные величины ..., с совместной плот- ностью вероятности будем называть независимыми, если их совместная плотность равна произведению плотностей отдельных компонент: Plv....h (xi, • • •, хп) = Ph (^i) . • Pin (хп), (5.4) здесь имеются в виду и многомерные Очевидно, для независимых ..., вероятность их попадания в соответствующие Bt, ..., Вп есть Р {£1 с= Bt, ..., <= Вп) = = J ••• J Р^.....En(^i, ...,xn)dx1...,dxn=^, = J Ph (xi) dx1... J р^ (хп) dxn = В1 вп =P(g1eB1}...P{|neBn}. Задача. Показать, что для независимых величин .... будут независимыми любые события .... (5.5) Задача. Пусть |lt ..., есть независимые случай- ные величины, имеющие показательное распределение с параметрами Л1т ., Хп. Установить, что распределение
такого же типа с параметром X — Х1 + ... + Хп имеет вели- чина g = min(^I, £„). Как найти плотность вероятности для тех или иных функций т] = ф (£) от случайной величины £ = (^ ..£„) ? Этот вопрос является типичным для многих задач теории вероятностей. Пусть В— случайная величина в • Rn с плотностью вероятности Pi{x), x<=Rn, и ф: х -> у = ф(х)е Rn есть взаимно однозначное непрерывно дифференцируемое ото- бражение пространства R" с невырожденным якобианом J(x)^0. Тогда случайная величина ц = ф(ё) в Rn имеет плотность вероятности p4(p)=pe(<p_,jz) • УеПп, (5.6) поскольку для указанной здесь функции р^у) согласно известной формуле замены переменных в интеграле по области В s Rn с прообразом А — уг'В мы имеем Р {ц е= В} = Р {16= 4} = J Pl (х) dx = J Ръ (у) dy. А В Задача. Пусть ..., есть независимые (действи- тельные) случайные величины, имеющие плотности веро- ятности р$ , ..., pin. Показать, что плотность вероятности суммы + ... + задается формулой свертки PEi+...+Еп И = Р?! * • •. * Ръп(х) = Р=,+...+Еп-1 * Pin И> определяемой последовательно начиная с п = 2 как оо P^1»PE2(a:)= J Ph (* — у) Р12 (у) dyfl —ооО<оо. — оо (5.7) (Рассмотреть преобразование Ф = 6», • • •» Пп-» = 1, Т]п = Ь + • - + Вп и воспользоваться общими формулами (5.3), (5.6).) Задача (продолжение). Показать, что для незави- симых |i, ..., имеющих показательное распределение с одним и тем же параметром X, сумма £i +... + имеет так называемое гамма-распределение с плотностью вероят- ности р (х) = X (Лж)п 1 -7.x (п —1)!е « (5.8^
Пусть £ — многомерная случайная величина в Rn с плотностью вероятности (х), х^ Rn, а многомерная ве- личина ц = ф(£) в Rm есть функция от g. Для области Bsk" событие {ц еZ?} = {ср(|)е F} означает, что вели- чина £ попадает в область А = {х: ф (х) s В} в Я", и ве- роятность этого события можно определить по формуле рл (в) = р {п е В} = J Рб (*) dx. (5.9) {х: <р(х)еВ} Формула (5.9) задает для случайной величины ц ее рас- пределение вероятностей РДТ?) по различным областям Нам удобно будет в дальнейшем несколько изменить обозначения, рассматривая совокупность действительных случайных величин g,, ..., g„ с совместной плотностью вероятности > ..........(^1, ...,хп), — оо <#!,.. .,яп< оо, и имея дело с различными функциями от них — величи- нами вида £ = ф(|1, ..., g„). В этих новых обозначениях распределение вероятностей по областям В s Rm для слу- чайной величины g в Rm указанного вида согласно общей формуле (5.9) будет р£ (В) = J ph..(xlt ...# хп) dx1... dxn (5.9') А для соответствующих областей , А — {(хи хп): ф(xlt ..., х„)еВ} sRn, Пусть ф — действительная функция. Введем математиче- ское ожидание действительной случайной величины g = = ф(£1, ..., g„) с помощью формулы м?> = f ф К, ... J Хп} р^.?n (xlt ... J хп) dx1... dxn (5.10) Rn при условии, что этот интеграл абсолютно сходится; Mg еще называют средним значением случайной величины g. (Формула (5.10) будет использована в дальнейшем и для комплекснозначных функций ф.) Отметим здесь, что согласно условию абсолютной схо- димости интеграла в правой части (5.10) интегрирование по области {|ф1 >a>={(a:i, ..., хп); |ф(а?1, ..., хп)I > а},
где функция <р по абсолютной величине больше а, дает У |q> (х1г ...^(хи ,. .,_хп) dxx ... fe->0 <|4>1>а} при а -* °°, что для = ф (|i, ..Вп) можно выразить в форме при а -* оо. Легко можно представить себе необходимость рассмат- ривать наряду с Вь ..., Вп более широкую совокупность величин Вь Вп» •••» £п+т (с совместной плотностью вероятности в соответствующем пространстве /?"+т). Ве- личина В = ф(В-> ..., Вп) формально может считаться функцией от В», •••» Вп, ...» Вп+т, и согласно предложенной формуле математического ожидания должно выполняться- равенство МВ = Уф (ар, ..., хп) P£1„..,5n+m dxr... dxn+mi Rn+m — так оно и есть, поскольку указанный здесь интеграл по данному в (5.3) общему правилу преобразования плот- ности вероятности преобразуется к виду У Ч (ж1, • • j ^п) У ..........tn-f-m ^1» • • 1 ^-Hn) dxn^- 1 . . • Rn . Rm dxn^-m dxx ... dXn J <Р(*и •• ...5nUb, ... Rn .. .,xn) dxx ... dxn> Очевидно, для отдельно взятой величины В = Вл мы имеем СО МВ = У хр$ (х) dx* — оо (5.10)* где ps (х) — ее плотность вероятности. Рассмотрим всевозможные величины В» формально являющиеся функциями каких-то случайных переменных; обозначим эти переменные Во ..., Вп и допустим, что они имеют совместную плотность вероятности в соответствую- щем пространстве Z?". Легко проверить, что определенное выражением (5.10) математическое ожидание обладает свойствами линейности и положительности, о которых
раньше шла речь при рассмотрений, дискретных вели- чин — см. (411) —(4.12); будет справедливо и указанное в (4.13) неравенство Чебышева (почему?). При этом в глучаё независимости величин ..., когда их совмест- ная" плотность вероятности имеет вид Piv.. К '(Ч, • • •, хп) == Р^ (ч) • • • Pin (ч»), для функций <Р1(^1, ..., Ь) и (р2 (&,+?, от различных переменных мы имеем следующую мультипликативную формулу: М[ф1(£1, •••, ^) фг(^+1, - £п)] = = Мф1(£11 ..gft) Мф2(и«, •••, !«)• (5.11) Действительно, Ф1 (Ч, • • • л Ч) (Ч+г, • • •, Чг) X Rn ХР51 (ч) . • • Р^ (Чг) С?Ч . . . dxn = -= Г J Ф1 (Ч, ..., ч) Piy (ч) • • • Pih (ч) dXi.. • LKft ’ J фп (Ч+i, • • • 14)Pgjl^_1(4+i) • • • Pin (4i) ^4+1 • • • dxn I, [Дп-Й J где сомножители в правой части .согласно общей формуле (5.10) дают нам МфД£,, .... &,) и Мф2(^+Ь .... £„). Задача. Для функций ф,(Ь), фп(£п) независи- мых вывести мультипликативную формулу М[ф! (ВО... Ф„(М] = Мф, (g.)... Мф„ (&,). (5.12) 2. Условная плотность вероятности и условное мате-* магическое ожидание. Обратимся к многомерным случай- ным величинам £ и ц с совместной плотностью вероят- ности ps. рассматривая пару (£, ц) как многомерную величину в соответствующем пространстве Нп+т, если £ есть величина в Ип, а т] — в Пт. Пусть Y Нт есть область всех возможных значений для т] и плотность вероятности Рп(р)>0 при у ¥ (рЛу) = ® при остальных реД™). Условную плотность вероятности pt(^lp), а:е/?", величи- ны £ при условии ц = у (у£У) связывают с совместной плотностью pt.ц(ч у), x^Rn, y<=Y^Rm, соотношением -Ра.ч(Ч У) = Pi(x\y)pn(y)
(полагая рг.^х, у) = 0 при остальных ре/?™), и согласно атому Ръ№у)=~ PtAx, yWpdy), x^R\ (5.13) Определим условную вероятность события е Л) при условии ц = у, где А — область в Rn, кай Р{£ <= Л|р) = §pt(x\y)dx. 'Пусть B^Y— область в В™, справедлива следующая формула полной вероятности: Р{£ е Л, ц е= В} = J Р{£ ег ЛI у}рч (у} dy. (5.14) Действительно, Jp{ge=£|p}pn(p)dp = J fPl(x\ij)p^y)dx dy = = J J Pl л (x, у} dydx =?{%(= A, <= B}. Взяв здесь В = Y, получаем P{ge4}= JpgeA|p)pn(p)dp. (5.14)' Задача. Пусть £ и т] —; независимые действительные величины с плотностями рЕ и р„. Показать, что условная плотность для суммы ? + ц при условии ц в у есть PS+J^IjE/HPe (*-*/). -оо<ж<оо (зто интуитивно очевидное равенство можно проверить, определив совместную плотность величин g + т], ц и за- тем воспользовавшись общей формулой (5.13)). Допустим теперь, что величина £ рассматривается в Rn как функция £ =? ф(ц, £) пары случайных переменных ц е В™, £ е /?г, имеющих совместную плотность вероят- ности рП1 t(y, z), y^Rr\ z&Rr. Обратимся к условной плотности вероятности Pt(z|p), z^Rr, случайной величи- ны £ относительно ц. Ясно, что при условии ц = у вели- чина В = ф(ц, S) есть £ = <р(р, £) и ее условное распре- деление вероятностей такое же, как и функции ф(р, £) от случайной величины £ с (условной) плотностью вероят- ности Р:(zip), z^RT. Рассмотрим действительные случай-
вые величины вида £ = ф(т], £). Введем условное матема- тическое ожидание / М(1|У)= ]"ф(У г)pi(z\y)dz* (5.15) RT пнедполагая, что указанный справа интеграл сходится абсолютно. Считая, что это так при всех возможных для величины f) значениях у е Y, можно ввести случайную величину М (£| ц) «=£ М (£1 ц), т] = уеУ; (5.16) ее называют условным математическим ожиданием отно- сительно т]. Для нее справедлива следующая формула полного математического ожидания: M[l.-MUln)] = M[lB-a, (5.17)’ где 1в=1в(т]) — индикатор события вида {т] е В), B^Y. В самом деле, мы имеем м(1в-£)= J J [1в(у) <Р (У, z)] Pi(zjy) р^(у) dz dy = у Rr = f 1в (у) J Ф (у, z) Pi (ZI у) dz pn(y) dy = у L вг = f Ив (у) M (g I p)] (y) dy = м II B. M (g IT))]. у Задача. Показать, что при В = Y формула полного математического ожидания дает М£ = М[М(£|т])]. (5.17)' Задача. Для функции ф(ц) от случайной величины г] установить равенство М[ф (q) • М (£I ц)] = М[<г (ц) • U 3. Нормальное распределение вероятностей. Обратимся к такому понятному всем явлению, как случайный раз- брос попаданий при обстреле мишени. Допустим, случай- ные точки попадания (Eji, S2) распределены на плоскости ак, что имеется соответствующая плотность вероятности j%,ja(^i, — оо ^2<оо. Предположим, распределе- ние случайной величины - (Bi, £2) центрально-симметрично относительно начала координат (центра мишени), и в со-
ответствии с этим РМг <*1» “=/(*? + ^а)>: — оо <Г хн х2 < оо. Допустим еще, что случайные ошибки |4, |г по каждой из координат имеют одинаковую плотность вероятности р(х) и независим^ между собой. Тогда согласно общей фор- муле (5.4) f(xl +а^)-^ p(x1)-p(x2)i и при = 0, х2 •= х р(0)¥=0. Полагая yt — ж®, у2 «= х* и заменяя /(p)/f(O) на {(у], для новой функции /(р) с /(0)= 1, получаем уравнение /(У1 + У2) = /(У1)/(У2), Pi, г/а>о, решением которого, как мы знаем (см. (3.5)), является показательная функция /(«/) = р>0. Отсюда для плотности вероятности каждой из величин £i, |2 получаем выражение р (х) = р (0) е ,-<» < % < оо. Найдем соотношение между р (0) и Z, обратившись к из- вестному в анализе интегралу ОО -7= f 1; (5.18) он легко вычисляется путем перехода к полярным коорди- натам в выражении - 2Л оэ = $- ( dB f е~т dr = 1. J J о о Равенство (5.18) после замены х на х/о дает нам о>0; (J т —99
для дальнейшего еще отметим, что положив здесь о — l/Vy и дифференцируя по и > 0 тождество f 00 -7= I е dx = —тх,. "|/2n J l/u' —со получим равенство —~ f x2e~xV^dx = о3. а "|/ 2зт J Теперь, возвращаясь к нашим параметрам р (0), X и по- оо ложив Х, = 1/(2о2), из условия нормировки ^p(x)dx = l —00 находим, что р(0) — 1/оТ’2л.- Таким образом, каждая из независимых величин g2 имеет- плотность вероятности р (х) = -——= е~х ^2а \ — оо < x<Z<x>. (5.19) О ~у 2л Это — так называемая нормальная плотность вероятности с параметром о2 > 0, который, как было показано выше, оо допускает следующее выражение: о3 = J х2р (х) dx. Графи- —сю ки нормальной функции распределения Ф(с) = х 1 с ~ j e~x2/2dx и нормальной плотности с параметром ’-З© Рис. 3 о = 1 - приведены на рис. 3. Двумерная ясе величина (Ви Вг) имеет плотность вероятности РЦЛ2 (xi- ехР(- А (ж? + (5.20) 1 2 zsta L Z(j J ОО Oj, ^2<ОО4
— она также называется нормальной. Общий вид двумер- ной нормальной плотности вероятности p^t., х2) при- веден на рис. 4, где показаны линии вертикальных сече- ний поверхности z == Pt х^. Введем теперь общее многомерное нормальное распре- деление. Возьмем п независимых вел тчин т]0|, ..т]Оп, г Рис. 4 имеющих одну и ту же нормальную плотность вероятности р(у)— -4= e~v —оо < у < оо. Их совместная плотность 2 л вероятности в Rn согласно общей формуле (5.4) есть п У = (Уг. Уп)е= # Рассмотрим линейное невырожденное преобразование п х-; = Лг + S выУь, i = 1, ..П, с невырожденной матрицей о = {oiM}, имеющей определи- тель iol^O. Это преобразование переводит квадратичную п п форму 2 Уь в квадратичную форму У (Xj — а{)(ж,-—я?) fc=i ~ t.j=i с матрицей b = {Ьц} — В~\ обратной к матрице В = о • о*
с элементами п В1} = У OiftGih, £,7 = 1................п k=J (о* означает транспонированную матрицу). Для опреде- лителя |В| матрицы В = {£?«}, которая в дальнейшем бу- дет играть особую роль, имеем ISI = lol2, так что якобиан 1/1 *= lol рассматриваемого нами'Преобразования равен |В11/2. Согласно общей формуле (5.6) случайные вели- чины п Si = а» + У <ЪьПол, i = l, (5.21) Л=1 имеют совместную плотность вероятности вида (х) - 1 | В |1/а (2л)п/а ехр П Л 2~ (Xj fij) (Xj — Я;)р i.i=l J (5.22) x = (xL, ...,xn)<^Rn. Опа называется нормальной (или гауссовской}. Случай- ные величины gi, ..с такой совместной плотностью также называются нормальными (или гауссовскими). Задача. Пусть — гауссовские величины. Показать, что их невырожденное линейное преобразование Пл = сьо + У к = 1, ..nt j=i дает нам гауссовские же величины тр, • • •, П"- § 6. Математическое ожидание и среднеквадратическое расстояние 1. Общее определение математического ожидания*). Мы дали определение математического ожидания М£ для действительной дискретной случайной величины £ со счетным числом всех возможных для нее значений х на действительной прямой, положив М£ = 2 жР {£ = #} = у zP£ (х) *______________X X *) Существенные дополнения к этому пункту будут даны в в гл. IV. •
в предположении, что м IВI = 2 к IРЕ (ж) < °°- X Это определение можно дать в другой форме, в рамках общего вероятностного пространства (£2, И, Р), представив £ = £(ы) как ^(й) = а, сое Л*, для соответствующей (полной) системы непересекающихся событий At, к = «= 1, 2, ... pj = £2), и положив Mg = 2^P(A). k Заметим теперь, что всякая действительная случайная ве- личина £ = £(ы) может-быть равномерно аппроксимиро- вана дискретными величинами — скажем, если взять раз- биение действительной прямой промежутками вида (е.к, е(к +1)], к — 0, ±1, ..., и положить |' = еА: при ък< £ С е(А:+ 1), то будем иметь || —при всех возможных исходах. Будем говорить, что £ сходится равномерно, если Вп(со)-*™о) равномерно по всем со е £2. Пусть £ есть предел равномерно сходящейся последовательности диск- ретных величин имеющих конечные математические ожидания Mlg„| < оо, п = 1, 2, ... В такой последователь- ности для любого июль угодно малого е > 0 при доста- точно больших п будет l|„ —^|<е, |gn —|т|<2е (m>n), и согласно неравенству (4.12) |МЕ„ — Mgm|^ <М|£„ —gm| <2е. Видно, что последовательность матема- тических ожиданий МЕ„ имеет предел; обозначим его как М£ = lim Mgn. (6.1) п->оо Для любой другой равномерно сходящейся последователь- ности дискретных В мы имеем | — Bn | ^ | Вп — В I + + | Вп — В К е при достаточно больших п, и ‘С е. Видно, что предел М£ в (6.1) не зависит от выбора равномерно сходящейся последовательности дискретных В; этот предел определяет (конечное) математическое ожидание случайной величины |, иначе называемое средним значением. Математическое ожидание М£ опре- деляют для произвольных величин | с помощью предела (6.1) и тогда, когда этот предел является бесконечным (М£ = ±оо, если при равномерной сходимости -* £ мы имеем дискретные с соответствующими М£п = ±о°).
' Для комплексных В = Bi + ££2, где gi и g2 — действи- тельные случайные величины с конечными М£4 и Mg2, полагают Mg = Mg, + iMg2. Задача. Показать, что для действительной вели- чины £ Mg = Mg+-Mg_, где g+ = В, В- = 0 при В >0, В+ = 0, В- = В при В <0. Задача. Показать, что для В = В+ оо Mg = j Gg (ж) dxf (6.2) О где С£(ж) = Р{В>ж), ж>0, (Воспользоваться аппрокси- мацией МВе = е 2 к [Gg (ей) - Gg (е (к + 1))] = J Gg (е/с) • е, (6.2)' fe=i fe=i дающей интегральные суммы для монотонно уоывающей функции Gt (ж), х > 0.) Задача. Показать, что если Igl Ц для ц > 0 с Мц < оо, то В имеет конечное математическое ожидание. Задача. Показать, что для £ = g+ с плотностью ве- роятности Ръ(х) ОО оо оо Mg = J У pg (ж) dx dy = j хр^ (ж) dx. 0 V о Задача (продолжение). Для В = В+ — В- с плот- ностью вероятности р£(ж) вывести формулу (5.10) Отметим здесь без доказательства справедливость об- щей формулы (5.10) — см. по этому поводу гл. IV. Очевидно, выраженные в (4.10) — (4.12) свойства ли- нейности и положительности математического ожидания распространяются предельным переходом с дискретных на произвольные случайные величины: мы имеем M(c,Bi + + сгВг) = ClMBi + C2Mg2 ДЛЯ любых ПОСТОЯННЫХ Cl, сг и Вн Вг с конечными математическими ожиданиями, и Mgi °C Mg2 при Bi Вг. Вместе со свойствами линейности и положительности математического ожидания на произвольные случайные величины распространяется и неравенство Чебышева (4.13). Задача. Показать, что если Mlgl =0, то g = 0 с ве- роятностью 1. •
Случайные величины g, g называют эквивалентными. если g = g с вероятностью 1. Понятно, для таких величин iMg- Mgl CMlg-gl = 0, Mg = Mg. Это обстоятельство позволяет определить математическое ожидание случайной величины g, когда она известна лишь при наступлении некоторого события А вероятности Р(Л)=1, точнее, когда g==g(<B) определена лишь при исходах оеЛ; скажем, полагая произвольно g — а при наступлении «исключительного» события Ас, дополнитель- ного к А (Р(ЛС) = О), можно взять эквивалентную Ь вели- чину g = £ при наступлении А и определить Mg как Mg = Mg. Задача. Показать, что если M|g[ <°°, то M(lgl • 0 при а -> оо. (Воспользоваться этим свойством для дискрет- ных g', для которых М (I £ | • 1{|Е1>о}) м ( IF | • 1{|5Е|>а-Е}) 4-8 при произвольно малом е > 0.) Установим теперь общее мультипликативное свойство математического ожидания, распространив на произволь- ные независимые величины g,, g2 формулу (4.14). Интуи- тивно понятие независимости случайных величин g,, g2,... воспринимается как то, что эти величины принимают возможные для них значения независимо друг от друга; более точно это выражается в форме независимости их возможных значений в произвольно взятых областях Вг, ..., точнее, в форме независимости событий {gi е Bj, {g2 е В2), ... для любых В,, В2, ... Теорема. Пусть действительные g,, g2 независимы и имеют конечные математические ожидания. Тогда M(g1g2) = Mg1Mg2.> (6.3) Доказательство. Для независимых gB g2 будут независимыми и введенные при определении (6.1) диск- ретные величины £1, 11 (почему?). Согласно (4.14) мы имеем МI g&1 < оо, М(g«g‘) « Mg«Mg. Очевидно, для величин и g|, аппроксимирующих grH
g2 с точностью до е, | £i?21 < ( I ?! I + е)( I ?!| + е), где произведение справа имеет конечное математическое ожи- дание и, следовательно, этим же свойством обладает и ве- личина ^i%2- Элементарное неравенство |?Л —?!?!l<l?2-?lll?il +1?! —?ill?ll показывает, что . | М^|2 - | < 8 (М | | + М1|| | )f и теперь уже непосредственно видно, что М^а = = MgrMg2. е-*о е->о Понятно, мультипликативная формула (6.3) распрост- раняется на независимые 5п ..., 5«, а именно, = (6.3)/ Ранее было указано, что М[Ф1 (50... Ф„ (5„) ] = МФ1 (50... МФ„ (50 (6.3)" для функций от независимых 5и • • — дискретных или имеющих совместную плотность вероятности (см. (4.16), (5.12)). Представляется, что функции от независимых ве личин дают нам независимые же величины ф1(50, ••• ...ьфп(5п), и если с этим согласиться, то (6.3)" будет следствием общего равенства (6.3)'. Имея дело в даль- нейшем с независимыми 5о • • £п, мы будем пользоваться мультипликативной формулой (6.3) ". 2. Среднеквадратическое расстояние. Рассматривая дей- ствительные случайные величины, будем исходить из того, что вместе с любыми 51, 1г в качестве случайных величин имеем их произвольные линейные комбинации 5 — ^i?i + + ^г5г (с действительными или комплексными ^Д2), а так- же их произведения 5ib- Будем говорить, что случайная величина 5 принадле- жит классу S2, если имеется конечное математическое ожидание Ml5l2<°°. Из элементарного неравенства 2l5i5sl <(I5J2+ 1?г12) вытекает, что любая линейная комбинация Х,51 + Х25г величин 51, Вг е Z2 входит в S2, и в этом смысле S2 есть линейное пространство. Из ука- занного неравенства вытекает также, что для всех вели- чин Во имеется конечное математическое ожида- ние ?2)=М5152, (6,4)
здесь и далее черта сверху означает комплексно сопря- женную величину и (Bi, g2) как функция от пары пере- менных Bi, Вг есть билинейная положительная форма, об- ладающая известным нам свойством линейности по каж- дому переменному и такая, что (В, В) = Ml Bl2 > 0.' Поло- жительную билинейную форму (6.4) будем интерпретиро- вать как скалярное произведение величин в S’2. По поводу общего скалярного произведения напомним, что взяв линейную комбинацию В = ?iiBt + Х2Вг, получим 2 положительную квадратичную форму (В25)= 2 (£s, Sj) от переменных Xi, Х2, и для коэффициентов такой формы выполняется известное неравенство Коши — Буняков- сксго: KI1, и,/2(ь, ь)1/2, или, в более явной форме, |M(^2)|^(M|g1|2)1/2(M|g2|2)1/2, (6.5) где Йпева вместо Bi, Вг можно взять их абсолютные значе- ния Igil, 1В21. В частности, для произвольной величины В е 2?г при = В, В2 = 1 получим, что имеется конечное математическое ожидание МВ = (В, 1), причем M|g| <(M|g|2)’/2. (6.6) Для величин в S’2 введем среднеквадратическое значение llgll —(M|g|2)1/2 и среднеквадратическое расстояние НВ1-У =(MIBi-B2I2)1/2. Очевидно, отождествив в S’2 эквивалентные величины. ~ g можно сказать, что ИВ, — ВгИ удовлет- воряет всем требованиям расстояния; / \ во-первых, равенство 1IB1 ~ W == 0 t \ означает, что Bi= а во-вторых, 1 \ выполняется известное неравенство треугольника: IlBi — В211 ~ Ь11 + рис. 5 +ИВз —ёгН (см. рис. 5), которое для линейного пространства можно вы- разить в несколько иной форме, а именно: ПВ1 + У + (6.7J для произвольных Вп Вге^2* Проверка (6.7) очевидна —
согласно (6.5) ilgl+у2 M(iii2+2igj ibi + i&d < < MlgJ2 + 2 (M | Bi i2) 1/2M (I g212)1/2 + M | Bzl2 = z =(ИУ + ИУ)а. Сходимость В в S’2, Hgn — £11 -* 0, называют средне- квадратической сходимостью. .- «л Задача. Показать, что из сходимости Bn В в среднеквадратическом вытекает сходимость по вероят- ности: PdBn-gl > е) - 0 для любого е > 0. (Воспользоваться неравенством Чебы- шева.) # Задача. Показать, что из сходимости В„ -* В по ве- роятности при условии ограниченности iBnl, Igl^C вы- текает сходимость В„ -* g в среднеквадратическом. (Вос- пользоваться соотношением Mlg„ - Bl2 < 82P{lBn - Bl е) +4С2 • P{|gn - Bl > е), которое, получается из неравенства Мт]1^Мт]2 для трв “Ign-gl2 и ц2 равном е2 при iBn —gl и равном 4С2 при lgn-gl >е.) Рассмотрим совокупность всех действительных BeS?2 как евклидово пространство со скалярным произведением (6.4), обозначив зто действительное пространство тем же S’2. Как известно, на всякое линейное конечномерное под- пространство Н в евклидовом пространстве из любой его точки^В можно опустить перпендикуляр, что дает проек- цию В величины В на Н, определяемую условием ортого- нальности разности В ~’ g к Н, • (g-g, П) = 0, пеЯ. (6.8) грь этом проекция В е Н обладает тем свойством, что 11В - f| = min IB-Till (6.9) .(см. схематичный рис. 6). Выбрав в Н базис из величин Ль • •.. получим В = 2 Теперь представим себе, fe=i тто по 1],, ...t нужно оценить величину geS2,
а рассматриваются всевозможные линейные оценки вида J] — Tj При оценке ц мы имеем среднеквадратическую k ошибку 11g — т)И. Понятно, проекция g на Н есть паилуч- шая линейная оценка для g по вели- \ чинам -rji, ..(дающая минималь- ' . ную среднеквадратическую ошибку). Задача. Пусть И есть совокуп- . ность всех постоянных ц = X. Показать, что g = Mg, и таким образом, ||g — Mg|| = min[|g — Х||. Рис. 6 Среднеквадратическое отклонение случайной величины g от постоянной а — Mg: . Dg = llg-Mgil2 = M(g-Mg)2, называют дисперсией этой величины. Отметим неравенст- во Чебышева в форме ₽{|£- Mg[>e} = A Dg, е>0. (6.10) 8 Задача. Показать, что . Dg = Mg2 — (Mg)2. Введем коэффициент корреляции г= ^1/2— величин gi, g2e572. Величины g4, g2 называются некор- релированными, если г = 0. Рассматривая здесь скалярпое произведение (gi - Mg,, g2 - Mg2) = M(g, - Mgt) (g2 - Mg2), можно сказать, что некоррелированность gi, g2 означает ортогональность величин gi — Mgj, g2 — Mg2. Задача. Показать, что независимые gi, g2e^2 явля- ются некоррелированными (воспользоваться мультипли- кативной формулой (6.3)). Задача. Показать, что для некоррелированных gi, g2 D(5i + B2)=Dg1 + Dg2. (6.11): Неравенство Коши — Буняковского для величин gt — Mgi и g2 — Mg2 указывает границы — 1 < г =2 1 для коэффициента корреляции г, выражающего «косинус угла»
между и g2 — М£2; равенство г — ±1 означает, что величины gi — Mg(, g2 — Mg2 являются линейно зависимы- ми, ^1(gi-MB1)+X2(|2-Mg2) = 0 для некоторых постоян- ных Xi, к2 (не равных 0 одновременно). Задача. Пусть и g2 — величины в S’2 со средними 2 2 значениями at и а2, дисперсиями Oi и Ог и коэффициентом корреляции г. Показать, что наилучшая линейная оценка £ = d + с2Ё2 для среди всех линейных комбинаций ц = == Zi + А2|2 дается формулой = аг + г —— (g2 — а2). Най- U2 ти среднеквадратическую ошибку. 3. Нормальная корреляция. Рассмотрим гауссовские с тучайные величины ..., с плотностью вероятности | В p (2n)"/2 exp 2 ti-ij (*^i ^i) (^7 ^j) f i,3=l (6-12) я=(£1, ..., хп) е Нп. Как мы знаем, они могут быть получены невырожденным линейным преобразованием п Joi = О-i "Ь 21 = 1> • • • ? h=l из независимых гауссовских величин ц10, ..., Цпо, каждая из которых имеет плотность вероятности Ро (У) = у= е t —ео<у<оа. При этом для обратной матрицы {ЬУ}-1 = {В,Д в (6.12) мы имеем п вц = 2 г, j = 1, ..., п, Ь=1 см. (5.22). Очевидно, для указанных величин мы имеем со мПьо = J УРо (У) dy = 0, к = 1, ..., п. — ОО Кроме того, мы знаем, что сю . = J угр0{у)Ду=it — 00
см. (5.19) и далее. С учетом этого находим, что (п \ / п \ S O’ib'nfio I S <Wo = h=l / V=1 / n n ft, 1=1 h=l поскольку М1]мт],о = Мт]м • Мт|!0 = 0, k^l, для независи- мых величин t]io, .7., т}„о. Таким образом, параметры в' фор- муле (6.12) для плотности вероятности гауссовских вели- чин ..., gn суть щ “ Mg^, В« = М(^-а4)(В3-М. f,/ = (6ЛЗ) где, напомним, матрица В = {В(Д является обратной к матрице Ь = {ЬУ); указанная В = {В1з} называется корре- ляционной матрицей *) величин gb ..., g„ (отметим, что опа является положительно определенной: 2 М35ц==м[2 М&-«1)1 >0 ij=l L i=l J при всех действительных Zi, ..., Хп). В частности, плот- ность вероятности одномерной гауссовской величины g есть Р = I/?- е~(ж-с)2/(2а\ - оо <х < оо, (6.14) и имеет своими параметрами среднее значение ©о а = Mg = J хр (ж) dx и дисперсию со о® == Dg = J (х — a)® р (х) dx. — оо Отметим следующее замечательное свойство. Теорема. Некоррелированные гауссовские величины являются независимыми. *) Наряду с этим матрицу В называют также ковариационной.
Доказательство. Некоррелированность гауссов- ских gi, . -означает, что в их корреляционной матри- це В = {В«} мы имеем В« = 0 при i ¥= j, т. е. В является диагональной. Для нее диагональной является и обратная матрица = имеющая bi3 = 0 при i¥=j, так что вы- ражение (6.12) для совместной плотности вероятности рассматриваемых величин 51, • 5п дает нам | В |1/2 (2л)п/2 ехр" — e £ п ; » 2 & — ад2/(2В1{) i—1 . (6.15) где щ = M^i, Вц — M(5i — aty и каждый сомножитель пред- ставляет собой плотность ' вероятности соответствующей величины i = 1, ..., в. В итоге мы имеем РИ ==В^(^1)г = (11,...,гя)ей" а это есть признак независимости величин 51, .;., 5„ (см. (5.4)). Отмеченная здесь структура .совместной плотности ве- роятности некоррелированных гауссовских величин имеет следующую аналогию. Пусть среди 5ь • • •, величины 51, ..., 5™ некоррелированы с величинами 5™+i, ..., 5« и в корреляционной матрице В = {Bi3} мы имеем Вц = 0 для всех пар i, j с 1=1, ..т и j = т+ 1, ..., п, так что она имеет следующую блочную структуру: с соответствующими матрицами В’ и В" порядка т и п — т. Обратная матрица В_1 = {Ь«} имеет ту же структу- ру, а именно Ъц = 0 для всех пар i, j с i = 1, ..., т и j = = иг+.1, п. Согласно этому общее выражение (6.2) принимает вид I В’ 11/2 (2 i)m/2 Х |В"|1/2{2я)("-т)/2еХР {m --2 ЪИ ~ (xi ~ аз) г,3=1 п 5~ ^з) s i,3=s>m+l (6.16)
где каждый из сомножителей представляет собой плот- ность вероятности гауссовские величин — соответственно величин g,, ..., и gm+i, ..Таким образом, много мерные B' = (gi, ..., £») и %" =(£т+1, £п) являются независимыми. Задача. Пусть £, щ, ..., т]„ есть гауссовские вели- чины с нулевыми средними значениями. Пусть Н есть т подпространство всех линейных комбинаций Л =• 2 fe=i порожденное величинами тр, ..., цт и | — проекция ве- личины £ на И. Показать, что разность Д = £ — | не за- висит от совокупности тр, ..., т]т (учесть, что Д, ip, ... ..., т]т есть совокупность гауссовских величин). 4. Некоторые задачи о наилучших оценках. Как уже отмечалось, для любой величины g е S’2 имеется ее про- екция | на линейное (конечномерное) подпространство Н s S’2, определяемая условием ортогональности (6.8) и дающая наилучшее в смысле (6.9) приближение для (• среди всех г\^Н, U-tl = min|5-4||. ’ (6.17) вен Это свойство величины f, удовлетворяющей условию (6.8), имеет место и для любого линейного подпространства Н е S’2. Действительно, при условии (6.8) для е Н в представлении £ — — £) + (£ — т)) разность | — £ с | е И ортогональна разности £ — ц е= Н, так что ||В _ п||» = ||g _ fip + ng _ n||2 > ||g _ g||2. Систему величин т] e Н называют полной, если из ус- ловия ортогональности к величинам из этой системы сле- дует ортогональность ко всем т] е Н. Будем называть Я, удовлетворяющую условию орто- гональности (6.8), проекцией величины | на Н. Как мы видели, g дает наилучшую оценку для £ по величинам Яе Н — это выражено в (6.17). Очевидно, условие (6.8) определяет £ е Н однозначно, поскольку для двух таких величин g = f,, мы имеем разность Д = |а — £1=1 = (|—11) —(£-Ы, ортогональную к Я, и, в частности, ортогональную к самой себе,— ведь Д ® Н, а потому 11Д112=(Д, Д) = 0, Д=0.
Задача. Пусть пространство Н образовано всевоз- можными величинами = являющи- мися функциями от некоторой совокупности случайных переменных тр, т)т. Пусть = = фо('П1, • ••, Цш)*ЬД, где случайная величина Д не зависит от совокупности величин (т]«. •••» 'П’") и имеет нулевое среднее МД = 0. Показать, что Л | = фо(тр. •••..;• Пт) (6.18) есть наилучшее приближение для £ величинами из Н. (Воспользоваться известной нам мультипликативной фор- мулой М[Д ф(тр, •••. Цт)] = МД ' Пт) -см. (416), (5.12).) Рассмотрим задачу о наилучшем приближении вели- чины £ функциями от гр, ..., ц,„ для гауссовских величин В, Пн • •; П™- Будем считать, что эти величины имеют ну- левые средние значения. Как мы знаем, если взять про- екцию £ величины g на подпространство всех линейпых т комбинаций п — S 4hT]ft, то для гауссовских же величин s=i £ — f, тр, ..., разность g — | = Д с МД — 0 будет некор- релирована с величинами тр, ..., трл, а следовательно, и независима от их совокупности (гр, ..., цт). Согласно общей мультипликативной формуле для любой функции ф(п»» •••» мы имеем (B-f, ф) = М(Д ф) = МД-Мф = 0, (6.19) и, таким образом, для £ выполняется условие ортогональ- ности (6.8) к подпространству Н всевозможных функций ц = <р(тр, ..., Цт). Мы получили следующий важный ре- зультат. Теорема (о нормальном наилучшем приближении). Для гауссовской величины £ наилучшее приближение функциями <р(тр, ..., цт) от гауссовских тр, ..., ц™ явля- ется линейным, а именно, это наилучшее приближение дается линейной комбинацией тп 2^ <6-20> й=1 с коэффициентами, которые определяются из линейной
системы уравнений 971 S ch(Пк, w) = й, n3), г = 1, • • •>. (6-21) Ь=1 выражающих условие ортогональности (I-1 ПО = О, j = l, ..., m. Рассмотрим теперь общую задачу о наилучшем при- ближении в следующей интерпретации. Представьте, что нужно дать прогноз для ожидаемого значения действи тельной случайной величины | е S’2, используя соответ- ствующие данные, которые представляют собой результат «наблюдения» случайных величин ц,, ,.., цт. Допустим, прогноз для величины g дается с помощью функции <р = <р(Л1» Ц™) от 'По •••» 'П’» Допустим, качество прогноза -определяется среднеквадратической ошибкой 1!| — срН и прогноз считается тем лучше, чем меньше эта ошибка. В этом смысле наилучший прогноз для £ есть наилучшее приближение величинами ф(ц(, ..., цт)е;<?’2. Обратимся к условному математическому ожиданию = М(||т]1, Цт) относительно многомерной величины ц = (Л1> •••! 'П™), введенному нами соответственно в (4.17) и (5.15). Оно представляет собой функцию £ = фо('П1, ... ..., Цт) от Ц1, ..., Цт, где, напомним, функция фо(Р1, .... pm) = M(glp!, .... ym) определена при всех возможных для (ц£, ..., Т]™) значе- ниях (ро ..., ym) е= У s Rm. При каждых фиксированных yt, .'.., Ут по общему неравенству (6.6) для математиче- ских ожиданий мы имеем M(glp15 ..., pm)z«SM(g2lp!, ..., ym) и, следовательно, £2 = M(£|t]!, .... T]m)2sSM(g2l'ni, .... Ц™). Поэтому Mi2 С М[М (V | Т]., ..., цт) ] = Mg2 < °°, где равенство справа есть следствие общей формулы пол- ного математического ожидания, примененной к случайной величине |2. Таким образом, | е S’2. Мы знаем, что для ЛЮбоЙ фуНКЦИИ ф = ф(Ц1, ..., TlmJ^S52 Мф£ =? Мф£,
см. (4.21), (о. Ь). Это равенство можно выразить в фор- ме условия ортогональности f (l-i, Ф) = О, (6.22) и получаем следующий результат. *• Теорема (о наилучшем приближении). Условное математическое ожидание £ = M(£lip, ..., цт) дает наи- лучшее приближение для величины £ всевозможными функциями ф(Г]1, т]т): № — M(S|Thl ...1Пт)Нт1пН —ф(П1£ - - •* Цт)Ц- (6.23) Ф Пример (обработка независимых измерении). Пред- ставьте, что для нахождения неизвестного значения 6 проводится n-ьратное измерение, причем каждый раз на /с-м шаге вместо 6 наблюдается соответствующая величи- на = 0 + ДЛ, к — 1, ..., п, где случайные величины Дь ..., Дп независимы и все имеют пулевые средние МДЛ = 0 и одинаковые среднеквадратические значения о = (МД®)1/г. Простейшей оценкой для 0 по | —(|i, ... п ..£п) может служить эмпирическое среднее — 2 £й- 1 ft—1 В качестве оценки можно взять и любую линейную ком- п бинацию <р (£) = S Ъ&к с коэффициентами, удовлетворя- ла п ющими условию 2 при котором получается так ft—1 называемая несмещенная оценка: МФ© = й=1 при всех возможных значениях 0. Сделаем замену переменных, скажем, оставив без из- менения и Положив = = Д*-Д„, & = п-1, — так определенные величины тр, ..., тр-i функционал! - но уже не зависят от 0. После такого преобразования всякую линейную несмещенную оценку <р(£) можно
представить в виде <р (С) = 2 — n = е + [Дп — nl, Ь=1 п—1 где т] — У, Сй'П?. есть линейная комбинация величин т),, ... Й = 1 ..'Пп-1 с коэффициентами, удовлетворяющими новому П—1 условию 2 ck = 0- ' k=l Рассмотрим подпространство Н с S’2 всех таких ли- нейных комбинаций ц. Очевидно, наилу чшей линейной несмещенной оценкой 0 для 0 будет 0 = £П-А„, (6.24) где Ав есть проекция величины Д„ е S’2 на Н — наилуч- шей в том смысле, что она дает минимум || — 01| = min || <р (£) — 01| = min || Д„ — т) || ЦЕН среднеквадратической ошибки в сравнении со всеми ли- нейными несмещенными оценками. Наилучшей линейной несмещенной оценкой здесь является п (6-25) Й=1 (проверить это1). В выражении (6.24) вместо линейного приближения Ап величины А„ можно взять условное математическое ожидание Дл = М(Дп1щ......Цп-0, (6.26) и тогда в (6.24) получим улучшенную оценку 0. (Как мы знаем, для гауссовских Аъ ..., А„ это приводит к преж- нему результату с линейной оценкой (6.25).) Задача. Показать, что для величин Af, ..., А» с равномерным распределением на отрезке (—а, а) улуч- шенная оценка (6.24) имеет вид е = 4-(еа) +W. (6.27) где U) = min(^, ..., £„), g(„, =max(g1, ..., £„).
§ 7. Распределения вероятностей и характеристические функции 1. С ходимость случайных величин и их средних зна- чений. Рассматривая случайные величины в схеме с ве- роятностным пространством (Q, 91, Р) как функций от случайного исхода <о е Q, различают несколько типов сходимости -* £. Отметим сразу же, что сходимость -> £ есть событие из о-алгебры 91, представимое как Л = n и П {«; I (®) - S и I < 1/г}; г т п^т очевидно, (0^4 тогда и только тогда, когда при любом г=1, 2, ... найдется такое т, для которого |£„(<в) — — £(<в) I =С 1/г, п^т, а это и означает сходимость со) при Сходимость £ может быть при всех исходах или, скажем, это может быть сходи- мость с вероятностью 1, когда Р(Л) = 1. Речь может идти о сходимости в среднеквадратическом: М|£п — £|2-*0 при п -* °0, или о сходимости по вероятности, означающей, ЧТО Р{|£„ — > е} ->- 0 «для любого 8 > 0. Мы знаем, например, что из сходимости в среднеквад- ратическом вытекает сходимость по вероятности и что они эквивалентны для ограниченных величин ||„|, 1^1 <= С С. Докажем следующее предложение. Лемма. Сходимость -* £ с вероятностью 1 имеет место тогда й только тогда, когда lim Pfsup|£n—g|>8j = 0 (7.1) m-»oo ln>m J для любого e > 0. Доказательство. У казанное выше событие А = — имеет своим дополнением событие Ас = В, представимое как в- и п и {|1п-и>1/г}, т m и. сходимость с вероятностью 1 означает, что Р(В) = 0. Очевидно, условие (7.1) достаточно рассмотреть для е »1/г. Положим = /sup|£„-£|>l/rl~ U №-£|>1/г}. События В rm, m = 1, 2, ..., убывают, и для Вг = П Вт ха « Р (Вт) = lim P(Brm). Ш“>оо
События же В г, г = 1, 2, ..., возрастают, и для В = [\ Вг P(2?) = sup Р(ЯГ) = О г тогда и только тогда, когда Р(ВГ) = О при любом г = 1, 2, ..., что и требовалось доказать. Условие (7.1) ясно показывает, что из сходимости с вероятностью 1 вытека- ет сходимость по вероятности. Докажем теперь две теоремы о сходимости математи- ческих ожиданий. Теор ем а 1. Пусть Bn -* В с вероятностью 1 и ве- личины |gn|.^r] являются ограниченными величиной т) > 0 с конечным математическим ожиданием Мц < <х>. Тогда В также имеет конечное математическое ожидание и МВ„ г МВ- Доказательство. С вероятностью 1 (при исходах со е А, Р(Л) = 1) мы имеем | В (со) | = Jim | Bn (и) | т] (со). П-*оо Поэтому MlBl что очевидно, если перейти к экви- валентным величинам Вп и В, для которых В = Ит Вп при 71—»оо всех возможных исходах (как мы знаем, такой переход не меняет математических ожиданий). Таким образом, величина В имеет конечное математическое ожидание. Мы внаем также — это специально отмечалось при опре- делении математических ожиданий,— что М(ц ‘ ifixo) при а-*00. Воспользовавшись для |£п1, iBl < т] очевидной оценкой |МВ„-М£| <М1В„-В1 = = М(1в„ —Bl -1{^а))+М(1вп-В1 ' СеР{|В„-В1^е} + 2аР{1Вп-В1>е} + 2М(ц 11п>о)), 1де е>0 произвольно мало, а произвольно велико и Вп В по вероятности, заключаем, что |МВ„-МВ1 -*0. (Отметим, что в нашей теореме условие сходимости В« * В с вероятностью 1 можно было бы заменить на более сла- бое условие сходимости по вероятности.) Задача. Пусть ограниченные функции срв(я) ->-ср(а:) при каждом х, — оо < х < °о. Показать, что для любой (действительной) случайной величины В Мсрв(В).-Мср(В).
Задача. Пусть -> | с вероятностью 1. Показать, что для любой ограниченной непрерывной функции ср (ж) МФ(|„)->МФ(|). Теорема 2. Пусть 0 E=t «S Е=г < ... есть монотонная последовательность неотрицательных случайных величин, средние значения которых ограничены-. Тогда с вероятностью 1 эта последовательность сходится к случайной величине %, имеющей конечное математиче- ское ожидание, и Доказательство. При каждом со е Q монотонно возрастающая последовательность |„(со) имеет предел g(co)—конечный или бесконечный. Очевидно, {|^а:} = = П х}, и для монотонно убывающей последователь- п пости событий {£„ х) мы имеем ₽{| z} = Jim Р{|п ж}, п-»оо где, согласно неравенству ЧебыЩева, -при всех п, и .следовательно, Р{| < оо} = lim Р{| О} = 1. х-*оо Таким образом, предел | = lim |п с вероятностью 1 опре- - " П-»оо деляет конечную случайную величину, и для нее Gj (ж) = Р {| > х} = lim Р {In > х} = lim G5n (т). п->оо П-»сю Для неотрицательных |, > 0 воспользуемся далее об- щей аппроксимационной формулой (6.2)', дающей - М|е = е £ Gg (ek), М& = е f Gln (ей). k=l h=l Здесь для любой суммы с конечным числом членов е 2 Gt (ей) =« lim е 2 G$n (ей) lim М|® М + et ft n-»oo ft n^oo
и следовательно, для всего ряда оо < = е2 (%(ек)^М + е. k=i Это докапывает, что имеется конечное математическое ожидание Mg. Чтобы завершить доказательство, можно сослаться теперь на предыдущую теорему 1 с т] = | > 0. Как следствие теоремы 2, приведем еще следующее предложение. Лемма. Пусть для сходящихся с вероятностью 1 величин g„ 5= 0, g„ -* |, выполнено условие Mg. 6; тогда Mg ^б и для предельной величины g. Доказательство. Положив £n=inf(£fe, к^п)* h п = 1, 2, ..., для монотонной последовательности 0 <2 1г • также будем иметь сходимость £ с ве- роятностью-1, и Mg = limMg„<6 согласно теореме 2. 71->Оо 2. Слабая сходимость распределений вероятностей. Пусть £ есть действительная случайная величина. Веро- ятность-ее попадания в любой промежуток В — [х', х"] можно выразить как среднее значение Mle(g) = Pt(B) (7.2) для индикатора lB(g) события {geT?}, где функция 1в(х) равна 1 при х е В и 0 при остальных х е R1. Очевидно, заданные для ограниченных непрерывных функций <p(g) средние значения M<p(g) в совокупности определяют распределение вероятностей PE(B)=P{ge5}, B^R\ (7.3) случайной величины g, поскольку M<pn(g)-MlB(g) при надлежащем выборе ограниченных непрерывных функций <рв(я) 1в(я) в каждой точке x^R1 (для яс- ности отметим, что <рп(ё)-* 1В(£) при всех возможных исходах, и следовательно, можно воспользоваться нашей теоремой 1 о сходимости средних значений). В качестве подходящих <р„ здесь можно взять даже бесконечно диф- ференцируемые функции (пример функции <р, аппрокси- мирующей индикатор интервала [х', а:"], указан на рис. 7).
_ Введем понятие слабой сходимости Р$п =>₽£ распре- делений вероятностей величин к распределению вели- чины § — эта сходимость означает, что M<p(g„)-M<p(g) (7.4), для любой ограниченной непрерывной функпт”' <р. Задача. Показать, что если -* | по вероятности, то имеет место слабая сходимость-Pgn=>Pg.. Отметим, слабая сходимость ₽jn =>₽g для случайных величин, имеющих плотности вероятности, означает схо- димость ОО со J J* 4>Wpi(x)dx — СЮ —ОО при любой ограниченной непрерывной функции ср (ж)', —< х < Обратимся к произвольным величинам. Задача. Пусть в некотором интервале (х', х"} ве- личины и | имеют единственное возможное для них значение х, которое они принимают с соответствующими вероятностями Рё„(ж) =р{ёп = 4, pHz)=p{£ = 4- Показать, что если р£п=>рь то ₽|п (х) (ж)- (Вос- пользоваться. тем, что можно взять непрерывную функ- цию <р, |<р| =^1, равную 1 в точке а: и 0 вне интервала «*")•) Задача (продолжение). Пусть Pgn и РЕ есть рас- пределения целочисленных величин и £. Показать, что слабая сходимость Pgs=>Pg равносильна сходимости при всех к —О, ±1, ... (сравни с изло- женным ьа с. 26). Справедливо следующее общее предложение.
Теорема. При слабой сходимости ₽gn=>₽gимеет место сходимость V{x'^^x"}-+V{x'(7.5) для всех х', х" с условием ₽Дж') = Р6(а;") = 0. (7.6) Доказательство. Возьмем индикатор ф — 1В от- резка В = [х', х") и ограниченные непрерывные функции Ф1 и ф|, ф1 (я) Ф U) Фг U), аппроксимирующие ф так, как указано на рис. 8. При слабой сходимости мы имеем aM(U < Мф gn)< Мф| (g„) I I Мф!© <Мф© ^мФ|(В), где |Мф| (g) — Мф|(^)|<Р{х' — е<^<ж' + е}+ 4-Р{а:"-8<е<х" + е}->РДх') + Pg(z") = О при в 0 по свойству непрерывности вероятности. Отсю- да заключаем, что Мф (£„)-> Мф(£) для индикаторной функции ф = 1В. Теорема доказана. Как следствие, полу- чаем, что к" lim Р{а/ <1 £п х"} — J Р (ж) d% (7.7) П-»со для всех х', х" при слабой сходимости Pgn=>P^ к рас- пределению с плотностью вероятности р(х). Отметим, что вообще говоря при наличии' слабой сходимости Pgn =>Pg в (7.4) нельзя взять индикаторные функции Ф = 1в самых простых В ^В1 — это видно уже на три- виальном примере = 1/п -*• £ = 0, в котором О — Р{£„ = 0} А Р{£ = 0} = 1. Отметим здесь также, что для | = 0 слабая сходимость Pgn => Pg равносильна сходимости 0 по вероятности, поскольку при указанной слабой сходимости Р{|£п1 > е) -> Р{||| > е) = 0 для любого 8 > 0.
В дальнейшем нам понадобятся два следующих ниже вспомогательных предложения. Пусть сходимость (7.4) имеет место для всякой беско- нечно" дифференцируемой функции <p(z), обращающейся в 0 вне некоторого конечного интервала (такую ф назо- вем финитной). Тогда для любого сколь угодно малого е > О Р{|5„| >«}(7.8)? при достаточно большом а одновременно для всех п = 1, 2, ...; это свойство указанных распределений вероятно- стей называют компактностью. Чтобы установить его, Рис. 9 достаточно взять функцию ф, схематично изображенную на рис. 9, для которой ₽{||J >а}-С 1 — Мф(£п)-»-1 — Мф(£)С P{|gl > а —6}. Как известно, всякая непрерывная функция ф(ж) на конечном отрезке —а «S х «S а допускает равномерную ап- проксимацию бесконечно дифференцируемыми функциями <ре(я), скажем, |ф(ж) — фв(ж) I *5 е, —asSzsSa, причем фе(ж) можно выбрать финитными, равными 0 где-то за пределами отрезка —а ^х^а. Очевидно, для ограничен- ной функции ф здесь можно взять ограниченные же фе. Для таких |ф|, I фе 1 |Мф(£„)-Мф(£)|*£ lM<pe(E„)- M<p,(fc)| + 1Мф(М-Мфг(|в)|+; + |Мф(^)-Мфе(|)| С |Мфе(|„)-Мфв(|)1 + + 2е + 2С[Р{|gn| > а} + Р{|£„| > а}]. Из условия компактности распределений величин про- извольности е>0 и сходимости Мф8 (£„)-» Мф.(^) отсюда заключаем, что ₽=> Pg. Итак, мы установили, что слабая сходимость Pgn=>Pg равносильна сходимости (7.4) для бесконечно дифференцируемых финитньг функций ф.
3. Метод характеристических функций. Характеристи- ческую функцию действительной случайной величины £ определяют как /(гх) = Ме’“Е, —оо<и<°о, (7,9) где i= У—1 (напомним, что математическое ожидание было введено и для комплексных случайных величин — й (7.9) берется ограниченная непрерывная функция <р (%) = e’“s от t с действительным параметром и, — °° < < и < оо). Задача. Показать, что характеристическая функция линейно преобразованной величины (£ — а)/о равна e-fa/7(u/o). Для целочисленной величины принимающей лишь значения к = 0, ±1, ... с соответствующими вероятностями Р(к) = ₽{£ = *}, 2₽да = 1, k характеристическая функция /(u) = SP(A)eiuft (7.10) h является периодической (с периодом 2л) и определяется указанным в (7.10) рядом Фурье с коэффициентами л ₽(*) = ^ J e~iuhf{u}du, Л = 0^±11... (7.11) —Л Пример {биномиальное распределение}. Для P(£) = CW~\ й = 0, получаем /И - 2 С'Це'^'Т-' -(,реп + ?)", я - 1 -р. k=0 Пример (пуассоновское распределение}. Для „к P(/c) = —e-“J к = 0,1,..., получаем
Для случайной величины § с плотностью вероятно- со сти р(х), f р(х) dx — 1, характеристическая функция — ОО оо /(u) = J eiuxp(x)dx (7.12) — оо есть цнтеграл Фурье; как известно из общих свойств пре- образований Фурье, оо J e~iuxf(u)du (7.13) — оо оо для интегрируемой /, J | /(u) | du < со.. — со Пример (нормальное распределение). Для плотно- / \ 1 —х2/г сти вероятности е , —. оо<.х<оо, интеграл у 2л со оо f еар (х) dx =—^= f ezx~xmdx J у 2л J —оо —оо существует при всех комплексных z и определяет целую аналитическую функцию, которая при действительном z есть = р+г,2/>П) = Л: I/ 2Л J — со и следовательно, она совпадает с целой аналитической у 2 2/g функцией е 1 так что при z « iu со / (u) = -L f е~иЩ. (7.14) -|/2л J •“□О Мультипликативное свойство характеристических функций. Для независимых |i, |2 согласно общему муль-
лгипликативному свойству математического ожидания мы имеем Мя^1^ = М _ Ме‘“\ МеМ2? что для характеристической функции суммы В» +Вг дает выражение /(U) = A(U) /2(и), (7.15) где А» А — характеристические функции независимых слагаемых Ви Вг. Задача. Показать, что треугольное распределение на отрезке [—а, а] с плотностью р(г) = 1(1_Ш)7 имеет характеристическую функцию (Воспользоваться тем, что речь идет о распределении разности В = Bi —независимых величин В* и Вг, равно- мерно распределенных на отрезке [0, я].) Пример {распределение х2). Так называемое хи- квадрат распределение задается плотностью вероятности Р(ж) q и/9 '—е \ ж>0 (7-17) г' 2п/2Г (п/2) 1 v ' (равной 0 при х<0), где Г(и/2) есть значение извест- ной гамма-функции Г(Х) = J о натуральное п называют числом степеней свободы рас- пределения х2- При п = 1 формула (7.17) дает плотность вероятности квадрата В2 гауссовской величины £ со сред- ним Mg = 0 и дисперсией Df = 1 (проверить это1). При п = 2 мы имеем здесь хорошо известное показательное распределение. Для произвольного п хи-квадрат распре- деление имеет сумма Хп = 1!+...+Й (7.18)
квадратов независимых гауссовских величин со сред- ними М|А = 0 и дисперсиями DgA = 1, к = 1, ..п. Пока- жем зто, обратившись к характеристической функции °° п о dl\ 22f| отвечающей плотности вероятности (7.17). Интеграл спра- ва определяет аналитическую функцию комплексного переменного в верхней полуплоскости Im и >—1/2, кото- рая на полупрямой 1/2 — iu = Л > 0 есть J z* =4Z М ~ 2ш)“’2. о 22 Поскольку функция (1 — 2iu)~n,t также является анали- тической в полуплоскости Im и >—1/2, то /(u) = (l — 2iu)~”/2 (7.19) при всех и, Im и >—1/2, что для действительного и дает нам явный вид характеристической функции /(и), — °° < < и < оо. Видно, что / (и) есть п-я степень функции (1 —2iu)-1/2, являющейся характеристической для распре- деления х1 с n = 1, т. е. для квадрата |2 нормально рас- пределенной величины | с М£ = 0 и Dg = 1. Согласно мультипликативному свойству сумма (7.18) с независи- мыми слагаемыми имеет характеристическую функцию (1 — 2/и) “”/2 = / (й), а следовательно, соответствующая плотность вероятности дается формулой (7.17). Перейдем к рассмотрению произвольной (действитель- ной) случайной величины £. Как уже отмечалось, ее рас- пределение вероятностей определяется средними значе- ниями М<р(|) бесконечно дифференцируемых финитных функций <р(В). Наш выбор именно таких функций <р(х) обусловливается здесь лишь тем обстоятельством, что нам понадобится в дальнейшем интегрируемость преоб- разования Фурье оо Ф (u) = J е-г1'ж<р (х) dxt — оо < и <. оо; • — оо
как известно, для преобразования Фурье ф(п> (и) произ- водных ф<п)(х) мы имеем ф(н) = (ш)~”ф<п)(и), и ограни- ченные функции ф(и) убывают при и -*• °° быстрее любой степени |u|_”. Мы увидим, что распределение вероятно- стей случайной величины | однозначно определяется по ее характеристической функции f(u). Теорема. Пусть ограниченная непрерывная функ~ 00 ция ф(х), J | ф (х) | d% < оо, имеет преобразование Фурье — оо оо ф(н), J |ф (u)l du<Z оо. Тогда — ОО ОО м <Р (В) = J ф (и) / (и) du. (7.20) —оо (Соотношение (7.20) является аналогом формулы об- ращения для преобразований Фурье.) Доказательство. Очевидно, ]/(u + 7i)-/(u)KM|ei/,6-l|< . <max|ei/U£-l| + 2₽{|||>о}, (7.21) |х|<а где ₽{|£|>а}-*0 при а -> <», и это соотношение пока- зывает, что /(и) = Ме'“Е есть непрерывная функция, |/(u)| CM|eiuEl = 1. Непрерывной функцией является и преобразование Фурье-ф(и). Рассмотрим ОО Ф (х) = j е’мзгф (u) du = lim ф„ (х) п-*°° как предел надлежащих интегральных сумм п фп (#) == 2 ф (Цкп) kkni А=1 где последовательность п |<М*)К 2 |ф(и^)| hkn h=»=l О0 J | ф (u)|du —»оо является ограниченной, I фп (х)1 С. Для ограниченной
последовательности ф„(|)-*ф(Е), сходящейся при всех возможных исходах, согласно теореме о сходимости сред- них значений мы имеем Мф (|) = lim M<pn (g) = = lim 2 Ф (ukn) ^eU^hkn = n-»oo k~l ' ' * П == lim 2 ф (чип П-»оо k~l )f(ukn)hkn = J ф (u)f(u).dut «-co что и требовалось доказать. 4. Критерий слабой сходимости. При слабой сходимо- сти распределений вероятностей ₽gn=>Pt будут сходить- ся соответствующие характеристические функции /п(и)->/(н), (7.22) поскольку согласно (7.4) с ф(х)=е4*'а мы имеем MeiuSn->Meiu\ Более того, сходимость в (7.22) является равномерной на каждом конечном интервале действительной прямой —«> < и < оо. В самом деле, если для рассматриваемого компактного семейства распределений величин восполь- зоваться общим соотношением (7.21), то будет видно, что семейство характеристических функций fn(t) равно- степенно непрерывно, а это, как известно, гарантирует равномерную сходимость fn(u)-^ f(u) на каждом конеч- ном интервале. С другой стороны, согласно общей фор- муле обращения (7.20) при такой сходимости характе- ристических функций мы имеем оо оо МФ (In) = J ф (и) fn (и) du-*- J Ф (и) / (и) du = Мф (£); —со —оо для ясности отметим, что здесь ф(н) является интегри- руемой и У Ф (и) fn (и) du — J q>(u)f(u)du < а < У 1ф(м)||/п(м)—/(^)1^+2 f 1фЙ|^ —а |и]>а
где j |ср (u)|duдля любого e>0 при достаточно большом а. Таким образом, справедлив следующий крц. терий слабой сходимости. Теорема. Слабая сходимость распределений вероят- ностей равносильна сходимости /„(и)-*/(и)’ характеристических функций, равномерной на каждом конечном интервале. Задача. Воспользоваться указанным критерием для- доказательства слабой сходимости Р(п, р, )-биномиаль- ных распределений при пр -> а к пуассоновскому распре- делению с параметром а. Задача. Показать, что для гауссовских величин |п при слабой сходимости предельное распределе- ние также является гауссовским. Задача. Показать, что сходимость 0 по вероят- ности равносильна сходимости /п(и)-*1, —«=<и<оо, соответствующих характеристических функций (равномер- ной на каждом конечном интервале). 5. Формулы для моментов и асимптотические разло- жения. Пусть случайная величина | имеет конечное ма- тематическое ожидание а = М|. Покажем, что тогда ее характеристическая функция /(и) является непрерывн , дифференцируемой и а = (—i)f'(O). В дальнейшем для непрерывно дифференцируемой функции /(и) нами будет использовано ее асимптотическое при h -* 0 разложение в точке и = О, f(h)=l + iah+ o(h), o(h)/h-+0. (7.23) Для вывода ношении (7.23) заметим, что в предельном соот- e«u+w_ еги? •>i^eiU’ (й->0) h обе части по абсолютному значению ограничены величи- ной т) = 671^1, Мт] < оо, и по теореме о сходимости мате- матических ожиданий Это равенство при и=»0 дает нам /'(0)= M(ig)’. Пока- жем теперь, что производная f'(u) = M(i|elu5) является
непрерывной. Это следует, например, из очевидной оценки |/'(и + 7г)-/' (и)1< < М [| ?(u+/!)S - е™ 1111 • fUSl<m}] + 2М (| В | • 1{|а>т}) < max |^-1| + 2М(|В|.1{Ш|>пЛ где при выборе достаточно большого числа т последнее слагаемое будет меньше паперед заданного е > 0. Моментом порядка к случайной величины | называют Пусть величина § имеет моменты до порядка п +1 вклю- чительно, М||’*+,|<0°. Воспользовавшись разложением ёих 2 (to)* ,Л , (6x)n+1 n+i А! + (п + 1)!и '• — ОО <Z и <Z ОО . с переменным 0, |0| 1, получим, что f(u) = Meiu6 = n .fr 2^ h I , je /гт п J.X ~кГи + (п +1)1U f oa<Zu<Zoof (7-24) где переменное R =R(u) ограничено, |7?| М|£|и+1, и aft = (-0Тм (0), к = 0, 1, ..., п. (7.25)’ § 8. Законы больших чисел и центральная предельная теорема 1. Вероятность и частота. Пусть А есть событие, ко- торое условно назовем «успехом». Обратимся к схеме с испытаниями Бернулли, в каждом из которых возмож- ный «успех» наступает с вероятностью р = Р (Я). Поло- жим = 1 в случае успеха при /с-м испытании и =* 0 в противном случае, к = 1, ..., п. В серии из п незави- симых испытаний частотой события А (рассматриваемого в каждом из них как успех) называют величину п (Л) 1 у fe=l где н (Л)’— общее число успехов. Уже отмечалось (см,
стр; 19), что эта случайная величина при больших п близка к постоянной, равной вероятности Р(Л), » Р (Л), п ' ' Мы покажем, что это соотношение можно понимать в том смысле, что с вероятностью 1 1М_>р (Л) п ' ' (8-1) при п -»• оо. Задача. Установить в (8.1) сходимость по вероят- ности. (Воспользоваться неравенством Чебышева п{А) п р (1 — р) пеа для суммы п — = n (Л) — пр, р = Р (Л), fe=i с независимыми величинами Mgfe = p, = р(1 — р), к = 1, ..., п, каждая из которых есть индикатор события Л в соответствующем к-м испытании.) Соотношение (8.1) является следствием общего зако- на больших чисел; который устанавливается в последую- щих пп. 2, 3. Его в определенном смысле можно уточ- нить, обратившись к нормированной величине . ____ п —р) 2^ ~ И» т/ V. 1 т/ г р (1 — р) L n ' именно, на основе общей центральной предельной теоре- мы, которая будет установлена в дальнейшем, х"- lim Р П^оо п р (1 — р) П {А) п t X? (8.2) Это говорит о том, что при больших п частота п{А)/п как случайная величина, практически сосредоточенная около своего среднего значения р = Р(Л), отклоняется от него согласно нормальному закону,— можно считать, что
при больших п разность п(А)/п — р имеет нормальное распределение с нулевым средним и дисперсией р(1-р)М. 21 Закон больших чисел. Пусть gt, g2, ... есть незави- симые одинаково распределенные случайные величины с конечным математическим оя.иданием Mgft = а, к т= lj 2, .., Теорема. При п-^~ °° имеет место сходимость п <8-3) k—i по вероятности. Эта важная закономерность носит название закона больших чисел. Доказательство. Обратимся к асимптотическому разложению /(Л)= 1 + o(/i) характеристической функции величин — а (см. (7.23)). Из него для характеристиче- п ских функций /„(и) нормированных сумм — (Ife ~~ Й=1 получим, что /n(w)= f(u/n)n = [1 + о(и/п)]п -> 1 при п -* °0 равномерно на каждом конечном интервале. Отсюда, как это уже отмечалось ранее, вытекает сходи- мость по вероятности 71 71=1 что и требовалось доказать. Задача. Показать, что для произвольных независи- мых величин с конечными математическими ожидания- ми ah = и ограниченными дисперсиями Dgft к — = 1, ..., п, закон больших чисел применим в форме (8.4) fe=i fe=i при п -> оо по вероятности. (Воспользоваться неравен- ством Чебышева.) 3. $ силенный закон больших чисел. Для величин со средними aft = к — 1, 2, ,,., усиленный закон боль- ^7*
ших чисел означает, что соотношение (8.4) выполняется с вероятностью 1. Установим этот закон для независимых случайных величин с дисперсиями о* = Dgftj к = 1,2, ..., удовлетворяющими условию (8-5) Лемма (неравенство Колмогорова). Пусть Въ ... ..|п — независимые случайные величины и Sm Bfef 772—1, ...,72. й=1 Тогда - Pf max I Sm - MSm I > el < 4 DS„- (8.6) I I j 6 Доказательство. Заменив tk — ak на tk, для но- вых величин с Мсь = 0 положим v — m при {|SJ «5 е, ..., I&n-il^e, l&nl > е} и введем индикатор l{v=m) указанного события {v = m}, m = i, ..., п. Пусть пг < тг; величины Вт-н, ..., не зависят от Вь ..., и, следо- вательно, согласно известному нам мультипликативному свойству М (Sm • l(v=m) В*) — Л (Sm l(v=mj) • — О, к = in + 1, ..., n, ДЛЯ функции ср (£ъ . . ., Вт) = Sm • 1 tvX) от £t, . . ., Вт. От* сюда получаем, что • =m}) "Ь 2М [Sm• l{v=m} X X (Sn — <Sm)J + ЛА [(|УП — Sm) • (sm-l{v=m})t \ »n=i / m=l / >e2 2 Ml{v=m} = e2 2 ₽{v = m) = e2P{v<nh / 171=1 ?7l=l поскольку Sm > e2 при v = rn. Здесь неравенство для крайних членов и дает нам (8.6), так как{г^/г} = ={ max | Sm | >е}.
Теорема. Для- независимых случайных величин Л: = 1, 2, ..., при условии (8.5) выполняется усиленный закон больших чисел. Доказательство. После замены — ah на нам достаточно будет установить, что для любого е > О lim PJ sup n см по атому поводу общее условие (7.1)'. Рассмотрим события max к *= 1.2, ... По неравенству Колмогорова Р(А.) <Р [ max | Sn 1 > е- 2^4 < - = 48-22~2,i 2 < Zl42il и при условии (8.5) 2 Р(А)<4е-« 2 2-2* Г 2 o’nl = 4е~2 2 V» X Л=1 й=1 п==1 Отсюда непосредственно следует, что /)^-1=р( sup I б’.г/лг I > е} =р| и 2 Р(Д)->0 (n>2m—1 J (fc=m j fc=m при m -> оо, а вместе с этим и то, что An = Р (sup |5п/лг|>е1->0 J при m -> оо, поскольку здесь речь идет о монотонной по- следовательности рт, т~1, 2, ... 4. Центральная предельная теорема. Обратимся теперь к центральной предельной теореме теории вероятностей, согласно которой при очень широких условиях суммы большого числа независимых (относительно малых) слу- чайных величин асимптотически имеют нормальный за-
кон распределения вероятностей. Дадим точную ее фор- п мулировку для сумм Sn = S Shn независимых величин с M£fta = 0, нормированных таким образом, что п DiSn = гДе ПРИ о1п= DSfen~>0 равно- h=l мерно no к — 1, ..., п. В этой схеме дополнительно вве- дем так называемое условие Ляпунова: п 2М|^п|3->0. (8.7) Ь=1 Теорема. При условии Ляпунова а" lim Р {х' < Sn < х"} = -U f е““2/а dx. (8.8) п-»оо у 2п Доказательство. Для характеристических функ- ций Д„(и) независимых слагаемых £;т по.формуле (7.24) имеем I? /ЙП(М) = 1__^М2 + -^М3Л. где |/?;1П| <М|^„|3. Поскольку oL, м I lhn о при равномерно по к, то /йа (u) -> 1 равномерно ткни в каждом копечном интервале; в частности, |/йа(н)—11 < <1/2 при достаточно больших п, и имеет смысл говорить о логарифме функции /йа(п). Для характеристической п функции /„(к) величины Sn, равной /п (к) — П hn (и) при к=1 п~>- имеем П .З1, / 2 п \ 1П /„(и) = 2 In/ftn(u) = 2 In 1- - k=l k=l ' ' поскольку при условии (8.7) п • п <£М|^П|3_^О> h=l h=l
Следовательно, = е-“2Ч — oo<u<oof равномерно в каждом конечном интервале, где справа стоит характеристическая функция указанного в (8.8) нормального распределения вероятностей, к которому слабо сходится распределение сумм Sn, что и требовалось доказать. Задача. Пусть к — 1, 2, ...,— независимые оди- наково распределенные случайные величины с конечными а = и о2 = М||й-н|2, p3 = MlBft- й|3. Показать, что П-»оо п S ih — па h=l_______ l/na ос" xf (Проверить для величин Влп у-- условие Ляпунова.)' 0 у Задача. Пусть последовательность случайных вели- чин асимптотически нормальна при п-> . J e~xV2dxs xf а случайные величины кп таковы, что кп -> 1 по вероят- ности. Показать, что последовательность |„/Х„ также асимптотически нормальна. (Воспользоваться тем, что для любых сколь угодно малых е и 6 P{z'(l + е)< х" (1 — е)} — б < P{z' < g„|X„ х"} < =6 P{z'(l - е)/Мп <х" (1 + е)} + б при всех достаточно больших п.)
Глава II НЕКОТОРЫЕ МОДЕЛИ СЛУЧАЙНЫХ ПРОЦЕССОВ § 1. Последовательности событий и случайных величин, связанных в цепь Маркова 1. Вероятности перехода (от одного состояния к дру- гому). Прежде чем дать описание общей схемы, обра- тимся к простому примеру. Представьте себе, что речь идет о последовательных бросаниях монеты при игре «в орлянку», скажем, монета бросается в условные мо- менты времени t = 0, 1, ..., и на каждом шаге игрок может «выиграть» ±1 с одинаковой вероятностью 1/2, так что в момент t его суммарный выигрыш есть случай- ная величина § (i) с возможными значениями j = 0, ±1, ... При условии, что | (t) — к, на следующем шаге выигрыш будет уже равен g(i+l) = к±1, принимая указанные значения / = к± 1 с одинаковой вероятностью 1/2. Услов- но можно сказать, что здесь с соответствующей вероят- ностью происходит переход из состояния g (i) = к в со- стояние j = fc ± 1. Обобщая этот пример, можно представить себе физи- ческую «систему» со счетным числом возможных «фазо- вых» состояний, которая с течением дискретного времени t = 0, 1, ... случайно переходит из состояния в состоя- ние. Пусть g(i) есть ее положение в момент t в резуль- тате цепочки случайных переходов ^(0)-в(1)-...->НО^... (1.1) Формально обозначим все возможные состояния целыми i = 0, ±1, ... Предположим, что при известном состоянии |(0 = к на следующем шаге система переходит в состоя- ние £(£+!) = / с условной вероятностью pM=P{g(«+l) =/1g («).=*} (1.2У независимо от ее поведения в прошлом, точнее, незавИ’
Симо от цепочки переходов (1.1) до момента t: p{£(£+l) = /lB(O) = i, ..., £(£) = £} = = P{g(i+l) = j|g(i) = fc} (l.o)' при всех t, к и у. Описанную здесь вероятностную схему называют однородной цепью Маркова со счетным числом состояний — ее однородность' состоит в том, что опреде- ленные в (1.2) переходные вероятности ры, 2 phi = lf i к —0, ±1, ..., не зависят от. времени. Рассмотрим марковскую цепь с переходными вероят- ностями (1.2), считая, что P{l(O) = i} = P°, i=0, ±1, здесь указано так называемое начальное распределение’ вероятностей, 2^1 = 1 • Очевидно, г р а (о = । (1)=j}«р а (1)=j 11 (0) = а (0) - 1} ° “ PiPiit и согласно марковскому свойству (1.8) Р{&(0) = 1.£ (1) = к, % (2) = j} =Р {| (2) = /1 £ (0) = tf £(1) = к}-р{£ (0) = i, I(1) = к} = P°iPihPki; аналогично для всей цепочки переходов (1.1) от 0 до t> 1 вероятность Р{1(0) =4 ... л V) = к, lit + 1) = /} = P°i ... Phi (1.4) есть произведение р® и соответствующих переходных вероятностей. Введем матрицу переходных вероятностей 5s = {p,j} с компонентами pi}, i, j = 0, ±1, и пусть ^(м) = {Рц(п}} есть ее п-я степень,Рц (п) = Spife (п—1)Р«» — к п = 1, 2, ... (5я (0) =7 есть единичная матрица с элемен- тами р,ч(0)=1 и р„(0) = 0, Введенные Рц(п) есть ве роятности перехода за п шагов из состояния i в со- стояние j, а именно, pU (п) = j 11 (0) = i) = Pij (п); отправляясь от п — 1, это можно получить последователь-
по при п 2, используя формулу полной вероятности ₽ {W = /||(0)= 7} = 2₽{В(«) = 7’11(0) = I, I (п- 1) = А = MPU(«-l) = /£^(0) = j} = 2P{U«-l) = /d^(0) = А «= i}Pkj. Задача. Показать, что при начальном распределении {р®| для веррятностей р>(п) = Р{В(п) = /}, ’ j~0, sfcl, .... (1.5) справедлива формула Рз(п) = Sp°Pijfa). (1-6) • i По самому определению, мы имеем ^(s + 7) = ^’(s)^’(f) и в соответствии с этим pi} (s + t) = 2 (s) phj (7) (1.7) h при всех 7, у и (целых) s, t > 0. Задача. Показать, что для вероятностей (1.5) спра- ведливо аналогичное соотношение Pj(s + 7) = 2 Pi («) Ра (t)t stt^O. (1.8) i Задача. Пусть . Si *—- ... Sm S 7i tn есть последовательность моментов времени. Показать, что при данном состоянии £ (s) — i в «текущий» момент s поведение системы в «будущем» не зависит от ее пове- дения в «прошлом» в том смысле, что PU(M = 7., - В(«п) = 1п IВ (^1) 71, •••) (^w) === 1т, В (^) ^ ^}== = ₽Ш) = Л,B(Q=7nlB(s)=i} (1.9) (это так называемое марковское свойство). При рассмотрении марковской цепи £(7) с целочис- ленным временем 7 = 0, 1, ... считают, что тот или иной случайный момент т не зависит от будущего, если при
любом t событие <т = П однозначно определяется по g(s), s^t — точнее, по любой цепочке g(0) = to, ... g (i) = г оцпозначно определяется т = t или г ¥ t (мо- мент т еще называют марковским). Примером может служить момент г первого (и вообще, fc-ro по счету) по- падания в то или иное состояние i (скажем, это может быть момент возвращения в исходное состояние). 3 а,д а ч а. Пусть т — марковский момент. Показать, что соотношения (1.9) будут справедливы, если в их условие на «прошлое» добавить событие {r = s}. (Ввиду произвольности s = 0, 1, ... это свойство можно выразить, сказав, что при условии |(т) = £ процесс переходов цепи g(t), независимо от «прошлого» до момента т под- чиняется тем же вероятностным закономерностям, как если бы т был начальным моментом. Указанное свойство называют строгой марковостью.) 2. Возвратные и невозвратные состояния. В схеме марковской цепи (1.1) состояние i называют возвратным, если система при выходе из состояния £(0)= 1 с вероят- ностью 1 рано или поздно в него вернется. Задача. Рассмотрим испытания Бернулли с вероят- ностью «успеха» р, 0 < р < 1, в которых | (п) есть инди- катор успеха в n-м испытании: £ (п) == 1 в случае успеха и |(п) = 0 в случае неудачи. Показать, что §(п), п = 0, 1, ..., есть цепь Маркова о возвратными состояни- ями 0 и 1. Теорема. Состояние i является возвратным тогда и только тогда, когда 5 Рн («) = <». (1-Ю) п=1 Доказательство. Рассматривая условные вероят- ности при условии £(0)=i, обозначим vn вероятность впервые вернуться в состояние i на n-м шаге, п = 1, 2, ... Согласно марковскому свойству при условии, что система в момент тп попадает в состояние | (тп) — i, она снова в ней оказывается через п — тп шагов с вероят- ностью = pi;(n — тп). — при этом неважно, в Какой раз она попадает в состояние I в момент тп. Сказаться в состоянии | (n) = i система может разными путями. Она может впервые после начального момента попасть в i на первом шаге, на втором шаге и т. д., на n-м шаге, и по формуле полной вероятности мы имеем Wn — v^Wn^
+ VjWn-i +... + vnw0, где дополнительно введены v0 = О, щ0 = 1. Обратимся к производящим функциям V (z) = У vmzm, W(z) = У тп=О “ n=0 Полученные выше соотношения между их коэффициента- ми выражают равенство W(z)-wB=W(z)V(z), m0 = l, которое дает Возвратность состояния i означает, что v = У vm = lim V (z) = 1. tn=O z->l Очевидно, это предельное соотношение равносильно тому, что * I lim W (z) = lim ----г-, == оо. 1 - V (z) Но lim W (z) = lim У wnzn = У wni z~>l Z->1 n=0 П—Q и, таким образом, возвратность состояния i равносильна оо z тому, что ряд 2 расходится. Для завершения доказа- тельства остается лишь напомнить, что u’n = f«(n). Уже говорилось, что после очередного возвращения в исходное состояние в тот или иной момент т поведение процесса при t > т такое же, как если бы речь шла о на- чальном моменте т = 0. Исходя из этого, можно получить следующий результат. Теорема. Если исходное состояние i является воз- вратным, то система с вероятностью 1 за бесконечное число шагов бесконечно много раз возвратится в i. Если это состояние является невозвратным, то за бесконечное число шагов система с вероятностью 1 лишь конечное число раз побывает в состоянии i, другими словами, после некоторого конечного числа шагов она никогда больше не возвращается в I.
Доказательство. Обозначим v, число шагов до первого возвращения в состояние i, v2 — число шагов до второго возвращения и т. д. Если за бесконечное число шагов происходит меньше к возвращений, то полагаем У = оо. Событие vh < 00 означает, что произошло по мень- пт"й мере к возвращений. Вероятность возвращения есть p{Vl < 00} = V. При условии Vi < °о система через некото- рое конечное число шагов щ возвращается в исходное состояние i, после чего ее дальнейшее поведение подчи- няется тем же закономерностям, как если бы она только начинала свое движение. Таким образом, вероятность события v2 <00 при условии, что Vi < оо, будет также равна v. P{v2 < oo|v! < оо} = р. Очевидно, если vt = то и v2 = оо. Поэтому P{vs < 00} = P{v2 < oo|V1 < 00} • P{vt < 00} = p2. Совершенно аналогично, при любом Л > 2 P{vft < 001 < 00} = v, P{vfc < 00} == pft. Невозвр iTFOCTb состояния i означает, что v < 1. В этом случае S р N < о©} = 2 < оо^ ft=l fc=l и согласно первой лемме Бореля — Кантелли с вероят- ностью 1 может произойти лишь конечное число событий {vfc < 00}, т. е. с вероятностью 1 за бесконечное число ша- гов Система лишь конечное число раз побывает в состоя- нии I. Возвратность состояния i означает, что п=»1. В этом случае P{vft < °°} — 1 при любом к. Обозначим и число возвращений за бесконечное число шагов. Очевид- но, событие {и > к} тождественно с событием {vfc < и Р {к = оо) = lim Р {vs < 00} = 1. Теорема доказана. 3. Случайные блуждания. Условно будем говорить о частице, совершающей случайное блуждание по цело- численным точкам i = 0, ±1, ... таким образом, что из каждой точки i она на следующем шаге независимо от «прошлого» переходит в точку 7 = 1+1 или j = i — 1 с ве- роятностями р и q = 1 — р. (Скажем, график такого слу- чайного блуждания может отражать последовательный xo;j испытаний, Бернулли, когда «успех» регистрируется
прибавлением 1, а «неудача» — прибавлением —1). Оче- видно, прИ выходе из состояния i частица может снова в нем оказаться лишь через четное число шагов, и соот- ветствующая вероятность ри(2п) совпадает с вероят- ностью того, что в 2п испытаниях Бернулли половина из них приводит к «успеху» (вероятности р), а половина — к «неудаче». Для известных нам биномиальных вероят- ностей мы имеем pa (2п) = Pnqri- Используя форму- лу Стирлинга п! ~ У2тгппе~п, получаем, что /\i(2n)~ ~ (4/н?) Wire. Применяя критерий возвратности (1.10), заключаем, что при симметричном случайном блуждании, когда р = д==1/2, мы имеем pit(2n)~ 1/Ушг и ряд оо 2 Ра расходится, все состояния являются возврат- п=1 оо ными; при p^q, когда 4рд<1 и Spn (2n)<°°i все со- п~1 стояния являются невозвратными. Найдем здесь вероятность возвращения. Пусть в точ- ке 0 имеется так называемый поглощающий экран: попа- дая в точку 0, частица остается там навсегда. Очевидно, из любого состояния i > 0 можно с положительной веро- ятностью попасть в любое состояние j > 0. Обозначим viS вероятность попасть когда-нибудь из i в j. Имеет место следующее соотношение: vv = pvi+it} + qVi-lf 3, которое нам дает формула полной вероятности. Это соотношение пред- ставляет собой конечно-разностное уравнение для vtj как функции от i==l, ..., / —1. Чтобы определить решение этого уравнения, нужны еще дополнительные граничные условия при i — 0, i = j. Найти их можно из следующих соображений. Очевидно, вероятности vi} не изменятся, если в точке / > i также поставить поглощающий экран. В этом случае нужно положить = 0 и vj3 = 1. Отвеча- ющая этим граничным условиям функция Vij от i = 1, ... • л - 1 — (q/рУ / ..., 7 — 1 при q имеет вид Ру =------(отметим, что 1 — (д/рг если p = q = M2, то = i = 0, 1, ..., /J. Ясно, что аналогичные формулы имеют место и тогда, когда погло- щающий экран стоит не в точке к = 0, а в некоторой точке к < 0- (в правых частях указанных формул нужно лишь заменить i на i — k vl j на j — к). Должно быть по- нятно., что если 7с~>—то влияние поглощающего экра-
на исчезает и предельные формулы дают выражение для вероятностей vi} перехода из точки i в точку j в обычном случайном блуждании без всякого поглощающего экрана. Эти'формулы имеют вид vi3 “ | j при при Р < Qt P>Qt (1.11) Заменив здесь р на q, получим выражения для вероятно- стей Гц при i > j, а именно, №/рУ~* при Vsj = г Л w ( 1 при Р > Q,. P<Qi i>1- (1.12) Вероятность v возвращения в состояние i может быть определена по вероятностям vi} из формул (1.11), (1.12), а именно, при выходе из i частица переходит в j = I + 1 с вероятностью р или в j = i — 1 с вероятностью q, откуда опа уже с соответствующей вероятностью vj{ рано или поздно попадает в точку I, так что v — pv1+ti. t + qVi-lt f, а в итоге получаем v = 1 — Ip — g|. (1.13)’ Задача. Пусть в симметричном случайном блужда- нии с р = д = 1/2 состояние |(п) есть суммарный выиг- рыш игрока на n-м шаге при игре «в орлянку». (Счита- ем, что игрок имеет неограниченный капитал и «игра» может продолжаться по его желанию сколь угодно долго.) Показать, что с вероятностью 1 любое состояние а дости- жимо, т. е. рано или поздно выигрыш станет равным значению а. Задача (продолжение). Допустим значение а назна- чается заранее, и игра прекращается, как только вы- игрыш становится равным а — в момент первого дости- жения состояния а. Показать, что эта стратегия требует не только. наличия неограниченного капитала, но и в среднем бесконечного времени ожидания,— точнее, по- казать, что время ожидания т попадания в отличное от исходного состояние а имеет математическое ожидание = °0. (В симметричном блуждании можно рассмотреть среднее время достижения t(x) одной из точек а>0 или о < 0 прй исходном состоянии £ (0) = х, Ь< х< а,— оно Удовлетворяет уравнению t(x)— 1 = pt(x + 1)+ ql(x — 1) с граничными условиями t(а) = t(b) = 0, для р = § = 1/2 имеет вид t(x) — (x —а) (х — Ъ) и при Ьдает пам среднее время достижения точки а.)
4. Классификация состояний. Вернемся к общей мар- ковской цепи. Говорят, что состояние j достижимо из Г, если система с положительной вероятностью > 0 попа- дает из I в ]. Если / достижимо из I и, в свою очередь, I достижимо из у', то зти состояния г, j называются сооб- щающимися. Задача. Показать, что 7" достижимо из i тогда и только тогда, когда вероятность перехода ро(п) является .положительной для какого-то п. Пусть i — возвратное состояние и j достижимо из I. Тогда i, в свою очередь, достижимо из J, так как в про- тивном случае, выходя из г, система за М шагов с по- ложительной вероятностью рц (М) = а > 0 попадает в со- стояние 7’, после чего уже не может вернуться в I, и, та- ким образом, вероятность возвращения в I будет не больше чем 1 — а, а это противоречит возвратности состоя- ния i. Итак, если j достижимо из возвратного состоя- ния i, то, в свою очередь, i достижимо из j, т. е.- состоя- ния i, j являются сообщающимися. Для любых сообща- ющихся состояний I, ] мы имеем Ра (М) = а > О, р,ч (^) = р > 0 при некоторых М и N\ из соотношения 0>(M + n + N) = 0(M} -0>(п) -0(N) для матриц переходных вероятностей выводим, что Р« (М + п + N) ру (М) ри (п) p3i (N) = сфрй (и), Рл (М + п + N) рл (N) рн (п) рц (М) = офр41 (п). Эти неравенства показывают, что для сообщающихся со- стояний i, j ряды Sp,j(n) сходятся или расхо- п п дятся одновременно. Принимая во внимание- теорему 1, отсюда заключаем, что все состояния, достижимые из некоторого возвратного состояния, также являются воз- вратными. Задача. Пусть имеется лишь конечное число со- стояний и все они сообщающиеся. Показать, что все они являются возвратными. Пусть i — возвратное состояние. Как было показано, все состояния j, достижимые из г, являются возвратными и сообщаются с состоянием i. Все указанные состояния / образуют так называемый замкнутый класс состояний (обозначим его Е) такой, что если система на каком-то шаге попадает в одно из состояний j е Е, то после этого она остается в множестве состояний Е навсегда (любое
состояние, достижимое из какого-либо состояния j е Е, акже входит в Е); при этом для любого ]<=Е сам. класс Е может быть определен как множество всех состояний, □стижимых из /. Рассмотрим два каких-либо замкнутых класса возвратных состояний, обозначив их Ei и Е2. Предположим, что некоторое состояние / входит одновре- менно и в Ei, и в Е2. Тогда эти классы Et и Е2 совпа- дают, поскольку каждый из них-Совпадает с множеством всех состояний, достижимых из /. Следовательно, замк- нутые классы Ei и Е2 либо совпадают, либо пе пересе- каются (не имеют общих состояний). Выделим множе- ство Еъ всех невозвратных состояний и разобьем остав- шиеся возвратные состояния на непересекающиеся мно- жества Et, Е2, ..каждое из которых представляет собой замкнутый класс сообщающихся друг с другом возврат- ных состояний. Как показывает пример случайного блуж- дания, вообще говоря, система с течением времени может уйти «в бесконечность» по какой-то цепочке невозврат- ных состояний (если таких состояний бесконечное чис- ло). Эта возможность исключается, если имеется лишь конечное число невозвратных состояний. В этом случае система в любом из невозвратных состояний с вероят- ностью 1 побывает лишь конечное число раз, и рано или поздно попадет в какое-либо возвратное состояние /; в дальнейшем опа будет циркулировать в замкнутом классе возвратных состояний Е, содержащем / (в част- ности, именно так обстоит дело в цепи с конечным чис- лом состояний). 5. Сходимость к стационарному распределению. Рас- пределение вероятностей p*j, j= 0, ±1, ... (HjPj — 1|, \ з / называют стационарным для однородной марковской цепи |(t), t>0, если при данном начальном распределении в последующие моменты времени t распределение ве- роятностей ft(0 = ₽R(0 = /} (рД0) = р‘) остается неизменным при всех i 2= 0: р3 (t) = p*f j = 0, 21 .... Согласно имеющейся у нас общей формуле (1.7) стационарность распределения (pj означает, что Pj==SpjPij(O (1.14) j- при всех t «= 0, 1, ...
Задача. Показать, что распределение {Pj} явля- ется стационарным тогда и только тогда, когда оно удов- летворяет системе уравнений Pj=^P*Pih. (1-15) 1 где Ро = р«(1) — вероятности перехода за один шаг. Предположим, что существует хотя бы одно состоя- ние /о, куда возможен переход из любого состояния i за время h с соответствующими вероятностями Pi;0(^)>6>0 (1.16) (подчеркнем, что в этом условии h одно и то же для всех I). Тогда справедливо следующее предложение. , Теорема (о сходимости к стационарному распре- делению). Существует единственное стационарное рас- пределение {pjl, и при t-> °° 7 = 0^1,.... более того, равномерно по всем состояниям независимо от началь- ного распределения вероятностей. Доказательство. Положим Tj (t) = inf Pij (t), i Hi («) = sup Pij(t). i Величины Tj(t), R}(t) дают нам соответственно нижнюю и верхнюю границы для вероятностей Pi (0 — ZjP.Pij (0 i >2рЪ(0 = ^(01 г = Ri(t). k i При t -* °° нижняя граница г,(7) монотонно возрастает, а верхняя граница 77,(t) монотонно убывает. В самом деле, при любых t S* s мы имеем г, (0 = inf pife (t — s) pkj (s) > inf £2 Pik (t — s) Tj (s) j = Tj (sh
p . (f) = sup Piktt — s)pkj(s) j < r < sup [2 Pik (t — s) Rj (s)l »= R} (s). 1 [k J Далее, как легко видеть, Ri (О — ri W = su₽ ® ~ Pni =* J mzn = sup2 {Pmk (h) — рпк (A)]Pkj (t — h), A. m,n k Здесь ^Pmktty = 2pnk (A) = 1, и в нулевой сумме к к О ==> У, [ртъ (h) — Pnh (А)] можно выделить суммы 2”** h и 2”» представляющие соответственно положительные и отрицательные слагаемые: 2+ lPmt (h) — pr,k (h)] = к — — [p?nft (A) Pnk (h)] — I Pmk (h) — pnh (Л) j* к k Легко понять, что при условии (1.16)' 1 Ртк (h) - Pnk (й) | С t (2 - 26) = 1 - в и, следовательно, Ri (0 П (0 < sup (2+ (Pmh (h) — р^ (A)] (t — h) + mtn [ h 4“ 2 [pmk (h) pnk (^)l ^3 = sup (2+ [Pmk (h) - Pnk (h)] [Rj (t-h)- n (t - A)]l < m,n k j < (1 - 6) IRj (t-h)- rj (t - A)]. Последовательно рассматривая I, t — h, t — 2h, ... и обо- значив n целую часть [t/h], получаем <(1 - 6)n [Rj (t - nh) -rj(t- nh)]<(1 - 6)£-1.
Видно, что нижняя и верхняя границы для вероятностей Pi (О, ri (t) Pi (0 Ri (0, сближаются при £ оо (рав- номерно по всем /) и существует один и тот же предел р* = lim rj (t) = lim pj (i) = lim Rj (t). Напомним, нижняя граница r,(0 монотонно возрастает, а верхняя граница Rj(t) монотонно убывает с ростом, t, так что при всех t 0 предельные значения pj лежат в тех же границах г, (f) pj Rj (t)t что и соответ- ствующие вероятности Pi(t), а потому I Pi (0 - Pi I < Ri (0 - rj (0 < (1 - 6)"1, Для завершения доказательства теоремы нужно пока- зать, что предельные значения {pj) образуют стацио- нарное распределение вероятностей. Очевидно, 2 Pi 1 # поскольку в этой сумме для любого конечного числа сла- гаемых 2р*<Ит2рД0<1. j t-»oo j При этом 2 Pi О?, так как для нижней оценки Гн (h) з согласно условию (1 16) Рз^ ri0(h) б >• 0. Далее, из об- щей формулы (1.8) при s -> °° получаем, что Pi = lim p_j (s + t)^ lim 2 Pi (0 Pa (0 > 2 P*Pii (0 e->oo i-»oo i { для любого конечного числа слагаемых, а значит, и для всего ряда в правой части этого неравенства. На самом деле здесь должно быть равенство, так как при наличии строгого неравенства хотя бы при одном / получалось бы, что 2 р* > 2 2 pipa (0 = 2 pi 2 pa (0 = 2 р*« i i i i i i и таким образом, p* = 2р*Ру(0 при всех £ = 0, 1, i Взяв распределение вероятностей
убеждаемся, что оно является стационарным: р$ = « 2 PiPiJ (О- Взяв его в качестве начального распре- деления, получим Рз («) = Ph. откуда заключаем, что р* = = /^O.il^... • t-^OQ Последние соотношения -справёдлйвы для любого ста- ционарного распределения {pj}, и, таким образом, су- ществует единственное стационарное . распределение [р*|. Доказательство закончено. Задача. Показать, что условие (1.16) всегда вы- полняется в случае конечного числа сообщающихся со- стояний. Задача. Показать, что стационарного распределе- ния не существует в случайном блуждании по целочис- ленным точкам 1 = 0, ±1, ..., когда из каждой точки частица смещается на 1 вправо или влево с вероятно- стями р и q = 1 — р (р, ? 0). Задача. Рассмотрим случайное блуждание по це- лочисленным точкам отрезка [0, п), свернутого в «ок- ружность», па которой 0 и п представлены одной точ- кой. Пусть частица из каждой точки смещается на 1 за один шаг вправо или влево с вероятностями р и q = = 1 — р, р, q^O. Найти стационарное распределение (показать, что -это есть равномерное распределение р* = = 1/п,. / ~ 0,1, ,.. , п — 1). Пример. Рассмотрим случайное блуждание, при котором частица с вероятностью р< переходит из точки I в соседнюю точку i + + 1, а с вероятностью Pi q, — 1 — pt «перескаки- Дч вает» в точку 0 (см. '—1—1—!—у1—1—1—*~ рис. 10). Будем считать, • 0i +1 что 0 < р( < 1. Очевид- Рис. 10 по, все состояния явля- ются сообщающимися и следовательно, одновременно все возвратны или все не возвратны. Предположим, что части- ца находится в начальном состоянии 1 = 0. Вероятность того, что она за последующие п шагов ни разу не вер- нется в исходное положение I = 0, равна произведению Ри.. .pn-i (вероятности того, что частица последователь- но пробегает цепочку состояний 0-» 1 п). Легко
видеть, что вероятность за бесконечное число шагов ни разу не вернуться в исходное состояние i = 0 равна бес- конечному произведению ОО П Ph = lim РоР1 ...рп. h=Q , П->оо Если указанный здесь предел равен нулю: limрор1., .рп= П-*оо = 0, то состояние I — 0 является возвратным. В противном случае вероятность. возвращения есть = 1 — lim poPj ... рп < 1, и состояние i = 0 является П-»СЮ невозвратным. К этому результату можно прийти и дру- гим путем, непосредствеппо рассматривая вероятности vn впервые вернуться в исходное состояние 0 ровно че- рез п шагов. Очевидно, частица впервые возвращается в состояние 0 на n-м шаге, если она на первых п — 1 шагах последовательно переходит из ^состояния i — 1 в I (с вероятностями * p.-i, i — 1, ..., га —1), и потому vt = = 1 —р0, Кп = Ро• • .Рп-г(1 — Рп-i), п = 2, 3, ... Вероят- ность возвращения в исходное состояние 0, по опреде- лению, равна сумме 2 vn: п со V*= 2 vп = -=1—Ро+[р0(1—Ро)] + = 1 — lim РоР1 ...рп. П->оо Для невозвратных состояний, когда v < 1, частица с ве- роятностью 1 будет уходить при п->00 в направлении +°°; для возвратных состояний она будет неограничен- ное число раз возвращаться в каждое состояние. Сред- нее время возвращения в исходное состояние г = О равно оо Н = 2 ^ = (1— Ро)+ 2(1 — Р1)Ро+ ••• =* п==1 = 1 + Ро + P0Pi + , . . + PoPl • • Pn-l + • • .» и при условии оо р = 1 + 2 Ро • . • Рп-1 < оо существует единственное распределение вероятностей
{р*}* удовлетворяющее системе (1.15)' Pj — Pi-iPj-h / = • • •! дли, в развернутой форме, р* = PoPoi Р% ~ PoPoPit • • ‘i Рп = РоРо • •. Рп— 1, .. . Из условия 1 = 2 р* >= р* (1 + Ро + РоР1 +...) = pop, п=о находим * 1 * Ро = Pi = р0 * _ Р0 • • • Рп-1 •’Рп й Предположи™, что pt С 1 — 6 < 1, т. е. вероятность пере- хода из любого состояния I в состояние 0 есть q{ > 6. Тогда справедлива наша теорема о сходимости к ста- ционарному распределению. Задача. Допустим, в марковской цепи (с*условием (I1 * * *.16)) на каждом шаге время пребывания в текущем состоянии составляет 1, и процесс £(i), i = 0, 1, ..., описывает изменение состояния с течением (дискретно- го) времени. Обозначим суммарное время пребывания в состоянии I за промежуток Т. Отношение xJT дает нам долю времени, проведенного в состоянии I. Пока- зать, что .. Ti * M-jr~>-Pi при 7 оо. (Указанное соотношение показывает, что в среднем доля времени пребывания в состоянии г за боль- шой промежуток Т приблизительно равна стационарной вероятности р^ пребывания в этом состоянии.) § 2. Однородные марковские процессы со счетным числом состояний 1. Примеры. Марковское свойство. Речь будет идти о процессах переходов из состояния в состояние, подоб- ных описанному в (1.1); но уже протекающих с тече- нием непрерывного времени t S5 0. Пример (процесс радиоактивного распада). В на- шей модели этого процесса каждый из имеющихся в те-
кущий момент атомов вещества Ra распадается через (случайное) время т“, распределенное по показательно- му закону Р{т° > f} = е~>л, t S* 0, где параметр Z > 0 свя- зан с известной постоянной полураспада Го и средним оо временем распада Мт° = \kte~Mdt соотношениями о 1 Л X 1п2 см. по этому поводу стр. 49. Рассмотрим число а-ча- стиц £(£), излучаемых за промежуток времени t, и про- цесс изменения величины £(£) с течением времени t^O. Выбрав начало отсчета t = О, мы будем иметь дело с числом а-частиц £(£), излученных к моменту t. Пусть в начальный момент число атомов Ra равно пит® оз- начает время распада имеющегося в наличии к-то ато- ма Ra, к = 1, ..., п. Мы знаем, что величины т® имеют показательное распределение вероятностей с одним и тем же параметром Л. Допустив, что каждый атом Ra распадается независимо от состояния других атомов, за- ключаем, что время До = min (т$, ..., т„) до появления первой а-частицы должно быть распределено по пока- зательному закону с параметром Ло == пЛ. Условившись называть состоянием рассматриваемого процесса в момент t, можно сказать, что начальное состояние есть £(0) = 0, в нем процесс находится случайное время До, распределенное по показательному зайону с параметром' Л0 = пА, а в момент т1 = Д0 происходит переход в новое состояние ^(т4)=1. В момент Ti остается п— 1 атомов Ra, и процесс находится в состоянии 5(1!)=! случайное время Ди распределенное по показательному закону с параметром Zi = (n— 1)Л. Поясним, почему Д, имеет та- кое же показательное распределение, как если бы мо- мент т( был начальным (т. е. Т! = 0). Очевидно, рас- пределение величины Д1 пе зависит от того, какой имен- но атом Ra распался в момент т4 = До, и считая, что это был атом с номером п (т. е. До = т®), легко полу- чим, что Р{Д1>ЯД0 = т°} =
(подчеркнем, что исходные т°, ...,<. являются неза- ВИ( мыми). Из состояния B(rt) = 1 через время в момент т2 = Ti + At совершается . переход в состояние t(T2) = 2 и, вообще, при попадании в момент т{ в со- стояние В(т#)=1 процесс (независимо от его поведения до момента ъ) находится в состоянии i случайное время дй распределенное по пока- зательному закону с пара- метром Xj=(n —i)X, затем совершается переход в но- вое состояние 1+1 и т. д. Типичная траектория В (О, j > 0, этого процесса схематично представлена рис. И. Легко представить себе следующее обобщение чайного процесса £(£), t ^0, описывающего эволюцию некоторой системы. Пусть имеется конечное или счетное число возможных состояний, занумерованных числами i = 0, ±1,___В начальный момент исходное состояние есть &fC)=i0, и в нем процесс находится случайное время До, распределенное по показательному закону о параметром Ц), после чего в момент Ti = A0 независимо от Ди совершается переход в некоторое новое ние с соответствующей вероятностью и в цепочке последовательных переходов В (0) = iB £ (rt) = ц . Л (тл) = („ . id) О Рис. 11 на слу- состоя- вообще, (2.1); 3 г 1 t по состояниям (о, ii, ... (в которых процесс находится соответственно время До, Д1, .. •) в момент тк+1 = т*+Дь независимо от поведения до этого момента процесс из исходного состояния ц, переходит в очередное состояние |(fei) = г\+1 с соответствующей вероятностью где находится случайное время Дл+1, распределенное по показательному закону с параметром после чего происходит переход в новое состояние и т. д. Обращаем внимание на одну замечательную законо- мерность: общая картина поведения нашего процесса после момента т попадания в то или иное состояние |(т) = г не зависит от поведения процесса до этого мо- мента т. Именно, при исходном состоянии 1 = не- зависимо от «прошлого» процесс находится в состоянии t случайное время Д, распределенное но показательному
закону с параметром затем с вероятностью лу пере- ходит в некоторое новое состояние и т. д. Указан- ная закономерность имеет место и в отношении пове- дения процесса после любого фиксированного момента з при известном состоянии £(s) = Z в «текущий» момент з; поведение t(0, Os, в «будущем» не зависит от «прош- лого» g(0, t^s (зто так называемое марковское свой- ство рассматриваемого процесса). Убедиться в этом мож- но на основе следующих соображений. Обозначим т мо- мент перехода процесса из состояния |.(з) = i в после- дующее состояние |(т)=’/. Как мы знаем, поведение процесса После момента т попадания в состояние / не зависит от «прошлого» до этого момента, и нам нуж- но установить лишь, что поведение процесса в проме- жутке з t < т не зависит от «прошлого» до момента з. Переход i -> / из состояния i совершается в момент т (с вероятностью л«) независимо от предшествующих об- стоятельств, и следовательно, интересующая нас законо- мерность будет установлена, если мы покажем, что вре- мя пребывания в текущем состоянии | (s) = I после мо- мента з (т, е. величина т —з) независимо от «прошлого» до момента з имеет показательное распределение веро- ятностей с параметром X = Пусть %' з есть момент попадания процесса в текущее состояние i и Д = т — т' есть полное время пребываний в этом состоянии. Мы знаем, что независимо от значения т' = и величина Д = ° т — т' имеет показательное распределение вероятностей с параметром А = — будем понимать это в том смыс- ле, что Р{ Д > т'« и} = Р{Д > v} = е-*®, v 0. Дополнительное условие £ (з) = I можно выразить в фор- ме Д > з — и, и при этом условии Р{т — 8 > t\r' — и, Д > s — u}=> — Р{Д > t + (з — и) |т' = и, Д> з— и} = = Р{Д > t + (з — и) I т' — и}/Р{Д > з — и\т' = п) =• —. g->.(t + s-u)Ig-!.(s-u) _ e-kt что и требовалось показать. Отметим, что согласно пред- положению о независимости событий Д? > АС} Ц iI? ,,., Дл > ->
в (2.1), описывающих поведение процесса за (& + 1) последовательных переходов, их вероятность есть Р {До > h0, i0 -> К, • • •, ik-i -► h. Дь > Ль, ift «м-i} = —^20^0 — e • • e •’fyiift+i при любых h0, ..hh 0 и i0, h, ..., ift, ift+1. Рассмотрим несколько примеров случайных процес- сов описанного выше типа. Пример (пуассоновский процесс). Обратимся сно- ва к радиоактивному распаду. Как известно, он протека- ет очень медленно (экспериментальные данные дают для постоянной полураспада значение Т ~ 1600 лет), и, на- блюдая процесс излучения сс-частип на сравнительно ма- лом промежутке времени (малом в сравнении с Г), мож- но считать, что количество радия остается постоянным. Это упрощает характеристики нашего процесса B(i), t > 0; очевидно, упрощение касается параметров зна- чения которых теперь будут kt = пк = р при всех i == = 0, 1, ... (где п — имеющееся количество атомов Ra). Легко представить себе обобщение этого процесса £(/) на всю временную ось t 0. Общая картина его пове- дения такова, что в начальный момент мы имеем £(0) = = 0, в этом состоянии процесс остается случайное время До, распределенное по показательному закону с соот- ветствующим параметром Хо = р, после чего процесс в момент Т1 = Д0 переходит в состояние £(т,)= 1, где на- ходится случайное время Дь распределенное по показа- тельному закону с тем же параметром р, затем в мо- мент т2 = т, + Д, совершается переход в новое состояние 1(^2)= 2, вообще, при попадании в очередное состояние к в случайный момент = До +...+ Д*-1 процесс неза- висимо от величин До, ..., Дл-i находится в состоянии к случайное время Дл, распределенное по показательному закону с параметром р, а затем в момент Tft+i = + Д„ происходит переход в повое состояние к +1 и т. д. Про- цесс этого типа называется пуассоновским (с парамет- ром р). Пример (однолинейная система обслуживания}. Представим себе некоторую систему, обслуживающую поступающие на нее требования таким образом, что ес- ли система свободна, то независимо от предшествующих обстоятельств обслуживание занимает случайное время, распределенное по показательному закону с парамет-
ром Л, а если система занята, то поступающее требова- ние получает отказ и больше не рассматривается. Пред- положим, что вероятность одновременного поступления более одного требования равна 0 и что, закончив об- служивание, независимо от предшествующих обстоя- тельств система «ожидает» очередное требование слу- чайное время, которое имеет показательное распределе- ние с параметром ц. Очевидно, рассматривая два состоя- ния: 1(f) “0 — система свободна и g(t)=l— система в момент t занята, мы будем иметь дело со случайным процессом КО» *>0, типа (2.1) с параметрами А0 = ц, Лщ 1 И — 1., Лjо ” 1. Задача. Показать, что процесс этого типа возни- кает в указанной выше системе, если поток требований не зависит от процесса обслуживания и является пуас- соновским (с параметром ц). Обратимся к описанному в (2.1) общему процессу КО» 0, с параметрами Хг, л.3-. Внимательный читатель должен был заметить, что этот процесс рассмотрен нами лишь до момента <г = До + Ai + .., = lim IWco другими словами, речь шла об изменении состояний КО за конечное число переходов. оо Задача. Пусть т = 2 Af есть сумма независимых k=0 случайных величин Aft, имеющих гТоказательное распре- деление с параметрами к = 0, 1, ... Доказать, что т = оо с вероятностью 1 тогда и только тогда, когда К . (Воспользоваться равенством Ме~х == lim П Me &к 71->со k=Q где = 0 тогда и только тогда, когда т = °° с веро- ятностью 1.) Задача. Пусть I — 0, ±1, ... Доказать, что с вероятностью 1 за конечное время совершается лишь конечное число переходов (2.1).
Предположим, что за конечное время с г^'роятностью 1 совершается конечное число переходов. ТоГда при лю- бом исходном состоянии |(0) = г путем той или иной цепочки переходов процесс оказывается в момент t > О в том или ином состоянии |(0 = / с соответствующей вероятностью P«(0=P<UO=r/U(O)=i}. Уже фактически отмечалось, что картина поведения на- шего процесса J=(s + 0, t > 0, при исходном состоянии g (s) = i такая же, как если бы момент $ был начальным, и при любом t О P{g(s + 0 = /lg(0 = «}=-p«(0; (2.31 указанная вероятность зависит от длины промежутка (s, s + t) и не зависит от его расположения на временной оси (г этом проявляется однородность по времени рас- сматриваемого нами процесса). Еще раз повторим, что при- заданном текущем состоянии |(s) = i поведение процесса £(0, в будущем не зависит от течения процесса £(0, t^s, в прошлом, причем общая вероят- ностная картина его поведения в будущем целиком оп- ределяется исходным состоянием £(s) = i. В соответствии С ЭТИМ при любых условиях 1(5,)= Ц, ..., £(s) = i в моменты <.. .<sm<x вероятность оказаться в момент s + t в состоянии g(s+ I) — j не зависит от отно- сящихся к прошлому условий = ..., £(sm)=im при заданном текущем состоянии £ (s) = i и есть (« + 0 = /1В («1) = ii, ..В (sm) = im, I (s) = i) = = Pc(0. (2.4)’ Выраженное здесь для любых i, j и t, s свойство на- зывают марковским; piS(0, i^O, называют вероятностью перехода из состояния i в состояние / за время t пли, короче, переходной вероятностью. Задача. Показать, что при наличии марковского свойства (2.4) мы имеем р(^(«+М = 71, ...,В(*+0) = “ in I В (^1) = 0» •••эВ (^тп) = 01 В (0 = 0 = = Р{В(О = /1,...эВ(М = 7п|В(О) = 0 = Pi3x (0 0) • • • Pin—13-п (0 0-1) (2-5)
для любых состояний в произвольно взятые моменты времени st < ... < sm < s и 0 = t0 < f, < ... < t„. В дальнейшем мы укажем общий метод нахождения переходных вероятностей p-ij(t) по параметрам и = ХгЛц, j ¥= I. (2.6) Задача. Показать, что при малых h > 0 справед- ливы следующие асимптотические выражения: р«(/г) = 1 — ХЛ + о(/г), Pa(h) = Ktjh + o(h), (2.7) где о(Л)/Л-*0 при h 0, причем равномерно по всем i, j в случае ограниченных параметров < С (согласно (2.2) при любом g(s)=f для числа v{h) последующих переходов за время h имеем P{v(ft)>2|g(S) = r}< < (1 — e~^h) 3 «»7 (1 — е = о (fe) при h -+• 0). 2. Метод дифференциальных уравнений. Мы будем говорить о системе, состояние которой в момент t есть 1(f). Пусть имеется конечное или счетное число воз- можных состояний. Как правило, будем обозначать каж- дое состояние его номером Z == 0, ±1, ... Предположим, что процесс перехода системы из одного состояния в дру- гое является случайным и подчиняется описанным в (2.3), (2.4) закономерностям с переходными вероятно- стями Pv(O=P{B(O = /lB(O) = i}l |1, Pij(°)= [о (2-8) / =ч i h при всех г, / = 0, ±1, ... Будем называть |(i), ОО, однородным марковским процессом. (Отметим, что для любого выбранного шага h > 0 последовательность со- стояний |(nfc), n = 0, 1, ..., образует известную уже нам цепь Маркова с переходными вероятностями Рц = ^PaWt i, j — 0, ±1, ...) Модель однородного марков- ского процесса |(f), f^O, в котором за конечное время совершается лишь конечное число переходов из состоя- ния в состояние, была описана нами в (2,1) с точки зре-
ния поведения траектории процесса (графика его тече- ния во времени). Рассмотрим общий однородный марковский процесс 1(0/ ^0, с переходными вероятностями (2.8). Пусть задано начальное распределение вероятностей р, = _=?{£(()) = г), 7 = 0, ±1, ...; тогда, согласно общей формуле (2.5), совместное распределение вероятностей случайных величин £(£,), ..., ,|(Q при любых 0 = = будет P{^(fl)s7u = = = 2 PiPij^ (0 to) • • • Pin-iin tn-i), (2.9) и в частности, вероятность того, что система в момент t > 0 будет находиться .в состоянии /, есть рЯ0 = 2р?ру(0, / = о,±1, ... (2.10) i Рассмотрим зависимость переходных вероятностей Pu(t) от времени t>0. Так же как и для дискретного времени (см. (1.7)), здесь мы имеем РП (» + 0 = 2 Pih (s) Pkj (0, i, j = 0, ± 1, ... (2.11) h при всех s, Ь>0. Напомним, соотношения (2.11) полу- чаются непосредственным применением формулы полной вероятности; скажем, для полной системы событий {£ («)=*=/с), k = 0, ±1, ..., при исходном £(0)=7 полу- чаем, что Ро(« + 0=Р{И«+ i) = 7‘IU0) = 0 = =- 2 Р{£ (® + t) = j | В (0) = U (0 =*}₽{£ (0=^1 £ (0)=i}= = hpkj(t)pih(s). h * Задача. Пусть имеется два состояния 0 и 1, и пусть при исходном |(0) = 0 процесс непрерывно находится в состоянии 0 случайное время т, распределенное по по- казательному закону: Р{т > t) = е~и, 7>0, а затем (в момент т) переходит в состояние 1, где остается навсегда,, Показать, что этот процесс обладает
марковским свойством. Указать его переходные веро- ятности. Обратимся к общим соотношениям (2.11) и выведем из них дифференциальные уравнения для переходных вероятностей pa(t), предположив их дифференцируемость по i > 0. Положим = р'^ (0), i, j = 0, ±1, ... Вве- денные здесь параметры Z.-j таковы, что = lim - 1 = - < 0, h-*o 11 = lim 0, ft-»o Наложим на них условие .2 — ^ii (2.13) оно всегда выполнено, например, в случае конечного числа состояний и является следствием того, что 2 Pij (/0 = 1— Рц (h). 3^=i Теорема 1. При усчовии (2.13) переходные веро- ятности удовлетворяют системе дифференциальных уравнений P'liW ^J^ikP^it), г, 7 = 0, ±1, ... (2.14) /l (Она называется обратной системой Колмогорова.) Доказательство. Согласно (2.11) при h > О Рц (t + h) - р.} (t) Pli(h)-1 ^pihW —h---------------h—Pa w = ~~h~ рю W- fe=?4 Взяв в сумме справа любое конечное число слагаемых, которые все являются неотрицательными, скажем, взяв |/с|<п и положив /г-> 0, а затем получим не- равенство Р'ц (t) ~ КгРц (0 > 2
С Другой стороны, используя при n>li| оценку ит 4 2 2 Ргк^- h-»o h |fi|>n h^° W>n ж= lira 4 1 — 2 Pih = lim 1 Pli h-?0 L |fe|«n J h -iim я v x„, ^-0 |h|7n, IZilTn, k^i получим p'. (t) — KiPij (0 2 ^ihPhj (0 + X “ 2 ^ih\r w W k^i H3 |fi| <n, \ k^=i / где, согласно условию (2.13) X— S ^уЛ-^Опри n-*- I I \ k^=i / -+• °°. Наши неравенства в итоге дают p\j (0 — ^iiPij (t) = s ^ikPhj (t), что и требовалось доказать. .Предположим теперь, что и в предельном вы- ражении (2.12) сходимость к Хц при h -» 0 является рав- номерной по всем состояниям I. При этом условии спра- ведливо следующее предложение. Теорема 2. Переходные вероятности Рц(Р) удов- летворяют системе дифференциальных уравнений Х(0 = 2лЛО^ ^7 = 0., ±1, ... в (2.15) /I (Она называется прямой системой Колмогорова.] Доказательство. Мы имеем Рц (t + h)-piS(t) _ — 1 у Pkj(h} h — PijW . h + jU Pik w h ’ h^=i и здесь можно перейти к пределу при h -> 0, что дает систему уравнений (2.15). Переход к пределу при h -> 0 правомерен, поскольку из условия равномерной по к сходимости Phi(hy/h -> Хы вытекает равномерная ограни- ченность pki(h)/h^C и равномерная сходимость ряда (0 Pkj (h)lh.
Отметим прямую систему Колмогорова P$(0 = Spft(O^ 7 = 0, (2.16) h для вероятностей р,(7)’= Р{|(7)'=/} ПРИ любом начальном распределении рЧ = (0) — I}, г = 0, ± 1, ... Уравне- ния (2.16)’ получаются точно так же, как и (2.15),— нужно лишь вспомнить указанное в (1.8) равенство. 3. Пуассоновский процесс. Пример (процесс радиоактивного распада}. Вер- немся к процессу радиоактивного распада и рассмотрим поток а-частиц, обозначив £(7) их число к моменту вре- мени t, начиная с исходного момента 7 = 0. Очевидно, при условии £(s) = 7 событие g (s +1) = j будет означать, что за время t произойдет распад j — i = к атомов Ra и вероятность этого р«(7) = рЛ(7) зависит лишь от раз- ности j — i—Tt, времени t и имеющегося в момент s ко- личества Ra (которое на протяжении реального времени наблюдения мы считаем постоянным). Таким образом, можно считать £(/), 7^0, однородным марковским про- цессом с возможными состояниями 7 = 0, 1, ... и пере- ходными вероятностями Рч(7) = р3-,(7), />7 (переход из 7 в / при / < I, очевидно, невозможен). Мы знаем, что появление за малое время h более одной а-частицы име- ет вероятность о (к), т. е. Рь(к) = о{к) при к >2. Отсюда для соответствующих параметров Ау в (2.12) мы по- лучаем — lim , 0, к 2, — lim . — А* л-»о п л-»о п (Здесь мы изменили использованные ранее на стр. 123 обозначения, заменив имеющееся ранее ц на новое X.) Очевидно, выполняются условия, при которых была вы- ведена прямая система дифференциальных уравнений (2.16), для переходных вероятностей pft(7) имеющая вид Р'о — Ч Ph (О = кр^ (7) — kph (7), к = 1, 2, ... Сделав замену /*(7) = e’’,p/i(7), к = 0, 1, ..., получим /о(0 = О, (H7) = Vft-1(7)1 /£=1,2,...,
и J0(f) = l, = U при начальных условиях fo(O)*=Po(O)= 1, А(О)'=рк(О) = О, й = 1, 2, В тоге приходим к известному распределению Пуассона: Й = ОА... (2-17) Задача/ Как мы знаем, для £(£)' с таким распре- делением М& (i) = kt. Показать, что* Однородный марковский процесс t^O, описан- ною выше типа называется пуассоновским процессом. Для него согласно (2.17) независимо от событий в прош- лом до текущего момента s при любом t > О -₽{g(S+0-U^) = ^} = ^e-M Л = 0л1г... (2.18) Можно представить себе, что такого типа процесс опи- сывает однородный поток независимых событий, наблю- даемых с течением времени, когда £(£) есть число со- бытий за время t (в примере радиоактивного распада каждое событие заявляло о себе появлением ос-частицы); имея это в Виду, о £;(£), t > 0, говорят как о пуассонов- ском потоке событий. Его обычно характеризуют тем свой твои, что |(0) = 0 и при любых 0 < tt <.. .< tn при- ращения l(ti)— Е(0), ..., t(tn)— S(^n-i) являются неза- висимыми, т. е. при любых klt ..., kn независимыми яв- ляются события Ut^-KQj^k,, l(tn)-l(tn^)^kn, Для которых согласно общей формуле (2.9) мы имеем ₽(Ш -g(0) ~к1х...Л (tn) -g(tn^ -kj-' “ Pft.(*i) ... Pkn(t„) с указанными в (2.17), (2.18) пуассоновскими вероят- ностями pft(i). Введен промежутки Ао, Д1, .т. между последователь- ными событиями, начиная с начального момента t = 0 и момента т4 = До наступления первого события. Сумма
П—1 = .S представляет суммарное время ожидания п-го h=0 события; она имеет функцию распределения ₽ {тп < t}=₽ a (i) :> П} = i - а а со < - -•-2^. о». ь=о Дифференцируя ее по t, легко находим плотность веро- ятности />(»)- i>0, (2.19) величины тп > 0 — это уже известная нам плотность гам- ма-распределения (см. формулу (5.8) гл. I). Мы видим, что в общем пуассоновском потоке каждая величина т„, п = 1, 2, ..., распределена так же, как если бы До, Дъ ... были независимыми величинами с одинаковым показа- тельным распределением (с параметром X). Напомним, что именно это было тем свойством, которое 'привело нас к пуассоновскому потоку .в модели радиоактивного .рас- пада, — см. п. 1. . Рассмотрим общий пуассоновский процесс, который будем интерпретировать как процесс появления на вре- менной оси t > 0 случайных точек 0 < <.. .< т„ <..., обозначив £(£) их чйсло за время t. Рассмотрим про- межуток 0 t < Т и предположим, что нам известно число появляющихся на нем точек (обозначим это чис- ло п). Возьмем произвольные 0 = t0 < <.. .< tr — Т и рассмотрим распределение наших случайных точек по различным «ячейкам» (0, tj, (ib tj, ..., (tr_b tj. Задача. Показать, что для пуассоновского процес- са £(0, 0 < t < Т, при условии, что общее число точек есть Ъ,(Т) = п, условная вероятность того, что g(«o) == = «/. §(М-^)=«г, ..., = (2.20) равна л ’ (2-21) *1 ~ *0 f2 — *1 «г — ТТ где рг = —уА р2 = \ 2 рт = —Понятно>
здесь речь идет о вероятности того, что в к-ю «ячейку» попадает соответственно t (*/:)-£ (**-<)> гел то- чек, к = 1, • • ч г- Представьте себе теперь, что на промежу гок 0 t < Т независимо «бросается» п случайных точек, каждая из которых имеет равномерное распределение на отрезке [о, П Обозначим £(£) число точек, попадающих на отрезок [0, t], и будем интерпретировать £(£), 0 < t < Г, как процесс появления этих точек с течением времени t. Задача. Показать, что в этом процессе вероятность любого события вида (2.20) дается формулой (2.21), т. е. она такая.же, как условная вероятность для пуас- соновского процесса при условии, что | (Т) = п. 4. Сходимость к стационарному процессу. Рассмот- рим как пример однородный марковский процесс £(£), t>0, с двумя состояниями (скажем, 0 и 1), в котором переход из 0 в 1 за малое время h осуществляется с ве- роятностью kh + o{h), а из 1 в 0 — с вероятностью lih + o(h). В обозначениях (2:12) будем иметь Xoiх= == %, Хю == X,=== pt. Из прямых дифференциальных уравнений (2.15) для переходных вероятностей легко получаем явные выра- жения А»+ щ-1 -?«.(О И А. (О - m - 1 - Л- «)• десь непосредственно видно, как происходит сходимость при J->oo к стационарным вероятностям -р* = к — Аналогичная картина наблюдается для про- цесса с конечным числом сообщающихся состояний или даже с бесконечным числом состояний при условии, что имеется /0 такое, что при любом исходном £ (0) == i про- цесс оказывается через некоторое время h в состоянии j0 с вероятностью Pij0(h) ^6>0. Это условие было введено раньше для процессов с дискретным временем (марков- ских цепей) и позволило установить для вероятностей ft(0=₽U(0=/} = 2p?Pi;(0 i
СХОДИМОСТЬ Pi (О -* Pit 7 = °. ± i, • • ‘t <2.22) при t-+o° к стационарному распределению {р*} неза- висимо от начального распределения {pj (см. теорему на стр. 114, доказательство которой было проведено таким образом, что оно целиком остается в силе и для непре- рывного времени 0. Свойство стационарных вероятно- V * стеи pj таково, что взяв в качестве начального распре- деления р" = р*, / = 0, ± 1, .. .т получим стационар- ный процесс В (0» ^0, для которого вероятности нахож- дения в каждом из состояний j — 0, ±1, ... остаются неизменными с течением времени t, Pj (0 = 2PiPij(0 s i =р7. Подставив В прямую систему (2.16) эти постоян- ные Pj (0 = рГ, получим следующую систему уравнений: 2Л-0, iJ-0.il,...» (2.23) i для стационарных вероятностей. Задача (о занятости телефонных линии). Пред- ставьте себе, что имеется п телефонных линий, обслу- живающих пуассоновский поток вызовов, при котором за малое время- h один вызов поступает с вероятностью Х/г + о(7г), а более чем один — с вероятностью о (7г). Если хотя бы одна из линий свободпа, то вызов поступает на любую из них, а если все линии заняты, то вызов по- лучает отказ (и больше не рассматривается). Пусть те- лефонные разговоры продолжаются независимо один от другого, и продолжительность каждого из них. имеет показательное распределение с одним и тем же пара- метром Ц (при условии, что разговор ведется в момент t, за последующее малое время h он оканчивается незави- симо от прошлого с вероятностью p,h + o(h)). Как с те- чением времени меняется число £(0 занятых в момент t линий? Считая fe(0 однородным марковским процессом' с состояниями i = 0, 1, ..., п, определить его параметры "кц (подскажем, что А,01 = К = X; ft+i = X, = кц, = Х + при 1<А<п— 1 и пц). По- казать, что стационарное распределение имеет вид • i-О',I,(2.24)
(Эти выражения известны как формулы Эрланга. Отме- тим что для п = 00 они дают пуассоновское распределе- ние ' pt = • • •« с параметром а. = Мр.)’ * Задана (о снабжении энергией). Представьте себе, что имеется п независимых потребителей энергии, поль- зующихся ею время от времени. Пусть для каждого по- требителя процесс пользования1 энергией описывается однородным марковским процессом с двумя состояниями О и 1, где 0 означает, что в момент t энергия не ис- пользуется, al — что она используется. Пусть для всех потребителей параметры этого процесса одни и те же, скажем, переход из 0 в 1 в промежутке длины h про- исходит с вероятностью ЛЛ + o(h), а с вероятностью \jJi + o(h)—переход из 1 в. 0. Рассмотрим общий про- цесс пользования энергией, считая £(£) = г, если в мо- мент t энергий пользуются i потребителей. Как меняется g(£) с течением времени Z? Считая £(£), Z^O, однород- ным марковским процессом с состояниями I = 0, 1, ..., и, определить его параметры Ху (подскажем, что XOi*=Xo = '•= пХ; ХЛ.Л+1 = (п — 7с) X, Xft,ь-j = Ар, Xft = (п — к) к + Ар при 1 < к «5 п — 1 и Х„, п-i = кп = пр). Показать, что стацио- нарное распределение имеет вид' * nl f X V ( р V-7 . п . Pj U + р/ s •••’" V » (видно,- тато это есть биномиальное распределение с па- раметром р = к/ (к + р)). - § 3. Ветвящиеся процессы 1. Метод производящих функций. Представьте себе некие частицы, которые «размножаются» таким образом, что вместо каждой из имеющихся в текущий - момент, з частиц через время t с соответствующей вероятностью сю Pn(t) получается п таких же частиц, 2jPn(Z) = l- Ука- занные вероятности pn(Z), n=s?Q, 1, ,,не зависят от момента s — они одни и те же для любого промежутка (s, s +t) длины t. В соответствии с этим, если в момент s имеются частицы и число их есть £ (s) = 7с, то каждая i-Д из них через время t превращается в частиц
и общее их число будет Ч(* + *) = М0+-..+ Ь(О, (3.1) где независимо друг от друга %,i(t) = ni, ..., £„(/)== ns с соответствующими вероятностями рП1 (t), .. рПк (0 и, следовательно, ркп (t) = Р {£ (s + t) = п 11 (я) = к} = = ₽ {£1 (0 + • • • + (0 = п} = 2 Pnt (0 • • . Pnh {t). nj+...+п^п • (3-2) При к = 1 мы имеем рш(0 —Р»»(0» « = 0, 1, ... В опи- санном процессе размножения не исключается возмож- ность того, что в некоторый момент частицы могут ис- чезнуть — вероятность исчезнуть через время t для от дельной частицы есть p0(t) Будем считать, что £(з + ?)^ = 0, t > s, при условии £(s) = 0. Не исключается также возможность того, что к некоторому моменту образует- ся бесконечное число частиц (явление взрыва). Будем считать, что £(s+f)so°, t^s, при условии E(s)=°°. Рассматривая процесс размножения отдельной частицы (£(0)=1), будем считать, что ее превращение в конеч- ное число частиц п ¥= 1 за малое время h имеет вероят- ность anh + o(h), (3.3) бесконечное число частиц за малое время h может об- разоваться из нее лишь путем последовательных пре- вращений с вероятностью o(h) и исходная частица оста- ется неизменной’.с вероятностью 1 + aji + o(h), где ап, п = 0, 1, ...,— некоторые постоянные (щ^О). Описан- ная нами схема определяет однородный марковский про- цесс В(0» *>0, называемый ветвящимся процессом, с со- стояниями п — 0, 1, ... и переходными вероятностями Pkn(t), которые в дополнение к формуле (3.2) фактиче- ски были описаны и для к, п — 0, Отметим, что Р/«х>(0 = 1 — 2рй«(0» здесь и в дальнейшем указывается суммирование по всем конечным п = 0, 1, ... Введенные в (3.3) параметры суть ап = Х.|п, п — 0, 1, ..., описан- ные в общей схеме в (2.12); согласно (2.13) будем счи- тать, что и. — = — 2 (3.4)
Специально отметим, что Х1ОО = lim л-»о Щоо^) _ 0(h) h . h = 0. Воспользуемся уравнениями Рп(0 = 2«лР*п(0, n = 0,1, ...Л (3.5) h из обратной системы (2.14). Отметим, что |рп(0| =С 21 щ|. Введем производящие функции F (t, z) = 5 Рп (0 гпг Л (f, z) = 2 phn (t) z”; n n согласно формуле (3.1) Fk (fs z) = 2 Г 2 Pnt (0 - • • Ptih (£)] z = n I nj+.. ,+пд=п J = [2P^ (Оz"*j • • • J2 Pnk(t) Z* = F(t,z)\ и при всех к = 0, 1, ... (Fe(t, z)= 1) мы имеем Fk(t, z) — F(t, z}\ (3.6) Напомним, что Ри(0)=1, р1п(0)=0 при «=^1, и со- гласно этому F(Q,z)=z. (3.7) Для производящей функции F,(t, z) = F(t, z) при каж- дом фиксированном z, |z| < 1, получаем F (tt z) = Pn (t)z = n k n = 2 akFh (t, z) = ^ ahF (t, г)\ h h что дает нам дифференциальное уравнение * 1 ~F(ttz) = 2abF№h h & а с параметром z, который будем рассматривать в преде- лах Osgz^l, и тогда будем иметь 0 ^F(t, z)^l. За- пишем полученное дифференциальное уравнение в виде f = (3.8)
с помощью функции / (я) => 2 ak^k переменного х, 0 ft С х «2 1. При фиксированном z, 0 < z < 1, производящая функция x(t) = F(t, z) есть решение дифференциального уравнения (3.8) с начальным условием (3.7). При f(x)'^ #=0 вместо уравнения (3.8) удобно рассмотреть эквива- лентное ему дифференциальное уравнение для обратной к x = x(t) функции t = t(x): ~ = у записав решение этого уравнения в виде К = (3.9) Z Пример. Пусть ай = h, al = —X, ап — 0 при п > 1. Тогда /(ж) = Х(1 — х) и X — I Из этого соотношения легко определяется функция F{t, z). Именно, ln(l-F) = -M + ln(l-z) и F(t, z)— 1 — - z). Вероятности pn(t), определяемые из разложения F z) = 2 Рп (0 z\ суть pQ (t) = 1 - e-’"', p, (t) = n Pn(i) = 0 при n > 1. Задача. Представьте себе, что частицы размножа- ются «делением пополам» и а0 = 0, а, = —%, а2 = X, ап ~ •=0 при п>2. Найти производящую функцию F(t, z) и соответствующие вероятности р„(^), га = 0, 1, ... 2. Дифференциальные уравнения для производящей функции. Вернемся к рассмотрению общих дифференци- альных уравнений (3 8)— (3.9), в которых функция /(«) удовлетворяет условию /"(#)=» ^к{к—l)ahx1~z^:0 при 0 х 1, ft>2 так что она является выпуклой, а ее- производная f'(xj монотонно возрастает на интервале 0 < х < 1. Значение ж = 1 является корнем уравнения /(ж) = 0, так как
2<Zfe== 0. Может быть еще лишь один корень х^а этого уравнения, и, в соответствии с этим, график функции fix', выглядит так, как указано на рис. 12. Предположим, что имеется корень х — а, 0 < а < 1, который определяет интегральную кривую х(1)^а диф- ференциальных уравнений (3.8), . (3.9). Возьмем интег- ральную кривую, проходящую через точку t = 0, х = z (0®S2<a). Поскольку производная /' (а) конечна и при х, близком к а, функция /(х) приближенно равна f(a)(x — a), то гдоль интегральной кривой значение 'W-fw г / неограниченно возрастает при х -> а, причем сама кри- вая нигде не пересекает другую интегральную кривую x(t)^a. На интервале 0Сж<а функция f(x) является положительной, и, следовательно, вдоль интегральной кривой значение x(t) монотонно возрастает при х -> а и остаемся ограниченным величиной х — а. Как ограни- ченная монотонная функция, x(t) имеет предел P = lima:(Z), z=CP=Ca. /->00 Но при х -> р непрерывная функция /(х) имеет своим пределом 7 (Р) = lim / (х (£)) = lim х’ (£). t->0Q t^oo
Ясно, что значение /(Р) должно быть равно нулю, так как в противном случае t x(t) = z + j / (ж (s)) ds о будет неограниченно возрастать при t °°. Следователь- но, Р является корнем уравнения /(ж) = 0 и совпадает с а: р = а. Таким образом, все -интегральные кривые х = х(1), при £ = 0 проходящие через точки ж=з, z < а, монотонно возрастают при t 00 и limx(i) = а. t-*OQ (3.10) Вполне аналогично поведение интегральных кривых, проходящих при t = 0 через точки х = z, а< z< 1 (0«£а<1). Разница будет лишь в том, что x(t) моно- тонно убывает, поскольку производная х'(t) —f(x(t) ) отрицательна (((ж)<0 при а < х < 1). Общая картина интегральных кривых в об- ласти £ > 0, 0^ж^1, отве чающих значениям парамет- ра z в промежутке 0 z < 1, приведена на рис. 13. Эта картина очевидным образом упрощается при а = 0. Случай z = 1 нуждается в особом рассмотрении. Ему всегда отвечает интегральная кривая вида x{t)^ 1 (на- помним, что /(1) = 0). Пусть /(ж) обращается в 0 цри ж = 1 таким образом, что функция 1//(ж) неинтегрируе- ма в окрестности точки х = 1, скажем, мы имеем а < 1 и I du J /(и) ко = —оо, а<ж0<1. (3.11) Возьмем произвольную интегральную кривую; пусть при некотором хй, ос < ж0 < 1, мы имеем значение t0 — £(ж0)> > 0 и соответствующая кривая задается как К ,* du I / (w) . t (я) = t0 +
Очевидно, наша кривая, лежащая в области £ О, не пересекает интегральной кривой поскольку при а; — 1 мы имели бы г 1 х0 в частности, при f = 0 мы имеем значение a:(0)'=z<l. Таким образом, x(t)^l является единственной интег- ральной кривой, проходящей через точку t = 0, х = 1. О tn t п . а) В) Рис. 14 Пусть теперь функция имеет интегрируемую осо- бенность при х= 1: 1 1т?Г>'~ООл a<^o<i- (3.12) «о Тогда при достаточно большом t0 > 0 соответствующая интегральная кривая « хо переходит в интегральную кривую x(t)^ 1, касаясь ее в некоторой точке t = т, х — 1, где «о (см. рис. 14, где приведен общий вид интегральных кри- вых вблизи х = 1). В этом случае через точку t = О, 1 проходит целое семейство интегральных кривых
xr(tj, каждая из которых отвечает своему значению т. Среди них есть интегральная кривая отвечающая значению т = 0 и обладающая тем свойством, что кривая xB(t) лежит ниже всех остальных интегральных кривых xT(t): xB(t)< xt(t),_ 0<i<°°. Это объясняется тем, что внутри области 0 < х < 1, 0 < t < оо решение рассматри- ваемого дифференциального уравнения единственно и ин- тегральные кривые в этой области не пересекаются друг с другом, Легко видеть. также, что интегральная кривая ~о(О является предельной для других интегральных кри- вых x(t)=^F(t, z), лежащих ниже ее и проходящих че- рез соответствующие точки t — 0, x = z (0^z<l): х0 (t) == lim F (t, z). (3.13) 4 3. Вырождение процесса и явление взрыва. Прове- денный анализ дифференциальных уравнений (3.8) —(3.9)’ позволяет сделать следующие выводы относительно са- мого ветвящегося процесса g(i), " Вообще говоря, имеется положительная вероятность того, что через некоторое время t не останется ни одной частицы. (Конечно, этого-не может случиться, если а0 — =0, т. е. если частицы не могут исчезать, а могут лишь размножаться.) Если в исходный момент t = 0 имеется одна частица, то эта вероятность есть p0(t) = F(tt 0). Если вначале имеется к частиц, то эта вероятность есть Z’wG)’3’E(i, О? = pB(t)\ Функция pQ(t) является реше- нием дифференциального уравнения (3.8) с параметром 2 = 0: р'о (t) = / (pQ (t)), Ро (0) = 0. Нами показано, что это решение при t -> «> асимптоти- чески приближается к значению а, которое является наименьшим корнем уравнения /(#) = () (см. (3.10)), т. е. lim р0 (t) = а. Можно сказать, что а есть вероят- ность вырождения ветвящегося процесса g (£) — вероят- ность того, что к некоторому моменту времени не оста- ется ни одной частицы. Если же в исходный момент t — О имеется к частиц, то вероятность ьырождения рав- на ah = lim phQ(t). Проведенный анализ дифференциальных уравнений (3.8) — (3.9) показывает также, что при условии (3.11) за конечное время каждая частица с вероятностью- 1
порождает конечное число частиц, поскольку lim F (t, z) = '^lpn (t) = 1 z->l П рюо(П = 1-2рп(0^о1 t>o. n При условии же (3.12) согласно (3.13) мы имеем lim F (t, z) = х0 (t) = U — р1<х (t) < 1г z-»l где (1) < 1 при t > 0 и, таким обназом, из одной ча- стицы за конечное время t образуется с положительной вероятностью pi^ft^O бесконечное число частиц.’При наличии в исходный момент к частиц через время t с вероятностью phoo(t) = 1 — xv(t)k образуется бесконеч- ное число частиц (это явление можно назвать взрывом). Отметим, что явление в’Зрыва дает нам пример, ког- да нарушаются уравнения из прямой системы (2.15) для переходных вероятностей. В самом деле, для функ- ции а;с(0= 1 — удовлетворяющей уравнению (3.8) с начальным условием xQ (0) = 1, мы имеем х0 (0) = =/(!) = —Pioo(0)=0’ откуда получаем —р«(0) = =ь'— кх0 (0) х0 (0) = 0 при всех к = 0, 1, ..., включая к — оо (поскольку /?„<»(£)= 1). Согласно (2.15) прямое уравнение для pt„(t} имело бы вид Рюо(0==0, Pi°o(0) = = 0, и из него следовало бы Рк»(0 = 0, но мы знаем, что это не так при условии (3.12). •Задача. Может ли произойти «взрыв» при делении пополам (см. задачу на стр. 138) ? § 4. Некоторые процессы массового обслуживания и случайные блуждания (процессы восстановления) Пусть £г, ...— последовательность положительных независимых случайных величин, имеющих одинаковое распределение вероятностей, и Sn S w = 1Л 2, .., h=l Будем условно считать, что имеется, некоторый прибор со сроком службы после выхода его из строя (черев случайное время он заменяется новым прибором, ко-
торый, в свою очередь, выходит из строя через случай- ное время |2, после чего заменяется следующим новым прибором и т. д. При такой интерпретации величины <5'п естественно назвать моментами восстановления. В рас- сматриваемом процессе восстановления Sn, п — 1, 2, .. нас будут интересовать число восстановлений v(t) в про- межутке времени [0, i] и оставшийся срок службы ра- ботающего в момент t очередного прибора. Будем пред- полагать, что восстановления' происходят в дискретные моменты времени t — kh, кратные некоторому h > 0 (ска- жем, h = 1), и в соответствии с этим пусть рассматри- ваемые величины к = 1, 2, ..., принимают целочис- ленные значения х = 1, 2, ... с соответствующими ве- ОО роятностями Р(2), Введем 1 G(^)= 2 ₽(//) = ₽&>*} 1/>а — вероятность того, что срок службы прибора будет больше х. Обозначим время работы очередного при- бора к моменту ti g(f) = *-Sv(n. (4.1) К следующему моменту времени t + 1 прибор либо вы- ходит из строя и заменяется новым прибором — в этом случае |(£+1)=0, либо продолжает работать — в этом случае £(£+ !) = £(£)+ 1. При условии, что прибор про- работал время х, он выходит из строя через единицу времени и заменяется новым прибором с условной ве- роятностью <2(z) = P{gt — я; + > .-г} = = Р(ж+1)/С(ж), 2 = 0,1,... Случайный процесс £(0)-> £(1)-»-... представляет собой цепь Маркова рассмотренного ранее типа (см. стр. 117), когда из состояния х возможен переход либо в следующее состояние х + 1, что происходит с вероят- ностью р(ж)= 1 — q(x)’= G(x+ 1)/б?(2), 2 = 0, 1, ..., либо в «начальное» состояние 0, что происходит с ука- занной выше вероятностью д(х). Очевидно, попадание в состояние 0 при некотором t (£(0 = 0) означает вос- становление в момент t, время возвращения в состоя- ние 0 есть не что иное, как время службы отдельного
прибс a, 4i зло попадании в состояние па интервале (s £] равно числу восстановлений за промежуток вре- мени от s до t и т. п. Мы знаем, что для марковской цепи £(0 указанного типа с состояниями х = 0, 1, при условии, когда среднее время возвращения в состоя- ние 0 конечно, имеется стационарное распределение ве- роятностей Р* (0) = 1/И> р* (!) = Р (°)/Кг •••.? (*) = = р(0) ... р (х — 1)/р, ... Здесь мы использовали несколько другие обозначения, чем на стр. 117.) Для наших переходных вероятностей р(х) = G(x + i)/G(x) это стационарное распределение имеет вид Р*(ж) = G(X)/pt х = 0, 1, ... При этом сред- * оо нее время возвращения Ц = У G (х) совпадает со сред- ос=О ним временем службы отдельного прибора: 2 а;Р (я) = 2 ж — 1) — (ж)1 = 2 (ж) = 11 1 Напомним, что G(x) есть вероятность того, что срок службы прибора больше х; предположим, что G(x) убы- ваем при ж-> 00 достаточно быстро, а именно, С(ж + 1)гЗ s^aG(x), где а<-1. В этом случае все вероятности q(x)= 1 — G(x + 1)/G(x) перехода в точку 0 не меньше 1 — а > 0, и, следовательно, для них выполнено изве- стное нам условие (1.16) с б = 1 — а. При этом условии, как мы знаем, будет справедливо следующее предложе- ние (см. общую теорему п. 3 § 1). Теорема 1. Величина £(i) имеет при пре- дельное распределение lim Р {£ (0 = z} = G (x)/pt х = 0г 1,... (4.2) t“»co Задача. Пусть n(t) есть среднее число восстанов- лений за время t (иначе, среднее число попаданий в со- стояние 0 за это время). Показать, что для фиксиро- ванного Т n(t + T)-n(t)=± 2 ₽{Us)“0}->^ J<s<t+T Р при t -* оо (т е. ПрИ длительном процессе восстановле- ния среднее число восстановлений за время Т приблизи- тельно равно величине Т/р, где р — среднее время служ- бы отдельного прибора). '
Рассмотрим теперь время, которое работающий в мо- мент t прибор будет еще продолжать работать/ точнее, величину т] (i) = 1 t, (4.3) где SV(i)+i — следующий за t момент восстановления (мо- мент замены -рассматриваемого прибора). Интуитивно ясно, что при длительном процессе восстаповления (i->'оо) распределение вероятностей величины r\(t) дол- жно быть приблизительно таким же, как и величины £(£) = t — SV(i). Основанием к этому служит «обрати- мость» во времени процесса восстав овлепия — моменты восстановления можно считать в обратном порядке (fi = Si, & = + Ц .... Sn = g1+...+ gn и = и S2 = Sn + Sn—11..., Sn = Sn + ... + Si имеют одинаковое совместное распределение). |3адача. Показать, что если время ожидания по- ломки прибора имеет, показательное распределение ве- роятностей, G(a,) = с-7,1, ж = О, 1, ..., то уже с самого начала P{T](i) = a;} = б?(я)/р, (|1= 1/(1 — e~K)) — сравни с (4.2). Теорема 2. Величина т](t) при t имеет пре- дельное распределение вероятностей lim Р (£) = х} = G (х)/р} х = 0,1, ... (4.4) f-»oo Доказательств.о. Положив So = 0, имеем р {ц (0 = = 2 р {sn t, Sn-i-! = t + х + i}, , n=o 1 где P {Sn t2 Sn+i = t + X + 1} = t = S P {Sn-i-i — t + ® + 11 Sn — $} P {Sn = s) = 4=0 - S ₽{Sn+1 = t + x + 1 -s}P{S„ = .s} = = 2 P(i + г + 1 - s) P{Sn = s).
Получаем, что р {т](2) = 4 « X Р (* + х + 1 - s) Р {£ (s) = °} = = S P(u + x-l)P{Ui-u) = Q}i u=o поскольку ‘ -• • . £Р(5„ = в) = Р{Й) = 0} п . есть вероятность того, что .момент s является моментом восстановления. Принимая во внимание, что при (-»<» У, P(u + X — l)->G(z), Р{£(t — и) = 0}-> 1/р£ 12=0 пол/чаем формулу (4.4).’ § 5. Броуновское движение 1. Общее описание. Речь будет идти об одной матема- тической модели, которая обязана своим происхождением хорошо известному физическому процессу броуновского движения, совершаемого взвешенной в жидкости части- цей под воздействием хаотических столкновений с моле- кулами. Рассмотрим это движение на плоскости, обозна- чив £,(2) и координаты броуновской частицы через время t и считая, что в начальный момент 2 = 0 она на- ходится в начале координат. Предположим, что величины 11(2) и (2) имеют совместную плотность вероятности, которая обладает центральной симметрией относительно исходной точки 0. Предположим еще, что смещение бро- уновской частицы в ортогональных направлениях OXt и ОХ.2 происходит независимо и в итоге при каждом 2 ко- ординаты £,(2) и (2) есть независимые случайные ве- личины. Тогда, как мы знаем, каждая из этих величин имеет нормальную плотность вероятности вида (5.1) V 2лсг2 («) см. но этому поводу стр. 63. В дальнейшем будем рас- сматривать лишь одну из координат, условившись гово- рить о броуновском движении на прямой. С самого нача-
па следовало бы сказать об однородности процесса бро- уновского движения, которую мы выразим в следующей форме: смещение частицы в промежутке времени от s до s +1, равное |(s + t)~- g(s), имеет то же распределение вероятностей, что и смещение £(£) — .£ (0) за то же время t при начальном s = 0 (напомним, мы считаем £(0) = 0). Учитывая, что за- конечный промежуток времени частпца практически испытывает бесконечно большое число неза- висимых друг от друга соударений с молекулами, будем предполагать, что смещение частицы на различных непе- ресекающихся интервалах 0 < £, < tz < ... < tn представ- ляется независимыми величинами £(^), |(М —1(М» ..., При этом предположении для параметра n2(£) = Dg(£) в формуле (5.1) получаем следующую зави- симость от времени: o2(s + t) = o2(s) + o2(i), s, t>0. В самом деле, £(s+ t) — £(«)+ [£(s +t)— £(«)] есть сумма независимых величин и Dg(s +1) = Dg(s)+ D[g(s +1)~ — |(s)], где величина g(s + i)—g(s) имеет ту же дис- персию, что и ^(i). Таким образом, о2(£) есть линейная функция от t, c2(t) = c2t, (5.2) постоянная о2 называется коэффициентом .диффузии. Задача. Показать, что при любых 0 < Z, < ... < tn величины £(£,), ..., S(in) имеют нормальное распределе- ние вероятностей с нулевыми средними значениями и корреляционной матрицей В — ’ k, j = 1,..n. Отметим, что B(s, f) = M£ («)£(£) = с2 min (s, £), s, (5.3) называется корреляционной функцией процесса броунов- ского движения. Итак, в нашей модели броуновского движения £(£), t 0, на любом интервале (л, t] величина £(£)—g(s) име- ет нормальную плотность вероятности p(t — s.x) = _______1_______е~x2/(2G2(t—s)) о Д/2л (t — s) — оо < х <Z оо1 (5.4) причем для любых 0 < , < tn приращения [ (ii) —
— 6(0) £(М — B(^n-i) являются независимыми (на- помним, *i (0) = 0). При условии t(s) = x в последующем течении процесса g(i), f5>s, случайные величины %>(t)-x имею'г (незаз хсимо от «прошлого» до момента s) такие яге распределения вероятностей, как и соответствующие s) при условии £(0) = 0. В частности, условная плот- ность вероятности величин g (t) при условии g (s) = х есть р (s, х, t, у} — p{t s, у х) — • - • =----- - — е , — оо <у <_ оо. (э.э) al/2n(t-s) Она зависит от переменных параметров s, t и х\ легко проверить, что _8р_____Lh2^£ 8р____Ln2^ щ щ 8S - 2 ° дя»' 8t 2 0 (эти ди(Ь(Ьере нциальные уравнения известны как прямое и обратное уравнения диффузии). 2. Некоторые свойства траекторий броуновского дви- жения. Обратимся теперь к траектории броуновской ча- стицы, которую мы определим с помощью последователь- ных приближений по ее положениям ^ (^„) в дискретные моменты thn. В качестве этих приближений мы возьмем случайные кусочно-линейные траектории In (t) = £ (М + I? (th+1,n) - g (^ (5.7) lh+i,n lkn tkn t^^tk+l,nf каждая n-я траектория £n(i) своими линейными звеньями последовательно соединяет точки ^(^„), где взяты thn = =£. л=оХ... Теорема. С вероятностью 1 случайные функции Ы0, i^O, сходятся равномерно при п-+°° на каждом конечном временном промежутке. Факт этот далеко не простой, и его" доказательство потребует от нас немало усилий. Рассмотрим события А^п = / max | (О-Ы01>М« где п > m и взято целое Т > 0. Очевидно, для функций Sn(r) указанный здесь максимум достигается в одной из Узловых точек th ~ к/2п, причем при увеличении п этот
максимум может лишь увеличиться, поскольку имеющие- ся для меньших п узловые точки thn и значения в них не меняются при увеличении (для ясности см. рис. 15, схематично изображахощий траектории при п = = т + 1 на интервале длины 2~т с узловыми точками tim, ti+l' т). Согласно сказанному At’ s= |шах [ | £ (ifcn) — £ (^im) I, | £ (tkn) —: £ (4+l,m) 1 > где величины |£(6.п)~ £(^™) L l(A+i,m)l на ин- тервале tim =C thn =C £i+1. m имеют такое же распределение вероятностей, как и соответствующие величины ~£(0)l, Fg(ibn)-g(2-m)l на начальном интервале 0=С «S tkn «С 2~™. Число всех интервалов с узловыми точками tim равно 2тТ (напомним, мы взяли целое Т), и очевидно Р(<-п)< <2т7’-Р( шах [ |g(tftn)|, |g(fe) - g(2“m)| ]>®т 1о<й<ап—m Кроме того, поскольку ^(^„) — £(2_т) имеют то же рас- пределение вероятностей, что и g(£jn), j = 2n~m — к, и все £(4„) имеют симметричное распределение, то Р 2mT. 4Р f max g (tftn) > em lo«fe<C2n—m К величинам gft = £(tft„), k = l, ..., 2m, применимо сле- дующее общее пр щложенпе. Лемма. Пусть случайные величины gt, ..., тако- вы, что при всех к= 1, ..., г — 1 разности gr — _gA не -зави- сят от и PUr-gft^0}^P{|r-gft<01
(скажем, величины §r — имеют симметричное распре- деление вероятностей). Тогда Р /max <2Р{^г>ж}1 - а?>0. (5.8) Доказательство. При условии тах^>ж1 обозиа- h чив первую из величин gt, ..превышающую уро- вень х, и учитывая, что событие iv = к} определяется по первым к величинам gi, .а разность £г —от них по зависит, имеем г-1 Р (max Ik > xl = У, Р {v = к, £г х} I h ! h—o < 2 р {v = к, l - < 0} = 2 р {v = к} • р & - ik< о) < k—0 h—0 < 2 Р {V = к}-P{£r - > 0} = 2 P {V = >0}< h—o fe=0 <p{gr>^ что при сложении с неравенством Р |тах^;>ж, = ₽{£г>4 и дает нам оценку (5.8). Применяя ее к величинам £fc = g(£ftn), получим ₽( max g(</i?,)>em]C2.’[^(2~m)>em), (o<efe«2n—m J где для величины (2“m) — последней в последователь- ности величин £,(thn), к = 1, ..., 2n~m, с которыми мы здесь имеем дело, Pl6(2-")>ej_ > С |/2л J emV2”l/a 1 о 1/2л е,п
В итоге приходим к следующей одной и гой же при всех п > т оценке: Р ОФ”) < 47а i/~JL /2mc-^2m/(2a2) ’ п ет Еще в самом начале доказательства мы отметили, что Afnt п = т + 1, т + 2, ..образуют возрастающую по- следовательность событий, так что для вероятности Р(Л??) = 1Ш1 Р (Л£-п) П-»оо события A'r =* U А™'п будет справедлива та же полу- ченная выше оценка. Очевидно, событие А™ означает, что чаах | gn (t) — gm (t) | > em хотя бы при одном п > т. Выберем ет -> 0 так, чтобы сходился ряд е, 6 т=1 т (скажем, можно взять em = 2~т/4)', Тогда из сходимости оо ряда 2 &(At)<z<x> по первой лемме Бореля — Кан- т=1 телли следует, что с вероятностью 1 среди А™, т— 1, 2, ..., происходит лишь конечное число событий, а это значит, что с вероятностью 1 при достаточно больших т и всех п~> т шах | (i) — gm (i) К где Em -> 0 при m -> co. Мы видим, что с вероятностью 1 последовательность функций gn(t) сходится равномерно на каждом конечном промежутке 0 t 7, что и тре-. бовалось доказать. Равномерно сходящаяся последовательность непрерыв- ных функций вида (5.7) имеет своим пределом непрерыв- ную функцию g(t)«limgn(f). (5.9) Очевидно, в любой двоично-рациональной точке t = tkm мы имеем неизменную при всех п> т величину £п(0.= £(0»
и грубо говоря, указанная в (5.9) непрерывная функция t’/м ‘3s О, есть результат проведения непрерывной тра- ектории через положения броуновской частицы во всех Рис. 16. а) Экспериментальные траектории броуновского движения с коэффициентом диффузии о2 = 1; б) увеличенная часть рисунка. Двоично-рациональных точках t = thn на полуоси t > 0 — Это и есть непрерывная траектория броуновского движе- ния i>0. Несколько экспериментальных траекторий
броуновского движения показаны на рис. 16 *)’. Характер их таков, как если бы они были начерчены хаотически дрожащим пером (что отражает характер физического процесса броуновского движения, в котором частица ис- пытывает бесконечно частые воздействия молекул, каж- дое из которых вызывает бесконечно малое смещение). Как мы увидим ниже, с вероятностью 1 траектория бро- уновской частицы на любом интервале имеет неограни- ченную вариацию: sup 2j i h=l 2 |g(tft)-g(fft-i)l=oo Теорема. В процессе броуновского движения на любом интервале ($, t) с вероятностью 1 пт Кт 2 £ {h) - £ (^-t)]2 = о2 {t - 8), (5.10) m->oo где предел берется no последовательности разбиений s = i0 < < ... < tnm = t- с шагом h — max [th — Доказательство. Покажем сначала, что предель- ное соотношение (5.10) выполняется для разбиений с произвольным шагом h -> 0, если иметь в виду средне- квадратический предел. Действительно, мы имеем M[g{tk) - I {t^)]2 = о2 (tft , положив Aft = [g(tft) — ^(4-i)]2 — o2{tk —-tk-t), по известной нам формуле для моментов, выражающей их через ха- рактеристическую функцию, для величин £,{tk) — £(tft-i) с нормальным распределением будем иметь МА1 = М [g {th) - g (ffe-x)]4 - о4 {th - th-J2 = 2o4 {th- th-tf. Обратившись к сумме 2 К (М - В (^-i)l2 - о2 (t - s) = 2 дй k=i k=i независимых величин Aft со средним 0 и указанной выше *) См. Bibliography on time series and stochastic processes./Ed. H. O. Wold.— Edinburgh, London, 1965, pp. 10—11. В книге дана обширная библиография но теории случайных процессор.
дисперсией, получим, что ('Л \ 2 2 Да = 2 мДа = 2 2о4 (th - А / fe=i ь=1 п < 2о4 max (th — tft-i) 2 (th — th-J = • k a=i = 2o4/z (t— s) -> 0 при h 0. По неравенству Чебышева P e <2o4 (i-s)A и при n — nm, h = hm можно выбрать e = em -> 0 так, что- бы сходился ряд — оо f 71 2р 2 Да т—1 I й—1 j ОС • Для таких Em ио лемме Бореля — Кантелли с вероят- ностью 1 происходит лишь конечное число событий пт 2 Да Em s с вероятностью 1 при достаточно больших т мы имеем пт 2 Да А=1 Ещ где Ет -* 0. Теоре- ма доказана. Задача. Показать, что с вероятностью 1 броуновская траектория на любом интервале имеет неограниченную вариацию. 3. Распределение максимума и момента первого до- стижения. Рассмотрим максимум броуновской траектории = max £ (з) на отрезке [0, i] и величину тя = min {t: — момент первого достижения точки я>0 бро- уновской частицей. Очевидно, эти величины связаны меж- ду собой через события > х} = {-тя «С i}, напомним, бро- уновская траектория непрерывна. Будем считать, что в силу «симметрии» блуждания при 'исходном -состоянии ^(тя) = я, где частица находится в момент тх, в последу- ющий момент О тх броуновская частица оказывается в положении £ (£) > х или g (£) «5 х с одинаковой вероят- ностью 1/2. Согласно этому с учетом включения {тя«££} =
= > ж) э {g (i) > х} мы имеем откуда получаем, что • P{TxsSt} = 2P{g(Z)>z}, t>0. Задача. Показать, что величина т = тя >0 имеет плотность вероятности, при о2 = 1 равную [/2л t>0. (5.11) Задача. Показать, что с вероятностью 1 броуновская частица рано или поздно достигает любой точки х, — °° < < х < оо. Задача. Показать, что максимум g = g(, g =» = max g (s) 0, имеет плотность вероятности *>0. (5.12) Непрерывная траектория броуновской частицы g(u), 0 и t, достигает своего абсолютного максимума в не- которой точке т, 0 С т С f (будем иметь в виду первую точку максимума, если их несколько). Найдем распреде- ление случайной величины т. Предположим, что имеется плотность совместного рас- пределения вероятностей случайных величин т и g = g(r) (g = max g (u)\. Покажем, что тогда эта плотность \ 0<u<t J имеет вид Pt.i (s, ж) = ----г-1----— е~~х2/&\ зх ~]/s (t — s) s (5.13) 0<s< t, 0 Ж < °°. Для этого рассмотрим сначала совместное распределение вероятностей случайных величин то и g, где то, как и раньше, означает момент первого достижения броунов- ской частицей точки а > 0. Мы считаем, что после попа- дания в точку а дальнейшее поведение броуновской ’ча- стицы подчиняется таким же закономерностям, как если бы эта точка была исходной с самого начала. Поэтому величина g = max g (и)1 совпадающая при условии то = 0<U<t
„ Q<s<.t, с величиной max £ (u), при указанном условии имеет такое же распределение вероятностей, как и величина « + max £ (“), и согласно установлен- Ной выше формуле (5.12) имеет условную плотность рас- пределения (ж | s) = п С ж < оо. Отсюда вытекает, что совместная плотность вероят- ности Рга>,(81х) величин то, | при 0<s<i, ж>а, имеет вид Pxa!t(s1a,) = pi(x\s)Pra(s)^ — e—a2/(2s)e(x—a)2/[2(t—s)]t n~l/s(t — £') s (5.14) Используем теперь это равенство как а > О, 0 < s < t, х^а. При усло- вии g =- а точка максимума т, оче- видно, совпадает с моментом то, и следовательно, при указанном условии величины т и то имеют одинаковое распределение ве- роятностей. Отсюда заключаем, что Px.t(s, а) = Pr(s| a) pz(fi)=* = Рха (s 1«) А (а) = рХаЛ (s, а), где рх(з\а] и Pto(s|«) есть услов- тождество при всех ные плотности вероятности величин т и то при условии £ — а. Из указанного в (5.14) тождества при х — а по- лучаем Рх,% (sI а) = * JL g-a2/(2s) — s) 6 О < s < t, .0 a < что и дает нам формулу (5.13). Плотность же отдельно взятой величины т — точки максимума броуновской
траектории |(н) на отрезке времени O^u^t—есть ОО ОО Рх (s) = J Рг., (s, х) dx = v-^—Г J т dx = V J L у й О J =----7=L==, 0<$<t. (5.15) jrVs(t-s) ' ’ Мы имеем 8 Р {т s) = f -,/ arcsin iZ-pi (5.16) ' j Л V« (t — и) Л r t 1 > Это распределение вероятностей носит название закона арксинуса. Такое же распределение вероятностей имеет, конечно, и точка минимума траектории В(u), Видно (рис.’ 17), что наиболее вероятным является такое поведение броуновской частицы, при котором экстремаль- ная точка ее траектории располагается вблизи концов рассматриваемого отрезка [0, i].
Глава 1П ВВЕДЕНИЕ В МАТЕМАТИЧЕСКУЮ СТАТИСТИКУ § 1. Некоторые примеры статистических задач и методов 1. Сценка вероятности в схеме испытаний Бернулли. Начнем с одного примера. Бытует мнение, что при рож- дении ребенка вероятность мальчика такая же, как и де- вочки. Примем это за гипотезу. Для ее проверки имеется огромный статистический материал. Воспользуемся дан- ными по Швейцарии с 1871 по 1900 гг., когда там роди- лось ц= 2 644757 человек и среди них ^ = 1359671 мальчиков и п2 = 1285086 девочек*), Согласуется ли ги- потеза о равновероятности рождения мальчика и девочки с этими числами? Условно назвав «успехом» рождение мальчика, поставим этот вопрос по-другому, обратившись к схеме испытаний Бернулли с вероятностью «успеха» р. Согласуется ли гипотеза р = 0,5 с тем, что. в серии из п = 2 644 757 испытаний частота «успеха» оказалась рав- „ ni 1359 671 Пои Т = Г644 7ЭТ = О’5141? Очевидно, если вместо гипотезы р — 0,5 выдвинуть, скажем, предположение о том, что -р = 0,1, то это пред- положение будет сразу же всеми отвергнуто как мало- вероятное (или даже невозможное). Уместно спросить, а почему собственно, на каком основании? Ответ здесь можно дать, основываясь на том, что частота как случай- ная величина (обозначим ее £) подчиняется известному нам закону распределения. Воспользовавшись нормаль- ным приближением и задавшись малым а (будем назы- вать а уровнем значимости), можно утверждать, напри- мер, что (1.1) ) Эти данные взяты из книги Ван дер Варден Б. Л. Математическая статистика.— М.; ИЛ, 196Q, _
с вероятностью 1 — 2а, где ct определяется из условия ф(а;а)==1 —ct с помощью нормальной функции распре- деления и •И-j® f •—•сю — оо < x<Z оо (ха называется квантилем уровня а]. Скажем, ха = 3 отвечает а = 0,0013, а ха = 4 уже соответствует а = = 0,0000 (см. табл. 3). Таблица 3 Значения функции нормального распределения ФМ - Л X Ф(эс) ОС Ф(х) X Ф(х) 0,0 0,500 000 1,5 0,933 193 3,0 0,998 650 0,1 0,539 828 . 1.6 0,945 201 3,1 0,999 032 0,2 0,579 260' 1,7 0,955 435 3,2 0,999 313 0,3 0,617 911 1,8 0,964 070 3,3 0,999 517 0,4 0,655 422 1,9 1 0,971 283 3,4 0,999 663 0,5 0,691 462 2,0 0,977 250 3,5 0,999 767 0,6 0,725 747 2,1 0,982 136 3,6 0,999 841 0,7 0,758 036 2,2 0,986 097 3,7 0,999 892 0,8 0,788 145 2,3 - 0,989 276 3,8 0,999 928 - 0,9 0,815 940 2,4 0,991 802 3,9- 0,999 952 1,0 0,841 345 2,5 0,993 790 4,0 0,999 968 1,1 0,864 334 2,6 0,995 339 4,1 0,999 979 1,2 0,884 930 2,7 0,996 533 4,2 0,999 987 1,3 0,903 200 2,8 0,997 445 4,3 0,999 991 1,4 0,919 243 2,9 0,998 134 4,4 0,999 995 4,5 0,999 997 Вернемся к нашим числовым данным и гипотезе р == = 0,5, согласно которым мы имеем значение 1^-7-.—т (£ - р) = 37. / г р(1 — р)7 77 Оно далеко выходит за границу ха = 4 с уровнем значи- мости а = 0,0000, и такой феномен следует считать не- возможным при р = 0,5. Что же остается делать? Оче-
впдно, следует отвергнуть гипотезу р = 0,5 как не согла- е’/огиуюся с имеющимися данными. Отметим, что при оценке неизвестного параметра пу- ассоновского процесса мы использовали лишь число Лг = с (Т), где Т — nh — суммарный промежуток наблюдения. Какое же значение, основываясь на этих данных, сле- дует приписать неизвестной вероятности р? Мы знаем, что по закону больших чисел р есть предел частоты (при п_>оо), и при имеющемся у пас п = 2644 757 можно в качестве оценки взять уже приводившееся ранее значе- ние р — 0,5141. Эту оценку можно уточнить следующим образом. Поскольку всегда р(1 —р)^1/4, из неравенств (1.1) получаем (1.2) 2 |/ п 2 у п е вероятностью, не меньшей 1 — 2а. Эти доверительные границы для неизвестного значения р по имеющимся в нашем распоряжении числовым данным дают 0.5141 — — 0,0003т« р С 0,5141 + 0,0003та. При этом можно ска- зать, что указанные здесь границы являются достоверны- ми с вероятностью, не меньшей 1 — 2а (точнее, допущение о том, что истинное значение р лежит вне этих границ, означает наступление события, дополнительного к (1.2) и имеющего вероятность не больше 2а). В этом смысле можно утверждать, например, что 0,5132 р 0,5150 с вероятностью, не меньшей 0,9973 (это получается при ха = 3 с уровнем значимости а = 0,0013). 2. Оценка параметра пуассоновского процесса. Для описания радиоактивного распада нами был предложен пуассоновский процесс £(1), О 0, с надлежащим пара- метром X — напомним, |(1) есть число а-частиц, появ- ляющихся в промежутке времени (0,1]. Если взять по- следовательные промежутки длины А, разделенные мо- ментами #0 == 0 < tt <.., < tn = Т, то согласно этой модели &== В (А)i = l,..., п, будут независимыми случайными величинами с пуассо- новским распределением ' fc=0, 1, /с I -'-таким же, как и распределение величины == со средним значением Kh — М|(/г).
Обратимся к данным одного иэ первых опытов Р&зер- фсрда*), в котором наблюдался процесс радиоактивного распада и а-частицы регистрировались в течение п — 2608 промежутков времени длины h — 7,5 сек. Результаты этих наблюдений представлены в табл. 4 с указанием для к = 0, 1, ... соответствующего числа nh всех тех про- межутков, где наблюдалось ровно к а-частиц. Наблюде- ние на каждом промежутке можно интерпретировать как отдельное испытание, и отношение пк/п дает нам частоту , Таблица 4 Число интервалов времени, на которых наблюдалось к а-частиц Л пй П-Р(Л) 0 67 54,399 1 203 210,523 2 383 407,361 3 525 625,496 4 532 508,418 5 408 393,515 6 273 253,817 7 139. 140,325 8 45 697,882 9 27 2,189 к >10 16 17.075 Итого 2608 2608,000 появления «А а-частиц» в серии из таких п независимых испытаний. Как найти теоретическое среднее ХА = Mg (h) ? Мы знаем, что согласно закону больших чисел 4-2 п где сумма 2 ?г = N г=1 а-частиц, и это дает есть число всех наблюдаемых основание в качестве оценки *) Эти данные взяты из книги: Крамер Г. Математические методы статистики,— М.: ИЛ, 1948,
(1-3) неизвестного Kh взять N 10094 ' „„ „ U== —= 2608 = 3870- Лля сравнения с экспериментальными числами щ в табл. приведены также теоретические значения nP(fc), где пуассоновские вероятности P(fc) подсчитаны при Kh — = 3370 — даже на глаз видно, насколько хорошо теоре- тическая модель согласуется с экспериментальными дан- ными (мы имеем в виду совпадение частот njn с вероят- ностями Р(/с)). Мы знаем, что при данном N поведение процесса В (i), OCiCT, схематично представленное гра- фиком на рис. 11 (стр. 121), такое же, как если бы соот- ветствующие точки 0 < Ti <___< tn Т (моменты появ- ления а-частип) были бы упорядоченными значениями N независимых случайных величин, равномерно распреде- ленных на промежутке (0, Г]. Таким образом, при дан- ном поведение процесса не зависит от значения параметра К и можно сказать, что величина N = c.(T) содержит всю информацию о неизвестном К (имея это в виду, говорят, что N = 1*(Т) есть достаточная статистика для параметра X). 3. Сравнение вероятностей. Рассмотрим одну типич- ную задачу о сравнении вероятностей. Можпо предста- вить себе, например, что речь идет об «успехе» лечения больных с помощью двух разных препаратов, и вероят- ность успеха при применении первого из них есть pt, а при применении второго — р2. Понятно, насколько важ- ным является правильное решение вопроса о том, какая вероятность больше. Допустим, для сравнения параллельно проводятся две серии из п испытаний, представленных величинами Ви, • • •, Вт и |21, ..., (где есть индикатор «успеха» в j-m испытании серии i •= 1, 2). Предположим, что pt = = р2 и рассмотрим разности Д, = g21 — gu, ..., Д„ = g2n — “ sin, как независимые случайные величины, каждая из которых (при условии, что она отлична от 0) принимает положительное или отрицательное значение с вероятно- стью 1/2. Пусть v есть число отличных от нуля Д1Э ..., Д„ и v+ число положительных среди них. При условии v = m случайная величина v+. имеет биномиальное рас- пределение с р = 1 /2:
(1 \™ Определим квантиль Xa = a;a(m) функции биномиального распределения ' F(x) = % Chm k^X как наименьшее целое ха, для которого 1-F(za)= 2 C™(lT^a- xa<h «т ' ! Для дальнейшего отметим, что при малых a < 1/2 мы имеем ха(т)> т/2. Выход случайной величины v+ за верхнюю границу ха возможен лишь с вероятностью P{v+ > xa(v) lv = mi C a. To же самое справедливо в от- ношении величины v_, равной числу отрицательных At, ..Д„. Очевидно, безусловная вероятность того, что одна из величин v+ или v_ превысит границу ха — ха(у), есть Р {v± > ха (v)} == 71 •= 2 Р {v± > (т) | v = т} Р {v = т} тп—о 2а 2 Р {v = m} = 2a. Таким образом, если верна гипотеза р4 = р2, то v±>xa(y) (1.4) может быть лишь с вероятностью, не большей 2a. Выбе- рем уровень значимости а настолько малым, чтобы мож- но было считать событие вероятности 2a практически невозможным. Напомним, что при малом а мы имеем xa(v)>v/2, так что в соотношении (1.4) с v = v~ + v+ события {"V- > ха} и {v+ > ха} являются несовместными и при условии (1.4) выполняется лишь одно из указан- ных неравенств. Предположим, данные проведенных экс- периментов таковы, что v+>xa(v). Мы знаем, что это есть практически невозможное событие при pt = р2, и как необходимость, отсюда нужно сделать вывод о том, что гипотеза pt — р2 неверна — ее нужно отвергнуть и счи- тать, что p2>Pi. Аналогично, если У-> ха(у), то (отвер- гая гипотезу pt = р2) нужно считать pt > р2. Это так на- зываемый критерий знаков, который применяют при от-
осительно небольшом числе п. Значения ха(т) приве- Н К табл. 5, гипотеза pi = р2 отвергается, если число пякпв vx = лг — V- выходит за указанные в ней границы, Хч.Юда<> 2а = 0,05; 0,02; 0,01 ipn большом числе испытаний возможно иное решение вопроса о вероятностях pt и р2, основанное на использо- вании нормального распределения Именно, пусть gi и |2 означают соответственно частоту «успеха» в сериях из Таблица 5 Значения ха(т) для критерия знаков при 2а = 0,05; 0,02; 0,01 ТП 0,05 0,02 0,01 т 0,05 0,02 0,01 5 0 • 5 0 5 0 5 30 10 20 9 21 8 22 6 1 5 0 6 0 6 31 10 21 9 22 8 23 7 1 6 1 6 0 7 32 10 22 9 23 9 23 8 1 7 1 7 1 7 33 11 22 10 23 9 24 9 ? 7 1 8 1 8 34 И 23 10 24 10 24 10 2 8 1 9 1 9 35 12 23 И 24 10 25 11 2 9 2 9 1 10 36 12 24 И 25 10 26 I*3 3 9 2 10 2 10 37 13 24 И 26 и 26 13 3 10 2 11 2 И 38 13 25 12 26 И 27 14 3 И 3 11 2 12 39 13 26 12 27 12 27 15 4 И 3 12 3 12 40 14 26 13 27 12 28 16 4 12 3 13 3 13 41 14 27 13 28 12 29 17 5 12 4 13 3 14 42 15 27 14 28 13 29 18 5 13 4 14 4 14 43 15 28 14 29 13 30 19 5 14 5 14 4 15 44 16 28 14 30 14 30 20 6 14 5 15 4 16 45 16 29 15 30 14 31 21 6 15 5 16 5 16 46 16 30 15 31 14 32 22 6 16 6 16 5 17 47 17 30 16 31 15 32 23 7 16 6 17 5 18 48 17 31 16 32 15 33 24 7 17 6 18 6 18 49 18 31 16 33 16 33 25 8 17 7 18 6 19 50 18 32 17 33 16 34 26 8 18 7 • 19 7 19 27 8 19 8 19 7 20 28 9 19 8 20 7 21 29 9 20 8 21 8 21 и п2 испытаний Бернулли с вероятностями р, и р2. Допустим, полученные в таких сериях результаты дают числовые значения Как велика должна быть раз ность Ej2 — чтобы с уверенностью можно было сказать, что р2>р,? Одним из путей решения этого вопроса мо- жет о ять следующий. Примем за гипотезу противополож-
ное неравенство р2 Ри и воспользуемся нормальным приближением для независимых случайных величин и Вг, считая, что они имеют нормальное распределение вероятностей с соответствующими средними МВ, = Mg2 = р2 и дисперсиями DBi = Pi (1 - Pi)/nt, D|2 — р2 (1 — p2)/n2 (напомним, по центральной предельной теореме величины V и'ь- ]/ приблизительно имеют нормальное распределение со средним 0 и дисперсией 1). Тогда разность Д“Вг~ Bi независимых Вг, Bi должна будет иметь нормальное рас- пределение со средним МД = р2 — pt — а и дисперсией Очевидно, согласно этому при р2 — Pi < 0 мы имеем Р{Д > 1 — Ф(жа) = а, где ха есть квантиль уровня а нормальной функции распределения. Теперь, если по- лученные данные таковы, что при выбранном заранее уровне значимости а числовое значение Д = Bt~ L пре- восходит критическую границу ожа: Вг Bi > ОХа, (1-5) то можно сказать, что гипотеза р2 < Pi может быть верна лишь с вероятностью, не большей а, и при достаточно малом а ее следует отвергнуть как маловероятную, при- няв тем самым противоположную гипотезу р2 > pt. Не- сколько менее надежным является критерий (1.5) с мень шей критической границей аха, когда в качестве о2 бе- рется наблюдаемое численное значение величины о2 = = Bl (1 — Bl) /^1 + Вг (1 — Вг)/н2, дающей приблизительную оценку для неизвестной дисперсии о2 = pt (1 — pt)/rii + + р2 (1 — р2)/п2 случайной величины Д — Вг — Во 4. Оценка параметров по выборке из нормальной со- вокупности. Говоря о выборке х1г ..., х„ объема п, в ма- тематической статистике имеют в виду, что это есть зна- чения определенных случайных величин Во ..., В„ (на- пример, независимых одинаково распределенных вели- чин, являющихся «копией» случайной величины В Одной из распространенных задач является оценка па- раметров распределения вероятностей величин Во • • •> ио имеющимся данным х1г ..., х„.
Пусть есть нормально распределенная величина с параметрами а = Mg и о2 = Dg. Как по выборке xt, ... х„ из независимых gi, ..g„ с таким распределением оценить а и о2? Мы знаем, что наилучшей несмещенной оценкой для параметра а является выборочное среднее п о-6) А=1 (см. по этому поводу с. 82). Среднеквадратическая ошиб- ка в этой оценке будет М (а — а)2 = о2//г. Как узнать, на- сколько она хороша при неизвестном о2, 0 < о2 < °°? Возь- мем в качестве оценки для о2 величину О-7) k=i Она является несмещенной: Мо2 о2 при всех о2, 0 < < о2 < оо, что легко проверить, обратившись к равенству Образуем отношение т = Vn(a —а)/о. (1.8) Очевидно, распределение величины т не зависит от па- раметров а и о, поскольку опа инвариантна относительно 1 преобразования вида £/>-> — — а), к = 1, При дальнейшем рассмотрении т будем считать а = 0, о2 = 1. Пиленное ортогональное преобразование п с *11 = 2 Дает нам такие же, как gt, g„, не- Vn ft=l зависимые нормально распределенные величины тр, ... ’ ’ •! т!п с нулевым средним и равной 1 дисперсией; при
этом k=l k=l и n n / n \‘2 n n Sfo-sy-28-т -Ём-Ё* k=l ft=l \ft=l / ft=l k=2 Таким образом, т = Уп —1т]/%, где г) = тр, а величина п 2 VI 2 % — Л T]fe имеет известное нам распределение хи-квад- ft=2 рат с п — 1 степенями свободы, причем т] и %2 являются независимыми. Совместная плотность вероятности неза- висимых т] и х2 = S равна произведению их плотностей, (г/’z) = 1Ж е“/2/2 -----Z~~'e~z'\ I 2 ) —оо < у < оо, 0 < Z < оо, и для функции распределения величины т можно вос- пользоваться выражением и Рт),£ (у, z) dy dz, — со <Z х <Z со. Vn—iy-^xVz Задача. Показать, что величина т имеет плотность вероятности , \ 1 "W 1 (л . Vn/2 Р Т/2л г f V + п —1) ® к 2 J — оо <Lx<Z со. Эго так называемое t-распределение (называемое еще распределением Стьюдента) с п — 1 степенями свободы. Общий вид плотностей вероятности для ^распределе- ния с параметрами п = 1 и п — 5 приведен на рис. 18 (п = оо указывает нормальную плотность). Задача (продолжение). Показать, что f-распреде- ление слабо сходится при п -> оо к нормальному
pj„пределе! ию с плотностью /х 1 — х2/г , Рм-уае. * -“<*«»• По уровню значимости а можно найти соответствую- щий КВИНТИЛЬ &а.у /''(.га)= 1 — а (см. табл. 6). В силу симметричности этого распределе- ния, очевидно, Р{—ха С т С ха) = 1 — 2а. С учетом равенства (1.8) получаются следующие дове- рительные границы для параметра а в первоначально поставленной задаче оценивания: а — oxa/h’n а а + ахЛп (1.9) с вероятностью 1 — 2а, где а и о2 есть указанные в (1.6), (1.7) оценки для неизвестных а и о. 5. Критерий хи-квадрат для проверки вероятностей. Пусть Л„ ..., Ат — полная система событий, и существует предположение о том, что их вероятности есть р, = • •., Pr = ₽(-4r), (уточним, события ..., Аг являются пепересекающимися и У Рь = 1). „ h==1 Для дальнейшего нам удобно будет формально ввести независимые одинаково распределенные величины ... • • м In, каждая из которых принимает значение к =
= 1, ..г с соответствующей вероятностью pk. Обозна- чим число величии среди gi, ..принимающих данное значение к\ понятно, vh/n будет частотой соответ- ствующего события Таблица 6 Значения ха в доверительных (двусторонних) границах, отвечающих 2а — 0,05; 0,02; 0,01; 0,001 для распределения Стьюдента с п — 1 степенями свободы П—1 0,05 0,02 0,01 0,001 71—1 0,05 0,02 0,01 0,001 1 12,71 31,82 63,66 636,6 20 2,086 2,528 2,845 3,850 2 4,303 6,965 9,925 31,60 21 2,080 2,518 2,831 3,819 3 3,182 4,541 5,841 12,92 22 2,074 2,508 2,819 3,792 4 2,776 3,747 4,604 8,610 23 2,069 2,500 2,807 3,767 5 2,571 3,365 4,032 6,869 24 2,064 2,492 2,797 3,745 6 2,447 3,143 3,707 5,959 25 2,060 2.485 2,787 3,725 7 2,365 2,998 3,499 5,408 26 2,056 2,479 2,779 3,707 8 2,306 2,896 3,355 5,041 27 2,052 2 473 2,771 3,690 9 2,262 2,821 3,250 4 781 28 2,048 2,467 2,763 3,674 10" 2,228 2,764 3,169 4,587 29 2,045 2,462 2,756 3,659 11 2,201 2,718 3,106 4,437 30 2,042 2,457 2,750 3,646 12 2,479 2,681 3,055 4,318 40 2,021 2,423 2,704 3,551 13 2,160 2,650 3,012 4,221 50 2,009 2,403 2,678 3,495 14 2,145 2,624 2,97.7 4,140 60 2,000 2,390 2,660 3,460 15 2,131 2,602 2,947 4,073 80 1,990 2,374 2,639 3,415 16 2,120 2,583 2,921 4,015 100 1,984 2,365 2,626 3,389 17 2,110 2,567 2,898 3,965 200 1,972 2,345 2,601 3,339 18 2,101 2,552 2,878 3,922 500 1,965 2,334 2,586 3,310 19 2,033 2,539 2,861 3,883 oo 1,960 2,326 2,576 3,291 Рассмотрим п Лй = (Vft — nph)/ Vnph^'2i (Sift — riph)/ Vnph, i—1 где ga e 1 при g,- = к и ca = 0 в противном случае (к — = 1, ..г). Для них Mvft = nph и М (Vft — прк) {yi — npi) = 2 м (£» — А) (Бп — Pi) = i=l 1 — piiPi, l^k ~ П Ips (1 — Рй), I = К
так что корреляционную матрицу В величин Дъ ..Д, -тогкно представить в виде / __ _ В = I — I (V Pi, • •, /Рг) \/Рг/ с единичной матрицей I. Возьмем (г X г)-ортогональную матрицу C = {cjk}, первая строка которой есть (Vpi, ... у^),. и рассмотрим линейное преобразование Тр = 2 Cjh^k (j ~ ••ч’’) h=l С Т|1 = 2 VPh (vft — nph)/ /nph = 0. h=l Корреляционной матрицей величин, тр, ..тр будет СВС = 1 — -с (/рп .... /pr)C' = Z- ? (1,0,...,0),; \V Гт) \б/ где С' есть транспонированная матрица, С С = 1. Видно, что И к = 1, Mw —к i = 2, ..., г. При этом (1 ю) Л=1 Л=1 что дает сумму квадратов h=l h=2 r~l некоррелированных величин ц2, • тр с нулевым средним и равной 1 дисперсией. Воспользуемся теперь т»м, что тр есть нормированные суммы независимых
одинаково распределенных слагаемых г __ Т1У — X cih (&ik — nPk)/ V npk, i = l,...,n, k=i и, согласно центральной предельной теореме, каждая из п величин ®= 2 "Пи 0 — 2, .,., г) имеет приблизительно i=l нормальное распределение. Рассматривая т]2, ..., тр как гауссовские некоррелированные (независимые) величины, Г получим, что сумма х2 = 2 т]2 имеет известное нам хи- Л=2 квадрат распределение с г — 1 степенями свободы (общий вид плотности вероятностей хи-квадрат распределения с п степенями свободы приведен на рис. 19). Критерий хи-квадрат с уровнем значимости а состоит в том, что гипотезу о вероятностях р1 = Р(Л1), ..., рг — = Р(ЛГ) отвергают на основании результатов соответ- ствующей выборки, если (1.11) для соответствующего квантиля ха хи-квадрат распреде- ления с г —1 степенями свободы Р{/2 > ха} = а (табл. 7). 6. Проверка независимости Пусть предполагается, что события Ai и Аг вероятности puip, являются независимы-
ми При этом предположении образующие полную систе- му события = ЛХЛ2, -^12 = -AjAq, А21 — A1A2i) А22 — АтА2 имеют верОЯТНОСТИ Р11~Р1Рг, Piz — PtQz, Pu — qiPz, Ргг — = qiqz, где 1 — Рп 5г = 1 — Pz. Для проверки этого • Таблица? Значения ха в доверительных границах с а — 0,05; 0,01; 0,001 для хи-квадрат распределений с п степенями свободы п 0,05 0,01 0,001 п 0,05 0,01 0,001 1 3,84 6,63 10,8 26 38,9 45,6 54,1 2 5,99 9,21 13,8 27 40,1 47,0 55,5 3 7,81 11,3 16,3 28 41,3 48,3 56,9 4 9,49 13,3 18,5 29 42,6 49,6 58,3 5 11,1 15,1 20,5 30 43,8 50,9 59,7 6 12,6 16,8 22,5 ' 31 45,0 52,2 61,1 7 - 14,1 18,5 24,3 32 46,2 53,5 62,5 8 15,5 20,1 26,1 33 47,4 54,8 63,9 9 16,9 21,7 27,9 34 48,6 56,1 65,2 10 18,3 23,2 29,6 35- 49,8 57,3 66,6 11 19,7 24,7 31,3 36 51,0 58,6 68,0 12 21,0 26,2 32,9 37 52,2 59,9 69,3 13 22,4 27,7 34,5 38 53,4 61,2. 70,7 14 23,7 29,1 36,1 39 54,6 62,4 72,1 15 25,0 30,6 37,7 40 55,8 63,7 73,4 16 26,3 32,0 39,3 41 56,8 65,0 74,7 17 27,6 33,4 40,8. 42 58,1 66,2 76,1 18 28,9 34,8 42,3 43 59,3 67,5 77,4 19 30,1 36,2 43,8 44 60,5 68,7 78,7 20 31,4 37,6 45,3 45. 61,7 70,0 80,1 21 32,7 38,9 46,8 46 62,8 71,2 81,4 22 33,9 40,3 48,3 47 64,0 72,4 82,7 23 За,2 41,6 49,7 48 '65,2 73,7 84,0 .. 36,4 43,0 51,2 49 66,3 74,9 85,4 25 37,7 44,3 52,6 50 67,5 76,2 86,7 может слу кить критерий хи-квадрат, основанный на рас- пределении хи-квадрат с тремя степенями свободы для 2 Х2= 2 (VH — праУ/(прц)1 (1.12) ij=l где Vij/n ™ соответствующие частоты событий Ai} (l,j — Ь 2).- (Должно быть понятно, как критерий хи-квадрат
можно применять для проверки независимости несколь- ких событий.) 7. Выбор между двумя i опкурирующими гипотезами. Последовательный анализ. Обратимся к примеру испыта- ний Бернулли, относительно вероятности «успеха» в ко- торых имеются две гипотезы: р = р0 (гипотеза Но) и р = = pt (гипотеза Ht). Допустим, Нв является основной ги- потезой в сравнении с конкурирующей гипотезой Ht (это различие проявится в предлагаемом ниже подходе к вы- бору между Нв и Ht). Возможное фактическое различие в значимости II в и Ht проиллюстрируем на следующей задаче обнаружения «сигнала» при наличии помех. Допустим, «сигнал» может быть двух типов — 6в 1 и 0 (последнее фактически означает его отсутствие). На каждом шаге Л = 1, 2, ... независимо с вероятностью б происходит искажение, и «наблюдатель» вместо истинного сигнала воспринимает последовательность xt, хг, ..которую можпо интерпре- тировать как выборку из последовательности независимых случайных величин £2, . с возможными значениями О или 1 и соответствующим распределением вероятностей Р(О1Я1) = Р(НЯо) = б, Р(О1Яо) = Р(НЯ1)=1-б, отвечающим указанным гипотезам Нв — сигнала нет (6 = 0) и Ht — сигнал есть (6 = 1). Очевидно, здесь вероят- ность «успеха» (Вл = 1) есть, соответственно, р0 = б и р-_ = 1 — б. Принятие Ht в то время, когда верна гипотеза На, означает ложный сигнал, и легко представить себе обстановку, когда последствия такой «ложной тревоги» столь серьезны, что необходимо максимально исключить ее возможность, потребовав, например, чтобы ошибочное принятие гипотезы Ht (когда верна основная гипотеза Но) происходило бы с вероятностью не больше заданного достаточно малого а. Вернемся к общей схеме испытаний Бернулли с про- извольными ро и pt. Какое решение можно принять по выборке xt, ..Хп? Критерий, отвергающий Нв (и тем самым принимаю- щий альтернативное решение Ht), можно сконструировать следующим образом, рассматривая выборку (ад, ..., х„) как точку в re-мерном пространстве Нп. Обозначим Pjp...,|п(! 1^) распределение вероятностей при указан- ной гипотезе Н = НВ, Ht. Задавшись достаточно малым
a > 0, возьмем удовлетворяющую требованию (1.13) критическую область S s Rn, и по наблюдаемым (xi, ... хп) будем отвергать Нв лишь тогда, когда (xt,... Хп)^ 8. При этом, конечно, могут быть ошибки. Ошиб- кой 1 ереого рода является принятие II когда верпа ос- новная гипотеза Яо — очевидно, согласно (1.13) вероят- ность этого не больше а. Ошибкой второго рода является принятие Но, когда на самом деле верна альтернативная гипотеза Ну, очевидно, вероятность этого есть 1-4......5п(^|Я1) = ₽ (1.14) — вероятность того, что выборочная точка (ж4, ..., #„) попадает в дополнение критической области S в Rn. По- пятно, хотелось бы выбрать критическую область S Rn так, чтобы при заданной вероятности а отвергнуть вер- ную основную гипотезу вероятность р ошибки второго рода была бы минимальной. Мы покажем в дальнейшем (см. п. 1 следующего § 2), что это можно сделать па основе так называемого отношения правдоподобия J \ — ё1...6nV 1 I 17 ь И1В • •, “ к . ...,хп\ну «1..In 11' ' п I о/ логарифм которого log L (xu ..., xn) = 5 log p ---L - (1.15) k=i k « 1 0/ представим в виде суммы значений независимых одина- ково распределенных величин, где Р( |Я) есть распреде- ление вероятностей отдельно взятых величин ..., при соответствующей гипотезе Н = На, II t Для крити- ческой области вида S =» {х: logL(xt,..., хп)^ уа) это дает возможность выбрать критическую границу уа на основании центральной предельной теоремы, взяв вместо точного распределения вероятностей случайной величины п 1о§ (ht..., gn)=2 log р ° независимыми би • • •> £n надлежащее нормальное приближение.
Рассмотрим математическое ожидание а — М log p(^l"i) ₽&Ро) величин, значения которых представлены в (1.15). Из элементарного неравенства р log + q log х2 < log с для выпуклой вверх функции у = log х на интервале с кон- цами Xt, х2 и промежуточной точкой с = xtp + x2q, где р, }>0ир + д = 1, при гипотезе Но получаем а = Ро 1о£т- + Яо log~ < log(Pi + 9i) = °- го уо Понятно, при гипотезе 1Ц . a = Pilog-^- + ?ilog-J- = *0 уо = — fpi log ~ + gjog-Mx). \ ш. vi / Следовательно, на основании закона больших чисел от- носительно выражения (1.15) можно утверждать, что при п -*• оо с вероятностью 1 logL^j, -оо, (1-16) если верна гипотеза Но, и log L {х^ ..., хп) +°о, (1.16)' если верна гипотеза Ht. При п -> оо последовательность (1.15) является огра- ниченной сверху с вероятностью 1, если верна гипотеза Но. Поэтому для монотонно убывающих при А -> оо со- бытий Ас, где Ас означает выход рассматриваемой после- довательности выше уровня А, lim Р (4е) = 0. А->оо Отсюда вытекает существование такой верхней границы 4, что P(4c)s£o' для заданного а>0. Аналогично, если верна гипотеза Щ, то при п -> оо последовательность (1.15) ограничена снизу с вероятностью 1 и существует такая нижняя граница В, что., событие Вс — выход этой последовательности ниже уровня В, имеет вероятность Р(ВС)^Р для заданного р>0. В то же время последова- тельность (1,15) с вероятностью 1 при гипотезе Но вы-
ходит ниже уровня В, а при гипотезе Н, — выше уровня X Таким образом, независимо от того, какая гипотеза И Hi действительно имеет место, величина log ... ..' 'хп) с вероятностью 1 при некотором п оказывается выше А или ниже В (для любых конечных А и В). Можно предложить следующий последовательный кри- терий для выбора альтернативы Z/o или Hi по мере после- дователь110 накапливающихся данных х» ..., хп (n — i, 2, ...), а именно, решение принимается, как только по- следовательность (1.15) выходит за установленные гра- ницы, точнее, решение принимается при первом п = 1, 2, ..., когда log L (xlt жп) > А или log L ,., хп) < В, при этом в первом случае принимается гипотеза /Л, а во втором — гипотеза Но. Для надлежащих А и В, очевидно, в таком решении ошибки первого и второго рода не бу- дут превосходить заранее заданных аи Д Задача. Вернемся к упомянутой в начале пункта задаче обнаружения сигнала 6^1 или 0-0, когда не- зависимо на каждом шаге к = 1, ..., п с вероятностью 6 < 1/2 происходит искажение и вместо истинного сиг- нала воспринимается последовательность xt, ..., хп из 0 и 1, которую нужно рассматривать как соответствующую случайную выборку. В (1.15) опа дает нам независимые слагаемые, принимающие значения ±Л, h = log с соответствующими вероятностями == 6, q0 — 1 — 6 при гипотезе /70 и pt = 1 — С, qt — 6 при гипотезе Hi. Найти .-здесь для границ вида А = kh и В = — lh (кратных й) вероятности а и ошибок первого и второго рода — вероятность выхода за границу А раньше, чем за В, и вероятность выхода за границу В раньше, чем за А. (Воспользоваться решением задачи о разорении игрока — см. стр. 111.) Вернемся к общему последовательному критерию с границами А и В, основанному на введенном в (1.15) логарифме отношения правдоподобия. При любом п = = 1> 2, ... во всех точках (xt, ..., хп\, где при выходе за верхнюю границу А принимается гипотеза мы имеем ' |1. c₽fei..,.,6n (-^ii • • i хп | Ho)t 1°S с — А. ЛЧ---
Просуммировав по всем таким xit ..хп (с переменным п = 1, 2, ...), слева получим вероятность 1 — принять верную гипотезу И,, а справа — вероятность а отвергнуть верную гипотезу /70, и получается, что 1 — > са, откуда Л < log (1.17) В частности, А < —log а для любого р (для любой нижней границы В). Аналогично 5>logTb- и £>log₽ (1.17)' л — со для любого сс (для любой верхней границы А). Очевидно, поднимая (при фиксированном В) верхнюю границу А, мы можем лишь уменьшить вероятность выхода за нее, так что заменив А на А* — —log а, получим соответствую- щее сс* < а. Понятно, вероятность выхода за В раньше, чем за А, при замене А на А*^А может несколько уве- личиться.' Однако, взяв В* •= log р. вместо В, для соответ- ствующего р* получим log0*<B*, Таким образом, границы А*, В* гарантируют, что вероят- ности ошибок первого и второго рода будут сс* сс, р* С Задача. Показать, что с границами А* = log 1 ~ , В* = log — 6 а ’ 6 1 — а соответствующие вероятности а*, ^* удовлетворяют не- равенству ос* + р* < а + р. (Воспользоваться общими не- равенствами (1.17), (1.17)'.) 8. Байесовский подход к проверке гипотез и оценкам параметров. Этот подход по существу уже был описан' на примере «урновой схемы» с белыми и черными шара- ми (общим числом N). Продолжим рассмотрение этой схемы, считая число белых шаров М = 6 реизвестным параметром с возможными значениями 6 = 1, ..., N — 1 (исключив крайние 6 = 0 и 6 = N). Пусть из урны про- изводится выборка с возвращением, результаты которой представлены как выборка xt, .хп из независимых gi, ..., £п, где gs = 1 указывает появление на /с-м шаге белого шара, а 5Л = 0 — появление черного шара. При байесовском подходе к вопросу о неизвестном 6 исходным моментом является формальное введение, априорных ве-
роятностей л (0) того, ем параметра, 2 «(е) О что-6 является истинным значени- = 1. (Задание этих вероятностей может быть основано на очень субъективных соображе- ниях.) Л® выборке xlt хп определяют соответствую- щие апостериорные вероятности _ Я (*!’ •' • ’ Жп16) е 1 (1.18) л (01 Жц где Pg..,...,5n (ха • • > 10) есть совместное распределение величин gi, ..., Вп при значении параметра, равном 0. В рассматриваемой урновой схеме ранее был постав- лен вопрос о вероятности «успеха» p(0) = 0/7V. Возьмем в качестве ее оценки по выборке xlt хп значение р = 2 Р (0) я (01 , ..., хп). (1.19) е (Заметим, что хотя р не обязательно совпадает с одним из возможных значений p(0) = 0/7V, 0 = 1, ..., N— 1, при больших N это не является существенным.) Покажем, что апостериорные вероятности (1.18) обладают следующим замечательным свойством: с вероятностью 1 при п °° л (01а?!,..., хп) -* 1 (1.20) для истинного значения 0 при любой априорной вероят- ности л (0) > 0. Для этого нам удобно будет обозначить 0п истинное значение параметра, считая 0 свободным пе- ременным. Как мы уже знаем, отношение правдоподобия L(xi, • . •, хп 10) = рё1,-.и(ат’ •••’ М °) 0о) для 0 ¥= 0О таково, что при п °° с вероятностью 1 ^(^1,- ..., гг„|0)-► 0 при распределении вероятностей с параметром 0О (см. по этому поводу (1.16)), и следова- тельно, "(0оки...,я„) =--------- -------------------->1,- “(0о)+2 я(6)1,(*1....Яп|0) е^э0 что и требовалось доказать. Как следствие, из соотноше- ния к1.20) для предложенной в (1.19) оценки р неиз-
вестной вероятности р(6с)=р получаем, что Р^Р (121)' при п -* оо с вероятностью 1. Возьмем в качестве оценки 6 неизвестного параметра то значение 6 = 6, для которого апостериорная вероятность в (1.18) является наибольшей: n(e|arij .. хп) = maxn(6|zlt .. хп), (1.22) 0 напомним, что с такой процедурой оценивания мы уже знакомы (см. задачу о наилучшем прогнозе на стр. 46), Очевидно, 0 + 0 (1.23) при п оо, где 6 = 60 есть истинное значение параметра,. и более того, с вероятностью 1 при достаточно больших п мы имеем 6 = 6», поскольку согласно (1.20) для.6 = е0 с вероятностью 1 при достаточно больших п мы имеем, скажем, л (60l^i,.. хп) > 1/2, а для всех остальных 6^ ¥= 60 — их лишь конечное число — зт(61а71, ..., хп)< 1/2, и определяемая в этой обстановке из условия (1.22) оцен- ка наибольшего правдоподобия будет 6 = 60. (Указанное в (1.21), (1.23) свойство оценок называют состоятель- ностью.) Задача. Пусть априори все возможные значения равновероятны (т. е. априорные вероятности л (6) одина- ковы для всех 6). Показать, что при данной выборке хи ..., хп определяемая из условия (1.22) оценка 6 яв- ляется наиболее правдоподобной в том смысле, что ...ln • • • 1 хп 16) = max P6j.(хп ...,, Хп 16),; 9. Метод наибольшего правдоподобия. Допустим, xt,... ..., хп есть результаты наблюдений случайных величин Bi, ..., совместное распределение вероятностей ........., хп 16) которых зависит от неизвестного- параметра 6 е0. Как оценить 6 по выборке Xi, ..., хп? Метод наибольшего правдоподобия предлагает в качестве оценки для 6 взять 0е0, при котором «наблюдаемые» значения xt, ..., хп наиболее вероятны, точнее, для диск- ретных величин оценка 6 цри данных Xi, хп опреде- ляется как точка максимума функции- (xtl., . г хп16) = Р^.(яр ...л хп\6) (1-24)
паметра 0 s®, а для величин с совместной плотностью вероят чи — как точка максимума соответствующей функции L (*!, , 10) = pg....gn (xlt... ,,xn 10). (1.25) На практике в целях упрощения бывает удобным вводить Е другие функции правдоподобий L(-|0) = Цх,, ..жп|0), 0е0, при данных хи ..хп имеющие ту же точку максимума 0, 1 L (• 10) = max L (• 10), ese что и в (1.24), (1.25). В дальнейшем мы покажем, что асимптотически (при объеме выборки п -> <») оценки наи- большего правдоподобия являются не хуже наилучших оценок с точки зрения малости их средпеквадратических ошибок (см. по этому поводу п. 3 следующего параграфа). Пусть X,, хп есть выборка из независимых одина- ково распределенных величин gIt ..gn, являющихся «копией» случайной величины g = gi. Задача. Пусть g* = 1 указывает «успех», a gft = 0 — «неудачу» в Л-м испытании Бернулли с вероятностью ус- пеха р (p = Mg). Показать, что оценкой наибольшего правдоподобия для вероятности р является частота успеха (Воспользоваться тем, что в качестве функции правдопо- добия можно взять £( |0) = ж log 0 + (n — re) log (1 — 0)’, 0 = р, п где х = 2 xk есть число успехов. Задача. Показать, что оценками наибольшего прав- доподобия для параметров а — Mg и о2 = Dg нормального распределения являются * н=1 k=l
Задача. Показать, что ^ = ~7T^iXl1 h=l является оценкой наибольшего правдоподобия для пара- метра пуассоновского распределения. Во всех предложенных здесь трех задачах (решение их является простым упражнением) выборочное среднее п 6=42** (1>26) фигурирует в качестве оценки наибольшего правдоподобия для теоретического среднего 6 = М£. Но это отнюдь не является общей закономерностью. Обозначив ^(i) £(»> (1-27) выборку xt, ..., х„, расположенную в порядке возраста- ния, что дает нам так называемый вариационный ряд, можно представить себе ситуацию, когда крайние члены этого ряда портят общую оценку среднего (являясь «крайними» в самом полном смысле этого слова). В ка- честве иллюстрации приведем оценку наибольшего прав- доподобия для 6 = Mg по выборке из независимых слу- чайных величин 51. • • •, с плотностью вероятности р (х 16) = е-Мк-61, — оо < х < оо (это так называемое распределение Лапласа). В качестве функции правдоподобия, очевидно, можно взять п L (х1г ... л хп 16) = — У, | xh — '01, — оо < 0 < оо. Й=1 Функция L(-|0) переменного 0 является линейной- на каждом интервале между точками х^ ..., хп и достигает своего максимума в-одной из них, т. е, при 0 = a?i, ..., хп- Обратимся к вариационному ряду. Очевидно, с вероят- ностью 1 для рассматриваемой выборки мы имеем различ- ные а:(1) < ... < Х(П} и ~ 1ж(й+1)) = — (a:<Ji+I) — a:(S)) (п — 27г) с я(*+1) — >О, Л=1,..., п— 1. Видно, что максимум среди Ц-\хт) достигается при к~т, где т — п/2,
/п 4- 2)/2 для четного п и т = (и+1)/2 для нечетного п. ' к м образом, оценкой наибольшего правдоподобия бу- дет ^ъгборочН'йя медиана ' ‘ 0 = х(И), (1.28) средний член вариационного ряда (1.27). Здесь уместно отметить также, что известны и примеры другого рода, когда при оценке неизвестного; 6 нужно брать в расчет именно крайние члены вариационного ряда. На- пример, как уже отмечалось (см. стр. 82), для равномер- ного распределения на отрезке [а, с] со средним 0 = = (а + Ь)/2 наилучшей оценкой является полусумма крайних членов, 0= (а:()) + ж(„,)/2. 10. Метод наименьших квадратов. Допустим, некото- рые переменные ..., и Г](£) связаны между собой соотношением n(0= Se^(0 + A(i),. (1-29) k—1 где t меняется, скажем, пробегая целые значения от 1 до п, а 015 ..., Or являются неизвестными постоянными. Спрашивается, как определить неизвестные параметры 0,, ..., Or по данным т](£) и ..., £r(i) при наличии «мешающих» Д (£), 1 =S C=S Один из подходов к реше- нию этого вопроса дает метод наименьших квадратов, ос- нованный на интерпретации имеющихся числовых функ- ций ^ = 5,(0, ..., lr = gr(f) и П = 'П(О от t, l=S£s£zz, как элементов соответствующего евклидова пространства Я" векторов х — x(t), представленных как функции от координаты Z, 1 С t С п, с обычным и скалярным про- изведением (хп х2)= X tl и расстоянием |х, — х2| = (х, — х2, х, — х2)1/2. Оценки 01, ..., 0г коэффициентов в (1.29) строятся из условия минимума Г г п— 2 0ftift = min П — fe=i et,.,.,er h—i E предположении, что векторы %i, ..., s Rn являются линейно независимыми, и таким образом, 01} ..., 0Г есть
коэффициенты в разложении 4 = 2 Ол^й проекции ц Й=1 вектора г] в /?" на линейное подпространство с базисными элементами %г. Находятся 0Ь ..0Г из условия ортогональности т) — 1] ко всем tr, что дает систе- му линейных уравнений 2 6Й (§*, У = (Т], ij, 7 = 1....Г. (1.30) Й=1 Что можно сказать о близости оценок наименьших квад- ратов 0J, ..0г к истинным коэффициентам 0„ ..0,? Частично отвечая на поставленный вопрос, легко указать условия, при которых ошибка в этих оценках будет асимптотически малой при п -> °° (напомним, оценки строятся по данным для 1 = 1, . .., п). Именно, взяв в правой части (1.30) 4 = 2 ®klh + а й=1* и положив (1л, 1,) = аы, (А, %;) == bh получим систему ли- нейных уравнений 2 (бв — 0л)as? = bj, / = 1, ..., гг k=i решение которой в матричной форме есть 0-0 = Ьа-1 (1.31) (попятно, 0 — 0 и b есть матрицы-строки, а — {ам} есть (гXг)-матрица и а-1 есть матрица, обратная к а). Видно, что условием сходимости 0-0-* 0 (1.32) (при п->°°) является следующее: Ьа~1 -* 0. Указанное в. (1.32) свойство выражает состоятельность оценок 0. Пример {оценка корреляции). Пусть соотношение Л = 2 0й^ + А (1.33) й=1 описывает корреляционную связь случайных величин т] и |i, ..., с нулевыми средними — в этом соотношении
g t> 0r есть постоянные, а случайная величина А не- коррелирована со всеми 5ц 5г (см. по этому поводу стр. 79). Допустим, стоит вопрос об оценке неизвестных Й ’ 0Г по серии независимых г](/) = 2 0й^(0 + А(0, t=l, при каждом t мы имеем здесь «копию» указанных в (1.33) случайных величин. В этой частной ^схеме типа (1.29) оценки наименьших квадратов Gi, ..., 0, являются состоя- тельными. Действительно, сходимость в (1.32) следует из соот- ношений (1.34) где В — {Вк) есть (невырожденная) корреляционная мат- рица величин 51» • • •. здесь согласно закону больших чисел мы имеем п 4Ь> = 42Д(0^(0->М(А-^) = 0 1 И I п i аЫ - i 2 (0 -> М5/г5; = Bhjf t~i kj=i, Пример (оценивание тренда). Пусть в соотноше- нии (1.29) t = 1, 2, ... интерпретируется как время и ^~^k(t), к—1, ..., г,— некоторые «базисные» (не слу- чайные) функции от времени i, посредством которых опи- сывается среднее значение б(о = мП(г) = 2 е^/ДО, (1-35) л=1 иначе называемое трендом случайных величин ц(£), t — 1, 2, ... На временном промежутке 1 < t < п функцию (1-35) можно рассматривать как вектор 0<sR” из евкли- дова пространства В", которое мы используем для оценки неизвестного 6 по методу наименьших квадратов, взяв
в качестве такой оценки проекцию е=2е^ (1.36> k=i вектор-функции т] на линейное подпространство в Rn с базисными векторами Нам будет удобно об- ратиться к ортогональному базису .,, Правда, та- кой выбор базиса зависит от промежутка 1 t п, и при увеличении п требуется надлежащее линейное преобра- зование исходных базисных функций (его можно осу- ществить известным процессом ортогонализации). Для ортогонального базиса когда матрица а в вы- ражении (1.31) является диагональной, мы имеем 0fe-eft=i A(O^(o/i^(i)\ /с = 1, ...jr. t=i h=i Предположим теперь, что величины Д(/)’, t=l, 2, с МА (Z) = 0 (характеризующие случайные колебания ве- личин ц(£) около средней функции 6(i), t— 1, 2, ...) являются независимыми и имеют ограниченные диспер- сии МА(t)2 = о(£)2- Тогда (п \ 2 п п 2 A (i) Bfe (0 = 2 о № (О2 < С 2 Ъ, (О® t=l / t=l t=l и, очевидно, среднеквадратические ошибки в оценках наименьших квадратов таковы, что ||eft - eft|2 = м | еА - oft |2 =с/£ (z)2 о, t=l (1-37) если при п -> оо ' 2Ы02-*«>, /с=1, ...,г. t=i Пример {оценка тренда в мировой выплавке чугу- на), В качестве иллюстрации метода наименьших квад- ратов для оценки тренда приведем результаты анализа данных о росте ежегодной мировой выплавки чугуна в период с 1865 по 1910 годы*). Исходные данные ука- *) Этот пример взят из книги: Ван дер Варден Б. Л. Ма- тематическая статистика.— М-; ИЛ, i960,
-апь1. ниже (см. табл. 8) в виде таблицы переменных t и х _ количс ство выплавленного чугуна в млн. тонн за соответствующую единицу времени (разную 1 году). Ис- ходя из гипотезы экспоненциального роста, в таблице Таблица 8 Объем производства чугуна (х) за время с 1865 по 1910 годы, у = log х t X V t X V 1865 9,10 0,959 1888 24,03 1,381 1866 9,66 0,985 1889 25,88 1,413 1867 1868 10,06 10,71 1,003 1,030 1890 27,87 1,445 1869 11 95 1,077 1891 26,17 1,418 1870 12,26 1,088 1892 1893 26,92 25,26 1,430 1,402 1871 12,85 1,109 1894 26,03 1,416 1872 14,84 1,172 1895 29,37 1,468 1873 15,12 1,180 1896 31,29 1,495 1874 13,92 1,144 1897 33,46 1,525 1875 14,12 1,150 1898 36,46 1,562 1876 13,96 1,145 1899 40,87 1,611 1877 1878 14,19 14,54 1,152 1,162 1900 41,35 1,616 1879 14,41 1,159 1901 41,14 1,614 1880 18,58 1,269 1902 1903 44,73 46,82 1,651 1,670 1881 19,82 1,297 1904 46,22 1,665 1882 21 56 1,334 1905 . 54,79 1,739 1883 21,76 1,338 1906 59,66 1,776 1884 20,46 1,311 1907 61,30 1,787 1885 19,84 1,298 1908 48,80 1,688 1886 20,81 1,318 1909 60,60 1,782 1887 22,82 1,358 1910 66,20 1,821 даются также значения у — log х. Предполагается, Соглас- но этой гипотезе, что в значениях у = 1/(0 соответствую- щей случайной переменной т] = т](£) имеется линейный тренд 0(0 = 0! + 62 (i — te), отклонения от которого есть результат определяемых конъюнктурой случайных коле- баний, теоретически представленных случайными величи- нами А (£)= T](i) — 0(f). Метод наименьших квадратов дает 0(0= 1379 +17,94 (f —1887,5). На рис 20 указаны гра- фики роста величии у = у (t) и оцененного тренда,— на глаз видно, как хорошо они coiпасуются.
11. Выборочные распределения и метод моментов. Пусть | есть случайная величина с неизвестным распре- делением вероятностей РЕ, для оценки которого рассмат- ривается выборка х1г хп из независимых с тем же распределением, что и у величины %. Положим Р(7?) = га(В)/га, В^В\ (1.38): где п(В) есть число всех Рис. 21 точек среди xit ..., хп, попав- ших в множество В. Форму- ла (1.38) определяет так на- зываемое выборочное (или эмпирическое) распределение вероятностей. Очевидно, Р(В) есть частота события {geB} для £ = &!, .... и согласно закону больших чисел Р(Z?)-* РЕ(В) при га-* -* оо. На рис. 21 схематично показана выборочная функ- ция распределения ' ' п 1 — ОО < X < ООЛ. построенная по вариационному ряду xw «С ... «£ х(п). Вы- численные по выборочному распределению моменты Я)1 = 7 2 i=4l называются выборочными моментами (порядка к).
Пусть известно, что распределение РЕ = Р^(16) зависит от r-мерного параметра O*=(0i, ...,6г), и Имеются моменты , aft(0) = Meg\ fc = l, ..., г (где 0 указывает, по какому распределению РЕ(-|0) вы- числяется математическое ожидание). Пусть эти моменты зависят от 0 таким образом, что 0 = (0„ ..., 0Г) — (aj..., а,) = а (1.39) есть взаимно однозначное отображение. Метод моментов предлагает в качестве оценки для неизвестного 0 = (0,, ... 0г) взять 0 = (0ц ..., Or) из решения системы уравнений ak(Q) = ak, к = 1, ..., г (1.40)' (где, напомпим, ак есть выборочные моменты). Допустим, обратное отображение в (1.39) является непрерывным, так что решение системы (1.40) непрерывно зависит от a —(at, •••, «г). Пусть оо и на основании закона боль- ших чисел «Ь = =М0) i=l с вероятностью 1. Тогда оценки 0И ..., 0Г должны схо- диться к (единственному) решению системы (1.40) с аА = = й*(0), и в итоге при п -> °° 0А-6А, А = 1, ..., г, (1.41) с вероятностью 1 (как уже говорилось, такое свойство оценок называют состоятельностью). 12. Метод стохастической аппроксимации. Рассмотрим здесь лишь один иллюстративный пример. Представьте себе, что проводится серия экспериментов, «успех» в ко- торых зависит от числового параметра 0, находящегося в распоряжении экспериментатора. (Скажем, испытыва- ется некоторый препарат, доза которого 0 назначается по выбору экспериментатора.) Пусть р(0) есть вероятность «успеха» при выбранном значении 0. Как выбрать 0, при котором, скажем, р(0) = 1/2? В решении этого вопроса о корне уравнения р(0)= 1/2 особой трудностью является то обстоятельство, что сама функция р(0) является неиз-
вестной. Допустим, что она непрерывна и монотонно воз- растает при увеличении 0. Для известной функции р(0) можно было бы- воспользоваться, например, стандартным методом аппроксимации искомого корня 0, когда на пер- вом шаге берется приближенное значение 0Ь на втором шаге берется 02 = 0, ± где поправка 61 выбирается со знаком «+» при р (02) <1/2 и со знаком «—» при р(0г)> > 1/2, ..на к-м шаге по- лагают 0к = 6Й—1 ± бк_4, при- бавляя 6ft~i>0 при p(0fc-j)< < 1/2 и вычитая 6k_t при Р (0л-1) > 1/2, и т. д., где по- правки 6k таковы, что О, п 2 б/t оо при п 0° (дей- h=i ствие этого метода схематично изображено на рис. 22). Ме- тод стохастической аппрокси- мации предлагает аналогичную процедуру с той лишь разницей, что выбор поправки ±6к на очередном fc-м ша ге определяется не в зависимости от того, что больше, вероятность «неудачи» или вероятность «успеха» — р(0к)< 1/2 или р(0к)>1/2, а в зависимости от исхода к-то испытания с параметром 0ft — если в этом испытании «пеудача», то на следующем шаге берется 0ft+1 = 0k + 6к, а если «успех», то берется 0Л+1 — 0ft — к = 1, 2, ... За- канчивая этот процесс, в качестве оценки 0 для искомого 0 берется последнее найденное значение 0 = 0„. § 2. Некоторые принципы оптимальности статистических решений 1. Наиболее мощный критерий. Пусть ..., хп есть - выборка из совокупности случайных величин ..., совместное распределение вероятностей которых зависит от неизвестного параметра 0 е 0, и имеются две гипоте- зы — основная гипотеза Нв о том, что 0 = 0О, и конкури- рующая гипотеза Hi о том, что 0 =И= 0О (Hi называют про- стой гипотезой, если имеется лишь одно конкурирующее с 0о значение 0 = 01, и сложной гипотезой, если значений 0=/=0о более чем одно). Для удобства обозначений введем случайную величину £ = (g,, ..., £„) в Н”. Все наши дальнейшие выводы будут основываться на отношении
правдоподобия L(x|0) — такой функции переменного х^= ==(xt . • , Хп)^ Rn, зависящей от параметра 0 е 0, что для величин ф(|) — функций от случайной величины £ е Rn — при/ любом О соответствующее математическое ожидание может быть подсчитано как M<p(g) = Mo<p(g)L(g|0)', (2.1) где Мо есть символ математического ожидания, взятого при б = б»- Задача. Пусть £ — дискретная величина с возмож- ными значениями х X из некоторого счетного множе- ства X^Rn, и ее распределение вероятностей Р(х|0) = ==РЕ(х|0), х^ Х, для 6 = 6о строго положительно. Пока- зать, что тогда Р> (х 16) (2-2) есть отношение правдоподобия, Задача. Пусть £ — случайная величина с плотностью вероятность р (х10) = /д (х10), x^Rn, которая для 0 = 0О является строго положительной. Показать, что тогда Л(1|е) = ?Ж) <2-3’ есть отношение правдоподобия. Допустим, вопрос о выборе между основной гипоте- зой На и конкурирующей (простой) гипотезой Hi реша- ется на основе критерия с так называемой критической областью S^Rn — основная гипотеза Яо отвергается лишь тогда, когда выборочная точка х = (хь ..., хп) попадает $ (при попадании х в дополнение = R^XS гипотеза Яо принимается). В таком решении, конечно, могут быть ошибки. Скажем, ошибка первого рода — отвергнуть ги- потезу Но при условии, когда она верна, имеет ве- роятность а = М01е(5), где напомним, ls(x) означает индикаторную функцию (ls(a:)=l при x<=S и 1в(я) = 0 в противном случае). Ошибка второго рода — принять Яо при условии, когда на самом деле справедлива гипотеза Ни имеет вероятность ₽ = Mlsc (В) = 1 _ Mis (Ю = 1 - Mels (I) L (I I 0J (мы здесь уже пользуемся формулой (2,1)). Понятно,
при заданном а хотелось бы выбрать критерий с возмож- но меньшим Величину 1 — [У называют мощностью кри- терия. Покажем, как можно выбрать наиболее мощный критерий. Возьмем критическую область вида So — {ж: Z/farlGi) > с}, (2.4)' где постоянная с подобрана так, чтобы MolSo(B) = ao для надлежащего сс0. Возьмем также любой другой кри- терий с критической областью S, для которой ошибка первого рода есть а С ае. Пусть р0 и £ — вероятности ошибок второго рода в критериях So и S. Очевидно, ₽ - Ро - ЧЧ XД© L (В 10J - MelSx д © L (В 16J, • где Л = <S0 П S - общая часть критических областей So и S, а S0\A и S\A — дополнения к ней. По условию, веро- ятность ошибки первого рода для S есть а С сс0. Поэтому М018хД (В) = а - Мв1Л (|) < а0 - М01д (В) = Мв18вЧД ©. Используя то обстоятельство, что ZL-frclO,) < с при a?<sS\A и L(z|0i)> с при х е S0\A, получаем следующие^ очевид- ные неравенства: м018хД (В) L (В 100 с cM()iSx д © С С сМ018вХД (В) < м018вХД © L (В 10J. Они показывают, что [3 — 3s 0, и тем самым мощность критерия SD является наибольшей среди всех критериев S, в которых ошибка первого рода не превосходит а0. (Оптимальный в этом смысле критерий So называют кри- терием Неймана — Пирсона.) Подведем итог, сформули- ровав основной результат следующим образом. Теорема. Критерий Неймана — Пирсона является наиболее мощным. 2. Достаточные статистики. Продолжим рассмотрение предложенной в п. 1 схемы, в которой основную роль будет играть формула (2.1) с отношением правдоподобия L(.r|0), обратившись теперь к задаче оценивания неиз- вестного параметра Ое0 в распределении вероятностей случайной величины В = (Вь • ••, В«) по ее «наблюдаемо- му» значению — выборочной точке x — ^xt, xn)^Rn.
Имея в виду, что речь может идти о многомерном пара- метре, обозначим тем же символом 6 ту или иную его действительную -компоненту, оценкой которой будем на- зывать действительную функцию ф = ф(х) от выбороч- ной точки жеRn, рассматривая одновременно Ф = ф(В) как случайную величину. Насколько полно та или иная оценка 6 = ф(ж) учитывает информацию о неизвестном 0, содержащуюся во всей выборке? Ответить на этот вопрос помогает следующее понятие. Функция /(х) переменного со значениями в пг-мерном пространстве называ- ется достаточной статистикой, если при любом условии у(£)=г/ условное распределение вероятностей величины g в Rn не зависит от 6 (одно и то же для всех 6е0). Вместе с / достаточной статистикой называют и случай- ную величину т] = /(В)- Грубо говоря, если / есть доста- точная статистика, то любая выборочная точка из множества {ж: /(х)== у} ^Rn (2.5) дает нем нс больше информации о параметре 0, чем соот- ветствующее значение у = f(z)s Rm, поскольку распреде- ление случайных значений | = х при условии Попадания их в множество (2.5) одно и то же для всех 0£0. (На- помним, условные распределения для дискретных вели- ( чин и для величин с плотностью вероятности были вве- дены нами на стр. 53, 61.) Пусть £ есть дискретная величина со значениями в счетном множестве X^Rn и L(x|0)—определяемое формулой (2.2) отношение правдоподобия. Если / — до- статочная статистика, то L(a:|0) есть функция от у =/(£). Действительно, если / — достаточная статистика, то условная вероятность’ Л (х) = Р{| = х|ц = f(x)} = не зависит от параметра 0, яЫ== *We) РНЯ|еп) и справедливо представление о фуВВДЙ ^ = ^1^ g(/U) le)= PJ/(x) IO)/PJ/(x) I0o). ^другой стороны, если отношение правдоподобия L(z|0)
есть функция от у = f(x), то / — достаточная статистика. В самом деле, мы имеем g(/(x)ie>L(xie), И ДЛЯ Г] =/(g) Pn(y|6)= 2 ₽^1Шт10) = ₽л(у|Ш(у|е), х: /(ж)=ч/ так что условная вероятность при условии 7(^) =* I/, Р£ (ж I 6) Р. (X I 0„) P{£ = *h = z/} = р^ж = ₽7(W,; y==if^ не зависит от параметра 0. Рассмотрим теперь величину £ с плотностью вероят- ности в Rn. Напомним, что ее условное распределение при условии /(£) = р было в общей форме определено ранее на стр. 62 с помощью надлежащего преобразования S (Th £) с Л — /(В). Будем считать, что такое преоб- разование уже выполнено и В=(ц, В) представлено в Rn парой случайных величин ц е R™ и В е рп-т с совместной плотностью вероятностью Рчл(У, z|0) = pE(dO)', х = (у, z), y^Rm, z^ R"~m. Соответствующее множество (2.5) будет здесь (п — т)- мерной плоскостью Zy = (y, Rn~m)c Rn, про'ходящей через точку х — (у, 0). При условии /(В) = У условное распре- деление величины Ъ, = (у, задается с помощью ус- ловной плотности вероятности л (х I °) = ^(/(3)16)’ ж=^-2)' У = /(х)>. z^Rn~mg величины £ (при фиксированном ц = у) как Р е (у, В) I / (£) = у} = J л (х 16) dz, в х= (у, z),B<=Rn~m. Если здесь / есть достаточная статистика и указанное условное распределение величины В не зависит от 0, точ- нее, если от параметра 0 е 0 не зависит (стоящая справа
ПОД интегралом по люоому В £= Rn~m) условная плотность п(;и 0)= п(х), то для отношения правдоподобия (2.3) мы будем иметь представление (2.6) с функцией g (f (z) 16) = (/(x) 16)/pn(/(x) 16o). С другой стороны, если отношение правдоподобия L(xlO) есть функция от y = f(x), то / — достаточная статистика. Действительно, мы имеем AUie)=A(^ie«)^(/(^)le). g(j(x)\e)=L(x\&), и считая., как и раньше, что £ = (т], В), для величины q = /(g) получим при х = (у, z) Р^(у',0) = J R(^|C)^ = £>n— m = J PU4eo)^-g(^16) =pn(i/|0o)g (y|0)t pn—m так что при условии /(В) = у условная плотность вероят- ности величины | = (у, В) в соответствующем Zy = -(у, В”~т) п(ж|0)^^(а:|е).=йАИео), y = f(z)t { 1 ' лДЯб) рп(!/|е0)’- не зависит от параметра 0. Пример (достаточная статистика для вероятности «успеха»). Пусть x~(xt, ..., хп) есть выборка из сово- купности B = (Bi, Вп), где Вл означает индикатор «ус- пеха» в к- м испытании, происходящего с вероятностью р = 0 в испытаниях Бернулли. Мы имеем Pt(d0) = O/tsc)(l-0)"-/w, п где f (х) = 5 xk есть число «успехов». Очевидна, опрс- k=i деленное в (2.2) отношение-правдоподобия L(xlO) с па- раметром 0 = р является здесь функцией от' у = f(x), так что / — достаточная статистика. Отметим, что частота как оценка неизвестной вероятности р есть п Ь=г ... . ' о и м е р (достаточная статистика д гя параметра пуассоновского закона). Для совокупности В = (Вь Вп) .13*
независимых величин, распределенных по одному и тому же пуассоновскому закону со средним значением а = 0, мы имеем й/(х) ₽^10) = ттт-пе-^ *1’ • • • п п где / (х) = У, хк есть значение суммы У также рас- й=1 к=1 пределенной по пуассоновскому закону, но уже со сред- ним п8. Видно, что отношение правдоподобия L(x|0) в (2.2) с параметром 6 = а является здесь функцией от у = /(х), и таким образом, f — достаточная статистика. Отметим, что известное нам выборочное среднее есть п k—i Пример (достаточная статистика для нормальной совокупности). Рассмотрим плотность вероятности ’ п п — 2я + пс? к Л=1 ь=1 /} x = (Xi, ..., xn)^Rn, для совокупности | = (gj, ..., gn) из независимых вели- чин, одинаково распределенных по нормальному закону с двумерным параметром 0=^(а, о2). Видно, что она яв- ляется функцией от , * /1 (г) = У Xh, f2 (х) = У xl. k=i k=i То же самое можно сказать и об отношении правдоподо- бия LfaJG), определяемого по общей формуле (2.3). Сле- довательно, двумерная функция / = (/,, /2) — достаточная статистика. Отметим, что выборочные среднее и диспер- сия есть « = = п & = - «)2 = W k=l п
3. Достаточные статистики и улучшенные оценки. Рас- смотрим ту или иную действительную компоненту неиз- вестного параметра 6 е 0, обозначив ее тем же симво- лом 6. Допустим, оценка этой компоненты 0 производит- ся с помощью действительной функции от выбороч- ной точки x^Rn, для которой Мф(Ь)2<~. Среднеквад- ратическую ошибку такой оценки определим как ||ф(Ю-е||^(М[(Р(В)’0]2),/2, понятно, математическое ожидание здесь зависит от соот- ветствующего 0. Пусть Ц = /(В)ейт есть достаточная статистика. При условии ц = у обратимся к условному математическому ожиданию ф(у) = М[Ф(6)1у]. (2.7); Для каждого у оно вычисляется при условии г| = у но условному распределению вероятностей величины £ в Rr и это распределение для достаточной статистики т] = /(В) не зависит от 0, так что формула (2.7) определяет функ- цию ф(</) переменного y^Rm, одну и ту же при всех 0е0. Возьмем ф(у) в качестве оценки 0 по y — f(x) и сравним ее с исходной оценкой ф(х), рассматривая функ- ции Ф = ф(т]) и ф = ф(£) как случайные величины в из- вестном нам пространстве Мы знаем, что ф есть про- екция величины ф на подпространство Н в J?2, образо- ванное всевозможными функциями от ц, и для постоян- ной 0 из этого подпространства Н разность ф — 0 будет проекцией величины ф — 0, откуда получаем, что Иф — 011 Пф — 011. (2-8) Таким образом, среднеквадратическая ошибка в оценке ф может быть лишь только меньше, чем в исходной оцен- ке ф, и в этом смысле ф есть улучшенная оценка в срав-- нении с ф. Мы получили следующий результат. Теорема 1. Если / есть достаточная статистика, то формула- (2.7) с y = f(x) дает улучшенную оценку в срав- нении с ф. Рассмотрим теперь вопрос о наилучших оценках. Оценку ф = ф(х) по выборочной точке’xs7?" для ком- поненты 0 назовем несмещенной, если Мф(£)^0 при всех значениях параметра 0 Мы используем в дальней- шем формулу (2.1) для функций ф(В) с конечным вто-
рым моментом, Мф(£)2<°° при каждом 0 е 0, предполо- жив, что £(||0) есть величина из пространства З'о, от- вечающего параметру 0 — 0О. Пусть отношение правдопо- добия' есть функция от достаточной статистики f, £(*ie) = s(/(*)ie)> и более то "о, пусть система величин MBle) = g(nl0), 0е0, (2.9) является полной в соответствующем подпространстве Н s е^2 всевозможных функций .(р(ц) от величины п = /(В). Теорема 2. Несмещенная оценка Q^II единствен- на и является наилучшей среди всех несмещенных оценок Ф = ф(В)е-272: || 0 — 0*|| = min || ф (£) — 0 ||. (2.10) ч> Доказательство. Для несмещенных оценок ф1, ф2 е II их разность удовлетворяет условию М (<pi — <р2) = Мо (ф1 - ф2) g (ц 10) — 0, и в силу полноты системы (2.9) получаем, что ф1 — ф2 = 0. Для любой несмещенной оценки ф = ф(|)е2’2 мы можем, как указано в (2.7), (2.8), взять улучшенную оценку Ф = ф(ц), которая также является несмещенной: Мф = Мф = 0 и потому совпадает с единственной несмещенной оценкой О^Я, ф(ц) = 0, которая, таким образом, является наилуч- шей, что и требовалось доказать. Пример (наилучшая оценка для показательного распределения). Пусть В = (Вк ..., В«) есть совокупность независимых величин, имеющих одинаковое показатель- ное распределение с параметром А,, так что в. формуле (2.3) для отношения правдоподобия L(a;|0) с 0 = 7. мы имеем п —6 2 pg(z|0) = 0”e h=i 4 .. .2 z„>0. Видно, что * п f(x)= 2 h=l
есть достаточная статистика. Мы знаем, что величина имеет плотность вероятности Рп {у 16) = 6 У > ов которую мы специально снабдили индексом п. Полнота системы величин (2.9) здесь означает, что тождество Уф(у)Рп(У |6)cZysO по переменному 6 > 0 может быть Лишь для ср = 0. Пока- жем, что так оно и есть. В самом деле, указанное тож- .дестьо для функции ф(у)р"-1 означает, что ее' преобра- зование Лапласа J [ф (У) Уп-11е ’’Ж 0 > °f равно 0, а как известно, это может быть лишь тогда, ког- да сама функция равна 0. Заметим теперь, что при п > 1 среднее значение величины гр1 есть J У~грп (у I 0) dy = и потому, согласно теореме 2, 0 = (и — 1)/(х) есть наилучшая несмещенная оценка по выборке х — ~ ly-i, ..., хп) для неизвестного параметра 0 = X. 4. Информация Фишера и неравенство для средне- квадратических ошибок. Укажем теперь нижнюю грани- цу для дисперсии ошибок в оценках 0 = <р (х) по выбор- ке х = [Xi, ..., хп) для действительной компоненты 0 параметра 0s0 в распределении вероятностей случай-
пой величины В = (Bi, ..., Вп). Согласно (2.1) мы имеем Мф (В) = Моф (В) L (116) = а (6), Ml = M0L (| ] 0) = 1. Допустим, эти выражения как функции рассматриваемой действительной компоненты 0 можно продифференциро- вать под знаком математического ожидания. Тогда при соответствующем 0 моа)(В)^^й|е) = -^«(б),. в (2-И) Мо^А(В|0) = О. Умножив второе из этих равенств на а(0) и вычитая его потом из первого, получим . М., (ф (В) - а (0)] 4 L (В 10) = 4 а (0). Допустим теперь, что производная SfTlogL (х| 0) = £(а.10) -QQ Ь(ж|0) логарифма отношения правдоподобия дает нам величину 41ogA(B|0)e^2. - (2.12) Полагая И1 = [ф@-«(е)] /Ь(Ц0),. ц2 log L (В 10) /Гй|0) и применяя к этим величинам неравенство Коши — Буня- ковского в имеющемся у нас математическом ожидании моП1>12 = -J^a(6)i получим, что МоП1МоП2>[-^ «(0) 8 где согласно формуле (2.1) Чп21 = Мо [ф G) - «(б)]2 L (В 10) = Оф (В) и МоП2 = Мо log L (В 10)] L (В 10) = М [A log L (В 10)]2.
в итоге приходим к следующему неравенству Рао — Кра- йера для дисперсии Dtp(g) оценки ср: о<р©>[-й-«(е)] /(0)Л (2-13) в котором /(6) = м[4 10gL(g|6)j называют информацией Фишера. В частности, для не- смещенных оценок с M(p(g) = «(9>9 неравенство (2.13) дает нам D<p(g)> 1(9)4 (2.14) Итак, при условиях (2.11) и (2.12), .выражающих «ре- гулярности» зависимости отношения правдоподобия L (ж|9) от параметра 9, получен следующий результат. Теорема. Для дисперсии оценок неизвестного па- раметра имеет место указанное в (2.13), (2.14) неравен- ство Рао — Крамера. Отметим, что для несмещенных оценок wl)==ii<p(B)-eii есть среднеквадратическая ошибка; оценку называют эф- фективной, если Dtp(g) достигает указанной в неравен- стве (2.14) низшей границы: D<p(g) = Z(9)-‘. (2.15). (Понятно, несмещенная эффективная оценка дает наи- меньшую средпеквадратическую ошибку, и в этом смыс- ле является наилучшей.) Добавим здесь еще, что соглас- но второму равенству в (2.11) мы имеем MAi0gL(g|e) = M0AL(g|e) = o, и следовательно, I (9) = D log 19) есть дисперсия величины log L (£ 19). Задача. Пусть £ = (£,, ..., £п) есть дискретная ве- личина и отношение правдоподобия определено формулой
(2.2). Показать, что /(e^M^iogP^ie)]2. (2.16) Задача. Пусть g = (gi, ..., £«) есть величина с плот- ностью вероятности в Вп и отношение правдоподобия определено формулой (2.3). Показать, что /(e)“M[Aiogp(g|e)]2. .(2.17) Задача. Рассмотрим величины L(g|9) = L„(^|0), 7(0) = 7„(0) с ростом п — объема выборки из совокуп- ности £ ==(§!, ..., gn) независимых одинаково распреде- ленных величин с отношением правдоподобия (2.2) или (2.3). Показать, что 7„(0) = п71(0). (2.18)' (Воспользоваться представлением logi(||9)= 2 logLi&ie) h=l в виде суммы независимых одинаково распределенных величин.) Задача. Пусть g^-fgi, ..., gn)—совокупность неза- висимых величин, имеющих одинаковое нормальное рас- пределение со средним а и дисперсией о2. Считая, что о2 не вависит от параметра 9 = а, доказать эффективность п оценки а = — 2 по выборке х — (xt, ..., хп) из сово- fi=i купности g "= (gb ..., gn). 5. Асимптотическая нормальность и эффективность оценок наибольшего правдоподобия. Задаваемое форму- лами (2.2) или (2.3) отношение правдоподобия £(а|0) можно, очевидно, взять в качестве функции правдоподо- бия, с помощью которой оценка 9 наибольшего правдопо- добия неизвестного параметра 9^0 по выборке х = = (Xt, ..., хп) определяется из условия L (х 10) = = max L (х 10). Мы установим сейчас ряд важных свойств 0SO этих оценок в схеме, когда производится выборка из со- вокупности независимых одинаково распределенных ве- личин g15 ..., и, собственно, речь идет о параметре 0 в распределении вероятностей отдельно взятой величины g4, по наблюдениям независимых «дубликатов» которой —
величинам & = 1, п, и дается оценка 0. При этом будем; считать, что область^значений переменного 0 есть интервал 0е 7?1, а оценка б является решением уравне- [ запишем ПИЯ правдоподобия L (х 10) = 0, которое мы log L (х 10) = L (х 10) = 0. (2.19) В этом уравнении с L(a?|0) = £п(х|0) мы имеем log Ln (х | 0) = £ log (xft|0)t (2.20) Где n — объем выборки, и при п = 1, напомним, для ве- личины £1 с дискретным распределением Р(-|0) logL1(-l0) = log₽(l0)-logP(-l0o), а для £ с плотностью вероятности р (• 10) log L1(-|0) = logp(-|0)-logp(-l0o). Взяв п = 1, введем следующие условия регулярной зави- симости функции L(-|0)=- Z<i(-|0), 0е0, от параметра, предположив, что она трижды дифференцируема по 0, причем ее можно дважды дифференцировать под знаком математического ожидания: мо^Ч£|0) = -^моА(£|0) = -^1==о, а2 а2 (2.21) м0-4 L (g10) = * M0L (g| 0) = о, ею db а кроме того, |-< log L(g |0)1<<р® (2.22) для некоторой величины <р = <р(£)^О с конечным при всех 0 математическим ожиданием М(р < «>. Собственно, условия (2.21) нам нужны лишь, чтобы получить M^1ogL(^|0) = M^L(g|0) = O,. M^-logL(S1e)= (2.23) = мо L (g 10) _ М [ A log L (g 10)]2 = - I (0),:
где 7(0) есть появившаяся ранее в (2.13) — (2.14) инфор- мация Фишера, 7(0) = 7^0) при взятом нами п—1. (На- помним, математическое ожидание зависит от параметра 0, что явно выражается в используемой нами формуле (2.1) через отношение правдоподобия.) Задача. Считая L(gl 0)^=0, показать, что если 7(0) = 0, то --ф-7L (g 10) = 0 с вероятностью 1. Понятно, если -Jg- L (g 10) = 0 и функция правдоподо- бия L (а;|0) = С (х) не зависит от 0, то интересующее нас распределение вероятностей одно и то же при всех 0 (почему?) и рассматриваемая нами задача оценивания параметра 0 теряет смысл. Будем считать, что 7(0) = = 71(0)=/=О. При условиях регулярности (2.21) — (2.22) мы установим следующее. Теорема. 'Уравнение правдоподобия (2.19) с веро- ятностью 1 имеет решение при достаточно- большом объе- ме выборки п, которое дает состоятельную оценку 0 = 0П неизвестного значения параметра 0, 0 = 0„ + 0, (2.24) с вероятностью 1, причем оценка 0 такова, что lim Р (^<(0-6) /T(0j<t2] = П-»оо — 00 tl sC 00 > (2.25) где 7(0) = 7n(0)= и7,(0) есть информация Фишера. Отметим сразу же, что помимо асимптотической нор- мальности оценки 0 = 0„ соотношение (2.25) заключает в себе и еще одно ее важное свойство, называемое асимп- тотической эффективностью,— опо связано с тем, что нормирующим множителем для разности 0 — 0 в (2.25) является как раз информация Фишера, с помощью ко- торой была определена эффективность (см. по этому по- воду (2.13) — (2.15)). Чтобы лучше понять имеющееся здесь в виду свойство асимптотической эффективности, представим себе, что было бы, если оценка 0 в точности имела' бы нормальное распределение вероятностей, ука- занное в предельной формуле (2.25). Тогда получалось бы, что М0 = О, D0 = 7(0)~‘, т. е. 0 была бы несмещенной
эффективной оценкой! В действительности же оценка 0 наделена этими оптимальными свойствами лить асимпто- тически, имея после надлежащего преобразования (0 —0)У/(0) предельное нормальное распределение с ну- левым средним и равной 1 дисперспей. Доказательство теоремы. С учетом формулы (2.20) уравнение правдоподобия (2.19) можно записать как ’ • 71 log Ln (х 10) = 2 log Ll (xk 10) = 0. Каждая из стоящих справа функций переменного 0 е 0 согласно наложенным нами условиям регулярности (2.21) — (2.22) имеет вторую непрерывную производную, ограниченную соответствующей постоянной q(xh), и со- гласно формуле Тейлора в окрестности точки 0 — 0О мож- но воспользоваться представлением X log L, [хк 10) = log Lr (xk 10o) + я2 л + (0 - 0O) log L, (xk 10O) + | (0 - 0„)2 6<p (xh), at) z где |6l = 16(xh, 0)| < 1. Положим 71 1 = v 2 ]°g I eo)’ k=l П 2 n Kn = 7 2 f (**)• Й=1 Пусть 0O — истинное значение параметра (нам нужно от- личать его от переменного 0е0). Рассматривая xh как значения соответствующих случайных величин к = п, можно сказать, что при и по закону больших чисел с вероятностью 1 4„->M^Iog£1(g1|0o) = O,: я2 Х1П М W 10ё L1 (11 1 6°) = - (0о) ^2п М(Р (S1) < РО,
В окрестности точки 0О мы имеем ду log Ъп (ж 16) = ^оп + (6 — %) + "o' (® —®о)1 2 где |6| < 1. Возьмем произвольно малый интервал (0О — е, 0О + е)’ с е < 2Д(0о)/М<р. Очевидно, при всех до- статочно больших п (когда величины Аоп, Лщ и будут достаточно близки к своим предельным значениям) не- прерывная по 0 функция gg-log Ln (х 10) в точках 0 = 0О ± е будет иметь тот же знак, что и ее компонента (0 —0О)Х1П, а перемена ею знака означает, что она обращается’ в О в некоторой промежуточной точке 0 = 0, 0о — 8 < 0 < 0о + е. Таким образом, на произвольно малом интервале (0О — е, 60 + ё) с вероятностью 1 при достаточно большом п урав- нение правдоподобия (2.19) будет иметь решение 0 = 0„. Это почти доказывает' указанную в (2.24) состоятель- ность оценки 0 = 0П при п -> оо. Чтобы завершить дока- зательство, обратимся формально к элементарному исхо- ду (о, при котором возникает выборка х^ ..., жя, ... Уже установленный факт существования 6 — 0„ можно сфор- мулировать следующим образом: |0П —0О1<8 при всех п>и(е, и) для гоеЛе, где событие Ае имеет вероят- ность Р(Ле)= 1. Возьмем теперь последовательность е = = Еш -* 0 и рассмотрим событие А — ПЛ, вероятности Р(Л)=1. Очевидно, для всех исходов го е А мы имеем |0„-0о1 С 8, как только п>п(е, го) при любом сколь угодно малом 8 = 8т, и таким образом, 6П 60 при п -* для всех исходов го е А, где А имеет вероятность Р(Л)=1. Существование состоятельной оценки 0„ -* 0О тем самым доказано. Напомним, 0П есть корень уравне- ния правдоподобия; ~oq L (х 10) = Хоп + ( 0П — 0О) 21п + ~2 ( — ®о)2 = О- Из этого равенства получаем ^ОП (3-0О) VnJM = ^1п 1 ~ S It (0о) + "2 ( — ®о)
где последовательность п JL -г- \)П _ 1 у де log £1 (xk I ео) согласно центральной предельной теореме асимптотиче- ски нормальна (слагаемые справа есть значения незави- симых одинаково распределенных величин с нулевыми средними и дисперсиями, равйымй 1), a '' (fy + — ®о) 1 с вероятностью 1. Отсюда уже непосредственно следует указанная в (2.25) асимптотическая нормальность состоя- тельной оценки 9„ 6(|, а вместе с этим, как уже гово- рилось, и ее асимптотическая эффективность.
Глава. IV НЕКОТОРЫЕ ДОПОЛНЕНИЯ К ТЕОРЕТИКО-ВЕРОЯТНОСТНЫМ ОСНОВАМ § 1. Общие распределения вероятностей 1. Расстояние между событиями и основанные на нем аппроксимации. Обратимся к общему вероятностному пространству (Q, §1, Р) с о-алгеброй §1 событий А е 01, для которых имеется вероятность Р(А), А Нам удоб- но будет описывать события Л £ Q с помощью соответ- ствующих индикаторов 1л (1л = 1 при наступлении А и 1л = 0 в противном случае). Можно сказать, что события А и В совпада- ют, если 1л = 1В; в этом же смысле А и В совпадают с вероятностью 1, если случайные величины 1л и 1г эквивалентны (1л = 1в с вероят- Рис 23 ностыо 1). Различие событий А и В понятным образом характеризуется симметрической разностью А & В — = АВС U ВАС (схематично представленной заштрихованной областью на рис. 23) с индикатором 1лдв = 11д — 1в1. Ус- ловимся называть Р(АДВ) = М|1л-1в|=1Ил-Ы (1.1) расстоянием между событиями А и В (-непосредственно видно, что оно совпадает со среднеквадратическим рас- стоянием между индикаторами этих событий). Отметим сразу, что |Р(А)-Р(В)|==|М1а-М1в|С СМ|1л-1в1 =Р(А ДВ). (1.2) Понятно, Р(ААВ)=0 означает, что события А и В сов- падают с вероятностью 1 (такие события будем назы- вать эквивалентными, аналогично эквивалентным слу- чайным величинам). Рассматриваемую о-алгебру событий с определенными для них вероятностями Р(А), АеЭД, всегда можно счи-
тать полной — это означает, что вместе с любым собы- тием с вероятностью Р(До) = О всякое В Ао так- ;ке есть событие из §1 (конечно, Р(В) = 0). Именно, от- правляясь от произвольной о-алгебры §1, всегда можно перейти к ее пополнению 91', добавив ко всем событи- ям вероятности Р(Ло)=-0 все В^А0 (положив p(g)=O), точнее, располагая всеми В указанного вида с Р(В) = О, можно ввести 91 как совокупность всех (новых) событий вида А' = A U В, положив Р(Л') = Р(Л). Задача. Показать, что пополнение 91' есть о-алгеб- ра с однозначно определенной (о-аддитивной) вероят- ностью Р (А ), Л е 91 . Пусть Эо есть некоторая совокупность событий. Будем говорить, что о-алгебра 93 порождается событиями из £Э0, если 93 есть минимальная о-алгебра, содержащая 93О, т. е. 93 для любой другой о-алгебры 93, содержащей £Э0. (В дальнейшем мы будем иметь дело с теми или иными исходными алгебрами 9Э0.) Лемма (о близости событий). Пусть £3 есть о-алгеб- ра, порождаемая событиями из алгебры £Э0. Тогда для всякого В е £3 при любом е > 0 можно найти такое Bt е eSo, что Р(В^Ве)^ъ. (1.3) Доказательство. Пусть £3 е £3 есть совокупность всех событий йе£3, которые с точностью до любого s > О можно аппроксимировать в смысле (1.3) событиями BeeS„. Покажем, что £8 есть о-алгебра. Очевидно, £8 со- держи. все события В е £8 'вероятности Р(В) = 0, посколь- ку Р(В Д 0) = 0 для невозможного события 0 е£80. Легко видеть, что если В е S, то и дополнение В'; е £3, поскольку для соответствующего Ве е £В0 мы имеем Ь'^80, ВслВсЕ = ВсВеиВВсЕ=ВАВ£. Легко видеть также, что если Bt, В2 е £8, то в S входит произведение В,В2 (а следовательно, и объединение U В2 как дополнение к В^-В^). Действительно, взяв надлежащие В1>е и В2, е из £В0, для индикаторов 1bjB2 = = Ц-1в2 и 1в1ев2 е = 1в1>е -1в218 получим р (адад,еад=и ц. ч ч е. l^J^ < II Ц- 1в2 — 1в11Е- 1в21| + II 1в11Ё- 1в2 — 1в1>е- 1в2.Е|| < <II 1вх — 1в1>£Ц + | !в2 — !в21ЕЦ<2е.
Таким образом, S3 есть алгебра. Далее, пусть В = Ц Bh ft есть счетное объединение любых Вк е S3, к = 1, 2, ... По- ~ п ложив Вп = I) Вк1 мы получим монотонно возрастающую Й=1 ~ ~ °° -к, последовательность событий Вп е S3, для которой J Вп =. П=1 ~В и Р (В) = lim Р(2?п), так что П~+оо при п -*• Взяв для событий Вп е © аппроксимирующие их с точностью до е события s ® S30, получим, что <| Ь — ljo| + Ц< 26 при достаточно больнюл п, и следовательно, В s S3. Таким образом, алгебра S3 s S3 является о-алгеброй, содержащей исходную совокупность ©о. Но у нас S3 есть минималь- ная о-алгебра, содержащая S30, и потому 58 = S3, что и до- казывает лемму. Вместе с общим неравенством (1.2) эта аппроксима- ционная лемма показывает, что вероятности Р(В), В е S3, однозначно определяются надлежащим предельным пере- ходом по вероятностям событий из исходной ал- гебры S30, порождающей о-алгебру S3. 2. Отображения и порождаемые ими о-алгебры. Пусть £2 и X есть произвольные пространства и пусть | = £(®) есть произвольное (однозначное) отображение из £2 в X; для любого' множества В s X обозначим прообраз {|еВ) = {о): 1(ы)^В} (1.4) при атом отображении. Очевидно, «обратное» отображе- ние В -> сохраняет теоретико-множественные операции: гхв° = (гЖ , . -ПУв‘)“У(г,а)‘ <«) п(гЖ
Пусть (О, §1) есть пространство с о-алгеброй St тех или иных множеств А ей. Задача. Показать, что совокупность 8Е всех мно- жеств в Е X, для которых {^еБ}е§1, (1.6) есть о-алгебра. Задача (продолжение).. Пусть 9% есть некоторая совокупность множеств В s X, для которых имеет место включение (1.6). Показать, что это включение будет справедливо и для любого В ей из о-алгебры 8, порож- даемой совокупностью 80. (Показать, что вместе с вклю- чением 1с^й| мы имеем йей'.) Пусть теперь (Q,. §1, Р) есть вероятностное простран- ство. Положим РЕ(Б) = Р{£ е В}, В(=-&, (1.7) напомним, $3Е. означает о-алгебру всех тех BsX, для ко- торых имеет место включение (1.6). Понятно, тройка (X, 8Е, Ге) задает новое вероятностное пространство с со- бытиями БейЕ, вероятность которых задается форму- лой (1.7). Предположим теперь, что в пространстве X выделена интересующая нас совокупность множеств 80, и отобра- жение таково, что включение (1.6) имеет место для всех В е 80. Введем о-алгебру 8, порождаемую исходной сово- купностью 80. Рассматривая отображение £ и соответству- ющие события (1.6) с Бе80, можно ограничиться веро- ятностным пространством (X, 8, РЕ) с распределением вероятностей РЕ(Б) = Р{^еБ}, Бе 8, (1.7)/ на о-алгсбре 8. Пусть исходная совокупность 80 пред- ставляет собой алгебру множеств; тогда согласно нашей общей лемме о близости событий распределение вероят- ностей (1.7)' на о-алгебре 8 однозначно определяется по непрерывности вероятностями РЕ(Б)=₽!£еБ), Бе80. Возвращаясь к исходному пространству (Q, SC, Р), можно выделить совокупность всех событий А е §1 вида Л = {£еБ}, Бей. (1.8)! Очевидно, ЯЕ .есть о-алгебра (почему?). Будем говорить, ЧА *
что 216 порождается (отображением) g. Для полной с-ал- гебры §1 определим и полную о-алгебру 21Е, порождаемую всеми событиями {fe е В}, В е S3, и А е 21, Р(Л) = 0. 3. Понятие независимости. Обратимся к произвольно- му вероятностному пространству (Q, 21, Р) и рассмотрим в нем произвольные о-алгебры событий 214, ..21„; назо- вем их независимыми, если Р(Л4...Л„) = Р(Л4)...Р(Л„) . (1.9) для любых At 2l4, ..А„ 21п. Допустим, Я4, ..., 21„ есть о-алгебры и они порожда- ются соответствующими алгебрами 2101, ..., 21ип. Мы зна- ем, что для любого события Ak е можно указать Ahs е 21оь, для которых | Р (А) - Р (А,е) | < Р (Ак дЛ,е) = = M|lAft-lAftiE|->0? е->0. Простое неравенство М| и, ... U. - 1л,., ... 1л„,.| < 2 М11л» - 1л».,| в—1 показывает, что также и |Р(Л1...Л„)-Р(Л1>е...Л„,е)| ->о. Теперь должно быть очевидно, что если равенство (1.9) выполнено для любых Л4е§140, ..., 4„е§1„0, то оно вы- полнено также для любых Л4е214, ..., Л„е21„. Это на- блюдение можно высказать в следующей форме: если ал- гебры событий §110, •. ., 21п0 независимы, то независимы также и порождаемые ими о-алгебры 214, ..., 21„. 4. Случайные величины и их распределения. Действи- тельной случайной величиной fe называют действительную функцию g = fe(a>), <в е Q, на вероятностном пространстве (Q, 21, Р), для которой попадания в любые промежутки В = (ж', х"] — суть события {£ е= В} 21 (1.16) из о-алгебры 21 с имеющимися для них вероятностями РЕ(В) = Р{^еВ) (1.11) (в указанных промежутках может быть х' = —°°, х"= °°)- Совокупность действительных случайных величин fe4, ..рассматривают как многомерную величину fe ==
fs g„). Очевидно, для любой области B^Rn из ь фдинатного пространства Rn вида В = (х'1, Я=1] X ... X (х'п, Хп] имеет место включение (1.10): fge4B} = П fe=i Пусть В есть конечное объединение непересекающихся областей указанного вида; легко видеть, что совокупность всех таких B^Rn образует алгебру (проверить это!). Обозначим ее §Э0. Должно быть понятно, что с помощью известного правила сложения вероятности (1.11) опреде- ляются для всех В е So. Как мы знаем, распределение вероятностей (1.11) однозначно продолжается (по непре- рывности) на все множества B^Rn из о-алгебры S, ко- торая порождается пашей алгеброй So (здесь S есть так называемая борелевская о-алгебра с составляющими ее борелевскими множествами В s Rn). Совместное распределение вероятностей величин g4, ... ..., задается на всех борелевских множествах вида В,Х...ХВ„ (с борелевскими же В1? ..., Bn^Rl) как Pgx...Ip '(Вх X ... X Вп) — Р е В1, ... , £п е Вп}, (1.12) это определение относится и к многомерным ..., с соответствующими В(, ..., Вп. Случайные величины ..., называются независи- мыми, если независимыми являются порождаемые ими о-алгебры _______, Это означает, что их совместное распределение имеет вид «\....Лп (Вх X ... X Bn) = Pgl(BJ ... РЕп (В„). (1.13) - Задача. Показать, что действительные |4, .. „ независимы, если равенство (1.13) имеет место для лю- бых промежутков Г= (ж1, ], • • •, Вп = (жп, Хп]. Показать, что для величин с совместной плотностью ве- роятности ,1п(хг, ... ,хп) это равносильно условию ph>-,ln Он, •. •, Хп) = fo) ... ptn (ж„). Будем говорить, что (действительная) случайная ве- личина £ измерима относительно некоторой о-алгебры со-
бытии 8 s §1, если {сбЙеЭ для всех борелевских В на действительной прямой. Комп- лексную величину § = + г§2 с действительными компо- нентами |2 будем называть измеримой относительно о-алгебры 8, если относительно 8 измеримы обе действи- тельные величины и ^2- Задача. Показать, что действительная случайная величина g измерима относительно 8 тогда и только тог- да, когда {g < х} е 8 при всех х, — °° < х < °°. Напомним, F(x) — P{g ^ж}, — °° < Ж < °°, называется функцией распределения случайной величины g. Это есть неубывающая непрерывная справа функция, удовлетворяющая условию lim F(x)=0, lim F(x) — 1. X->—oo x->oo Очевидно, опа однозначно определяет распределение ве- роятностей Pg(Z?) = P{g <= В} для любых борелевских В на действительной прямой (почему?). Напомним еще, случайные величины £ и £ мы назы- ваем эквивалентными, если g = g с вероятностью 1. Легко представить себе, что случайная величина § = = g(<D) может быть известна лишь при юеЛ—при на- ступлении некоторого события Л уточним, здесь речь идет о функции g = g(co), обладающей тем свойством, что для любого борелевского В ^еВ}ПЛе< Ясно, что g'=g(<D) может быть продолжена до случайной величины, определенной при всех о eQ п измеримой относительно о-алгебры 31 (почему?). Например, такого рода величина может возникать как предел g (®)ы = lim gn (о) последовательности случайных величин, схо- П->оо дящихся с вероятностью 1, т. е. при о ей из некоторого Лей, Р(Л)=1. Действительную функцию <р(ж) переменного х^Вп называют борелевской, если при любом у, —со <у множество {ср «S у} = {ж: <р (ж) С у} является борелев- ским в Вп. Задача. Показать, что в случае борелевской функ- ции <р для любого борелевского В на действительной пря-
Мой соответствующее множество {<ре£?} = {х: <р(х)^В} является борелевским в В • Задача (продолжение). Показать, что для любой случайной величины 's в Вп функция <р(%) есть случай- ная величина, измеримая отпосительно той же о-алгебры событий, что и Задача. Показать, что (борелевские) функции •••» от независимых.^!, ..., есть незави- симые случайные величины. Обратимся теперь к произвольному семейству (дей- ствительных) случайных величин %(, t е Т (индекс t про- бегает произвольное множество Т). Введем совокупность событий вида (Bq, ...,^п)еВ, (1.14) отвечающих всевозможным конечным наборам величин Е(, t е Т, и борелевсьпм ВгВ" из соответствующих Вп. Легко проверить, что эта совокупность событий есть ал- гебра. О порождаемой ее о-алгебре будем говорить, что она порождается величинами g(, t s Т. 3 а'д а ч а. Показать, что величины tе Т, измери- мы отпосительно порождаемой ими о-алгебры. событий. Задача. Показать, что для любого события А из о-алгебры, порождаемой величинами £t, t е 71, при любом в > 0 имеется такое.событие А вида (1.14), что |Р(Л)-Р(Л,)|<Е. (1.15) § 2. Математическое ожидание как интеграл Лебега Проведенная ранее в § 6 гл. 1 конструкция математи- ческого ожидания MS, действительной случайной вели- чины £ на вероятностном пространстве (Q, Я, Р) есть не что ипое, как известный в анализе интеграл Лебега |4(<D)P(tfo) (2.1) от действительной функции на пространстве Q с вероятностной мерой Р(Л), Лай. Воспользовавшись распределением вероятностей Р= случайной величины g, Для М| =ь lim У, е/г • ((e/q е (к + 1)]) t—*0 h
получаем выражение, определяющее интеграл Лебега J (2.2) —оо от функции <р (х) = I на действительной прямой с вероят- ностной мерой PE(Z?), Вей, на о-алгебре ® борелевских множеств В ё R*. Аналогично, взяв (борелевскую) функ- цию <р(£) от совокупности случайных величин £ = — (Bi» •••» 1») в Rn, Для ее математического ожидания получим выражение в виде интеграла Лебега М<р© = f q)(^)Pfe(^); (2.3) к" эта формула очевидна для дискретных функций <р и пере- носится на произвольные функции ср предельным пере- ходом. Наличие плотности вероятности Ръ(х), x^Rn, означает, что VdB) = $Pdz)dx (2.4) в ддя всех борелевских В s Rn, и в соответствии с этим МФ © = J Ф И Pi СО dx, (2.5) Нп где справа стоит интеграл по лебеговской мере dx в Нп *). Дополним сказанное еще указанием па то, что ис- пользование нами ранее общей мультипликативной фор- мулы правомерно в самой общей обстановке, поскольку, как мы теперь знаем, (борелевские) функции <pi(£i), ••• .фп(&») от независимых ..., являются незави- симыми случайными величинами, и если они имеют ко- нечные математические ожидания, то М[<Р1(^)---Ф»(^)] = М(Р1(В1). ...Мср„(£„). (2.6) § 3. Пространства 5?р(р = 1,2) • 1. Определение. Полнота пространств S?p. Совокуп- ность всех (действительных или комплексных) случай- *) По поводу приводимых здесь и далее понятий анализа см., на- пример; учебник Колмогорова А. Н., Фомина С. В. Элемен- ты теории функций и функционального анализа.— М.: Наука, 1981.
дых величин £ с конечным математическим ожиданием М|£| = f [g(©)|P(d©)<oo ' £2 образует (соответственно действительное или комплекс- но) линейное пространство, обозначаемое обычно S1. Если не делать различия-между эквивалентными величи- нами, то в S1 можно ввести норму' Hgll = Mlg| (3.1) п с ее помощью определить.среднее расстояние 11^1-У (3.2) между величинами У £2 е S'. Сходимость 1 в смыс- ле этого расстояния в S' называют сходимостью в сред- нем. Напомним, что ранее мы ввели и широко использо- вали пространство S2 с нормой 11£И=(М1У),/2 и среднеквадратическим расстоянием ’ ii61-U==(M|g1-bl2)l/2 между ‘ величинами gt, %2<^S2. Каждое из пространств Sp (р — 1, 2) будет играть важную роль в дальнейшем. Основополагающим для нас будет тот факт, что Sp. есть полное пространство, т. е. всякая фундаментальная по- следовательность llgn-M^0 (3.3) при п, т -> оо, имеет в нем предел — существует величина для которой 11£п — -* 0. Условие (3.3) дает нам известный критерий Коши для сходимости -* | в Sp. Для доказательства справедливости этого критерия сначала установим его применимость к сходимости £п £ Ио вероятности, когда P{|g„ — > е) -> 0 для любого при п -* оо. Последовательность п=1, 2, ..., называют фундаментальной по вероятности, если P{|gn-yl >е)->0 (3.4) Для любого е > 0 при п, т-+ оо. Лемма. Последовательность сходится по вероят- ности к некоторой случайной величине £ тйгда и только тогда, когда она фундаментальна.
Доказательство. Необходимость условия (34) очевидна, поскольку р{ I In - UI > ₽} Р{ I В« - ВI > е/2} + р{ I -11 > 8/2} -> о, если -> | по вероятности. Чтобы установить достаточ- ность условия (3.4), возьмем 8fc“l/2fc и рассмотрим под- последовательность Bnfe, А=1,2Д..„, где возрастающие пк выбрапы так, что Р{1В„ - Bml > 1/24 <l/2ft при п, т > nk. Для нее и ' \ . ? Р (I ?«»+, - Ь>. I > 1/2*} < ? !/2> < “• Я k 7 R По первой лемме Бореля — Кантелли событие А, означа- ющее наступление лишь конечного числа из событий |^+1~^|>1/2\ /с-1,2,...,- имеет вероятность Р(Л)= 1, и для юеЛ | ^ft+1(®)-M“) при всех достаточно больших /с^А(ю), откуда следует сходимость ряда Ц (®) + Д [Snft+1 (®) — LZi (Ю)] = в (®)« и следовательно, сходимость >В с вероятностью 1. Остается заметить, что | есть случайная величина (опре- деленная с вероятностью 1) и Р{|Вп-В|>е}< / <Р [|Вп-Впй 1>е/2} + P{|B»ft_g|> е/2]->0 при Н, оо. Докажем теперь полноту пространства 2’р (р — 1, 2). Фундаментальная -в S’” последовательность (3.3) являет- ся фундаментальной по вероятности, при п, т-^ оо. Следовательно, как мы знаем, .имеется
случайная величина g и подпоследовательность g„ft lg„-glp с вероятностью 1 при nh -> Условие (3.3) означает, что для любого е > О M|g„-gJp^e при достаточно больших п, т. Применяя здесь при т =» nh общую лемму о переходе к пределу в математиче- ском ожидании (см. с. 84), получим /- ' Mlg„ — glp^E, откуда следует, что g = (g„ - g) + g„ e Sp и gn -> g в Sp. Сравнивая и S2, укажем на непрерывное вло- жение S2&2*. (3.5) точнее, на тот факт, что вместе с этим очевидным вклю- чением для величин g е S2 мы имеем ^2 = (М|№>МЩ = где указано, в каком именно пространстве Sp берется соответствующая норма ||£|| = ДЦ^р. Более того, каждая величина g е S* является пределом величин из S2. На- пример, можно взять «урезан- ные» величины /o(g), где /п есть непрерывные функ- ции, график которых схематич- но изображен на рис. 24. Оче- видно, для них <2M(|g-|.l{l6|>o})->0. (3 6) Выделим полученные выше результаты в виде отдельно- го предложения. Теорема. Пространства 3?р (р = 1, 2) являются полными, и при этом имеется непрерывное плотное в S1 вложение S’2 s S*. Отметим, что это касается как действительных, так и симплексных пространств Sp.
Задача. Пусть g — интегрируемая случайная вели- чина, т. е. M|g| = i<M<oo. и Показать, что M(lgl -1д)->0 . (3.7) при Р(Л)->0. (Воспользоваться неравенством M(|g| -1А)СаР(Л) + М(||1 -1 <|Е1>ч>) 1 справедливым при любом а>0 для всех событий Л.) Задача. Показать, что если gn-> g в среднем, то величины g„ равномерно интегрируемы,— это значит, что м(1цА|М>»})= J IU«)|P(d®)->0 (3.8) при а -> °о равномерно по п. (Воспользоваться неравен- ством < М (| gn — g | • 1{|М>О}) + м (I g I • l{|En |>a)) с учетом того, что ₽{|5n |> a} <-lM|g„|->0 при a -* °° равномерно по n для ограниченных M|g„l, M|g„| -> Mlgl.) Задача. Пусть g„ -*• g с вероятностью 1. Показать, что тогда для сходимости в среднем необходимо и доста- точно условие равномерной интегрируемости величин g„. Укажем, что для ограниченных |g„l ^а M|g„ - g| в + 2а • P{lg„ - gl > е) и для общих величин g„ -> g с вероятностью 1 можно воспользоваться равномерной аппроксимацией в среднем величин gn «урезанными» величинами №)->/«(£), где / — указанные в (3.6) непрерывные функции. Задача. Пусть для величин g„, п = 1, 2, ..., име- ется положительная мажоранта, IgJ т], где Мц < °°. Показать, что g„ равномерно интегрируемы.
2. Гильбертово пространство Z2. Пространство 3?2 /действительное или комплексное) является гильберто- вым/а именно, в нем норма llgll=(g, g)1/2 задается с по- мощью скалярного произведения, определенного для ве- личин U формулой .(Bi, ^) = МЦ2. (3.9) Как гильбертово пространство, 3?г обладает тем свойст- вом что для любого (замкнутого) линейного подпрост- ранства Н существует проекция £ е Н произвольного эле- мента £ на это подпространство. Эта проекция | опреде- ляется как основание перпендикуляра Д = £ — £, опущен- ного из точки £ на Н: .U-i п) = 0, (3.10) при этом величина £ дает наилучшее приближение для g с помощью величин ц е Н, а именно, ||g-n = min|]g-T1||. (3.11) Указанное здесь свойство уже широко нами использова- лось (см., например, с. 79, 197). Сам факт существования величины gs Н, удовлетво- ряющей условию (3.11), доказывается довольно просто. Действительно, возьмем последовательность ц = = Ц1, ц2, ... *= Н, по которой реализуется нижняя грань в правой части (3.11), и обозначим Нп линейное, подпро- странство, натянутое па щ, ..., ц„. Рассмотрим в S?2 евклидово (унитарное) пространство, натянутое на тц,... . -и g. В нем из точки g на подпространство Нп можно опустить перпендикуляр, имеющий своим основа- нием проекцию е Нп, которая при любом п т одно- временно является проекцией соответствующей величи- ны на Нп, и следовательно, HU2 = «Ь“2 + "1» - 1J2, п < т. Видно, что последовательность H^J2, п = 1, 2, ..., моно- тонна и, будучи ограниченной, llgjl2 < Hgll2, она имеет предел lim|fn|8= lim||g'm||2. Теперь видно также, что jn-ioo Ь m — || -> 0Л и таким образом, последовательность
является фундаментальной. В полном пространстве она iimqgt предел § = lim f ?г е /7. Очевидно., П-*сю U~f II= lim И—tn 11= П-»оо = lim min|l£ —т]Ц= infg-. ц|] n-»oo 4GHn Т]6Н по самому выбору п — 1, 2, ..что и завершает до- казательство равенства (3.11). Мы знаем, что условие ортогональности (3.10) опре- деляет величину £&/7, для которой выполняется равен- ство (3.11). Этот факт многократно нами использовался ранее. В свою очередь условие (3.10) есть следствие со- отношения (3.11). Чтобы убедиться в этом, возьмем Д = = |— g и произвольную величину ц^Н, Ит)О»1; поло- жив X = (Д, ц), получим, что IIДИ2 < ИД - М)!|г = (Д “ М, Д ~ Ь*1) = JJf2 - IM2 при соотношении (3.11), и следовательно, Х = 0. Резюмируем сказанное в виде следующего результата. Теорема.. В гильбертовом пространстве Zz из лю- бой его точки £ на произвольное подпространство Н s S2 можно опустить перпендикуляр, основание которого есть проекция £ величины £ на Н, определяемая однозначно условием ортогональности (3.10) и дающая наилучшее приближение для £ в смысле (3.11). Пример- (подпространство Н = S’2 (S3)). Пусть © s есть произвольная о-алгебра из основной о-алгебры Я Вероятностного пространства. Очевидно, совокупность всех случайных величин g е S2, измеримых относительно S3, есть (замкнутое) подпространство Н s S’2. К этому заключению можно сразу же прийти, например, формаль- но обратившись к новому вероятностному пространству (Q, S3, Р) и воспользовавшись полнотой соответствую- щего пространства II — S’2 (S3), ' где S3 указывает рас- сматриваемую о-алгебру событий. Оче зидно, .индикаторы 1В всевозможных событий (1в(со)=1 при сое7? и 1в(со)=0 при остальных со) образуют полную систему в Н = S2(S3), и условие ортогональности (3.10) можно вы- разить в форме • M(g-f)lB = O, В е S3.
§ 4. Условные вероятности и условные математические ожидания 1. Некоторые предварительные замечания. Понятно, насколы о важным при рассмотрении 'тех или иных со- бытий и .величин является умение охарактеризовать имеющуюся между ними связь. Наиболее явно связь А и В просматривается, скажем, ’когда В влечет А или когда В исключает А. В более общей обстановке связь событий А и В можно охарактеризовать условной ве- роятностью Р(А|В). Аналогично связь случайных величин g и ц можно в определенной степени охарактеризовать, обратившись к известным нам условному математиче- скому ожиданию M(gln) или условному распределению вероятностей величины | относительно т]. Мы-рассмотрим далее вопрос о связи различных событий и величин с целой о-алгеброй событий 8, которую нам удобно будет рассматривать как порождаемую той или иной (много- мерной) величиной т]. Здесь величина г; может быть ис- ходным объектом, связь с которым и вызывает главный интерес, но нам введение надлежащей величины т] по- может- более наглядно интерпретировать рассматривае- мую теоретико-вероятностную схему. Пусть 8 есть некоторая о-алгебра событий. Предпо- ложим, нам известен исход каждого события В е 8 (т. е. известно, наступает В или нет). Как описать совокупный исход всех событий В® 8? Такое описание можно дать с помощью (многомерной) величины 7], порождающей с алгебру Э, т] е Вт, для которой всякое В е 8 есть со- бытие вида при надлежащем (борелевской) мно- жестве В s Вт. Именно, по каждому «наблюдаемому» значению т\ — у можно однозначно судить об исходе всех событий В = {ц е В}, составляющих в совокупности о-ал- гебру 8,— каждое событие В наступает или нет в зави- симости от того, принадлежит значение ц = у соответст- вующему P^Rm или нет. Рассматривая о-алгебру 8, по- рождаемую величиной 1) е Л"*, нам удобно будет не де- лать различия в обозначениях событий ВеЭ и соответ- ствующих (борелевских) множеств Вей”, для которых В = {т] <= В}. Согласно этому, например, индикатор 1в лю- бого события Ле 8 можно будет считать функцией от 7], с пом°Щыо индикатора соответствующего при У^В и 1в = 0 при всех остальных У^В а именно, 1В = 1ч(т]).
Связь события А с величиной г] можно охарактсри- зовать с помощью надлежащих условных вероятностей Р(Л|ц), определяя вероятность Р(Л|у) события А при каждом условии ц — у. Попробуем сразу же понять, ка- кие требования следует предъявить к вероятностям Р (А | у) при различных Лир. Возьмем В = {1] е Й е 3. Чему равна вегроятпость совместного наступления событий Л и В при условии р = у? Очевидно, если у В, то событие В при известном ц = у является достоверным, и вероят- ность произведения АВ равна вероятности события Л, а если у&В, то' при ц = у В невозможно, и вероятность произведения АВ равна 0. Сказанное здесь формально можно выразить в виде равенства Р(Л2?|т)) = Р(Л|ц)-1в, (4.1) где 1в==1в(ц)— индикатор события {ц^В}. Обратимся теперь к наиболее простой по своей структуре о-алгебре 8, порождаемой разбиением {Bh}, Q = S Bh, на непере- k секающиеся Bk, к — 1, 2, ... (в качестве соответствую- щей величины г), порождающей 8, можно взять, скажем, Т](и)=А: при со е Вк, к=1, 2, ...). Для любого события Л и его индикатора £ = 1А по формуле полной вероят- ности мы имеем здесь Р(Л) = МР(Л1п) = ММ(В1т]), что в применении к равенству (4.1) дает Р(ЛВ) = М(Р(Л|т])-1в), (4.2) или, что то же самое, М(|1в) = М(|1в), Ве8, (4.3) где взяты 1 = 1А, g = Р(Л 1л). 2. Общее определение условного математического ожи- дания и его основные свойства. Равенство (4.3) нам зна- комо. В применении к произвольной величине £ е оно выражает собой условие M(g-g)lB = O, однозначно определяющее проекцию g этой величины на подпространство Н = S’2 (8) всех . случайных величин, измеримых относительно 8. Мы знаем, что для любой ве- личины | е .S?2 существует ее проекция | на Я, которая
удовлетворяет условию (4.3). Введем в S’* оператор М( 18), определив его пока на плотном в S’1 простран- стве S* как ‘ M(Bl8) = g, (4.4) в это есть оператор проектирования на соответствую- щее подпространство Я = £’2(8). Очевидно, оператор М(-|8) является линейным, М (с^ + с2|218) - С1М (^ |8) + с2М (|218) (4.5) для любой линейной комбинации величии |г- Пока- жем что это есть непрерывный оператор с нормой |]M(.|8)|| = sup||M(g|S)||<l в S’1,; H=i где 11М(||8)Я=М|М(||8)| <M|g| =11^11. Действительно, согласно (4.3) с В = {| > 0), {| < 0} мы имеем м | £ I = м£ 1{t^o) + ^<°> в = *W>o} + Понятно, линейный непрерывный оператор М(|Э) в S”, определенный нами на плотном в S?1 пространстве S’2, по непрерывности однозначно продолжается на все про- странство S”, причем В = М(||8) для любой величины gsS’1 удовлетворяет условию (4.3). Скажем, взяв по- следовательность tn е S’2, Нт tn = £ в S’1, будем иметь П~>оо lim £n-*s в S’1, и переходя к пределу в равенстве п-»оо М£п1в = М£п1в, получим (4.3) . Покажем, что В = М(£|8) для любой величины В е S’1 однозначно определяется из условия (4.3). В самом деле, для В= glt g2 разность Д — Bi — Вг удовлетворяет условию МД1в = 0 при всех ЯеЭ, и для произвольного е>0 р {I ДI > в} < ~ (МД1{Д>е} - МД1{Д<_Е}) = о, к так что Д = 0 с вероятностью 1. Введенный нами оператор М(-|Э) для любой величины g е S’1 дает так называемое условное 15 _
математическое оживание относительно о-алгебры событий 8. Его обозначают так- же М(£|т]) и называют условным математическим ожи- данием относительно т), когда величина т] порождает о-ал- гебру S3. (Заметим, предложенная выше конструкция М(-|8) фактически никак не связана с тем, порождается 8 какой-либо величиной т] или нет.) Из сказанного выше выделим отдельно следующее предложение. Т е о рп м а. Условное математическое ожидание М(||3), есть линейный непрерывный оператор в S', который для величин g е Sz дает их проекцию на подпространство Н = 212 (8) случайных величин, изме- римых относительно а-алгебры 8. Для всех | е S’1 услов- ное математическое ожидание %, —- однозначно определяется соотношением (4.3). Отметим ряд свойств условного математического ожи- дания. Очевидно, ’ M(g|S) = g, (4.6) если величина £ измерима относительно о-алгебры 8, и в частности, М(1|8)=1. Далее, пусть величина £ не зависит от о-алгебры со- бытий 8,— это значит, что g не зависит • от величин 1В для любых событий В е 8. Тогда M(g|8) = Mg. (4.7) Действительно, постоянная £ = ME- удовлетворяет усло- вию (4.3) с независимыми £ и 1В, для которых MglB = Mg М1В. Отметим, что условное математическое ожидание В 5я = M(g|8) как величина из S' определено с точностью до эквивалентности. С учетом этого M(gl8) > О для | > 0. В самом деле, при | 0 для величины П =“
•== J • l(f <o) 0 согласно (4.3) с В => {g < 0) мы имеем r Mn = м (f • l(f<o}) =M(g • l{f<0})> 0t и потолку Mq = 0, т] = 0 с вероятностью 1 и Р{т] < 0) = P{f< 0) = 0. Изменив В = 6(®) при (а^-В, можно взять эквивалент- ную велпчи! у | 0. Понятно, отмеченное выше свойство положительности условного математического ожидания можно выразить в форме. M(blS)<M(g2|3) (4.8) при £1 < £г- Отсюда следует, в частности, что |M(£|S)|<M(|£||S). Отметим еще одно из важных (4 8), а именно Ci «£ M(||£J)C с2, (4.9) (4.10) следствий свойства если Ct < g С с2 для постоянных clt с2. 3. Условные вероятности. Для произвольного события А его условную вероятность Р(Д|53) относительно о-ал- геЬры событий §3 можно определить из исходного для иг с соотношения (4.2) — (4.3) с помощью индикатора В=1л как Р(Л153) = М(1а|©). (4.11) Эту условную вероятность иначе обозначают Р(Л|т]) и называют условной вероятностью относительно q, когда вел. чина т] порождает о-алгебру S). Задача. Показать, что 0 == Р(Л |S)< 1 и для объединения А — U Ак непересекающихся событий h точнее, если речь = 1, 9, ... ₽H|53) = SP(A|S), k р(Л|©) = нш 2 Р(А|§з),. П~»оо идет о бесконечном числе событий Ак, к ==
Задача. Показать, во-первых, что Р(Л|©) = Р(Л), если А не зависит от событий Ве 53, и, во-вторых, что Р(Л|Э)=1А, если А входит в о-алгебру S3. Задача. Пусть о-алгебра "S порождается событиями из разбиения U Вк к на непересекающиеся Bk, к — 1, 2, ... (имеющие поло- жительные вероятности). Показать, что как функция, от случайного исхода условная вероятность Р(Л|53) имеет вид Р(Л|5Э) = Тл(ш) = Р(Л|Вк)’, где, напомним, Р(Л|В) = Р(ЛВ)/Р(В) означает условную вероятность события А при условии В. Задача. Пусть £ есть дискретная случайная вели- чина. Показать, что M(E|S) = SzP{£ = x|S}, где суммирование в S?1 ведется по счетному числу всех возможных для £ значений. Показать, что M(g|S) = lim M(gn|8) М-?оо для произвольной величины g и сходящейся к ней в среднем последовательности дискретных (сравните с определением обычного математического ожидания!). 4. Дальнейшие свойства условных математических ожиданий. Отметим еще ряд важных свойств условных математических ожиданий. Мультипликативное свойство. Если <р есть случайная, величина, измеримая относительно с-алгебры S), то M(<p||S3) = (pM(g|S). (4.12) Уточним здесь, что произведение должно быть в S?1. Докажем равенство (4.12) для geS’1 и ограниченной величины <р. Оно нам фактически известно для индика- торов <р = 1В ' событий и очевидным образом рас-
пространяется на линейные комбинации вида <р = = 5 ck^Bh‘ Ограниченная величина <р представима как h равномерный предел таких линейных комбинаций <р„, для которых • -> <Й, <р«М(glS)'— <рМ(fc|S3) в S’1. Оператор же М(-|8Э) являётся непрерывным в S1, так что М (<р£ | S) = Hm М (фп| | S3) = lim <рпМ (£ |S3) = <рМ (£| §3). П-> ОО п-»оо Задача. Установить свойство (4.12) для <р, £eS2. (Воспользоваться тем, что, если (р„ + (р в S’2, то <рят] -* ► <рц в S1 для любой величины ц е S2.) Повторное условное математическое ожидание. Пусть о-алгебры событий Si и 82 таковы, что э S2. Тогда справедлива следующая формула повторного условного математического ожидания: МруЦда^гНмда). (4.13) i Доказательство. Это очевидно для величин £ е Ц S2, поскольку для соответствующих подпространств Hi2Ht в З2 проекция g на Hz может быть получена последовательно — сначала проектируем £ на /Д, затем на е Hl На произвольные величины £ «= S* равенство (4.13) распространяется предельным переходом от eS*2, сходящихся к g в S’1. Теорема. Пусть е S32 е ...— возрастающие о-ал- еебры — lim §3П есть минимальная а-алгебра, все их П->Оо содержащая Тогда M(£[S3) = limM(£|S„) (4.14) П-*оо для любой величины £ в S1. Доказательство. Покажем сначала, что соотно- шение (4.14) имеет место для любой величины £ в S2. Пусть Нп и Н есть подпространства, образованные в S2 случайными величинами, которые соответственно изме- римы относительно 5Э„ и ®. Согласно известной нам бли- зости событий из о-алгебры 53 и порождающей ее алгеб- ры II 8Эп всякая величина вида п — 1В с может а
быть, сколь угодно точно приближена в S2 величинами т]п е при надлежаще большом п. Очевидно, это рас- пространяется на произвольные т] е Н. Взяв наилучшее приближение |п = M(t-|£9„)e Нп для величины В = = М(£|Э)<=77, приходим к выводу о справедливости пре- дельного соотношения (4.14) в S’2 (а значит, и в S’1). Рассмотрим теперь произвольную величину £ в S’*. Возьмем для нее такую величину что |||— < е. Мы знаем, что оператор условного математического ожидания в S’1 является «сжатием» — его норма не пре- восходит 1, и потому мы имеем — цИ^е. Обратившись к условным математическим ожиданиям относительно S37l, полечим 11£п — T]JI < е при всех п, где, как мы уже знаем, I',*]— при RВвиду произвольности е>0 заключаем, что ||£ — Задача. Пусть S3, э 82 э убывающие о-алгебры иЭ=Пш83п есть о-алгебра, равная пересечению П п Показать, что lim M(£|Sn) = M(B|53). (4.15) § 5. Компактность распределений и критерий положительной определенности для характеристических функций 1. Слабая сходимость функций распределений. Вве- дем слабую сходимость Fn => F функций распределений Fn(х) = Р{^„ х), хе R1, действительных случайных величин как сходимость Fn(x)-*F(x) (5.1) в каждой точке непрерывности предельной функции рас- пределения F(x) = Р{£ < х}. Мы знаем, что такая сходи- мость Fn=±- F означает слабую сходимость распределений Задача. Показать, что функция распределения мо- жет иметь лишь разрывы первого рода, причем не более чем в счетном числе. Лемма. Слабая сходимость Fn^~ F равносильна схо- димости Fn(x)-*- F (х) при х^Х из какого-либо счетного всюду плотного множества X е R1, ' ’
Доказательство. При любом 8 > 0 каждую точку ттрппеоывности х можно заключить в достаточно малый интервал (х', х") с х', х" &Х и F(x")-F(x')^ 8, и из соотношений Fn(x’)^Fn(x)^Fn(x") I I F(x') С F (ж)< F(x") б1Дет следовать, что Fn(x) имеет своим пределом F(x). Это собственно, только и нужно было доказать. Отме- тим' что для сходящейся даже при всех х <= R1 последо- вательности Fn{x) предел F (х) = lim Fn (х) не обяза- П-*оо тельно является функцией распределения, например, взяв произвольную функцию распределения G(x) и положив Fn(x) = G(x + п) или Fn (ж) = G (х — п), соответственно получим предел Г(ж)=1 или F^-G. Задача. Показать, что предел F(x) будет функцией распределения тогда и только тогда, когда выполнено условие компактности: для любого 8 > 0 при достаточно большом а > О F„(-a)<8, F„(a)SM-8 (5.2) сразу при всех п — 1, 2, ... Докажем следующее предложение." Лемма. При условии компактности из последова- тельности Fn можно выбрать подпоследовательность, слабо сходящуюся к функции распределения F. Доказательство. Из любой последовательности ограниченных функций Fn можно выбрать подпоследова- тельность, сходящуюся на счетном (всюду плотном) мно- жестве точек х = Xi, ж2, ... Скажем, при ж = из огра- ниченной последовательности Fn(ai) можно выбрать под- последовательность ФУНКЦИЙ Fn, 1, СХОДЯЩУЮСЯ При X = Ж1, из последовательности функций F„, 4 можно выбрать но- вую подпоследовательность F„, 2, сходящуюся при х = ж2 (она сходится также при ж = ж\) и т. д. Имея здесь на каждом fc-м шаге последовательность F„, ь, сходящуюся при x = Xi, ..., ж* (fc = l, 2, ...), в качестве искомой подпоследовательности можно взять «диагональную» по- следовательность Fn> сходящуюся при всех х = ж,, ж2,...
Ее предел F(x) однозначно продолжается в неубываю щую непрерывную справа функцию на всей прямой, ко- торая в силу условия компактности является функцией распределения. 2. Сходимость характеристических функций и кри- терий положительной определенности. Обратимся к ха- рактеристическим функциям отвечающим' функциям распределений Fn. Мы знаем, что слабая сходимость Fn^-F к функции распределения F равносильна сходи- мости (5.3)’ к отвечающей F характеристической функции /, причем сходимость в (5.3) является равномерной на каждом конечном интервале действительной прямой —°0 < и < <». Представьте теперь, что /п стремится к какой-то пре- дельной функции /. Будет ли / характеристической функ- цией? Оказывается, это всегда так для указанной в (5.3)’ сходимости. Этот результат мы получим, используя свой- ство положительной определенности: 2 CkCjf(uh — Uj)>0 (5.4) для любых конечных наборов действительных щ, ?.и„ и комплексных съ ..., с™. (Отметим, что если /(и) = = Ме<!'5, где Е, — действительная случайная величина, то М т 2 k=l 2 т Ь, 3—1 и, следовательно, всякая характеристическая функция является положительно определенной.) Очевидно, для последовательности характеристических функций /п(и)-> /(и), сходящейся при всех иеД1, предельная функ- ция /(и) будет также положительно определенной. Сле- дующий ниже критерий показывает, .что если /(и) к тому же непрерывна, то она является характеристиче- ской функцией. Теорема Бохнера — Хинчина. Функция f(uj, и е 7?*, является характеристической тогда и только тог- да, когда она положительно определена и непрерывна при и = 0 с /(0)= 1. Доказательство. Необходимость указанных ус- ловий была уже установлена. Допустим, эти условия
выполнены. Тогда интеграл п п Рп и = 2^Г J J e“w(““s)/ (и — v)dudv^0 о о как предел надлежащих интегральных сумм. Произведем замену переменного и на t —и v. Интегрируя по пере- менному v при фиксированном t = и — и в пределах шах {0, — t} «S v < min {п, п — ti, получим выражение п —п ' которое определяет непрерывную функцию р„(я), — °° < < х < оо; отметим, что это — обратное преобразование Фурье функции равной 0 при U1 > п. Покажем, что р„(«) есть плотность вероятности. Умножим Рп(х) па функцию! — |х| < а, равную 0 при |ж1 > а; напомним, — (1-----— b 1«| С < а есть плотность треугольного распределения вероят- ностей на отрезке |ж| < а с известной нам характери- (1 \2 sin *2 of \ —j----- j г — 00 <z t < ОО, ДЛЯ кото- at J рой по формуле обращения преобразований Фурье по- лучаем а 2л откуда видно, в частности, что оо / • 1 Л 2 “ / sin — at \ -Л- = 1. Л-at I 2 / По известной в анализе формуле для произведения
преобразований Фурье а , J (1 — ~) Рп (х) dx = —а 71 / • 1 \2 „ /sin -i- at \ -£Н-гг <5-5> "A 2at J Используя то, что для каждого h > О (. 1 V sin — at \ —т---- I dt~^Ot ~2at / при а -> оо и для любого 6 > О при достаточно малом' |/| < h, получим, что j t1 ~ vO Рп dx =* при а -> причем равномерно по п. Поэтому со а I рп (ж) dx = lim I (1 — — ] рп (х) dx = 1 " а-»оо \ в / — оо , —а • (также равномерно по п), и это не толькр доказывает, что при каждом п мы имеем плотность вероятности рп(х) с характеристической функцией /п(0 = (1-^)/(0, по и что соответствующая последовательность распреде-
лений вероятностей является компактной — для случай- ных величин |п с плотностями вероятности рп(х) мы имеем ( а Р{15п| J при достаточно большом а для всех п. Следовательно, из последовательности функций распределений с плот- ностями р„(«) можно выбрать подпоследовательность, слабо сходящуюся к функции распределения (скажем, к функции распределения случайной величины £). От- сюда получаем, что предел / (Z) = lim /1 - (/) = lim /„ (t) 72->oo \ rt / 71-» oo соответствующих характеристических функций /„(Zj есть характеристическая функция (/ есть характеристическая функция случайной величины |). Задача. Показать, что /(н) является характеристи- ческой функцией тогда п только тогда, когда она допу- скает представление вида оо /(w) = J егихР (dx)t — со < и < оол ' =—оо с помощью вероятностной меры F(dxj, на дей- ствительной прямой R1 — Me™5 есть характеристи- ческая функция случайной величины с распределением
Глава V ЭЛЕМЕНТЫ ОБЩЕГО СТОХАСТИЧЕСКОГО АНАЛИЗА*) § 1. Ряды из независимых величии 1. Общий закон «нуля или единицы». Рассмотрим не- зависимые величины g4, 1,2, ••• и выявим одну замеча- тельную закономерность, известную как закон 0 или 1. Обозначим 21m с т п н-алгебру событий, порождае- МуЮ СОВОКУПНОСТЬЮ gm, . . ., СОВОКУПНОСТИ (ti, . . ., gm-,) и (gm, ..., g„) независимы, и поэтому P(A'A"j = P(4')P(A") (1.1) для любых А' е 21™-1 и А" е 21’т- Равенство (1.1), спра- оо ведливое для всех событий А " из алгебры U 2lm, образо- n=m ванной указанным теоретико-множественным объедине- нием, распространяется на порождаемуюэтой алгеброй о-алгебру, которую обозначим как 21“ = Кт С- П->оо Введем и о-алгебру 21“ = П 21“ = lim 21“ / (1.2) m тп->оо грубо говоря, она состоит из событий, которые однозначно определяются «хвостом» из величин gm, gm+1, ... со сколь угодно большим т. (Примером могут служить события, *) Слово «стохастический» имеет английское происхождение и означает «случайный, вероятностный»; стохастический анализ мож- но рассматривать как раздел теории вероятностей и случайных процессов, дополняющий классический математический анализ в отношении случайных последовательностей и рядов, случайных (недифференцируемых) функций типа броуновского движения и т. п.
означающие существование предела lim gnj. сходимость П-*оо ряда 2 5» и т. п.) Теорема. Любое событие А е §1" имеет вероятность О или 1. Это и есть закон «.нуля или единицы».) Доказательство. Взяв в равенстве (1.1) событие 4" е§1", в качестве А' мы мощем в (1.1) взять любое событие из объединения (J Это объединение есть ал- ГЛ гебра, и с помощью входящих в нее событий Ае можно аппроксимировать любое событие А из порождаемой ею' о-алгебры так, чтобы было Р(ЛДЯ£)<е. Понятно, с= и любое А е §1" можно аппроксимировать со- ответствующими А е из указанной выше алгебры J m В равенстве (1.1) с А' = Ае и А" = Л, Р(Л -Ле)₽=Р(Л) Р(Ле), мы имеем |Р(Л)-Р(ЛЕ)| СР(Л АЛе)<е, |Р(Л)-Р(Л -Ле)1 =£Р(Л дл,)<г, и переходя к пределу при 8 0, получаем, что Р(Л) = Р(Л)2, а это может быть лцшь при Р(Л) = 0 или Р(Л)=1. 2. Сходимость рядов из независимых величин. Пусть Вг, • • .— независимые случайные величины. Л е м м а 1. Ряд S из независимых величин Вл, к = k — 1, 2, ..., сходится с вероятностью 1 тогда и только тогда, когда для любого а > О 2-Р{|^|>«}<оо (1.3) h и сходится ряд 2 из урезанных величин Вл — Вл при I k ^а, равных 0 при IBJ > а. Доказательство. В самом деле, для сходимости ряда 2В&(Ю) необходимо, чтобы мы имели lgA(<o) I «С а k или, что то же самое, Вл(ю)= Вл(ю), за исключением, быть может, лишь конечного числа величин Вл (<•')), и сог~
ласно двум леммам Бореля — Кантелли это будет с ве- роятностью 1 тогда и только тогда, когда выполняется условие (1.3). Лемма 2. Ряд 21л из независимых величин схо- к дится с вероятностью 1, если сходятся ряды h 2^fe из их математических ожиданий и дисперсий, ь Доказательство. Очевидно, достаточно устано- вить сходимость с вероятностью 1 ряда 2(£fe— Mgft). k п По неравенству Колмогорова, для сумм 8n=2 (&..— Mgh) k=i мы имеем Р / sup I8n — Sm | > el = lim P ( max | Sk — Sm | > el 8 при m -» °°, а это и есть критерий сходимости последова- тельности Sn, п = 1, 2, ..., с вероятностью 1 (см. с. 83). Теорема. Ряд 2 из ограниченных независимых k величин (IgJ =£ а) сходится с вероятностью 1' тогда и только тогда, когда сходятся ряды 2 11 2 h k Ввиду леммы 2 нужно доказать лишь необходимость указанных здесь условий. Доказательство этого будет основано на следующем обратном неравенстве Колмого- рова: Р/ max |8fe |> е!>1 — • р^--- ' (1.4) k для сумм Sk — 2 BmI^=lt2J ..независимых величин с нулевыми средними (l|ftl «Sа, к — 1, 2, ,..). Чтобы до- казать (1.4), обратимся к событиям Ah = {> е, lSm| в при тп<к}, которые уже использовались нами ранее (см. прямое не- равенство Колмогорова на с. 100). Учитывая, что М(8Я — 8ft) = 0 и разность S„ — 8Л, п5*к, не зависит от
величин $i, - • > получим == М [(5п — ^)21дй1 + 2М [(£п — Sh) <$ь1лй] + М [5й1дй] = М (Sn - Srf Р (Лй) 4- м [5Цд J < <В^?-Р(Лй) + (а + 8)2.Р(Лй)в поскольку М (5П - 5Й)2 = MS2 - MS% < 05„ и I5J = ISA-i + «Sa + е при событии Ак, когда |5ft_J «3 Се. Суммируя по к = 1, ..п, для события А = ( max [ 5Й | > 81 == U А ) fi=l получим, что М521д = 2 м^п1ай С Р И) • [DSn + (а 4-е)2]. h=i ; С другой стороны, очевидно, Ppl)[DSn + (a + e)2]> > М521а = MSI - М521дс >D5n - е2 (1 - Р (Л)) = = О5п-82 4-е2Р(Л)4 и в итоге _______ D‘?n - е3 t (а + е)2 что и требовалось доказать. Вернемся к ряду 2 считая Mgft = 0, к — 1, 2, ... k Заметим, что если с вероятностью 1 ряд 2lfe сходится h и Sa — Sm -* 0 при п > т -* оо, то при достаточно боль- шом т будет малой (скажем, меньше 1/2) вероятность Р / sup | Sn — Sm |> 81 > 1 --—_х 1.П>7П J Zi ®ft h~m оцененная снизу с помощью общего неравенства (1.4).
Видно, что это может быть лишь при условии сходимости ряда 2^- Напомним, здесь мы предполагали, что k =J0, к = 1, 2, ... Если не делать этого предположе- ния, то. необходимым будет не только сходимость ряда У, Dgfe, но также и ряда 2 Чтобы установить это, к k рассмотрим расширенную последовательность независи- мых величин Вц Вг Ла, • • •, где и последующая величина Вь имеют одинаковое распределение вероят- ностей. Очевидно, если с вероятностью 1 сходится ряд , то этим же свойством обладает ряд 2Вл, а вместе к ' k с ним и ряд2(Вь—котором мы имеем М(^—£/,)= k — — Mgfe = 0, и необходимым условием сходи- мости будет SDfe-Bfi)=2SDgfe<oo. к к Но при условии 2 < оо сходится с вероятностью k 1 ряд 2 — Mgfe), а с ним вместе и ряд k 2М&-2&-&-М&)], к к если, повторяем, с вероятностью 1 сходится ряд 2 %>к- k Полученные выше результаты можно объединить с леммой 1 следующим предложением. Теорема (о трех рядах). Ряд2^к из независимых k величин с вероятностью 1 сходится тогда и только тогда, когда сходятся ряды 2 2 , 2 ₽ W tfih где k k k Вл — урезанные величины, равные при 1^1 С а и 0 при |j=*l >а, fc = l, 2, ... (где постоянная а, 0<а<оо, явля* ется произвольной). § 2. Случайные функции 1. Некоторые общие понятия. Пусть g(i) = B(®, t), <ое£2, (2.1) есть семейство случайных величин на вероятностном про- странстве (£2, ЭД, Р), зависящих от параметра t^T. М<?ж-
НО рассматривать £(£), teT, как случайную функцию переменного t Ju Т, значения которой суть случайные ве- личины (2.1). Случайную функцию на множестве Т^Н' называют также случайным процессом, интерпретируя переменное t как время. Можно себе представить эволю- цию той или иной «системы», состояние которой в мо- мент t зависит от вмешательства случая и описывается соответствующей случайной величиной ^(i),— при такой интерпретации £(£) называют состоянием соответствую- щего случайного процесса в момент времени t<^T. (Не- которые конкретные примеры — пуассоновский процесс, однородные марковские процессы со счетным числом со- стояний, процесс броуновского движения и др.— уже рас- сматривались ранее.) Зависимость от случая процесса £(i), t^T, формально указана в (2.1); при наступле- нии случайного исхода со е Q фактическое течение про- цесса описывается соответствующей траекторией U®, )=&(*>, t), t^T, (2.2) называемой также выборочной функцией или реализаци- ей этого процесса. (Напомним, первая модель случайного процесса появилась у нас при рассмотрении радиоактив- ного распада и была описана с точки зрения именно его траектории, схематично представленной на с. 121 в виде случайной ступенчатой функции, принимающей по- следовательно целые значения 0, 1, ...,— понятно, мы говорим здесь о траектории пуассоновского процесса £(£), t > 0. В модели процесса броуновского движения речь также шла о его траектории, и было установлено, на- пример, что траектория с вероятностью 1 является не- прерывной — несколько различных траекторий броунов- ского движения были приведены на с. 153). Для оп- ределенности в дальнейшем будем иметь в виду дей- ствительные величины £(£), t^T. 1 Тусть X — пространство всех действительных функ- ций x — x(t), t^T, Введем в нем алгебру так называе- мых цилиндрических множеств вида вч...tn = {*: (М> • • • 1 (М) Е В} СМ — каждое из них определяется своим конечным набором «координат» х (t), t — t,, ..tn, и соответствующим бо- релевским В £" Rn. Введем также о-алгебру !&, порождае- мую алгеброй цилиндрических множеств. Рассмотрим ле
вместе с этим алгебру всевозможных событий 4 = {со: (g (со, fx)r. .., g (со, tn)) е= В} =~ = {о: g(со,-)e5fll„u(n] (2.4) того же типа, что и цилиндрические множества (здесь g(co, -) = g(co, t), 1еТ, есть траектория рассматриваемо- го процесса' при случайном исходе со е Q). Алгебра всех событий (2.4) порождает о-алгебру §1Е, которая состоит из всевозможных событий вида 4 = {g(co, jBs®; (2.5) уточним, указанное здесь А есть прообраз В при отобра- жении со -> х = g (со, •) из й в X (согласно данному ра- нее определению о-алгебра порождается случайным процессом g(i), t^T). Формула PS(B)=P(4), (2.6) задает на соответствующих В е S3 вероятностную меру, называемую распределением вероятностей случайного процесса g (Z), t е Г, в функциональном пространстве X. Понятно, конечномерные распределения - %...tn(B) = Р {(g(fj, ..., g (М) е В}, BS.Rn, (2.7) случайного процесса в совокупности (по всем конечным наборам tn ..., tn е Т) определяют вероятности событий из порождаемой им о-алгебры а вместе с ними и рас- пределение вероятностей этого процесса в (бесконечно- мерном) функциональном пространстве X.. Рассмотрим (X, §3, РЕ) как вероятностное простран- ство и положим g (х, t) = х (£), жеХ, . (2.8) для каждого t s Т. Задача. Показать, что формула (2.8) определяет семейство случайных величин g(£), зависящих от пара- метра и случайный процесс g(i), tef, имеет то же самое распределение вероятностей, что и исходный процесс g(i), t&T. (Случайный процесс g(i), t&T, на- зывают непосредственно заданным — элементарный исход в (2.8) описывается самой траекторией x — x(t), t&T, этого процесса.)
Пример {гауссовские случайные процессы). Пусть : Ш, f е Z, есть случайный процесс с конечными момен- тами до второго порядка, M|g(i)l2<«, t^T. Введем его среднее значение л(0=м^(0, t^T, 1,- и корреляционную функцию В {8, /)=М[ё (s) - ми*)][ё (0- **g (i) ] переменных 5, t^T*). Процесс называется гауссовским, если он имеет гауссовские (нормальные) конечномерные распределения (2.7), другими словами, есчп его значе- ния С (Л), •••, ^>{tn) при любых ti, ..., tn<sT в совокуп- ности являются гауссовскими величинами. 2. Случайные процессы как функции в пространстве Пусть имеются конечные математические ожидания M|g(i)lp<°°, где р = 1 или р — 2 (здесь и в дальней- шем мы будем считать, что значения g(i) могут быть комплексными). Одним из подходов к изучению случай- ного процесса g(i), t^T, является интерпретация erJ как функции со значениями в соответствующем линей- ном нормированном пространстве Напомним неко- торые понятия анализа^ касающиеся такого рода функ- ции. Для определенной в окрестности точки s функции g (Z) непрерывность .при t = s означает, что lim |g (0 — ^(s)|| = 0i (2.9) t->s дифференцируемость в этой точке означает наличие та- кой величины g' (s) е S?v, что limII (s)| = 0. (2.10) t-^s I II 3 а. д а ч а. Показать, что процесс броуновского дви- жения g(i), t 0, . непрерывен в 5?2, но не является дифференцируемым. ‘Задача. Пусть &(£), t > 0,— пуассоновский процесс. Как мы знаем, его траектории суть разрывные ступенча- тые функция с равными единице скачками в случайных точках 0<т1<т2<... (см. рис. 11 на с. 121). Показать, что тем не менее этот случайный процесс непрерывен в *) Иногда функции B(s, t) называют также ковариационной.
S’2. (Воспользоватьсяt тем, что Hg(f) — £(«) — A(f — s)fl2 = = Xlf —s| для пуассоновского процесса с параметром X,.) Задача. Пусть g(f), t^T, есть случайный процесс со средним и корреляционной функцией B(tlt М=м|(^)1(гГ)=а(М, UM) (так называют указанное здесь скалярное произведение, в S’2 рассматриваемое как функция от переменных t,, t2^T). Показать, что если B(tt, t2) непрерывна при ti •= tz ~ s, то g (t) непрерывен в S’2 при t — s. Показать, что если функция B(th t2) имеет вторые непрерывные д2 д2 д2 производные ^5» dtret2' "gfi в окрестности (ti — s, t2 — s), то случайный процесс g(t) в S’2 является непрерывно дифференцируемым в окрестности точки t — s, причем _______________________________ я2 G' (fr), &)) = W (tjё' (t2) -эГ^В (t., ts). Определим интеграл | Е, (f) dt для случайного процес т са |(f), t^T, в Zv (р = 1, 2) на конечном или беско- нечном отрезке Т, отправляясь от кусочно-постоянпых функций £(/), принимающих лишь конечное число от- личных от 0 значений S’'1 на непересекающихся по- луинтервалах вида Ak = (sft, g(t)=^, fe=Afc. Именно, для такого типа функции £(£) положим h(f) Л = т А где |А| = t — s для полуинтервала A=(s, f], Очевидно, для любых функций ^t(f), £2(f) этого типа и постоянных Ct, сг линейная комбинация £(f) = c1g,(f) + c2g2(f) есть функция того же типа и J [c^i (0 + с2?2 (/)] dt = С1 J (f) dt + с J (f) dt. (2.11) т т т Очевидно также, что ^(t)dt < Jh(f)ldt. (2.12) т т Произвольная функция 1(f) называется интегрируемой в \2,р (р=1, 2), если найдется последовательность кусоч-
но-чостоянных функций аппроксимирующая Z(t) в том смысле, что , lim fn(t) — = 0; ?2->СО у при этом определяют интеграл J Е (i) dt = lim. J In (t) dt. - у 21—?oo у (2.13) Указанный здесь предел существует, поскольку последо- вательность интегралов J Цп (0 dt является фундамеп- т тальной в пространстве Sp, а именно, I jn (О dt — J Em (0 dt i т [Bn (0 — Em (01 dt <_Сип(О-Вт(ОЙ^< T <fl|En(0-E(0ll^ + fHm(i)-E(0[|^->0 T T при n, m-* «>. Очевидно, предел в (2.13) не зависит от выбора аппроксимирующей последовательности g„(f), и соотношения, (2.11)— (2.12) распространяются на про- извольные интегрируемые функции (доказать это!). ' Задача. Пусть g(f), f>tB,— случайная функция, непрерывная в S’p. Показать, что она интегрируема на любом конечном отрезке Т = [f0, i] и t J В (0 dt = J Е (s) ds = lim E (ffe-i) (<ь — ^-i), T t0 где преде. берется по разбиениям tB < Ъ <....< tn = t при я x(tk— Показать, что функция t П (0 == f Е (s) ds *о является дифференцируемой в 5’р и ее производная есть п (0==Е(0- Данное выше определение интеграла (2.13) относит- ся как к пространству S’1, так и к пространству S’2.
П,ри этом интеграл в S2 одновременно служит и ин- тегралом в S1, поскольку мы имеем непрерывное вло- жение S’2 е S*. Задача. Показать, что для интегрируемой функции £(£) и линейного непрерывного оператора А в Sp функ- ция (£) также интегрируема, причем J [4£ (£)] dt = A fe(t)dt (2.14) Задача. Показать, что для интегрируемых функ- ций в S2 £ (i) dt, т] j = j (£ n) dt \T it для любой величины г] е S2, и (2.15) & (*) ds. У g2 (i) dt) = J J & (S), L (0) ds dt. (2.16) где берется скалярное произведение в гильбертовом про- странстве S2. Задача. Пусть g(£), t^T, есть интегрируемая случайная функция такая, что соответствующая функция £(со, t) пары переменных (и, t) является измеримой относительно произведения. мер P(d<n)Xdt на простран- стве й X Т. С помощью известной теоремы Фубини показать, что с вероятностью 1 существует /(®) = j4(<M) dt. (2.13) и этот интеграл от траектории g(co, f), t^T, как функ- ция от задает определенный ранее интеграл (2.13). Задача. Пусть £(£), t^T, есть интегрируемая слу- чайная функция. Показать, что существует ей эквива- лентная функция g(o, t), измеримая по паре перемен- ных (и, i)sOX7’. (Укажем, что кусочно-постоянные случайные функции, которые использовались в опреде- лении интеграла (2.13), являются измеримыми по паре переменных.)
§ 3. Стохастические интегралы Г. Простейшая конструкция стохастического интсгра- ла. Нужно сказать, что обычный аппарат математическо- го анализа и теорйи обыкновенных ''дифференциальных уравнений неприменим к случайным функциям типа про- сса броуновского движения,, возникающим в наиболее интересных для приложений теоретико-вероятностных схемах, так как они оказываются недифференцируемыми. В теории случайных процессов развит свой аппарат сто- хастического анализа и стохастических дифференциаль- ных уравнений, в основе которого лежит понятие стоха- стического интеграла; к нему мы и переходим. Пусть Т — конечный или бесконечный отрезок дейст- вительной прямой и на его полуинтервалах вида А = = (s, f] s Т задана функция т](А) со значениями т].(А)<= е S?2 из гильбертова пространства S2, обладающая сле- дующими свойствами: для любых непересекающихся А,, Д2 величины T](Ai), т] (А2) являются ортогональными: (n(AJ),r1(As)) = 0, (3.1) причем, если А = Д2 U А2 для непересекающихся полуин- тервалов Д1, Л2 составляет полуинтервал, то ^(Ai U Д2) = i](A1)-l-т](Д2), (3.2) и, наконец, НА)112=|Д|, (3.3) где |Д|=£ — s при А = (s, £]; здесь мы имеем в виду скалярное произведение и норму в гильбертовом про- странстве S’2. Продолжим аддитивную функцию т](Д) на все множества А, представимые как объединение конеч- ного числа непересекающихся полуинтервалов вида А^ *=(S(t, 4]> положив п(А) = 211(Аь) к Для любого такого объединения А = (J Да; из свойства k . ортогональности (3.1) вытекает ь(д)112=Ж(ад-2т ь к - .
что можно выразить равенством h(A)|P = f dt. д или, символически, М|т](Л)|2 = с&. Будем называть ц(А), A s Т, стохастической мерой с ор- тогональными. значениями. Определим стохастический интеграл J Ф (0 ц (dt) для т неслучайных функций <p(i), удовлетворяющих условию J | <р (£) |2 di < оо. (3.4) т Рассмотрим сначала кусочно-постоянные функции <p(t), принимающие лишь конечное число отличных от 0 зна- чений на непересекающихся полуинтервалах A* s Т, скажем, ф(О=*А, , (3.5) Для такой функции определим стохастический интеграл равенством У ф (t) Ц (dt) = S J/hTJ (Да)- (3-6) Т к Очевидно, что для любых функций ф4, <р2 описанного ти- па и постоянных с., сг мы имеем J КФхСО + с2Ф2 (01n(d0 = т = С1 j Ф1 (О П (dt) + С2 J ф2 (t) Т] (dt). (3.7) т т Используя условие ортогональности (3.1), для интегра- ла (3.6) легко получаем следующие равенства: У Ф1 (t) П (dt), j ф2 (t) n (dt) ) = У Ф1 (t) ф2 (t) dt т т ' (3-8) т (например, левая часть в первой формуле (3.8) пред-
ст явим а как [ S (М If = £ Ы2 II п (М II2 = 21 Ук 11 Ай к Г( । последнее выражение определяет интеграл в ее пра- вой части). Возьмем теперь произвольную функцию ф(1), удовлетворяющую условию (3.4), для которой существу- ет последовательность кусочно-постоянных функций fpn(Z), аппроксимирующая функцию <p(i) в том смысле, что J 1<Р(*)~-<Pn(0l2df-> 0. т Если рассмотреть последовательность соответствующих интегралов j* фп (2) Г| (dt), то согласно общей формуле т (3.8) мы будем иметь фп (0 11 (^0 J Фт (0 Т] (dt) т = |f [фп(0— фт (t)]r\(dt) = J I Фп (t) — Фт (0 I2 dt < Т < 2 J (| ф„ (0 - ф (t) I2 + 1 фт (t) - ф (z)|a) dt -> 0 т (3-9) при п, m -> °°, т. е. эта последовательность оказывается фундаментальной в гильбертовом пространстве 2?г. Сле- довательно, в S'2 существует предел J Ф (t) т] (dt) = lim J ср„ (t) д (dt)t р П-^оо ip который и определяет обозначенный слева стохастиче- ский интеграл. Очевидно, его определение не зависит от выбора аппроксимирующей последовательности q>n(t) ку- сочно-постоянных функций (проверить это!). Очевидно также, что формулы (3.7) — (3.8) сохраняются при пре- дельном переходе (3.9). Задача. Показать, что для непрерывной функции ф(£), t^tOt на любом отрезке Z = |/o, i] мы имеем t J Ф (s) Г| (ds) = ( ф (s) д (ds) = lim V <р (th^) д (Дй), Т t0 П-»~ Й=1 где предел берется по разбиениям to <tl<...<tn = t на» полуинтервалы Aft = (ift~1, th] при max(£h — fe
Задача. Обратимся к броуновскому движению с нучевым средним и коэффициентом диффузии о2 == 1 (еГо еще называют винеровским процессом}. По- ложим n(A)=n(O~n(s) (3.10)' для полуинтервалов Д = («, i]. Показать, что т](Д), удов- летворяющая условиям (3.1) — (3.3), есть стохастическая мера с нулевым средним Мц(Д)^0. (Эту стохастиче- скую меру будем называть винеровской.) Задача. Пусть T](i), £> 0,—пуассоновский процесс с параметром К = Ь М[т1(0~ *!(«)] = *-«• Для полуинтервала Д = (s, i] положим ц(Д)=ц(0-Ш-[*-4 (3.11) Проверить, что т](Д) обладает свойствами (3.1) —(3.3). Показать, что для непрерывной функции ф(<)> t>0, с вероятностью 1 * г f ф (s) Ц (ds} = 2 Ф (Th) — ) Ф (S) о О где тЛ — случайные моменты скачков пуассоновского про- цесса (см. рис. 11 на с. 121). (Указанную здесь стоха- стическую меру т](Д) с нулевым средним М?](Д) = 0 бу- дем называть пуассоновской.) В дальнейшем мы будем рассматривать стохастиче- ские меры с нулевыми средними значениями: Мц(Д) = (ц(Д), 1) = о. При этом условии справедливо равенство М J ф (/) ц (dt} = [ J ф (t) ц (dt), 1\ = О, т \т / очевидно, оно выполняется для кусочно-постоянных функций и сохраняется при предельном переходе (3.9) в S’2. 2. Некоторые обобщения стохастического интеграла. Внесем теперь в данную нами конструкцию стохастиче- ского интеграла некоторые дополнения. Будем теперь рассматривать стохастическую аддитивную функцию с ортогональными значениями т](Д), ДЕТ, которая в от-
личие от прежнего соотношения (3.3) обладает тем свой- ством, что г М|ц(Д)|2 = ^(Д), (3.12) символу тески M|n(df)H = F(d/)', где /ДД), Д s Л есть произвольная положительная мера з прежней конструкции F(dt) = dt была лебеговой мерой па прямой). Все остается без изменений, за исключением того, Ito dt нужно заменить на F(dt), и соответствую- щий стохастический интеграл J ф (0 ц (dt) определяется т указанным в (3.9) предельным переходом для функций cp(Z), удовлетворяющих условию Г \q(t)\*F(dt) (3.18) ОО. Отметим, что после замены dt на F (dt) формулы (3.8) будут выглядеть как М ]'ф(Г)л(Л)2 = Jl<P(*)iW*h у Т т м j,'Pi(Oa(^)f <Pz(t)n(dt) = ^<Pi(t)<p&(t)F(dt). (3.14) Li1 т Пусть Д s Т таково, что J 1<р(0|2^(*)<оо; д введем стохастический интеграл J Ф ft) j] (dt) = J 1Д (t) <р (t) a (dt), д т (3.15) где 1д(2) — индикатор множества Д (1д(д)=1, <еД и 1д(ь = 0, г^Д). . ' / -Задача. Для каждого множества Д конечной меры г(Д)<оо положим n(A) = Ja(*)i д доказать, что эта формула задает стохастическую меру с оРтогональными значениями, которая удовлетворяет ус-
ловиям (3.1) —(3.3) и обладает свойством о-аддитив- пости: оо П и (А) = S Т] (Afe) = lim 2 Т] (Ан) h— 1 n-»oo h~l оо для объединения А = U As непересекающихся Aft, к = fe=i = 1, 2, ... (напомним, первоначально т](Д) была опре- делена лишь для конечных объединений А = U Аь раз- fe личных полуинтервалов). Задача. Пусть В есть случайная величина с распре- делением вероятностей P{geA)=f(A), AsZ. Показать, что формула i](A)= 1(5ед} задает стохастиче- скую меру ортогональными значениями, для которой M\i](dt)\2 — F(dt). Лемма. Для любой конечной меры F (dt) существу- ет соответствующая стохастическая мера с ортогональ- ными значениями r](dZ), удовлетворяющая условиям Мт](^) = 0. М|т](<Й)12 = ^(бЙ). (346) Доказательство. При F(Т) = 1 такую стохасти- ческую меру можно определить формулой т] (А) == = С71{5еЛ), взяв случайную величину £ с распределе- нием F(dt) и изометрический оператор U в гильберто- вом пространстве S2 со значениями в подпространстве всех величин т] s S’2 с нулевыми средними Мт] = 0. Оста- ется лишь заметить, что от конечной меры F(dt) можно перейти к вероятностной мере F(dt)/F(T). В заключение остановимся еще на одном обобщении стохастического интеграла, касающегося его распростра- нения с области Т s Z?1 действительной прямой на об- ласть Т ~ Rn «-мерного пространства. Очевидно, если рассматривать стохастическую меру т](А), A s У, с ор- тогональными значениями, определенную на множествах A s Т конечной меры /г(А)<°° — той положительной ме- ры F(dt), что связана со стохастической мерой T\{dt) со- отношением (3.12), то все сказанное ранее останется в силе после замены R1 на Rn. 3. Канонические представления случайных процессов. Пусть £(£)• t^T, есть случайный процесс с нулевым
средним значением Mg(f) = O, tel, и корреляционной функцией вида Mg (t) g (s) = J <p (t, k} <p (s, X) F (dk), (3.17) Л где F(dk) —конечная (положительная) мера на множе- стве Л — R1 и J|(p(O X)|2F(dX)<oo л при всех t е Т. Теорема (о каноническом представлении.} Случай- ный процесс g(i), i е Л допускает представление g(i) = J<p(O (348) л где ц (dk} — стохастическая мера с ортогональными зна- чениями. удовлетворяющая условиям Мц(<&)=0, M|n(^)|z = f(dX). (3.19) Доказательство. Мы знаем, что существует стог хаотическая мера T\{dk} с Мт](т?Х) = 0 и М|т](<&)|2 = — F{dk}. Обратимся к соответствующему случайному процессу £ (О = J Ф k) П (dZ)i tе т, л и введем оператор U, положив = t^T. Принимая во внимание (3.17), заключаем, что это есть изометрический оператор, а именно, он сохраняет скаляр- ное произведение: (g(Z), g(S)) = (g(f), g(s))-, 8, t^T. Равенство ^(ScJ(fA))=.sCftg(fft) Для всевозможных линейных комбинаций задает изомет-
рическое продолжение этого оператора, который далее по непрерывности продолжается на всю замкнутую ли- нейную оболочку В величин |(£)’, tе Т; bS2, и наконец, с сохранением изометричности он может быть продолжен на все пространство S’2 (его можно оппеделить на орто- гональном дополнении S’2 © В к указанному выше под- пространству В как изометрический оператор из S’2 © В в соответствующее S’2 © Я, где Я — замкнутая линейная оболочка величин t^T). Формула т](Д)=Ят](Д) определяет на множествах Д s Л стохастическую меру с ортогональными значениями, удовлетворяющую усло- виям (3.19). Принимая во внимание нашу конструкцию стохастического интеграла, заключаем, что л л л это равенство очевидно для кусочно-постоянных функций <р и распространяется на общий случай предельным пе- реходом, который использовался при определении стоха- стического интеграла. Взяв <p(A) = <p(i, X), получаем тре- буемое представление (3,13), называемое каноническим представлением по стохастической мере ц (<&)'. В качестве важного примера рассмотрим так называе- мое спектральное представление стационарного случай- ного процесса £(£)> ~Случайный процесс £(£) на действительной прямой — °° < t < °° называется ста- ционарным в широком смысле, если его среднее значе- ние не зависит от t (мы будем считать, что М|(£) = 0), а корреляционная функция Mfc(t)№= В (*-*). зависит лишь от разности t — s. Стационарность здесь состоит в том, что корреляция значений £(s) и В(0> разделенных временным интервалом (s, t), зависит лишь от его длины t — s и не меняется при сдвиге этого ин- тервала на временной оси. Соответственно B(f) = M£(£ + s)£(s), —°° < £ < °°, (3.20) называется корреляционной функций стационарного про- цесса £(£), —°o<t<co. Будем предполагать, что она является непрерывной (как мы знаем, это означает не- прерывность процесса %,(t) в пространстве S’2). Очевид-
по корреляционная функция (3.20) является тельно определенной: п _ п 12 г 2 ctfijB (th — = M 2 Ckl (ffc) > 0. h=1 1 положи* П едположим временно, что В(0)=1. При этом условии непрерывная положительно определенная функция B(t), —oo<f<°°, по известному нам ^критерию является ха- рактеристической функцией некоторого распределения 1 вроятностей F(rfA) на прямой — и таким об- разом, имеет место представление оо B(t) = J еш^(<Д), — oo<f<oo. (3.21) — со Ясно', что для произвольного Z? (0) = Ml (t) 12 это пред- ставление сохраняется с той лишь оговоркой, что F(d}.\ со ость конечная положительная мера, J F (<Д) = В (0). — оо (К этому мы приходим с помощью замены стационарного процесса g(Z) на такой же процесс, получающийся из %,(t) умножением на постоянную о-1 = 1/У2?(0).) Формула (3.21) дает так называемое спектральное представление корреляционной функции. Согласно общей теореме о канонических представлениях, с помощью фор- мулы (3.21) получается следующий результат. Теорема (о спектральном представлении}. Всякий стационарный в широком смысле процесс допускает ин- тегральное представление оо E(t) = J ешФ(^), — oo<f<oo, (3.22) — оо по стохастической мере Ф(г?Х) с ортогональными значе- ниями, МФ(йЛ) = 0, М|ф(<й)|г = Г (<&)•, (3.23) где F(dV) связана с корреляционной функцией процесса преобразованием (3.21). Формула (3.22) дает так называемое спектральное представление стационарного процесса (соответствую- щая мера F^d'K) называется его спектральной мерой).
Спектральное представление будет нам служить важным инструментом в дальнейшем анализе стационарных слу- чайных процессов. § 4. Стохастический интеграл Ито 1. Определение п основные свойства. Пусть имеются о-алгебры событий каждую из которых мы будем ин- терпретировать как совокупность событий до соответ- ствующего момента времени t, и согласно этому S3’sS‘, set (4.1) Мы распространим понятие стохастического интеграла на случайные функции <p(t), значения которых в каж- дый момент t — случайные величины tp(i) = <р(со, t), а е е Q, на пространстве элементарных событий Q — изме- римы относительно соответствующей о-алгебры событий ®‘; такие случайные функции мы будем называть не- упреждающими. При этом будет предполагаться, что сто- хастическая мера ц(Д) с описанными в (3.1) — (3.5) свойствами имеет нулевые средние Мц(Д)^0, (4.2)- причем для каждого Д=(«, /] случайная величина т](Д) измерима относительно о-алгебры событий и не за- висит от о-алгебры событий 3s до момента s. Мы будем иметь дело с действительными случайными величинами |, Miai2 < оо, рассматривая их в гильберто- вом пространстве S’2 и считая — £«, если величины £z равны с вероятностью 1. Определение стохастиче- ского интеграла [ <р (f) т] (dt) на отрезке Т мы начнем т с рассмотрения кусочно-постоянных случайных функций q>(i), t^T, принимающих лишь конечное число отлич- ных от нуля значений на непересекающихся полуинтер- валах вида ДЛ = (sft, ift], скажем, t^\h, (4.3) где каждая из случайных величин s S’2 измерима sk относительно соответствующей о-алгебры £3 . Задача. Пусть п-алгебры S', t tof непрерывны справа, точнее, при всех s А = 23е. (4.4) t>s
Показать, что всякая неупреждающая кусочно-постоян- ная функция вида (4.3) имеет значения измеримые относительно 59 • • В дальнейшем мы будем считать выполненным ус- ловие (4.4). Для неупреждающей кусочно-постоянной функции ф(0 вида (4.3) стохастический интеграл опре- делим равенством • л . j ф (О П (dt) == 2 Ln (Aft)- (4.6) у k Здесь величины. L и п(АО являются независимыми, и потому MIL • т)(АО I2 = М|2 - Mln (ДО I2, LA^e (видно, что стохастический интеграл (4.5) есть величина из гильбертова пространства S?2). Покажем, что при ус- ловии (4.2) М J <р (t) n (dt) = Г J ф (t) n (dt), 1 ] = 0. (4.6), т 'Т . ' В самом деле, величины п(АО не зависят от соответ- ствующих L, и м 2 Ln (Ah) = 2 ML -Мц (\h) = о. h h Столь же просто установить, что |b(i)n(^)|2= JlMOIM.’ (4.7) Действительно, при к>] величина n(AJ не зависит от совокупности величин L n (Aj), L и M[Ln (АП Ln (А.) ] = M[Ln (АД L] • Мц (д о=о . (по поводу существования указанных здесь математиче- ских ожиданий напомним, что величины В = L, П (Aft), Ln (АЛ), Ln (А,) имеют конечный второй момент М|£|2< <оо). Итак, при к^=] величины Ln (Aj) и Ln (АО орто- гональны. Поэтому 12 Ln (Ah) j2 = 2II Ln (Ah) II2 = 2IILII21 Aft I и, таким образом, справедлива формула (4.7). Очевидно, линейная комбинация с,ф,(О +Сгфг(О пеупреждающих кусочно-постоянных функций ф1(0» фг(О является
функцией того же типа,— в этом легко убедиться, обра- тившись к представлению (4.3) для ф = ф4, ф2 с общими для ф,, ф2 полуинтервалами Л*, ясно, что J 1сгФ1 (0 + с2<р2 (01 п (<&) =* т = Cl J Ф1 (0 (dt) + с2 J ф2 (t) 1] (dt). (4.8) т т Рассмотрим неупреждающую случайную функцию ф(£), I’ll ф (£) ||2 dt < °о, для которой имеется последователь- т ность пеупреждающих кусочно-постоянных функций Ф„(/), сходящихся кф(<) в том смысле, что f II Фп (t) — Ф (0II2 dt-^O. т (4.9) Соответствующая последовательность стохастических ин- тегралов J Ф (t) т] {dt) является фундаментальной, no- ir скольку согласно общей формуле (4.6) | J (0 П (dt) — У Фт (t) т) (dt) || т т == IIУ {фп (t) — фт (*)] »! (dt) = УII Фп (t) — фт (t) ||2 dt < || г т <2у (и фэт (t) — ф(0||2 + || Фп. (t) — ф(г)||2]<й->о т при п, m -» °°. Следовательно, в гильбертовом простран- стве 2?г существует среднеквадратический предел У Ф (t) г; (dt) = lim У фп (t) ц (dt). (4.10) у П-»со у Этот предел не зависит от выбора аппроксимирующей последовательности неупреждающих кусочно-постоян- ных функций (проверить это!) и определяет стохастиче- ский интеграл, являющийся обобщением стохастического интеграла (3.9) на неупреждающие случайные функции ф(0, которые удовлетворяют условию (4.9). Очевидно, формулы (4.6) — (4.8) распространяются на все та- кие ф(£).
Пусть стохастическая мера i}(dt) задается с помощью виперовского процесса f](t), как < т}(Д)=п(0-п(5), a=(s. (I- (4.11); В этом случае стохастический интеграл (4.10) обычно называют стохастическим интегралом Ито, вместо сим- вола ц(^) употребляя что больше согласуется с определением (4.11). Уточним, М drj (f) = 0 и МЧц(0|2 = ^. 3.. д а ч а. Показать, что для неупреждающей непре- рывной в 5?г функции <p(i), существует стохасти- ческий интеграл Ито * п [ q> (s) t/ц (s) = lim 2 ср (^_х) [ц (th) — т} (fft—i)], (4.12) ' У ' П-+ОО k—1 10 где предел берется по разбиениям t0 <tt<.. .< = t при max(£h — i/1_1)-^-0. Показать, что случайная функция k t £(0 = J Ф (s) *1 («)» *>*0» f0 «1 обладает следующим свойством: при ф(£)=^0 и малых Л > О ё (t + h) - I (0 = ф (t) [ц (t + Ь)-^)] + о (№*), где Ио(Л(/г)П при h -> 0 есть малая величина высшего по- рядка в сравнении с Пф(г)[ц(£ + /г) — T](i)]H = Иф(4)Яй‘/4. (Здесь можно было бы сказать, что функция £(t + Zi), Л 2? О при малых h ведет себя приблизительно так же, как броуновское движение с исходным значением |(£) и коэффициентом диффузии о2 = Пф(£)Н2.) Пример. Чтобы подчеркнуть специфику стохасти- ческого интеграла Ито, вычислим его для винеровского процесса ф(^ = ц(£)> t^O, по формуле (4.12): П ($) («) = lim 2 П (ife-i) (Л (^) — П Gfe-i)b О П-»со fe=l
Используя равенство П (ift-i) И (tft) — П (ife-i)l = =у ь w ч - 4 h n получаем, что 2 ’l(ife-i) И (М — n(ih-i)l = h=l п =4м (о2 - п а0)21 - 4 2 - п ^-1)1^ Ь=1 где ta = 0, т] (tc) = 0. Напомним, что для винеровского процесса ц (t), t > 0, при условии max (th — ^_г) 0 су- k ществует (среднеквадратический) предел 71 lim 2 1П (th) — n (tft-i)]2 = t. 71->со&—1 Поэтому (4.13) J T] (s) <fr] (s) = 4 ~ 'T1- 0 2. Стохастические дифференциалы. Будем говорить, что случайная функция g(t), t > t0, имеет стохастический дифференциал dg(t) = a(t)dt+ $(t)T\(dt), (4.14) если t t I (0 = £ (t0) + j a (s) ds + j P (s) 7] (ds), *0 f0 t tOi где a(t), p(t)—случайные неупреждающие' функции. (Уточним, мы их. будем считать интегрируемыми в S'2.) Задача. Показать, что случайная функция g(0.~ = П(0\ гДе Л(0. t>0,— виперовский процесс, имеет стохастический дифференциал d%(t) = dt + 2i] (t) ц (dt). Задача. Показать, что случайный процесс, имею- -щий стохастический дифференциал (4.14), непрерывен в
(Воспользоваться тем, что для интегрируемых функ- lla(i) II = (М|а (Z) Р) *'а, Пр (О И2 == М|₽ (i) Р мы имеем t+h 7i+h \1/2 UG + h) — S(01l< j |]«(«)11Фс+ J ||₽(s)||2ds I -*0 t \ i J при h -> 0.) Вычислим стохастический дифференциал случайного процесса вида t £ (i) = J с {t, s) T] (ds), t > tot (4.15) f0 где c (t, s) есть неслучайная функция переменных t > > s 5= £о, имеющая непрерывную по совокупности пере- менных производную ~ с (t, s). Если воспользоваться перестановкой при повторном интегрировании, то полу-- чим равенства с (и, s) т] (ds) Т] (ds) =» t t = f (*. s) — c (s, s)] T] (ds) = £ (Z) — J c (s, s) T] (ds), *0 *0 из которых видно, что с (t, s) Г) (ds) dt + c {t, t) т] (di). (4.1G) Лекажем правомерность использованной выше переста- новки стохастических интегралов, установив общую фор- мулу повторного интегрирования. Пусть <p(w, s) есть не- случайная функция переменных te ^и, s < t, для которой существуют указанные ниже стохастические
интегралы: (4.17) (Скажем, все эти интегралы существуют для функции Ф (щ S) = О,. и <Z.s^.tt с которой мы имели дело при вычислении стохастиче- ского дифференциала (4.16).) Согласно определению сто- хастического интеграла, величины (4.17) принадлежат в S’2 замыканию всевозможных линейных комбинаций ве- личин вида ц = ц(Д), Д — (?i, t2], где t. По- этому нужное нам равенство щ = ц2 будет доказано, если будет установлено равенство (т^, ц).=(Ц2, ц) для скаляр- ных произведений. Мы имеем (Пн П) = t / t Ob n)= f J Ф (Е *) n W, ц f0 'f0 где для обычного двойного интеграла Таким образом, что и требовалось доказать.
§ 5. Стохастические дифференциальные уравнения 1. Линейные стохастические дифференциальные урав- нения n-го порядка. Как известно, общее решение линей- ного дифференциального уравнения x^(t'j-al(t)x^(t}-...-an(t'jx(t^O, t>t9 (5.1} (скажем, с непрерывными коэффициентами)’, можно представить в виде П-1 a; (t) — 2 (t, tg) t *0» fi=0 где параметры хй, ..., xn-t суть начальные значения Хо = ж(го), .ж„_! =я(п_1)(^о), a wh(t, t0) — частные ре- шения, отвечающие соответствующим параметрам хк = 1, Xj — 0 при j =/=' к. Задача. Проверить, что для любых случайных ве- личин go, • • Bn-i е S’2 случайная функция £(0 = 2 Wh (t, f0)Sfi, t^tg, (5.2) k=0 в S’2 имеет непрерывные срсднеквадратическис производ- ные g(ft’(t) до порядка п — 1 и является единственным решением (записанного в дифференциалах) дифференци- ального уравнения dg("-*’ фg(n-D (t) dt - ... - а„(t) g (t) dt = 0 (5.3) с начальными условиями g(M=U (5.4)’ (Отметим, что для любого ?] S’2 скалярная функция ®(/) = (^(t), 41) ссть единственное решение уравнения (5.1) с начальными условиями х{к’ (to) — (gft, т]), к = = 0, ..., п — 1.) Рассмотрим неоднородный аналог дифференциального уравнения (5.3), записанный с помощью стохастических дифференциалов .как (t) - щ (t) g'""1’ (t)dt ..- an (t)g (t)dt = = b(t)n(dt), t>t0, (5.5) где речь идет о случайной функции g(t), t> tB, с непре- рывными производными g(”J (f) до порядка п — 1, для
которой *’ (£) имеет стохастический дифференциал d^-»(t) = = к (О В(и-П (0 +• • •+ «п (0 6 (9 № + b (t) ц (dt), (5.6У а младшие производные,' конечно, имеют стохастические дифференциалы вида dlm(t)=^k+t^(t)dt, к = 0, ..., п-2. (5.7)' Разность двух любых решений уравнения (5.5) удов- летворяет однородному уравнению (5.3) с нулевыми на- чальными условиями, и, следовательно, эта разность тождественно равна 0. Таким образом, решение g(i), t to, уравнения (5.5) с заданными начальными усло- виями (5.4) является единственным. Ясно, что если в (5.5) взять решение В(0» t^t0, с нулевыми начальными условиями B(io) = O, ..., Qn~l} (ta) = Q и прибавить к не- му решение- (5.2) однородного уравнения (5.3), то по- лученная сумма даст нам решение уравнения (5.5) с начальными условиями (5.4). Теорема. Решение стохастического дифференциаль- ного уравнения (5.5) с нулевыми начальными условиями задается формулой t Ut) = J w (t, s) b (s) n (ds), t > fot f0 (5.8) где при фиксированном s функция w(t, s) переменного s есть решение соответствующего обыкновенного диф- ференциального уравнения (5.1) с начальными условиями w(s, х) = 0, ..., win~2) (s, s) = 0, ip(n-I) (s, s) = l. (5.9) Доказательство. Согласйо общей формуле (4 16) случайная функция (5.8) имеет стохастический дифференциал вида d% (t) = ' t 1 J пХ1’ (t, s) b (s) T] (ds) \dt + w (t, t) b (t) t] (dt),- b0 J где w(t, t) = 0, и следовательно, у функции %(t) в S’2 существует производная, имеющая вид t £(1) (t) == J и№ (t, s) b (s) т] (ds), t > t0. Аналогично устанавливается существование всех П — 1
производных t gP (t) =* J (t, s) b (s) (ds), t^t0, kt^.n — 1. (5.10) ' 'o Пользуясь той же общей формулой (4.1G), для послед- ней (п—1')-й производной полудаем ^п-1)(0 = и№> (tt s) Ъ (s) (ds) dt 4- tzXn-i> (t, t) b (t) tj (dt) где u>{n~iy(t, t)=l, a w(ny(t, s)i = a, (t) w{n~iy (t, s) +... an(t)w(t, s), что вместе с выражениями (5.10) для младших производных дает нам равенства (5.6) — (5.7). Теорема доказана. (Уточним, что в данном нами определении стохасти- ческого дифференциала, см. (4.14), речь шла о неун- реждахощих случайных функциях (по отношению к не- которому потоку событий SB*, t > t0). Очевидно, при условии, что неупреждающими являются начальные зна- чения Ze = 0, ,.п — 1, т. е. они измеримы относи- тельно о-алгебры событий формула (5.8) задает не- упреждающую случайную функцию £(£), и то мхе можно сказать о формуле (5.2).) Полученные результаты позволяют следующим обра- зом охарактеризовать поведение случайного процесса £(£), t^to, управляемого линейным стохастическим диф- ференциальным уравнением (5.5): при дапных значениях g(fti(s), /с = 0, ..., п — 1, в отсутствие «внешних возму- щений», представленных • в правой части (5.5) как b(t)t\(dt), траекторией процесса является х (t) = 2 wh (t, s) E-(ft) (s), t > s,: h—0 детерминированная функция, определяемая по исходным величинам gw(s), к — 0, ..., п— 1, где wh(t, s) по пере- менному i > s есть решение обыкновенного дифферен- циального уравнения (5.1) с начальными условиями wk (s, s) = l, w^(s, s) = 0 при №к, а при наличии b(f)T]((?i) происходит отклонение процесса от этой
траектории x(t) на t Д(05) = В(0— x (t) = У w (t, u) b (u) i] (du)t t^s. (5.11) « Рассмотрим подробнее (действительный) случайный процесс 5(0, t>t0, который описывается стохастическим дифференциальным уравнением первого порядка: (О = a (t) | (0 dt + b (0 т] (dt) (5.12) с действительными коэффициентами а (О, Ь(0- Задача. Показать, что решение уравнения (5.12) при нулевом начальном условии 5 (0) = 0 есть случай- ный процесс с нулевым средним M|(i) —0 и-дисперсией D(f)-Mg(02, которая как функция от t > t0 есть ре- шение дифференциального уравнения 17(0= 2а (0® (0 + & (01 (5.13) с нулевым начальным условием D(£o) = O. (Продифферен- цировать функцию t D (t) = § [tufa s)b (s)]2 dt to и в полученное выражение подставить ip(l)(i, s)'= = a(t)w(t, s), w(t, t) = 1.) 2. Сходимость к стационарному процессу в устойчи- вых линейных системах. Случайный процесс 5(0, t>t0, будем называть линейным, если он представим в виде t £ (О = J w (0 s) n (ds), t > tOl (5.14) *о i где w(t, s) —неслучайная функция, J | w (t, s)l2 ds<Z °o, *0 а ц (dt) — какая-либо стохастическая мера с ортогональ- ными значениями, Mx](dt) = O, М|т](сИ). I2 = dt; будем называть w(t, s), t^s, весовой функцией. Линей- ным случайным процессом- является, например, решение линейного стохастического дифференциального уравне- ния иго порядка с нулевыми начальными условиями
(см. (5.8)Линейный процесс назовем однородным, если его весовая функция w{t, s) зависит лишь от разности t — s, w(t, s) = u>{t —s'), t>s. Соответствующую весовую функцию t 5= 0, будем называть устойчивой, если . J| w (t) I2 dt < oo. ' (5.15) о Пример {линейные дифференциальные уравнения с постоянными коэффициентами). Однородный линейный процесс возникает при рассмотрении общего линейного стохастического дифференциального уравнения (5.5) с постоянными коэффициентами, скажем, ak{t) = ah, k = 1, ..п; b{t}=i. Именно, пусть все корни характеристического полинома P{z) = zn — щг”-1 —..ап лежат в левой полуплоскости Re z < 0 комплексного переменного z. Соответствующая весовая функция w{t) является решением дифференци- ального уравнения i#<n)(£) — а1н>!я-1) (t) —...— anw{t) = 0 (5.16) с начальными условиями w{0)~0, ..., (0).= 0, №(п-,)(0)=1 (см. (5.8)), и при указанных условиях на корни по- линома P{z) функция w{t.) убывает при t->«> экспо- ненциально быстро, так что она удовлетворяет требова- нию (5.15). Положив u>(t)—0 при t<0, приведем здесь известную формулу преобразования Фурье: оо Уег^(г)^ = р(^,, — оо<21<оо^ (5.17) о она легко получается интегрированием по частям ра- венства оо J e^t [w<n> (f) — а^-Р (f) — ... — anw (£)] dt = O’. 0
Рассмотрим общий однородный £ (f) = J w (t — s) 1] (ds), ‘о линейный процесс (5.18) > lot с устойчивой весовой функцией и его поведение через большой промежуток времени t —10 -* При этом фор- мально нам удобнее считать, что t0 (предположив, что стохастическая мера т](сй) задана на всей прямой —оо<г<о°). Положим w(t)=0 при КО й обратимся к случайному процессу 00 ' t l*(t)~ j iv(t — s)T](Js)= J iv(t — s)i\(ds), (5 — 00 —OO ’ * ' -- OO < t <Z OO. Он обладает тем свойством, что имеет нулевое среднее М£*(£)=0 и корреляционную функцию оо (t) (s) =» J iv (t — u)w(s — u) du = “-OO co J w (t — s 4- u)w (u) du = B(t — s), — CO — oo < s, t <Z co, (5.20) которая зависит лишь от разности t — s, и таким обра- зом, процесс В*(г), является стационарным в широком смысле. Сравнив (5.18) и "(5.19), легко получаем, что IIUO-S* « = *0 2 j iv(t — s)i](ds) *0 оо = J | iv (t — s) J2 ds = J | iv (u) |2 du -> 0 при Z —f0“>o°. Таким образом, справедливо следующее предложение. Теор е м а. При однородный линейный процесс (5.18) с устойчивой весовой функцией сходится в среднеквадратическом к стационарному в широком смысле процессу (5.19).
Задача. Пусть t\(dt), —оо < f < oot есть винеров- ская мера, формально получающаяся ее продолжением с полупрямой t > t0 при to-*- —00 (см. (3.10)). Показать, что стационарные величины g*(£) с действительной ве- совой функцией w в (5.19) при всех t имеют одно и то же нормальное распределение с нулевым средним и дис- персией __ оо- Mg* (/)2 = J w (.s)2 ds„ — 00 Задача (продолжение). Рассмотрим теперь в каче- стве 11 (dt), —00 < f < оо, соответствующую пуассоновскую меру (см. (3.11)). Показать, что величины £*(£) в (5.19) при всех t имеют одно и то же распределение вероятностей с характеристической функцией вида оо f iuw(s)]ds /(w) = e" , — oo<U<oo. (5.21) (Отметим, соответствующий случайный процесс g*(i)= lim 2 w(t-xh) (5.22) возникает в «линейной системе» с весовой функцией ы при воздействии на нее пуассоновского потока «единич- ных» импульсов 5(1 — тЛ), представленных дельта-функ- цией в соответствующий момент хк; это так называемый процесс дробового эффекта*).) Пусть, далее, оо ф (X) = J eiKtiv (t) dt — ОО есть преобразование Фурье весовой функции w(t), рав- ной 0 при t < 0. Тогда определяемая формулой (5.20) свертка оо В (t) =» iv (t 4- s) tv (s) ds — 00 представима с помощью обратного преобразования Фурье *) По поводу приложений такого рода модели см., например, Лэннинг Дж. X., Б е т т и и Р. Г. Случайные процессы в зада- чах автоматического регулирования,— М.: ИЛ, 1'958.
в виде оо оо = ± [ е-Ш|<р(Х)|г^= Геш/(^)А (5.23) ИЭТ J J- —оо оо /(М = -а;|ф(-МГ. и мы имеем здесь спектральное представление корреля- ционной функции предельного стационарного процесса £*(£)» отвечающее спектральной мере F(dK)= /(^)JZ, с так называемой спектральной плотностью /(X) вида = -оо<Х<оо. (5.24) Пример. Пусть g(i) есть стационарный процесс, устанавливающийся в устойчивой линейной, системе (т. е. %(t)—%*(t)), которая описывается дифференци- альным уравнением (5,1) с постоянными коэффициен- тами ak(t) — ak, к = 1, ..., п, и случайным возмущением, представленным в соответствующей стохастической мо- дели (5.5) как b(t)r\(dt), где b(t)=b есть постоянная (такого .рода случайное возмущение называют «белым шумом»). Согласно формулам (5.17), (5.21) этот про- цесс имеет спектральную плотность ;(Х) = Ц^—— (5.25) ' ' ' 2л | р (_ ех) |2г V ' где P(z) = zn — щг"-1 —...— ап. 3. Нелинейные стохастические уравнения 1-го поряд- ка. Мы рассмотрим здесь (действительные) случайные процессы В (О , t^t0, имеющие стохастический диффе- ренциал (£)’=а (£) di + 0 (i) 7] (dt), «(0=«(Ш). ₽ (0 = &(*,£(*))', где a(tt х), b(t, х) —неслучайные функции переменных t>t0 и —оо <я<«>. Вопрос о существовании случайного процесса указанного типа со стохастическим дифферен- циалом ^(0 = «(«, l(t))dt+b(t, (5-26) где a(t, х), b(t, х)—заданные коэффициенты, есть вопрос о существовании решения стохастического
интегрального уравнения t t .5 (0 = £ Ус) + f «(«Л («)) rfs + f b (s, g (s)) t] {ds)t *0 f0 i>fot (5.27) символическая запись которого в дифференциалах дает нам стохастическое дифференциальное уравнение (5.26). Функции a(t) = a(t, £(£)), $(l)=b(t, l(t)) должны у нас удовлетворять условиям, при которых мы определили стохастические интегралы, представленные в (5.27). На- помним здесь, что если а(0, ₽(0 удовлетворяют этим условиям, то случайная функция (5.27) является непре- рывной в 2Д. Имея это в виду,’наложим на коэффициен- ты a(t, х), b(t, х) следующие требования: \a(t, x)-a(s, х)| <С(1 + |х|) |a(f)-a(s) I, |6(f, x)—b(s, z)l CC(1+ k|)|6(i)-6(s)|, '' J где a(t), 6(f) — некоторые непрерывные функции, и, кроме того, что самое существенное, |a(f, x)-a(t, у)| sSCk-yl, |6(i, x)—b(t, у) | sSCIx — yl, для всех x, у равномерно по I на каждом копенном ин- тервале 10 t < Т. Задача. Показать, что при условиях (5.28), (5.29) для непрерывной в S?2 случайной функции %(t), t>t0, случайные функции a(t)=o(t, £(£)), ^>(t) =b(t, £(£)) будут непрерывными. Напомним еще, что стохастический интеграл Ито в правой части (5.27) определен при условии неупреждае- мости случайной функции p(t)=6(t, £(£)). Поэтому, го- воря о случайном процессе со стохастическим дифферен- циалом (5.26), мы будем иметь в виду неупреждающую случайную функцию %,(t), t>i0, значения которой — случайные величины Z(t)—измеримы относительно о-алгебры событий 8‘ до соответствующего момента t. В частности, неупреждающей будет предполагаться и за- даваемая в начальный момент t0 случайная величи- на g(f0). Теорема. Для любой начальной величины £(£<>) ре- шение £(£), t^t0, стохастического дифференциального уравнения (5.26) существует и единственно.
Доказательство. Мы воспользуемся методом по- следовательных приближений в нашем гильбертовом про- странстве 232, положив 8о(0-Е(^ t t £i(t) = 5 (to) + jI a (s, 5o («))ds + f b (s, So (s)) q (ds)t *o *o t t L (0 = £ (t0) + J a (s, Sn-i (s)) ds + J b (s, Sn-i (s)) q (ds)i *o *o где при условиях (5.28), (5.29) все S„(i) и a(t, |n (£))’, b(t, Bn(O)—неупреждающие непрерывные в 2?2 функ- ции от t (доказать это!). С учетом условия (5.29) имеем HUiW-MOK t J [a ($1 Sn (s)) — a (s± Sn—i (s))]ds + *o [6 (Sj Sn ($)) b (s, Sn—i (s))J q (ds) i < JII a («15n («)) — a (s, Sn—i (s)) I! ds + *o t \ 11 i J II ь (Sj Sn («)) — b (Sj Sn-1 (s)) II2 ds < *o z < C max || Sn (s) — Sn-1 (s) || (t — t0) + + C max II S„ (s) - Sn—i (S) || (t - t0)^. Взяв интервал t0 t «gjj длины h = tt — f0 с тем 'усло- вием, чтобы C(h + Ук) = г < 1, получим следующие
оценки: max ||£n+i(0 — 5п(0К tg ** t i 1 <r max ||g„(i) ~| £n-i (i)||< ... ...<rn max Uli (0-Io (011 = CQrn. tg В итоге при любых т> п имеем max ft 1т (0 - g„ (0 У < Со Я rft < Сггп -> 0, ft—П т-ь п -*- оо. В частности, видим, что последовательность величин (Z), п — 0, 1, ..является фундаментальной в S2 и для каждого t, t0 t < i,, существует среднеквадратичен ский предел £ (0 = lim gn (t). Ясно, что П-*оо max llUO-SnWBC^r71. Xg^t^ti Кроме того, в силу условий (5.29) - max Ц а g (i)) — a (t1 gn (£)) || < Слг\ ’ max Поскольку случайные функции g„(f) являются вепре- рывными в S'2, тем же свойством обладает их равно- мерный предел g(0» Очевидно, предельная функция g(0 удовлетворяет интегральному уравнению (5.27): ? (0 = lim gn (i) =. П-*оо t ₽ g (<0) + .’im f a (Sj g„_r (s)) ds +: t + lim I b (s, gn_j (s)) t] (ds) => n->oo У 4) t i = 5 (to) + J a (S15 (s)) ds + \b(s, I (s)) Ц (ds). v to t0
Указанная нами функция £(£), язляется един- ственным решением интегрального уравнения (5.27), поскольку для любого другого решения мы имели бы < | J [«(*л («)) —«(«1Г («))] j + Йь(^ф-Н«Л(«))]п(*)|< <r max h(s) — g(s)||, Г<1, что может быть лишь тогда, когда max || £ (s) — g(s)||==O. Ясно, что указанным методом последовательных прибли- жений можно определить решение с заданным началь- ным значением £(£i) на следующем интервале л С t С t2 (прежней длины h) и т. д., в итоге получив единствен- ное решение £(f), t to- Теорема доказана. Задача. Пусть g(t), £(0 есть решения уравнения (5.26) с начальными величинами £(f0), Показать, что на любом конечном интервале t0 < t < fi справедли- ва оценка iiUO-W^Ci'ItM-SGo)11, где постоянная С зависит от (Оценить Ugn (i) — (t)^> n = 0, 1, •.в соответствующих последовательных при- ближениях.) § 6. Приложение. Одна задача фильтрации случайного процесса Рассмотрим следующую модель*), описываемую си- стемой стохастических дифференциальных уравнений dQ(t) = a(t)Q(t)dt + r\0[dt), dg(0 = 6(t)dt + T](^) ' *) Это так называемая схема Кальмана — Бьюси, аналоги КО-* торой находят широкое практическое применение.
с начальными условиями 6(J=0, gffi>) = 0. (6.2) Предполагается, что оба уравнения здесь (первое из них является линейным) определены по отношению, к одно- му и тому же потоку событий S5', t > t0 (где о-алгебра §3' представляет события до момента i), причем стохастиче- ские меры K]e(dt), t>t0, и т)(сй), t>t0, независимы. Представим себе, что 6(f) в системе (6.1) есть «сиг- нал», подлежащий определению по «наблюдаемому» до текущего момента t случайному процессу |(з), Т рубо говоря, из «смеси» t t g(O = fe(s)ds + JtiUOx t^t0,} to t0 нужно выделить, «отфильтровать» компоненту 0(f), ^t0. Мы будем рассматривать линейные оценки для 0(f), представимые в виде линейных комбинаций величин £(з), t0 С s < t, или их пределов в среднеквадратическом. Очевидно, всякая линейная комбинация из величин g (s), to з < t (скажем, линейная комбинация величин |(М, 1(^1), •••, £(М С to<ti<. ..<£„), может быть представлена в виде стохастического интеграла И = 2 ME (М -I (*ft-i)J = J с (з) & (з) ft==i t0 с соответствующей кусочно-постоянной функцией с(з) = = сь, th-~i < s С th. Как предел таких линейных комби- наций, мы имеам оценки, представимые в виде стоха- стического интеграла t t t Т] = J С (s) d£, (s) = J c (s) 6 (s) ds + j c (s) q (ds) (6.3) to *0 to с произвольной функцией c(s), to^S^t, для которой существуют оба последних интеграла,— их сумма и бу- дет служить нам как определение стохастического интег- рала по d£(s), которым мы будем пользоваться в даль- нейшем, (Например, линейная оценка ц определена для любой непрерывной функции c(s), i0^s^i.) Отметим, что из условия независимости случайного процесса 6(£); t^to, и стохастической меры f\(dt), t^t0,
вытекает ортогональность любых величин t t Si •= J ct (s) e (s) dst T)a = J ca (*) <*Л (s) 6= S’®, to *o поскольку t]i и Ла есть пределы в S?2 соответствующих «интегральных сумм» п Лш = S с^б (fk—i) £k—j]( ft=t п Л2П “ S (^ь)>, Aft 5=5 (th—li tk\ , ' h=l и, очевидно, (Лн Лг) = lim Olin, Лгп) = о п-*оо (для простоты мы всюду здесь будем рассматривать дей- ствительные величины). Таким образом, линейная оцен- ка (6.3) есть сумма ортогональных величин / t = j С (s) 6 (s) ds, Т]2 = J с (s) Л (ds),. *0 *0 t где 11Л2||г = м1л2Г==1 |c(s)|2cZs. *0 Задача. Показать, что линейная оценка (6.3) оп- ределена для любой интегрируемой с квадратом функции, jIс (s) !2 ds <С. °°. (6-4) (Воспользоваться тем, что случайная функция 6(s), t0 непрерывна в 2?2, а неслучайная функция c(s) может быть представлена как предел кусочно-постоян- ных функций c„(s) = cft„, tb-i <s^th, tD < ti <.. .< = t, t для которых J I cn (s) — c (s) |2 0.) Задача. Показать, что линейные оценки предста- вимы стохастическим интегралом (6.3) с соответствую- щей функцией c(s), удовлетворяющей условию (6.4).
(6-5) Обозначим H совокупность всех линейных оценок. Средн и е мы будем искать - наилу иную оценку ' t 0-(O = fc(oO^(O to с весовой функцией c(t, s), з, как проекцию величи- ны 6(f) на линейное подпространство H<=-S?z, однознач- но определяемую условием ортогональности М[6(0—0(<)]т] = 0 (6.6) для полной в Н системы величин т] вида (6.3). Выразить это условием непосредственно для весовой функции c(t, з) в (6.5) позволяет следующее предложение. Лемма. Пусть функция c(t, з) непрерывна по со- вокупности переменных s^ta и удовлетворяет ин- тегральному уравнению t с (ij з) — В {t, з)— j с (t, и) В (щ s) dut t^s, (6.7) 'о где B(t, s) = M0(i)0(s), t, s > tQ,— корреляционная функ- ция случайного процесса 0(0, t^t0. Тогда c(t, з) — весовая функция наилучшей оценки 0(0, причем c(t, f) = M[0(f)-6(t)F (6.8)' — соответствующая среднеквадратическая ошибка. Доказательство. В самом деле, если справедли- во равенство (6.7), то будет выполнено условие ортого- нальности (6.6), поскольку для любой величины ц ви- да (6;3) м [0 (0-0 (0]п = г t t = М 0(0— j" c(t, и) 0 (w) du — J c (t,u) t](du) X to *0 t t -to t <0 t г t J c (s) В (t, s) — J c (t, и) В (и, s)du — c (i, s) ds — 0 fo to -• (здесь при подсчете математических ожиданий мы ис-
пользуем общие формулы (2.15), (2.16)). Далее, м[е (0 - е (о ]2 = ме (О [е (о - ё(О ] - мё'(г) [е («) - Q(t) ], где ме (о [е (о - ё (О] = м е («)2 - ме (о ё <«) = = ме (О2 — м о (0 jс (^iw) в (w) du to — М t е(оУс(^и)т](б/и) to t = В (t,t) — J с (^ u) В (w, t) du = c (t, t) to согласно (6.7) при s = f, a M6(i)[e(0’-0(i)] = 0 в силу условия ортогональности (6.6) при т] = 6(f). Лем- ма доказана. Случайный процесс 6(f), f>tB, со стохастическим дифференциалом в (6.1) при начальном условии (6.2) представим в виде t 6 (Р = J wo Чг ») По (&')> f > fot ’ (6 •9) *о с весовой функцией we(t, s), t > з,— решением диффе- ренциального уравнения ^о(М) = f>s« с начальным условием w0(s, s)= 1. Мы имеем t 6 (f) = w0 (t,s) 6 (s) + j wQ (f2 и) ц0 (du), t зг где второе слагаемое есть величина, ортогональная 6 (s), и s) = M6(f)6(s)= w0(t, s)B(s, s), t^s, откуда непосредственно видпо, что корреляционная функция B(t, з) удовлетворяет дифференциальному
уравнению s) = а(£)2?(^ s), Os. (6.10) f Попытаемся найти функцию c(i, s), которая непрерывна вместе с производной с (tr s) по совокупности пере- менных t > s tQ и удовлетворяет интегральному урав- нению (6.7). Для такой функции, дифференцируя равен- ство (6.7) по t, с учетом (6.10) получаем, что dt = a(i)5(^s) —с(^ i)^(^*)- J u)B(uts)du. (0 Если теперь адесь при фиксированном s ввести функцию x(t), определенную так, что — с (t1 s) = х (t) с s), то с учетом (6.7) будем иметь а- (0 с (Z2 s) = х (t) t Z? (£, s) — J с и) В (иг s) du *0 t s= а (/) В (t} s) — с (tl t) В (t, s) — x(t) J с (tt u) В (ut s) dut (0 x(t)B(t, s)= [a(t)— c(t, t)]B(t, s), откуда видно, что x(t) = a(t)~ b(t), где b(t)=c(t, t}. После этого неожиданного открытия естественно искать функцию c(t, s), 15? s, как решение дифференциального уравнения вида 47с(^») = [«(0 — b(t)]c(tls)l t>s£ c(s1s) = 6(s)l s>i0. Для непрерывной функции b(t), OtQ, решение c(t, sj линейного дифференциального уравнения (6.11) и про- изводная с (ij s) непрерывны по совокупности пере- менных t^s^t0. Если взять это решение c(t, s) в ка- честве весовой функции, определяющей по формуле (6.5) случай! ую функцию 6(f), t^t0, то стохастический диф-
ференциал dQ(t) можно будет выразить в аналогичной (4.16) форме: t J tl/b о dt + c (0 t) dg (0 или, с учетом равенств (6.11), в форме d6 (t) = \a(t) ~ b (t)]6 (0 dt + b (t) [6 (0dt + i](dt)]. Используя наличие стохастического дифференциала d0(0 вида (6.1), отсюда получаем выражение для стохасти- ческого дифференциала разности Д(0=0(0—0(0: dA(0=d6(0-d6(0 = “[«(0—b(0]A(0df + [r]o(d0 — Ь(0т](й0]. (6.12)' Здесь стохастическую меру T]o(d0 — b(0T](d0 можно вы- разить как т]о (dt) — Ъ (0 ц (dt) = У1 + b (0 2g (dt) посред- ством стандартной стохастической меры £(d0. В итоге получим, что dA(0 = -\a(t)- b(t)]Д (0dt + У1 + 6(02£(dt). (6.13) Видно, что случайная функция Д(0, t>0, есть .решение линейного стохастического дифференциального уравнения первого порядка с нулевым начальным условием Д(0)=« = 0. Как мы знаем, его можно представить в виде t А (0 = J w (0 0 /1 + 6(0’а £ (ds) = 0 t t “ f w (0 0 T]o (ds) — J W (t, 0 b (0 Ц (ds), (6.14) *0 *0 где весовая функция w(t, s), t^s, есть решение обык- новенного дифференциального уравнения w (0 0 = [а (0 - b (0] w (0 0, t > s,; ш(а40 = 1 (см. (5.8)). Сравнивая это уравнение с (6.11), видим, что " С (0 s) W (t, s)b(s), t> S. (6.15)
Если весовая функция c(t, s) задает наилучшую оценку (6.5), то соответствующая функция b(t) = c(t, t) есть г Ь^) = МД(О’ (6.16) (см. (6.8))’, и в случае, когда Д(£) —решение линейного стохастического дифференциального уравнения (6.13) с начальным значением Д(0) = 0, функция b(t) является решением соответствующего обыкновенного дифференци- ального уравнения ^-Ь(0 = 2а(0М0-МП2 + 14 *>V (617) Ь(*о)=-О (см. общую формулу (5.13)). Уравнение (6.17)’ известно как уравнение Рлккати. Возьмем теперь функцию Ь(£), t^to,— решение это- го уравнения, и рассмотрим случайную функцию Д (f), t > t0, которая является решением линейного стохасти- ческого дифференциального уравнения (6.12) — (6.13) с начальным условием Д(£о) = 0. Для Д(£) будет справед- ливо равенство (6.16), поскольку обе части в нем удов- летворяют одному и тому же уравнению (6.17). Поло- жим 6(0 =6(2) —Д(£), i>t0. С учетом (6.1) стохасти- ческий дифференциал cZ6(Z)=cZ6(f)—с7Д (i) можно выра- зить в форме уже встречавшегося при выводе (6.12) уравнения dQ(t)=[a(t)-b(t)]Q(t)dt+b(t)dl(t), t>t0, (6.18) решение которого при 6(fo) = O может быть представлено знакомой нам интегральной формулой t @(о = р(ооад = *0 t t = с (tj s) 6 (s) ds + J с (t2 s) т] (ds) (6.19) fo ' с весовой функцией, описанной в (6.11), (6.15). Пока- жем, что эта весовая функция c(t, s)—w(t, s)b(s) удов- летворяет интегральному уравнению (6.7). Используя выражения (6V9), (6.14), а также дифференциальное Уравнение (6,17) для b(t) = MA(i)2, легко получаем, что
функция f (t) = ме (t) [e (0 - e [0] = м [6 (0 - д (0] д (0 = t = J w0(tt s)w(t, s)ds — b (0 *0 удовлетворяет однородному дифференциальному урав- нению 4/(0 = [2a(0-b(0]/(0f ?>fot О® /ао) = о,. и, следовательно, /(0^0. Отсюда с учетом формулы (6.19) получаем, что ь (0 =- ме (0 [е (0 — ё (0] - мо (0 [е (0 - ё (0] == t ме(0[е(0 — ё(0] = вц, t) — $c(t3 «)в(«, t)dst t0. *o Используя это выражение для 6(0, а также уравнения (6.10), (6.11), при дифференцировании функции c0(t, s) вида t с0 (ti s) = с (t, 0 + J c (t} и) В (wt s) du — В (0 s){ t sf fo получаем однородное уравнение Cq (0 s) = [a (0 — b (0] c0 (t, s), t > c0 (s, s) = 0, и, следовательно, co(0 s)^0, что для нашей весовой функции c(i, s) дает интегральное уравнение (6.7). В итоге получен следующий результат. Теорема. Наилучшая оценка ё(0 для 0(0 дается стохастическим интегралом (6.5) с весовой функцией c(t, s), s, которая вместе с функцией &(0 = М[е(0-ё(0]2, • есть решение системы дифференциальных .уравнений (6.11), (6.17). (Указанный здесь способ нахождения наилучшей оценки сводится к решению линейного стохастического дифференциального уравнения (6.18).)
Глава VI НЕКОТОРЫЕ КЛАССЫ СЛУЧАЙНЫХ ПРОЦЕССОВ § 1. Процессы с независимыми приращениями ' 1. Стохастическое интегральное представление. Гово- рят, что |(£), 4>4О, есть случайный процесс с независи- мыми приращениями, если для любых t0 < tt < ... < tn < <... величины B(4i)~ В(4о), • ••, В(М~ B(4n-i), ••• явля- ются независимыми. Известными нам примерами явля- ются пуассоновский процесс и броуновское движение, которые дополнительно обладают тем свойством, что рас- пределение вероятностей приращений В (t + h) — В (4) для любого h > 0 одно и то же при всех t (это свойство называют стационарностью приращений). Мы укажем ниже общую конструкцию (действительного) процесса |(4) с независимыми стационарными приращениями, имеющего конечный второй момент МВ(4)2<°°, 4>4и. Будем считать, что начало отсчета времени сдвинуто в точку 4о = О и М§(40) = 0 (гонятно, приращения про- цесса не меняются при изменении его начального зна- чения). Начнем с того, что рассмотрим случайный про- цесс вида В(4) = жт](4), t>0, получающийся из пуассоновского процесса т](4) умноже- нием на число ж; ясно, что В (4)— процесс с независимы- ми стационарными приращениями, поведение которого отличается от поведения пуассоновского процесса лишь тем, что скачки у его траектории В (4), 4>0, равны пе 1, как у т](4), а имеют (постоянную) величину ж. Пусть теперь В (4) = 2 жт] (4, ж), 4>0, 09 — сумма независимых между собой компонент рассмот- ренного выше типа, где т] (4, ж) — независимые пуассонов- ские процессы q соответствующим параметром А = F (ж).
Ясно, что независимые компоненты с одинаковой вели- чиной скачка х могут быть объединены в одно целое, так как сумма независимых пуассоновских процессов снова есть пуассоновский процесс. Мы имеем здесь (t) = 2 НИ G D£ (0 = 2 {х) t, се х Задача. Показать, что процесс g(i), t^O, имеет чисто скачкообразный характер — его состояние меняет ся лишь в моменты Ti < т2 < ..., образующие пуассонов- ский поток с параметром 2 F (х), ив каждый из ука- зе занпых моментов независимо от прошлого совершается скачок, величина которого равна одному из значений х с соответствующей вероятностью F (xi^F (у). Здесь можно интерпретировать F как меру на пря- мой, сосредоточенную в конечном (или счетном) числе точек х; эта интерпретация позволит видоизменить нашу конструкцию так, чтобы охватить процессы g(i) со все- возможными ~ скачками х, —< х < отправляясь от соответствующей меры F(dx). Обратимся к так называемой пуассоновской мере т] (Л), Д 7?+, па полуплоскости R2+ = (0, оо) х R\ обладающей тем свойством, что для любых непересекаю- щихся Д1, ..., Д„ значения т](Д1), ..., т](Дп) есть неза- висимые'Случайные велич 1ны, ( п \ 71 п| U Дл = 2 ц(Дь), \ь=1 / fc=l причем для каждого Д величина Т1 (Д) имеет пуассонов- ское распределение с параметром X (Д), где X(dfdx) = dfXF(cZ^) (1.1) — обычная мера, равная указанному здесь произведению лебеговой меры dt и произвольной (положительной) ме- ры F[dx) па прямой, удовлетворяющей условию со J a?F (dx) <Z оо —оо (1-2) (мера F(dx} здесь может быть неограниченной в окрест-
пости-точки а:==0). Если положить По(Д) = П(Д) —Х(Д), (1.3) f то получим стохастическую меру r\0 (dtdx) с ортогональ- ными значениями того типа, как и мера, введенная нами в предыдущей главе, см. там соотгошение (3.12), кото- рое в нашем случае имеет вид Мт]»(dtdx) = 0, М|т]0(^^х) I2 = dt • F(dx), здесь можно сказать, очевидно, что т]0(Д) есть стохасти- ческая мера с независимыми значениями, имеющая ну- левое среднее Мт]0 (Д) = О, Дс^/?+- В силу условия (1.2) определен стохастический интеграл t со Ё W = f J ж!1о (dt dx), (1.4) О —оо задающий случайный процесс £(£), £>0. Очевидно, этот процесс имеет независимые приращения, поскольку ве- личина t £ (0 — £ (s) = J (dt dx) для любых s C t формируется как предел в S’2 линейны к комбинаций величин т] ((в> в] X В), s^u^v^t, В1, которые не зависят от значений ц(Д) вне полосы (s, Z] X В1, с помощью которых формируются прираще- ния на интервалах, не пересекающихся с интервалом (s, Z], Очевидно, равенство i)(t, 5) = т](Д), Д=(0, t]XB, BsR', при каждом t задает пуассоновскую меру на действи- тельной прямой В\ С помощью нее, точнее, с помощью соответствующей стохастической меры с ортогональными значениями По(t, В) => rj (t, В)-tF(B), В s В\ для которой Мц0(^(йг)| = 0, М|ц0(£, dx) I2 = tF(dx),
случайный процесс (1.4) можно представить в виде оо 1(0 = J Эт]о (О ^)- — оо (1.5) Отметим, что в силу условия (1.2) значения F(5)<o°, а вместе с ними и значения ц(£, В), t]Q(t, В) определены для В s В1, отстоящих .от точки х = 0 па положительное расстояние. Задача. Показать, что t}(t, В}, t>0, есть пуассо- новский процесс с параметром К — F (В). Задача. Показать, что формула Я(О = 2 W^B^ fe=i с непересекающимися Bh определяет чисто скачкообраз- ный процесс с независимыми компонентами цЛ(0 = = ajftT)(t, ВА), £>0, каждая из которых отличается от пуассоновского процесса с параметром Х* = F(Bh) лишь тем, что имеет скачки величины хк. Задача. Пусть мера F (dx) является конечной и оо Х= J xF(dx). — оо Показать, что тогда в соответствии с формулами (1.1) — (1.5) можно определить процесс £(0 как оо НО = J (dt dx) —t 0f (1.6) где интегральная компонента OO т] (0 = У (dt dx)t — оо (1.7) есть средпеквадратический предел т] (Z) = lim (t) ин- П-»оо П тегральных сумм т]п (О == 2 ^ьпЦ(0 Bkn)t при каждом п h=l взятых по надлежащим непересекающимся Вкп, к = = 1, ..., п. Данную в (1.6) — (1.7) интерпретацию |(0» как предельного скачкообразного процесса с независи- мыми стационарными приращениями можно распростра-
нить и на процесс, описанный общей формулой (1.5), воспользовавшись тем, что оо 5(0 = J zt]0 (t, dx) = lim J xx]n_(t,dx) (1.8) —oo e“*° fx|>e есть среднеквадратический предел для Be (0 = f «По (ti <&)< I«l>e где 5B(0, t>0,~ представляет процесс описанного в (1.6) — (1.7) типа, отвечающий конечной мере Fe(dx'), равной F(dx) при Ы>е и равной 0 на интервале kl < е. Совсем другой тип имеет непрерывный процесс с не- зависимыми стационарными приращениями, каким явля- ется известное нам броуновское движение (винеровский процесс) ш(0, t>0, с нулевым средним Mtf(Z) = 0 и дисперсией Dw(.0 = o2t. Понятно, вместе с детерминиро- ванной функцией at, t > 0, он может быть взят в каче- стве независимой компоненты в стохастическом интег- ральном представлении оо 5(0 = at + w(t) + J жг|0 (t, dx), t^O, (1.9) — co которое задает процесс |(0 с независимыми стационар- ными приращениями. 2. Характеристические функции приращений. Найдем характеристическую функцию величин 5(0 в представ- лении (1.9). Предположим сначала, что компоненты at и w(t) в нем отсутствуют, а мера F(dx) для оставшейся скачкообразной компоненты является конечной, что по- зволяет воспользоваться формулами (1.6) — (1.7)’. Най- дем характеристическую функцию /(и) соответствующей величины т)(0, указанной в (1.7). Характеристическая функция /«(и) линейной комбинации У xhnr\ (t, Bhn) k независимых величин t](t, Вкп), распределенных по пуас- соновскому закону с соответствующим параметром Ккп = ~t • F (Bhn), равна произведению характеристических функпий отдельных слагаемых, каждая из которых есть
и таким образом, Видно, что справа стоит «интегральная сумма», в преде- ле дающая логарифм искомой характеристической функ- ции f(u) = lim fn (и), который представим соответствую- П-Юо щим интегралом: ln/(u) = t J (ewx—l)F(dx)f —оо<и<оо. — сю Добавив еще независимую компоненту u’(i)' с известной нам характеристической функцией ... —If С2 II Me,ui° > — е 2 t —oo<u<oo4 и компоненту at вместе с «забытой» в (1.6) составляю- СО щей — kt, — J xF (dx), логарифм характеристической функции /(и) величины £(£) в представлении (1.9) можно будет выразить формулой In / (и) = оо 1 iau — и2и 4- J (егих — 1 — tux') F (dx) — ОО ‘ (1.10) — оо <Z.U < оо. Нам остается еще освободиться от условия конечпости меры F(dx). Для этого воспользуемся указанным в (1.8) предельным переходом от Fe(dx), которым отвечают ха- рактеристические функции с In /е (и) = t1 iau — у o2u + У (егих — 1 — tux) F (dx) . ( И>е Очевидно, при условии (1.2) интеграл в правой части сходится при е -* 0, приводя в итоге к выражению (1.10) для искомой характеристической функции f(u). Задача. Показать, что £(t) является безгранично- делимой величиной,— это значит, что для любого п = == 1, 2, ... она представима как сумма п независимых одинаково распределенных величин,
§ 2. Мартингалы *) 1. Определение. Сводимость в S’2. Рассматривая слу- чайный процесс g(ij, формально введем соответ- ствующие о-алгебры S', каждая из которых представляет события до момента времени t, S’ S' при s < t (напри- мер, можно считать, что S' порождается величинами g(s), s^t).. Действительный случайный процесс с ко- нечными средними Mlg(*)l < °° называют мартингалом, если условное математическое ожидание величин g(f) относительно S’ при s < t есть M(g(f);iS’) = |(s). (2.1): (Понятно, величины g (£) измеримы относительно соот- ветствующих S'.) Задача. Показать, что случайный процесс g(f), М11(01 < оо, с независимыми приращениями и началь- ным значением g(fc) = O является мартингалом относи- тельно S', t>t0, порождаемых значениями g(s), t0«S sS s t. Характерным представителем мартингалов является случайный процесс вида g(O=M(g|S')’, t>te, (2.2) возникающий, скажем, при рассмотрении условных ма- тематических ожиданий некоторой случайной величины g, Mlgl<°° (как мы знаем, например, при Mlgl2<°° формула (2.2) указывает наилучший прогноз для вели- чины g по представленным в о-алгебре S' всевозможным «данным» до момента времени i). Рассмотрим произвольный мартингал g(i), M|g(£)|2< < °°, и его поведение с ростом t (для определенности при f-*oo). Будем рассматривать g(i) в гильбертовом пространстве S’2 как функцию переменного t ->• Со- гласно (2.1) разность B(0:~’l(s) ПРИ ортогональна величине g(s) и ll| (t) II2 = llg (s)ll2 + llg (£) — g (s) II2 > fig (s) 112. Видно, что среднеквадратические значения Hg(i)H — = (M|g(f) |2)1/2 не убывают и существует предел ™ 1| £ (О1|. Он может быть бесконечным (как, напри- t-»oo *) Термин «мартингал» — французского происхождения и оз- начает предмет упряжки, поз ютяющиг сдерживать логцадц. 10 . -
мер, для процесса с независимыми стационарными при- ращениями). Предположим, что Иш|| £ (£)|| = С < оо, (2.3) i~>oo Тогда, очевидно, iil(O-B(s)ii2 = i4(O»2-"B(s)ii2-*o при t > з ->• оо и в S’2 существует предел lim£(t) = £. (2.4) При этом, поскольку оператор условного математическо- го ожидания непрерывен, мы имеем М(ЦS') = lim М (g (t) J S') = B(8) t~»oo при любом s, т. е. для нашего мартингала справедливо указанное в (2.2) представление. 2. Моменты остановки. Вспомним известную нам за- дачу о разорении, в которой описывается схема с оста- новкой игры в момент т, когда выигрыш игрока (с на- чальным капиталом х, 0<х< а) достигает одной из за- данных границ а — х или —ж (см. с. 110)-. При этом выигрыш к моменту t = 0, 1, ... представляет собой сумму U0 = U0)+ 2 Д£(«-1) (2-5) независимых величин Д£ (з — 1)== £ (s)— £ (з — 1) — выиг- рышей в ссответствующий момент з = 1, ..., t (|(0) = 0)’. В момент т окончания игры суммарный выигрыш состав- ляет В(т). При «справедливой» игре, когда на каждом шаге выигрыш равен ±1 с вероятностью 1/2, мы имеем £(т) = а — х с вероятностью х/а и £(т) = — х с вероят- ностью 1 — ж/a, так что, остановившись в момент т, игрок будет иметь средний выигрыш М£(т) = (а-ж)-£-жГ1-| = 0. С другой стороны, если допустить, что игрок имеет не- ограниченный капитал (ж = <») и играет до момента т, когда выигрыш достигает заданного уровня а (это про- исходит, как мы знаем, с вероятностью 1), то рМ|(т) = щ ' ’ '
В дальнейшем мы для общего мартингала типа (2.5) с дискретным временем t = 0, 1, ... рассмотрим вопрос о том, когда М£(т) = М|(0) (2.6) для тою или иного момента остановки т. Задача. Пусть в (2.5) £(0) qj Ml НО) I < 00 и ДНз) с МД % (s) = 0, s = 0, 1, ..., есть независимые случайные величины. Показать, что (2.5) дает нам мартингал отно- сительно S34, порождаемых величинами Hs), O=Cs=Cf. Задач а. Показать, что последовательность случай- ных величин НО, MlH0l<°°, £ = 0, 1, ..., в (2.5)'яв- ляется мартингалом тогда и только тогда, когда для приращений ДН0 = £(*+ О-НО, ^О, 1, •••, мы имеем М(ДВ(01«3')=0 (2.7) относительно соответствующих ®'. (Последовательно вос- пользоваться равенством M(H0 1©') = М[М(Н0 |S“) 158s] при различных 8 «S и t.) Дадим определение момента остановки (называемого еще марковским моментом}. У нас вто будет случайная величина т с возможными значениями t = 0, 1, ..., для которой (тСЙеЗ1, (2.8) — грубо говоря, для т наступление события {т sS t} оп- ределяется до текущего момента t. Скажем, рассматри- вая пеупреждающую о-алгебры событий S' последова- тельность НО, t = Q, 1, ... (т. е. такую, что величины НО измеримы относительно соответствующих S'), в ка~ честве момента остановки можно взять (первый) момент достижения последовательностью НО, * = 0, 1, •••, за- данного множества В R1 — этот момент т определяется как т = 0 при g (0) <= В3 при Н0)^ Bi -Т = г при Н0)^^ ...,н*-1)^, l(t)^B, Рассмотрим произвольный мартингал НО и введем «ос-
тановленнуы» в момент остановки т последовательность (5(f) при £<т, где tf\T означает минимум указанных t, т и случайная величина |(т) определена как £(r) = (j(s) ПРИ г==5, s ==> 0, 1, ... Теорема. Последовательность есть мар- тингал. Доказательство. Воспользуемся равенством S (t Дт) =• s £ (8) 1(T=S} + £ (t) s=o Из него видно, в частности, что М |£^Дт)|<; оо. При- ращение к моменту t + 1 составит А т) = 5 (О1<т=о + S (£ + 1) — — I (0 1{т>о = AS (0 l{r>t+m где событие {т5=£ + 1) как дополнение к событию {т t) входит в о-алгебру S' и потому М [Аё (/Дт) | S'] = l{T>f+1> М [ А| (t) | S'] = 0, a bto есть, как мы знаем, признак того, что S(^AT)— мартингал. Теорема доказана. До сих- пор на самом деле можно было рассматривать величины т, принимающие значение +°° с положитель- ной вероятностью. Теперь же специально оговорим, что ₽{т<~} = 1. * (2.10) Тогда, очевидно, с вероятностью 1 мартингал при t -> оо имеет предел 1пл^Дт) = £(т), (2.11) >ос поскольку согласно данному в (2.9) определению 5(£Дт) = £(т) при и предел (2.11) имеет место при событии {т < со) = (J (т< t). Если теперь М|£(т) I < <оо и в (2.11) справедлива также сходимость в сред- нем, то м [В (т) 1©’] = lim М [g(t Дт) I Ss] = g (5Дт) (2.12) t->oo при всех 8, и взяв здесь при s = 0 еще математическое
ожидание, получим указанное в (2.6) равенство М£(т) = = МС(О). Более того, полученная в (2.12) формула М (Е (т) | 3s) = 5 (s Л т) будет верна тогда и только тогда, когда в (2.11) будет сходимость в среднем, поскольку, как мы знаем, в этом случае М|^(т)|<ооИ М[£(т) IS'] -> МЦ(Т) IS] = g(T) (2.13) при для величины |(т), измеримой относительно о-алгебры S3 = lim %*. Относительно же самого условия f->00 сходимости в среднем в (2.11) можно высказать следу- ющее, фактически нам уже известное предложение (в об- щей форме оно появилось у нас па с. 220). Лемма. Для сходимости (2.11) в среднем необходи- ма и достаточна равномерная интегрируемость величин £GAT)- Это условие будет выполнено, например, если м;1(т)1 < оо и равномерно интегрируемы сами величины £(£), что следует из представления |(£ДТ) == 5(т) 1{т<о + 4 1(0 1{т>0 (напомним, равномерная интегрируемость величин £(t) означает, что M(l|(t) 11{|8(()|:>П})“> 0 при п -> оо равномерно по t). Отметим одно из простых известных нам условий сходимости в среднем для после- довательности g(tAx), сходящейся с вероятностью 1. Именно, таким условием является наличие для |$GAT)I мажоранты i]>0 с конечным средним Мт]<о°: |5(«Л0|<П- (2-14) Это условие выполнено, например, если величина т огра- ничена с вероятностью 1 или если ограниченной явля- ется последовательность приращений А£(£) и Мт<«>, что очевидным образом следует из представления UtA0 = UO)+ 5 Ag(s-l). Задача. Пусть в (2.5) мы имеем £(0)=0 и A|(i) есть последовательность независимых ограниченных оди- наково распределенных величин со средним MA£(t) = а. Для момента остановки т с Мт < °° доказать следующее тождество Вальда: М£(т) = а Мт. (2.15)
(Обратиться к мартингалу £(t)-at = £(O) + S [Д£(з-1)-а], «остановив» его в момент т и применив общую формулу (2.6).) § 3. Марковские процессы 1. Общее понятие. Переходная плотность. С марков- скими процессами мы впервые познакомились, рассмат- ривая марковские цепи и затем марковские процессы |(t), t>t0, со счетным числом состояний. Папомним, они характерны тем, что при заданном состоянии £(з) = ^х их поведение после момента s не зависит от прошло- го, точнее, при условии, что в текущий момент известно состояние £(s) = х, 'поведенье процесса £(t), t>s, в бу- дущем независимо от прошлого до момента з подчиня- ется тем же вероятностным закономерностям, как если бы a: = £(s) было начальным состоянием процесса. Это так называемое марковское свойство. Случайные процес- сы с этим свойством называют марковскими. Примером может служить броуновское движение; в нем при задан- ном l(s) = x и любых других условиях па прошлые зна- чения В (и), и ^s, соответствующее условное распределе- ние для В (t), t > 8, задается условной плотностью веро- / . \ 1 —(и- sc)®/(2c^(t—s)) ЯТНОСТИ р \S1 X, t, у) : в . —ОО < V 2ла2 (i — s) < у С оо, которая целиком определяется по tf = £(s). В дальнейшем мы рассмотрим марковские процессы, ана- логичные броуновскому движению в том отношении, что при каждом ^(з) = ж для |(t), t>8, имеется соответст- вующая условная плотность вероятности p(s, х, t, у), Пусть £(t), t> t0)— такой процесс. Рассмотрим B(t), it>s, при фиксированном £(з) = я. Пусть s<u<t. Ве- личина |(t) при условии g(u) = z имеет условную плот- ность вероятности р(и, z, t, у), —оо<у<оо^ и совмест- ная плотность для £(iz), £(t) согласно общему правилу '(см. по этому поводу с. 61) задается произведением p(s, X, и, z)p(u, Z, t, у), — оо<у, z<co5 где р(8, X, и, z), —оо < z < °°, есть плотность вероятности случайной ве- личины £(и); плотность же вероятности отдельно взятой величины В (0 —У нас она сейчас равна p(s, х, t, у)-~
определяется по совместной плотности как р (s, x,t,y) = ( оо = J р (з}х, и, z)p (и, z, t, y)dz, — оо <zy < оо. (3.1) — оо Таким образом, условная плотность вероятности p(s, х, I, у) должна удовлетворять интегральному соотношению (3.1); оно называется уравнением Колмогорова — Чепме- на Будем считать, что это уравнение выполняется тож- дественно по всем t0 < s < и < t, —«J < х, у< оо. Задача. Показать, что при £ (tc) = произведение Ptx..tn {xlr • • ч хп) = “ Р (^01 XOl-tlj Х1) • • • Р {tn—17 З-П—17 trif ^71) 7 (3-2) — оо < Xi, . . ., Хп < о°, задает совместную плотность вероятности для величин g(G), ..., | (tn) в любые моменты t0 < ti < ... < t„. Предположим, при любом фиксированном е > 0 вы- полняются следующие асимптотические соотношения: j* Р (s! <7 s + h, y)dy = о (h)t . (3.3) |V- x[>8 J (у — x)p(s,x1s + h,y)dy = a{s,a)h + o(h), (3.4) |V— X]«8 J (y — x)2p (s, x, s + h,y) dy = b (s, x)h + o{h), (3.5) Iv-x|«e где o(h)/h -* О при Zi->0 равномерно no s, x в каждом конечном интервале. Указанные соотношения дают веро- ятностную характеристику того, как мало отличаются величины %(s + h) от g(s) = x при малом h. Обладаю- щие перечисленными свойствами случайные про- цессы |(t), t>t0, обычно называют диффузионными, а коэффициенты а(з, х) и Ь(з, х) в асимптотических соотношениях- (3.4) и (3.5) называют коэффициентами сноса и диффузии. Задача. Показать, что броуновское движение имеет переходную плотность Р {S, х, t;y) = —1 ,^-(l/-x)aA2a2(f-S)) V 2лп2 (i — s) В является гауссовским диффузионным процессом с со-
ответствующими коэффициентами a(t, х) = 0, b(t, ж) = о2. (3.6)’ Задача. Обратимся к формулам (5.11), (5.12)’ гл. V. Показать, что решение стохастического линейного уравнения первого, порядка (см. (5.12)) является гаус- совским диффузионным процессом. Найти его переход- ную плотность. (Использовать соответствующую гауссов- скую величину в (5.11).) 2. Дифференциальные уравнения Колмогорова. Тео- рема. Пусть переходная плотность p(s, х, t, у) имеет а др др д2 р производные -д- и —непрерывные по х равно- OS OX мерно по у в каждом конечном интервале. Тогда она удовлетворяет дифференциальному уравнению 2 <3-7) С/й ил- & QpQ Доказательство. Возьмем произвольную непре- рывную функцию <р(ж), равную нулю вне некоторого ко- нечного интервала, и положим оо <p(s,a:)= J <f(y)p(s,x, t,y)dy. (3.8) — оо Из уравнения Колмогорова — Чэпмена вытекает, что при любых tQ < s < и < t со оо ф (s, -х) = {у) J р (8, и, z) р (и, z, t, у) dz dy = ' — оо — оо оо = J <р (и, z) р (8,.Ж, и, z) dz. — оо Очевидно, функция ф(з, х) имеет непрерывные произ- водные Разложим функцию ф(щ z) в ок- рестности точки х (при фиксированном н) по формуле Тейлора: . ' Ф (“1Z) — ф (Ul х) =
где 16Е | С max lz—х|Се d2cp(iz,z) 52cp(iz,rt) дх2 ox2 ->0 при е -* 0. Из соотношений (3.3) —(3.5) получаем, что ф (sxa) — ф (и, х) = ОО = J [ф (и, z) — ф (и,'xffp (s, хи, z) dz = — оо = J [ф z) — ф (и, х)] р (я х, и, z) dz + о(и — $) = |z—х[<е = • J (z—х^р & и>.dz + |z—х|<в + -у [д gl f (z — Х)2р(8г x< Щ z^z 4- 0 (w — s) = Iz—X|<8 =(4x)+ 4ъ <s>x> 8 ^,х) + 6e }(u—s)+°(u—s)i где I6el -* 0 при e -> 0, откуда видно, что lim = (Sj x) £Ф^) + 1 b ( x} 5%^ u-»s u s <)x dx2 и, таким образом, 5cp . . da> 1 , , — = a (s, x) + -Tj- b (s, x) — os 4 ' dx 2 ' ’ ' Принимая во внимание определение функции ф(х, а:) (см. (3.8)), это уравнение можно переписать следующим образом: ОО J <Р (У) fe + a (S1X) + 4 b (s, X) ^1 dy = 0, где, напомпим, ф(г/) — произвольная непрерывная функ- ция, равная нулю вне конечного интервала, и, следова- тельно, должно быть выполнено равенство % + a + 4 b (s> ж)г? = °- vo <74- Ct OX Теорема доказана.
Теорема. Пусть существуют непрерывные произ- водные ft Р Ъ t. У), fy [a (t, у) р (s, х, t, г/)], ^2 i[b(t,y)p(s1x, t, г/)]. Тогда переходная плотность p(s, х, t, у) удовлетворяет дифференциальному уравнению & = — у) р (s, х, t3 г/)] + у Л, [о (t, у) р (з3 х, t, у)]. (3-9) Доказательство. Точно так же, как и при дока- зательстве предыдущей теоремы, легко получить, что для любой дважды непрерывно дифференцируемой функции <р (х), 'равной нулю вне некоторого конечного интервала, существует предел <Р (у) р (t, х3 t + h, у) dy — ср (х) Имеем ОО ft J P(s1x>.tiy)4>(y)dy=^ — ОО оо = P(s,xit + h1y)(p(y)dy- оо - | P(sixitiz)4'(z)dz = оо оо Г / Г 1 I = 1 р (s,x3 t, z) Ит-у- J h-^0 h \ — oo co = J P&xlh — co CO 4 - §p(t,z,t+hiy)q(y)dy—<p(z) j dz = — oo / - z) [a (f, Z)(p' (z)-fb (f2 z) tp" (z)] dz.
Интегрируя последнее выражение по частям, получаем оо ОО Il J Р (s, h U)4>(y)dy=‘ § (s^, t1 у) <p (у) dy - — oo — oo Ъо = j I—+ -<*>? . 1 52 1 + 2 n 1МУ) P (s.i xi t, y)] I Ф (y) dyt & oy J откуда, ввиду произвольности функции <р(у), вытекает равенство (3.9). Теорема доказана. Уравнение (3.7) называют обратным, а уравнение (3.9) — прямым уравнением Колмогорова. § 4. Стационарные процессы 1. Спектральное представление и линейные преобра- зования. Случайный процесс £(t) с M|£(t) I2 < оо, —оо < < t < оо, называют стационарным в широком смысле, ес- ли он имеет постоянное среднее M£(t)^a и корреляци- онную функцию М^(0-а][<П)^1=М^(П<(Г)- |а|2 = •="Z?(t—S), — °°<S, t<oo, зависящую лишь, от разности t — s. (Это свойство выра- жает постоянство корреляции значений процесса, разде- ленных по времени интервалом длины t — s, независимо от моментов s=St.) Будем считать а = 0 и предполагать корреляционную функцию В(t) = М£(t)£(0), непрерывной, что означает непрерывность стационарного процесса £(£), —°° <£<<», как функции в пространстве S2. Мы уже знаем, что корреляционная функция ста- ционарного процесса представима в виде B(t)= J etKlF(dB), — oo<f<oo,. (4.1) —“ОО а сам процесс допускает спектральное представление оо I (0 = J ешФ (dl)t (4.2)
с помощью некоторой стохастической меры Ф(йЛ), с ма- тематическим ожиданием МФ (ЙЛ) = 0 и • М|Ф(Л)Р = Г(^). (4.3); Напомним, что F(d'k'j—конечная мера на прямой — °° < < X < °°, называемая спектральной мерой стационарного процесса £ (t) (см. с. 255). В случае, когда F(dX) = /(X)dZ,, точнее, когда значения F(A) па множествах Д есть . F(A)=J/(X)^, (4.4) А соответствующая интегрируемая функция /(Л)>0 назы- вается спектральной плотностью. Пример {стационарные процессы с дискретным спектром). Пусть Л есть счетное множество на прямой —ос <д<оо и Ф(Х), Ле Л,— некоррелированные случай- ные величины с нулевыми средними. Случайный процесс вида Ё (0 = 2 ешФ (Л), — оо < f < оол (4.5) Хел является стационарным в широком смысле — он имеет среднее М£ (t) 0 и корреляционную функцию W) = 2 Л (Л), хел где F(X) = М]Ф(Л) I2, ЛеЛ (проверить это!). Каждая из компонент е!>’'Ф(Л), — °° < < t < °°, в формуле (4.5) представляет гармоническое колебание частоты Л со случайными фазой и амплиту- дой (определяемыми по Ф = |Ф|е,е). Как указано выше, средний квадрат амплитуды каждой составляющей в (4.5) соответственно есть F(X), ЛеД. Имея это в виду7, можно сказать, что спектральная мера /'’(Л) описывает распределение средней энергии, пропорциональной сред- нему квадрату амплитуды М | g (t) |а = У F (Л) стацио- ХёЛ парного (колебательного) процесса (4.5), по его отдель- ным составляющим в зависимости от их частоты Ле Л.
Пример (стационарные процессы с непрерывным спектром}. Пусть t g(i)= J w(t — s)T](ds), — oo<£<oo,. (4.6) — co есть стационарный процесс, который устанавливается в линейной системе с весовой функцией w(t), СО J Iw (0|2<^ < °°1 при воздействии на эту систему одно- — ОО родных случайных возмущений типа «белого шума» (мы имеем в виду модель случайного процесса, рассмотрен- ную на с. 266). Как мы уже знаем, стационарный про- цесс g (t) имеет нулевое среднее M^(i) = 0 и корреляци- онную функцию оо * B(t) = J ew/(X)dX (4.7) — со со спектральной плотностью где <р(Х) = J eiUw(t)dt. (4.8) — оо Спектральное представление (4.2) можно интерпре- тировать как представление стационарного процесса |(£) в виде «интегральной суммы» простых гармонических колебаний — символических составляющих еЛ'Ф(йЛ), — оо < t < оо, соответствующей частоты X, —°0 < 2. < °°, со средним квадратом амплитуды М|Ф(Л)\z = F(d'k). Имея в виду эту интерпретацию, можно сказать, что спект- ральная мера F(dF) описывает распределение средней энергии, пропорциональной среднему квадрату амплитуды оо М|ё(0|а=. У F(dK) *— оо стационарного (колебательного) процесса S,(i), по его составляющим-в зависимости от их частоты X, — о°<А<
< «j. Уточняя это, можно обратиться к реальным состав- ляющим вида = рШФ(^)х (4.9) отвечающим соответствующей «полосе частот» А П1, для которых М|МО12= (4.Ю) А Пример (возмущенное движение маятника]. Рас-, смотрим один пример, на котором можно легко просле- дить некоторые особенности поведения линейных систем под воздействием случайных колебаний. Именно, рассмот- рим движение маятника (при наличии трения) с боль- шим периодом собственных колебаний, которое подчиня- ется уравнению х" (/) + 2hx' (i) + <£%х (Z) = 0 и в явном виде описывается функцией х (i) = He^sin (<о£ 4-6), <о = j/©o — ^3- Мы имеем здесь (/А)2 + 2Л (iA) + со®’ Предположим, что рассматриваемая система находится на корабле, и пусть частота со собственных колебаний маятника много меньше частоты Q качки корабля: <о -с S2; в результате качки на маятник воздействуют случайные толчки, возникающие приблизительно через малые промежутки времени = л/Q. Если считать внешнее возмущение «белым шумом», то установившее- ся движение маятника будет представлять собой стацио- нарный процесс g(i) со спектральной плотностью вида з з . Функция /(X)’ имеет максимум прй X2 = o>2 — h2 (резко выраженный для малого «коэффициента трения» Л}
й довольно быстро убывает при удалении от точки мак- симума (см. рис. 25). Это говорит о том, что в случай- ном процессе g(i) резко преобладают гармонические со- стайляющие с частотами, близкими к собственной часто- те <о рассматриваемой си- стемы. Для сравнения от- метим, что если считать внешнее воздействие (от качки корабля) гармони- ческим колебанием часто- ты S2, то маятник при установившемся движе- нии будет совершать вы- нужденные колебания с этой частотой S2, что качественно отличается от тата. полученного выше резуль- С помощью спектрального представления можно оп- ределить общее линейное преобразование стационарного процесса £(0, оно задается формулой ОО rj (t) = j ег7Агр (Х)Ф (dX), — oo<;f<;oo, (4.11) — oo ' с помощью соответствующей функции ф(^), ©о J |<p(X)|3F(dX)<oo. — со Очевидно, эта формула определяет стационарный в ши- роком смысле процесс описывая его со спектральное представление т] (0 = J егХ(Чг (<Д.) со стоха- — СО стической мерой 4f (t&.) = <р(2.)Ф(<Д) и спектральной ме- рой G(d70= |<р(Х) l2F(dX). Как непосредственно видно, линейное преобразование (4.11) преобразует гармониче- ские составляющие исходного процесса, придавал им соответствующий «вес» <р(Х) в. зависимости от частоты X. Такое преобразование может «усилить» одни состав- ляющие и «подавить» другие для тех или иных X, меняя надлежащим образом спектральную меру. Скажем, если стационарный процесс £(0 имеет спектральную плот- ность /(X), то в результате преобразования (4.11) мы получаем стационарный процесс со спектральной
плотностью (4.12)’ Рассмотрим несколько примеров линейных преобразо- ваний стационарного процесса £(t) со спектральным представлением (4.2). Пример {дифференцирование). Пусть спектральная ОО плотность /(X) такова, что J | |2 / (^) dk < оо. Тогда — со стационарный процесс g(i) имеет производную (в сред- пеквадратическом) ... ,. Е (t4-h) — Е(t) g (t) = lim 2-i—*——s-22- = в ei?.(t+h)___еш h co Ф {d/.) = J (i7) Ф {dk). —co (4-13) Пример тегрируема и {интегрирование). Пусть функция c{t) ин- оо (2.) = f ё~мс (t) dt. Тогда и(0 = !%(Х)Ф(ЙХ)= J еш ~iKsc{s)ds Ф(й2.) = eiW‘-s)O (dA) ds = ОО оо = J c{s)t>{t — s)ds = J c{t — s)l{s) ds. (4.14) — CO — co 2. Эргодическая теорема и ее применения. Докажем следующее важное предложение. Теорема. Стационарный в широком смысле процесс i,{t) обладает тем свойством, что существует предел т lim А[?(0<й=Ф(0), (4.15) т-»оо 1 а о где случайная величина Ф(0) есть постоянная {часто-
X = 0) составляющая в спектральном представле- нии (4.2). (Уточним, что функция |(Z), —<»<£<«>, является непрерывной в S2, где и рассматривается указанный предел.) Доказательство. Обратимся к линейному преоб- разованию нашего процесса, взяв у т л С ... Р—гТТ_____ч <Р(Х) = ±]е-^ = ^Д о (при Х = 0 здесь <р(0)= 1). Согласно общей формуле (4.14) мы имеем Т оо ljg(f)df= J eiMq>(X)O(dX) 0 —оо И т 1J g (z) dt - ф (0) = J ёк\ (X) ф (dX). , о Очевидно, при Т -* оо, поскольку подынтегральное выражение огра- ничено и стремится к 0 при Т -> оо для всех X =# 0. От- метим, что совершенно аналогично (4.15) о lim Л f g(/)di-^O(0) Л (проверить это!). Задача. Пусть (4.15)' a;(t) = e + |(O есть случайный процесс с неизвестным постоянным зна- чением 0 и стационарной составляющей £(£), имеющей ограниченную спектральную плотность /(X). Показать, I ОЛ
что оценка т 0 =^-J #(£)<& (4.16) • о неизвестного параметра 0 по х (£), 0 < t Т, является состоятельной, точнее, что оо |0 -е|12=4 J |е4^г|8/(г) — 00 при Т -* оо. 3. Стационарные в узком смысле процессы. Эргодич- ность. Случайный процесс g(Z), ~называет- ся стационарным в узком смысле, если его конечномер- ные распределения не меняются с течением времени t, точнее, совокупности величин £(£,), ..., £(М и соответ- ственно £(£1 +1), ..., £(Zn + i) имеют одинаковое распре- деление вероятностей при всех t, каковы бы ни были взятые в любом конечном числе моменты tt, ..., tn. Пусть § (£) — такой процесс. Рассмотрим его преобра- зование вида 11(О==(Р[В(^ + ^), •••, + —oo<f<oo5 (4.17) где <jp — некоторая числовая функция от указанных зна- чений g(fi + t), ..., g(in + <) с фиксированными th ..., tn. Допустим, функция такова, что величина n = n(O) = <p[B(ii)..£(Q] имеет конечный второй момент, Ml т] I2 < оо. Напомним, математическое ожидание функции от величин §(^), ... ..., £ (£„) вычисляется по их распределению вероятно- стей, которое является таким же, как у величин 1(^1 + ?)» •••> 1(^п + 0 (при любом t), и следовательно, мы имеем- M|t] (t) I2 = М[т]|2 < оо, Mt] (i) = Mt] = а, и, по тем же соображениям, ’ M[t] (t) — a][t] (s) — a] = Mt] (i) T] (s) — |a|2 = =Mi](i —s)t](O)—|a|2, —oo<s)f<oo. Видно, что случайный процесс t](i), —°o явля- ется стационарным в широком смысле. Мы знаем, что если такой процесс (рассматриваемый как функция в
пространстве S’2) является непрерывным, то он пред- ставим в виде n (i) = Му] + J егХ*Ф (dX), — оо < t < оо, — со по соответствующей стохастической мере с ортогональ- ными значениями и для него справедлива эргодическая теорема в форме т Tl(Z)df->i] = MT) + O(0)( (4.18) о (см. по этому поводу общее предельное соотношение (4.15) для стационарных процессов с нулевым средним). Исходный процесс £(£), назовем эргодиче- ским, если для его любого преобразования типа (4.17) соответствующий предел в (4.18) есть постоянная т] = = Mr], равная среднему значению Mq(Z)^Mr] этого процесса: т - lim f i] (t)dt = Mt] (4.19) Т-»оо О (уточним, этот предел рассматривается нами в S’2 и ука- занное равенство г] = Мт] нужно Понимать как равенство с вероятностью 1). Естественно спросить, при каких условиях на исход- ный процесс |(0, —оо его преобразование типа (4.17) будет давать непрерывную в пространстве S’2 функцию i](£), — оо < f < оо? в качестве ответа можно привести следующее условие стохастической непрерыв- ности: Л)-*§(<) по вероятности при h ->-0. В са- мом деле, при' этом условии для любой ограниченной равномерно непрерывной функции ср в (4.17) мы имеем P{hG + h) — T](O|>e}< k=i при h -> 0 (где для любого е > 0 соответствующее б > 0 выбрано так, чтобы ||p(i/i, ..., уп) — ф(®i, ..., хп)1 < е при 1рй — жл|Сб, /с = 1, ..., п)’, и следовательно, i](i + 7i)— в “S’2" при h-+0. Произвольную величину
n = .....B(M] в S’2 можно сколь угодно точно аппроксимировать величинами Ц = ф[£(£1), В (ML используя ограниченные равномерно непрерывные функ- ции ф (скажем, можно взять даже финитные бесконечно дифференцируемые функции, обращающиеся в 0 вне ка- кой-либо ограниченной области в Л"). Пусть Иц — ц!1 е. Благодаря стационарности в узком смысле при любом t соответствующая разность ц (£) — ц (t) имеет то же самое среднеквадратическое значение Иц (£)— ц (i) II = Иц — цП < е, — оо < t < оо. Таким образом, функция ц (£) в З?2 есть равномерный по t предел непрерывных в 5?2 функ- ций ц(£), и следовательно, этот предел ц(£), —°°<£< < °°, также есть непрерывная функция. Пусть ц есть произвольная величина с конечным ма- тематическим ожиданием Ml ц I < °0, измеримая относи- тельно о-алгебры, порождаемой всеми величинами £(£), —oo<t<oo. Такую величину можно сколь угодно точно аппроксимировать в S’* величинами вида ф[£(£1), ... ..., £(£„)], скажем, ц = Итфп^^), ..., |(£п)].Как фак- П->оо тически было отмечено выше, равномерно по t в 2” су- ществует также предел ц (7) = lim <pn [£ (7Х 4- 7), ... Л (tn + 01, (4.17)' П->оо — оо <21 °°. Задача. Показать, что для случайной функции ц(7), определенной формулой (4.17)', в S?1 су- ществует предел т lim -Lr f ц (0 dt = ц. (4-18)' T-»oo 1 J о (Воспользоваться равномерной аппроксимацией функ- циями ц„(О;=<Р"[В(^ + О, B(^ + OL -°o<i<oo, из пространства S?2.) Задача (продолжение)'. Формула (4.17)/ определя- ет преобразование Ft: ц-> ц(7). Показать, что предел в (4.18)1' есть величина, инвариант-
пая относительно преобразований сдвига Vt, Vtr) — Г], —«J < t < оо. Обратимся к вопросу об эргодичности стационарного процесса £(£), —o°<t<°°. Введем полную о-алгебру со- бытий 91“, которая порождается всеми величинами £(£), t > и. Предел ц в (4.18) есть величина, рассматриваемая с точностью до эквивалентности, и ее можно считать из- меримой относительно 31“, поскольку Л 1 Г т] = lim -у I 11 (t) dt = T-+O3 = lim у. | Л ('') di + hm 4г Г r| (/) dt = T-^OQ lim 4" ] i] (t) dt — предел величин -у J <p [£ (tt 4- t), ..., | (tn + /)] dt, из- меримых относительно о-алгебры 51“ при и0 > и — — min(0, — ti, —tn). Очевидно, предельная величина т] измерима относительно о-алгебры П 51“. (4.20) Которая помимо событий вероятности 0 или 1 состоит, грубо говоря, из событий, определяемых позедением про- цесса |(i), в бесконечно далеком будущем (при п->оо). Совершенно аналогично, учитывая общее пре- дельное соотношение (4.15)', приходим к выводу о том, что предельная величина т] измерима и относительно о-алгебры - п 5С“ и (4.21) где при каждом и > 0 о-алгебра 51_^> порождается вели- чинами |(i), t^—u (грубо говоря, предельная о-алгебра
И_со помимо событий вероятности 0 или 1 состоит из событий, определяемых поведением рассматриваемого процесса в бескохтечно далеком прошлом). Полученные результаты позволяют сделать следую- щий вывод: если для пересечения П §1" справедлив закон «нуля или единицы» (т. е. любое входящее в это пересечение событие имеет вероятность 0 или 1), то из- меримая относительно о-алгебры П §1” величина ц с вероятностью 1 равна постоянной. Действительно, если для любой постоянной у было бы Р{т) Ф у} = Р{ц < у} + Р{ц > у} > О, то при некотором значении у было бы также 0 < < Р{ц < у} < 1 или 0 < Р{ц > у} < 1, что противоречит закону «нуля или единицы» для событий {ц < у}, It] > у} е П Й“. Очевидно, для постоянной с вероят- ностью 1 величины т] = Мц 4- Ф (0), где МФ(0) = 0, в (4.18) мы имеем Мц = а = Мц и с вероятностью 1 ц = *= Мц. Получен следующий результат. Теорема. Пусть для а-алгебры П 81" выполня- ется закон ту ля или единицы». Тогда стационарный процесс £(£) является эргодическим. Задача. Пусть £(£.) есть стационарный в узком смысле эргодический процесс с нулевым средним М*(О==0 и неизвестной корреляционной функцией B(t) — + s)g(s), —oo<j<oo. Допустим, этот про- цесс, наблюдается при O^t^T. Введем функцию £т(0, равную § (t) на отрезке 0 < t < Т и 0 вне этого отрезка. Пусть Mlg(f) I4 < оо. Показать, что ОО xs. 4 Г* В (0 = у J (t + s) £T(s) ds, — оо <; t <z OO s —co дает оценку корреляционной функции, состоятельную при Т — оо, точнее, 5 (0-5 (О (4.22) в среднеквадратическом при Т -* °° для каждого t. Задача (продолжение). Возьмем финитную бес- конечно дифференцируемую функцию ф(2.) и ее
преобразование Фурье вида ОО — оо — оо < t <Z оо* Показать, что ОО ОО J с (t) В (0 dt -> J 'lp (X) F (dX) (4.23) — оо —оо в среднеквадратическом при Т -> °° (это обстоятельство можно положить в основу тех или иных состоятельных оценок спектральной меры F(dA) стационарного про- цесса). Задача. Показать, что случайный процесс вида t £ (t) = J iv (i — s) T| (ds), — oo <Z t <Z oo, — OO с винеровской стохастической мерой r\(ds), —oo<zs<o°, является стационарным в узком смысле эргодическим процессом. Задача (продолжение). Показать, что то же самое справедливо для аналогичного процесса с пуассоновской стохастической мерой q(ds), —°o<s<°°. (Установить закон «нуля или единицы» для соответствующей о-алгеб- ры §1_оо= П?1-со, порожденной величинами ц(А), As Е( — °°, и], при оо.)
Дополнение ОДНА ЗАДАЧА О СЛУЧАЙНОМ БЛУЖДАНИИ И ЕЕ ПРИЛОЖЕНИЕ В ТЕОРИИ МАССОВОГО ОБСЛУЖИВАНИЯ *) 1. Распределение максимума случайного блуждания. Рассмот- рим последовательность независимых случайных величин £& с оди- наковым распределением вероятностей. Для наглядности можно представить себе, что некоторая частица случайно блуждает по действительной прямой, за каждый к-й шаг смещаясь на соответ- ствующую величину £&, и тогда 8п, п = 0, 1, ... (So = 0), будет траекторией этого случайного блуждания. Будем предполагать, что величины имеют отличное от пуля математическое ожидание а, считая, что а = Mgft < 0. (1) Ниже мы получим некоторые результаты о распределении вероят- ностей максимума £ = max (So, Si, ...), (2) которые будут использованы при изучении процессов массового обслуживания. Очевидно, при условии (1) максимум ^>0 с ве- роятностью 1 конечен, поскольку согласно усиленному закону больших чисел Sn/»-»-a < 0 и, следовательно, Sn->—со. Положим So = 0, Sj = £2, S2 — £2 4" U д» • и £ = = max (So, St, ...). Ясно, что случайная величина £ имеет такое же распределение вероятностей, как и случайная величина tj. Очевидно, при любом z 0 событие ft sC z} происходит тогда и только тогда, когда £1 z и £ z — £1. Поскольку величина £ не зависит от gi, при каждом фиксированном 51 — ж (ж < z) имеем P{£<ZIM = { где F^ (z) = Р ft z} — функция распределения величины £ и, таким образом, 0, если g > z, fe(z— У если £г<2- Учитывая, что для неотрицательной величины 5 функция распре- деления Fi(z) равна пулю при z < 0,. получеииое выше соотноше- ♦) Этот материал может служить дополнением К § 4 гл. II (по- явление его в самом конце книги имеет чисто «технические» при- чины) .
иие можно записать в виде Р {£ С z | BJ = (z — Br). Используя формулу полной вероятности, в итогов получаем следующее урав- нение для функции Fc(z): f F^ (z) {t Щ = (z - (3) Лемма 1. С положительной вероятностью g >» О мы имеем С = 0: g = Л(0) > О (4) (т. е. частица при выходе из точки х = 0 с вероятностью g > О никогда не попадает на положительную полуось х > 0). Доказательство. Действительно, предположим против- ное. Обозначим z0 нижнюю грань тех z, при которых Fj(z) > 0; согласно нашему предположению, либо z0 > 0, либо z0 = 0 и Fr.(O) *= 0. Если z0 > 0, то для любого я, 0 sg z < z0, из уравнения (3) получаем F^ (z) = (z — Вх) = 0; следовательно, Fj(z — — |i) =0 и z — gi zq, Bi 5= z — z0 с вероятностью 1 при всех г, О z < яд, откуда получаем, что Bi 5= 0, а это противоречит усло- вию а =чМВ1 < 0. К такому же противоречию приводят аналогич- ные рассуждения в предположении, что z0 = 0 и Fj (0) = 0. Паше случайное блуждание можно описать следующим обра- зом. С вероятностью р = 1 — g величина В принимает строго поло- жительное значение. Это говорит о том, что в рассматриваемом случайном блуждании с вероятностью р частица рано или поздно попадает на положительную часть действительной прямой; обозна- чим В* ее положение при первом попадании в интервал (0, оо). Величина В* определена лишь с вероятностью р: Р {Bj е (0, оо)] = р; доопределим величину В*, положив В* = 0 при В = 0. Согласно определению, Bi > 0 есть значение первой строго положительной величины в последовательности сумм Sn —So, п = 1, 2, (So = 0), порядковый номер которой обозна- чим vt: B* = ‘SV1“‘^o (ее можпо назвать величиной перескока через уровень х = 0). При условии В* > 0 рассмотрим новую по- V П еледовательность сумм Sn — S„ — S n = vi + l> ••• fe=vr+i В этой последовательности с вероятностью р — 1 — g встретится (впервые на некотором шаге v2) строго положительная величина В* = SV2 — SVJ положив В* = 0 в случае, если Sn — SVj < 0, п = Vi + 1, ..., мы получим случайную величину В*’ которая не зависит от В* и (при условии В* > О) имеет одинаковое с В* распределение вероятностей. При условии В*>0, В* > 0 аналогичным образом определяем В* = Sv^ — Sv% и т. д., при ус- ловии Bj> 0, ,,В*„ > 0 определяем svm ка^ пер-
вую строго положительную величину в соответствующей последов вательности сумм п Sn~Svm = X %k’ n = vJn + l> •••» ft=vm+l если такая величина имеется, и = 0 в противном случае; ясно, что |^+1-не зависит от £*,..., и имеет одинаковое с Е* распределение вероятностей (уточним, что имеется в виду ус- ловное распределение величиныпри условии ^>0, |т> > 0). Положим Sj = O, 5*=1П*’ « = 1,2,... (5) fc=i Очевидно, £ = max (So, S^, ... ) = max (S'*, S'*, ...). Согласно оп- ределению величин £*, если £„ = 0 при некотором т, то Е* = 0 при всех п т. Обозначим v число всех строго положительных величии среди £*, £*, ... Очевидно, Р {V > п + 11 v = п} = Р (V > 1} = Р {£* > 0] = р, откуда получаем, что Р (v п + 1} = Р {v п} р = ... = = pn+1 иР {v=n}= qpn, п =0 , 1, ... Мы имеем СО Р{£е(0, *]} = 2 P{v = n, S*e=(0, Ж]} = 71=1 = Sp{^e(0, г] |v = ")•«₽"• 71=1 П Напомним теперь, что при условии п величины S* = У, Е* и ft=i t,k, к> п, являются независимыми, и, следовательно, при ука- занном условии S* не зависит от величины v — п, равной числу всех строго положительных величин среди £*, к"> п. Поэтому при любом значении v — условное распределение величины S* одно и то же — оно совпадает с условным распределением относи- тельно {v п}, и, в частности, Р [S* е= (0, я] | v = n} = Р {S* е (0, я] | v > п]. Положим F (х) = [ Р[?*е(0, х11|*>0}, о <х<оо, I f < о,
И определим Fn*(x) как функцию распределения суммы п незави- симых случайных величин с одинаковой, равной F(x), функцией распределения (7,к*(ж) называют n-кратной композицией функции Г (ж)).'Очевидно, Р {S* е (0, ж)| v>n] = Р I 2 Б* е (0, х] | v> n| = Fn* (ж). - ©° В итоге мы получаем, чтоР (0, 2 PnFn* (x)i я>0, откуда FtW=P«<i} = s(l+ipV*W). (6) \ П=1 / Сформулируем мот результат в виде отдельного предложения. Лемма 2. Распределение максимума (2) дается формулой (6). Выведем еще одно полезное соотношение, которое в случае показательного распределения исходных величин g2, ... на по- луоси (0, оо) позволит нам получить явные выражения для рас- пределения вероятностей величины £*. Именно, в исходном слу- чайном блуждании величина Е* означает положение частицы при первом попадании на интервал ДО* °°): ~ гДе V1 — число шагов до первого попадания на интервал (0, оо). Очевидно, для всякого х 0 P{V1 = n, Е1*>^}=Р{51<0, 5п>ж}, и при фиксированных Si 0, ..., Sn-} 0 событие {vx = п, £*> ж} означает, что = Sn — Sn-i > х — Sn-i- Следовательно, Р {vx = п, g, > ж| Sx, sn_x] = С(ж — •Sn-i)‘1{Sx<o.sn_1<0)t где G (ж) = P {£n > x], x^O, и l|sx40ii,,,>sn^^0j — индикатор события {Si 0, ..., Sn-jsgO). По формуле полной вероятности Р {vx = п, gj> я] = М [G (ж — ‘Sn_x)-.l^Si<0.вп_х<0}]- (7) Пример (показательное распределение). Пусть каждая из величин п — 1, 2, ..., на интервале (0, со) распределена по по- казательному закону: G (ж) *= Р == Ae~^x, ж 0, где А = =Р{£п> 0}. В этом случае соотношение (7), в котором Sn-i фигу- рирует лишьпри условий Sn-i 0, дает нам следующие равенства: ?(»,=»,:;>*)« .......................... где суммируя эти равенства по всем п = 1, 2, ..., подучим, что С Р > ж} = ре~ Кх, ж>0, (8)
где постоянная р — У, Вп есть р — Р > 0} — 1 — д, q — F^ (0). Рассмотрим подробнее случай непрерывно распределенных величин gi, • • • (для дискретных величин результаты будут совершенно аналогичны). Согласно формуле (8), при плотности вероятности р. (ж) = х > 0, величина при условии ® 1 1 В* > 0 будет распределена по показательному закону с плотностью р^(х) = Ле-’1, х 0. Как мы знаем, сумма независимых величин с одним и тем же показательным распределением имеет плотность вероятности р”* (х) = % х > 0. (и — 1)! Плотность рп*(х) есть производная от Г"* (ж), и, как легко видеть, СЮ Ш (я) = рКе~^х 2 ' = p%e“W1-Z>)x, X > 0, П—0 оо есть производная функции М (х) — 1 + pnFn* (х), М (0) = 1; 71=1 следовательно, ос М{х) = 1+ ^m{x)dx = ±(1-ре-х5ж), д = 1-р; о q В итоге, замечая, что F^{x) = дМ{х), из (3), (8) получаем следую-1 щий результат: Функция распределения максимума £ = (0, Si, S2, ...) имеет вид F^{x) = 1 — (1 — q) е~г’9Х, х 0, (9) где вероятность ?=Рс(О) может быть определена из уравнения (3) как 0 g= J [1 - (1 - д) е^ж] pEi (ж) dx. (10) — ОО Пример {двойное показательное распределение). В случае, когда при х sj 0 плотность вероятности имеет тот же показатель- ный тип, что и при х > 0, а именно. р^ (ж) = Вре-иж, х 0, из уравнения (10) легко выводим, что g = В учитывая равенство В = Р 0} = 1 — А, получаем q — В — Лр/Х. (11)
Отметим, что в рассматриваемом случае = — В/p, Л/% и не- посредственно видно, что при М£х < 0 указанное значение q——pA4j серого положительно. 2. Случайные процессы в системах с одной линией обслужи- вания. Пусть в некоторую систему обслуживания в случайные моменты времени ть т2, ... поступают требования. Предположим, что одновременное поступление разных требований невозможно, а промежутки £i = t2-—ть £2 = Тз — т2, ... между моментами Ti, т2, ... являются независимыми случайными величинами, имею- щими одно и то же распределение вероятностей. Предположим, кроме того, что на обслуживание очередного n-го требования затра- чивается время т]п и T]i, i]2, ... — независимые случайные величи- ны с одним и тем же распределением вероятностей, не зависящие также от моментов времени ть т2, ... (имеется в виду, что — «чистое» время обслуживания n-го требования, ие считая случай- ного времени ожидания Нп от момента поступления до начала обслуживания). Общее время, проведенное n-м требованием в си- стеме обслуживания, в наших обозначениях есть Нп + т]п. Если сле- дующее (n + 1)-е требование поступает после n-го требования че- рез время > Н„ + Цп, то оно застает систему обслуживания сво- бодной и немедленно начинает обслуживаться, т.е. IIn+i = 0; если же < Ни + т]и, то в момент тп-ц = тп + система еще занята обслуживанием предшествующих требований и до начала обслужи- вания (и + 1)-е требование должно ждать время Hn+i = Нп + + т]п — Нас будут интересовать закоиомериости длительного процесса обслуживания и прежде всего распределение вероятно- стей величины Нп — времени ожидания п-м требованием начала обслуживания (при п-> со). Положим Дп = Цп— £л, ^=2ДЛ, п = 1,2, ... fe=i Как было указано, величины Нп связаны с независимыми случайными величинами Дп, п = 1, 2, ..., следующими соотноше- ниями: 0 при Нй + Д„ < 0, Нп+Дп ПРИ нп + дп>°- Сравним последовательность Нь Н2, ... с последовательностью Si, Si, ... Обозначим v0, Vi, ... последовательные значения п, при которых Hn+i = 0. Событие v0 = 1 означает {Si sg 0}, а из соотно- шения (12) видно, что Hn+i = Sn при 1 sj п < v0— 1 и {vo = т) — = {Si > 0, ..., Sm_i >0, Sm 0), т > 1. Следовательно, при 4 п т, т — Vo, связь между Hn+i и Sn можно формально вы- разить следующим соотношением: Н„+1 = S„ - min (0, Sb ..., S„). (13) При m n < Vi, m — Vo, величины Hn+t получали на каждом шаге п то же самое приращение Дп, что и величины Sn, H„+i Hm+I я=^ Sn ~~~ Sm 0, Где Hm-f-i == 0, Sm == min (0, Si, ... .... Sn). Таким образом, как и в (13), H„+i = S„ — min (0, Sb ... ...,Sn). Ппи n=sv2 имеем Ня + Дп = (Sn-i — Sm) + Дп = S„— — Sm ig. 0, так что формула (13), дающая H„+i == 0, по-прежнему Hi=0. Hn+i={
остается справедливой. Теперь уже должно быть ясно, что эта формула имеет место при всех п = 1, 2, .,, Рассмотрим последо- вательные суммы51= Дп, S2= А)? + ^п—г • • • > $п~ + • • • + тех же независимых случайных величин Дь ..Дп, но взятых’ в об- ратном порядке. Имеем Sh~Sn — Sn—k’ ...,п,н, оче- видно, max(0, ..., S^) = Sn —min(0, Sp ...,Sn) = HJ1. Совместное распределение (Sj,, Sn) такое же, как и (Si, SK), и, таким образом, получен Следующий результат. Лемма 3. Распределение вероятностей величины Нп такое же, как и величины £n — max (0, Si, ..., S„). Пусть а — средний промежуток времени между последователь- но поступающими требованиями (а = и Ъ — среднее время обслуживания отдельного требования (fc = Mpn). Среднее значе- ние величин Дп = г]п—gn, п = 1, 2, ..., равно Ъ — а. При условии МДп = Ъ — а < 0, как уже было отмечено, величина £ = max (0, Si, S2, ...) с вероятностью 1 является конечной. Последовательность величин t,n = max (0, Si, ..., Sn), п = 1, 2, ..., монотонно возрас- тает и сходится к величине £ = max (0, St, S2, ...). Очевидно, не- равенство t х равноси. л но тому, что tn я при всех п = 1, 2, ... Кроме того, события Ап = Rn sg х} образуют монотонную последо- вательность Л| = .422 . • и, в силу непрерывности вероятности, для события Д = R ==: х}, совпадающего с пересечением Г) Ап, п имеем Р (Д) = lim Р (АЛ- Вместе с леммой 3 это дает следующий результат. Теорема. При условии м?п = а > b = Мг]п (14) распределение вероятностей величин Нп сходится к распределению максимума £ = max (О, S], S2, ...): для любого х Р {Нп < я} (ж) при n-*-tx>. ’ (15) Задача. Показать, чтс при нарушении условия (14), точнее, при Mgn < Мт]и время ожидания Н„ n-м требованием будет -расти до бесконечности: Нп -> оо с вероятностью 1,
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ о-аддитивность 23, 31 Асимптота веская вффектив- ность 204 Колмогорова — Чэпмена урав- нение 295 Конечномерные распределения 242 Корреляционная матрица 76 Байеса формула 34, 35 Бернулли испытания 24 Борелевская о-алгебра 213 Бореля — Кантелли лемма 33 Броуновское движение 148 — функция 148 случайного процесса 243 Коэффициент диффузии 148, 295 — корреляции 74 — сноса 295 Критическая область 175 Вариационный ряд 182 Вероятностное пространство 32 Вероятность 10, 22 — апостериорная 34 — априорная 34 — условная 227 Выборка 166 Выоорочная медиана 183 — функция 241 распределения 188 Выиопочное распределение 188 Выборочный момент 188 Марковское свойство 107 Мартингал 289 Математическое ожидание 45, 59, 68 условное 53, 63, 225 Момент марковский 107, 291 — остановки 291 — случайной величины 97 Мощность критерия 192 Дисперсия 74 Доверительные границы 161 Достаточная статистика 163, 193 Независимость о-алгебр 212 — случайных величин 44, 57,70, 213 — событий 30 Независимые испытания 17, 18, Закон арксинуса 158 — больших чисел 99 — «нуля или единицы» 237 Замкнутый класс состояний 112 Неймана — Пирсона критерий- 192 Несмещенная оценка 81, 167,197 Однородная цепь Маркова 105 Каноническое представление 254 Квантиль 160 Ковариационная матрица 76 т- функция 243 • Однородный марковский про- цесс 126 Отношение правдоподобия 175, 191 Ошибка второго рода 175 -=• первого рода 175
Переходные вероятности 105, 126 Плотность вероятности 55 ----гауссовская 67 ----нормальная 65, 67 ---- условная 61 Полная система событий 34 Полной вероятности формула 34, 62 Производящая функция 12, 26 Пространство элементарных со- бытий 22, 31 Пуассоновская мера 284 Пуассоновский поток событий 131 Распределение вероятностей 26, 44 — — Бернулли 25 — — биномиальное 25, 90 — — выборочное 188 — — гамма (гамма-распреде- ление) 58 ----геометрическое 37 — — гипергеометрическое 11 ----Лапласа 182 ----начальное 105 ----нормальное 63, 90 — — показательное 37, 54 — — пуассоновское 28, 90 — — равномерное 54 — — случайного процесса 242 ----совместное 44 ----стационарное 113 — — Стьюдепта 168 ---- треугольное 92 ---- условное 53 ----хи-квадрат 92 — — эмпирическое 188 Реализация случайного процес- са 241 Случайная величина гауссов- ская 67 ---- дискретная 43 ----суммируемая 45 — функция 241 ----неупреждающая 256 Случайный процесс 241 ----ветвящийся 136 — — винеровский 250 ---- гауссовский 243 диффузионный 295 Случайный процесс марковский 294 ----пуассоновский 123, 131 — —г с независимыми прираще- ниями 283 — — стационарный в узком смысле 306 ----— — широком смысле 254, 299 — — эргодический. 307 Состояние возвратное 107 Состояния сообщающиеся 112 Состоятельность 180 Спектральная мера 255, 300 — плотность 300 Спектральное представление 254, 255 Среднее значение 45, 59, 68 ----случайного процесса 243 — расстояние 217 Среднеквадратическое значение 72 — расстояние 72 Стохастический дифференциал — интеграл 247, 248 ----Ито 259 Стохастическое дифференциаль- ное уравнение 271 Сходимость в средпеквадратиче- ском 73, 83 ---- среднем 217 — по вероятности 73 — с вероятностью единица 83 — слабая 87 Траектория 241 Тренд 185 Урновая схема 40, 178 Уровень значимости 159 Функция распределения 55 ---- нормальная 65 Характеристическая функция 90 Частота 19, 97 Чебышева неравенство 47 Эрланга формула 135