/
Текст
A.f-J. ШИРЯЕВ
A. H. Ширяев
ВЕРОЯТНОСТЬ-1
Элементарная теория вероятностей.
Математические основания. Предельные теоремы
Издание третье,
переработанное и дополненное
Допущено Министерством образования России в качестве
учебника для студентов высших учебных заведений
по физико-математическим направлениям и специальностям
Уюсква
Издательство МЦНМО, 2004
УДК 519.21(075.8)
ББК 22.171
Ш64
Ширяев А. Н.
Ш64 Вероятность. В 2-х кн. — 3-е изд., перераб. и доп. — М.: МЦНМО,
2004.
ISBN 5-94057-036-4
Кн. 1.—520 с.— ISBN 5-94057-105-0
Настоящее издание (в двух книгах «Вероятность — 1» и «Вероятность — 2»)
представляет собой расширенный курс лекций по теории вероятностей.
Первая книга «Вероятность — 1» содержит материал, относящийся к элементар-
ной теории вероятностей, и может служить пособием для первичного ознакомления с
предметом. Большой материал отводится математическим основаниям теории веро-
ятностей, базирующимся на аксиоматике Колмогорова, рассматриваются основные
вопросы предельных теорем теории вероятностей.
Вторая книга «Вероятность —2» посвящена случайным процессам с дискретным
временем.
Книги рассчитаны на студентов физико-математических специальностей универ-
ситетов. Могут служить учебным пособием для аспирантов и справочным пособием
для специалистов.
Табл. 9. Ил. 42. Библиогр. 136 назв.
ББК 22.171
ISBN 5-94057-036-4
ISBN 5-94057-105-0 (кн. 1)
© Ширяев А. Н„ 2004
© МЦНМО, 2004
К столетию со дня рождения
Андрея Николаевича Колмогорова
(1903-1987)
ОГЛАВЛЕНИЕ
КНИГА ПЕРВАЯ. ВЕРОЯТНОСТЬ - 1
Предисловие к третьему изданию.............................. 7
Предисловие ко второму изданию.............................. 9
Предисловие к первому изданию ............................. 11
Введение................................................... 14
Глава I. Элементарная теория вероятностей 20
§ 1. Вероятностная модель эксперимента с конечным числом исходов 21
§ 2. Некоторые классические модели и распределения......... 36
§ 3. Условные вероятности. Независимость................... 43
§ 4. Случайные величины и их характеристики................ 53
§ 5. Схема Бернулли. I. Закон больших чисел................ 67
§ 6. Схема Бернулли. II. Предельные теоремы (локальная, Муавра—
Лапласа, Пуассона)..................................... 78
§7. Оценка вероятности «успеха» в схеме Бернулли.......... 94
§ 8. Условные вероятности и математические ожидания относитель-
но разбиений.............................................. 100
§ 9. Случайное блуждание. I. Вероятности разорения и средняя про-
должительность при игре с бросанием монеты................ 109
§ 10. Случайное блуждание. II. Принцип отражения. Закон арксинуса 120
§11. Мартингалы. Некоторые применения к случайному блужданию 128
§ 12. Марковские цепи. Эргодическая теорема. Строго марковское
свойство.................................................. 136
Глава II. Математические основания теории вероятностей 160
§ 1. Вероятностная модель эксперимента с бесконечным числом ис-
ходов. Аксиоматика Колмогорова........................ 161
§2. Алгебры и а-алгебры. Измеримые пространства.......... 171
§ 3. Способы задания вероятностных мер на измеримых простран-
ствах..................................................... 191
§4. Случайные величины. I .............................. 214
§5. Случайные элементы .................................. 221
§6. Интеграл Лебега. Математическое ожидание............... 226
§7. Условные вероятности и условные математические ожидания
относительно а-алгебр....................................... 266
§8. Случайные величины. II................................. 300
§9. Построение процесса с заданными конечномерными распреде-
лениями .................................................... 314
§10. Разные виды сходимости последовательностей случайных ве-
личин ...................................................... 324
§11. Гильбертово пространство случайных величин с конечным вто-
рым моментом ............................................... 338
§ 12. Характеристические функции............................ 352
§ 13. Гауссовские системы................................... 380
Глава III. Близость и сходимость вероятностных мер. Централь-
ная предельная теорема 396
§ 1. Слабая сходимость вероятностных мер и распределений.... 397
§ 2. Относительная компактность и плотность семейств вероятност-
ных распределений........................................... 407
§ 3. Метод характеристических функций в доказательстве предель-
ных теорем ................................................. 413
§4. Центральная предельная теорема для сумм независимых слу-
чайных величин. I. Условие Линдеберга ...................... 421
§ 5. Центральная предельная теорема для сумм независимых слу-
чайных величин. II. Неклассические условия.................. 433
§ 6. Безгранично делимые и устойчивые распределения......... 438
§ 7. «Метризуемость» слабой сходимости ..................... 447
§8. О связи слабой сходимости мер со сходимостью случайных
элементов почти наверное ................................... 452
§ 9. Расстояние по вариации между вероятностными мерами. Рас-
стояние Какутани—Хеллингера и интегралы Хеллингера. При-
менение к абсолютной непрерывности и сингулярности мер ... 460
§ 10. Контигуальность (сближаемость) и полная асимптотическая
разделимость вероятностных мер.............................. 470
§11. 0 скорости сходимости в центральной предельной теореме.... 475
§ 12. О скорости сходимости в теореме Пуассона.............. 479
§ 13. Фундаментальные теоремы математической статистики..... 481
Библиографическая справка (главы I—III)..................... 492
Список литературы........................................... 496
Предметный указатель........................................ 502
Указатель обозначений....................................... 516
КНИГА ВТОРАЯ. ВЕРОЯТНОСТЬ —2
Предисловие................................................ 527
Глава IV. Последовательности и суммы независимых случайных
величин 528
§ 1. Законы «нуля или единицы»............................ 529
§ 2. Сходимость рядов..................................... 534
§ 3. Усиленный закон больших чисел........................ 540
§4. Закон повторного логарифма........................... 551
§5. О скорости сходимости в усиленном законе больших чисел и о
вероятностях больших уклонений............................. 557
Глава V. Стационарные (в узком смысле) случайные последова-
тельности и эргодическая теория 562
§1. Стационарные (в узком смысле) случайные последовательно-
сти. Сохраняющие меру преобразования....................... 563
§ 2. Эргодичность и перемешивание......................... 567
§ 3. Эргодические теоремы................................. 570
Глава VI. Стационарные (в широком смысле) случайные после-
довательности. Л2-теория 578
§1 . Спектральное представление ковариационной функции.... 579
§ 2. Ортогональные стохастические меры и стохастические интегралы 589
§3 . Спектральное представление стационарных (в широком смыс-
. ле) последовательностей............................... 595
§4 . Статистическое оценивание ковариационной функции и спек-
тральной плотности......................................... 607
§5 . Разложение Вольда ................................... 614
§ 6. Экстраполяция, интерполяция и фильтрация............. 623
§ 7. Фильтр Калмана—Бьюси и его обобщения................. 634
Глава VII. Последовательности случайных величин, образующие
мартингал 646
§ 1. Определения мартингалов и родственных понятий........ 647
§2 . О сохранении свойства мартингальности при замене времени на
случайный момент........................................... 659
§3. Основные неравенства................................. 671
§ 4. Основные теоремы о сходимости субмартингалов и мартингалов 688
§5. О множествах сходимости субмартингалов и мартингалов. 697
§ 6. Абсолютная непрерывность и сингулярность вероятностных рас-
пределений на измеримом пространстве с фильтрацией......... 706
§7. Об асимптотике вероятности выхода случайного блуждания
за криволинейную границу.................................... 721
§8. Центральная предельная теорема для сумм зависимых случай-
ных величин................................................. 726
§ 9. Дискретная версия формулы Ито........................ 740
§ 10. Вычисление вероятности разорения в страховании. Мартин-
гальный метод............................................... 746
§11 .0 фундаментальных теоремах стохастической финансовой ма-
тематики. Мартингальная характеризация отсутствия арбитража 751
§ 12. О расчетах, связанных с хеджированием в безарбитражных мо-
делях ...................................................... 767
§ 13. Задачи об оптимальной остановке. Мартингальный подход.... 776
Глава VIII. Последовательности случайных величин, образую-
щие марковскую цепь 786
§ 1. Определения и основные свойства....................... 787
§ 2. Обобщенное марковское и строго марковское свойства.... 800
§3. О проблематике предельных, эргодических и стационарных
распределений вероятностей для марковских цепей............. 809
§4. Классификация состояний марковских цепей по алгебраиче-
ским свойствам матриц переходных вероятностей............... 812
§ 5. Классификация состояний марковских цепей по асимптотиче-
ским свойствам переходных вероятностей ..................... 819
§6. О предельных, стационарных и эргодических распределениях
для счетных марковских цепей................................ 833
§7. О предельных, стационарных и эргодических распределениях
для конечных марковских цепей............................... 841
§ 8. Простое случайное блуждание как марковская цепь....... 842
§ 9. Задачи об оптимальной остановке для марковских цепей. 856
Очерк истории становления математической теории вероятностей .. 875
Библиографическая справка (главы IV—VIII).................. 899
Список литературы.......................................... 904
Предметный указатель....................................... 910
Указатель обозначений...................................... 924
Предисловие к третьему изданию
Если принять во внимание, что первое издание нашей книги «Веро-
ятность» вышло в 1980 г., второе — в 1989 г., а настоящее, третье,—
в 2004 г., то можно сказать, что издания выходят примерно с десяти-
пятнадцатилетним интервалом. (На английском языке книга издавалась в
1984 и 1996 гг. и на немецком — в 1988 г.)
Время показывает, что отбор материала для первых двух изданий таков,
что он сохраняет свою актуальность и сейчас. Это определило то, что мы
сохранили структуру предшествующих изданий, внеся, однако, в насто-
ящие книги «Вероятность — 1» и «Вероятность — 2» ряд существенных
изменений и дополнений.
Прежде всего это относится к последней, восьмой, главе, посвященной
изложению теории марковских цепей с дискретным временем. По суще-
ству, эта глава написана заново. Теперь в ней содержится больше ма-
териала, приводятся подробные доказательства многих утверждений, ра-
нее изложенные лишь в конспективной форме. Особое внимание уделено
строго марковскому свойству и концепциям стационарных и эргодических
распределений. Специальный параграф отведен для изложения теории оп-
тимальных правил остановки марковских цепей.
Новый материал добавлен также и в седьмую главу, относящуюся
к теории мартингалов с дискретным временем. В § 9 приводится дискрет-
ный вариант формулы К. Ито, что может рассматриваться как введение
в стохастическое исчисление для броуновского движения, где формула
замены переменных Ито играет исключительно важную роль. В § 10 этой
главы показывается, как методы теории мартингалов позволяют просто
получать оценки вероятностей разорения страховых компаний, эволюция
капитала которых описывается моделью Крамера—Лундберга. Материал
§ 11 относится к «теории арбитража» в стохастической финансовой
математике. Здесь приводятся две «фундаментальные теоремы теории
арбитража», дающие в мартингальных терминах условия отсутствия
арбитражных возможностей и условия, гарантирующие существование
такого портфеля ценных бумаг, который позволяет достичь поставленной
финансовой цели. В § 12 приводится ряд важных результатов «финансовой
инженерии» относительно расчетов рациональных (справедливых) стои-
мостей опционов и структуры «хеджирующих» портфелей ценных бумаг.
Общей теории оптимальных правил остановки для произвольных случай-
ных последовательностей отведен § 13 этой главы. Излагаемый материал
служит хорошей иллюстрацией того, как понятия и результаты теории
мартингалов «работают» в разнообразных проблемах «стохастической
оптимизации».
В другие главы также внесен ряд изменений и дополнений.
Отметим здесь новый материал, относящийся-к теоремам о монотонных
классах (§ 2 главы II), основанный на детальном изложении понятий и
свойств «тг-А-систем», и § 13 главы III, посвященный некоторым фунда-
ментальным теоремам математической статистики.
Новым в настоящем издании является «Очерк истории становления
математической теории вероятностей», помещенный в конце книги «Веро-
ятность — 2».
В ряд параграфов внесены новые задачи.
Автор глубоко признателен Т. Б. Толозовой за большой труд по на-
учному редактированию книги и руководству издательства Московского
центра непрерывного математического образования как за предложение о
новом издании, так и за быстрое и эффективное осуществление проекта по
изданию книги.
Москва, 2003
А. Ширяев
Математический институт
им. В. А. Стеклова РАН,
Московский государственный
университет им. М. В. Ломоносова
Предисловие ко второму изданию
В предисловии к первому изданию, вышедшему в 1980 г., отмечалось,
что основу книги составили лекции, читаемые автором на механико-мате-
матическом факультете Московского университета им. М. В. Ломоносова
и частично изданные ротапринтным способом под названием «Вероят-
ность, статистика, случайные процессы, I, II» издательством МГУ. Наш
первоначальный замысел при написании первого издания настоящей кни-
ги состоял в том, чтобы пособие содержало три части: «Вероятность»,
«Математическая статистика», «Теория случайных процессов», соответ-
ствующие программе трехсеместрового курса лекций для математических
специализаций университетов. Однако в ходе работы над книгой этот за-
мысел осуществить полностью не удалось, поскольку принятый характер
изложения потребовал бы значительно большего объема. В связи с этим в
предисловии к первому изданию говорилось, что «достаточно полно здесь
представлена лишь теория вероятностей и теория случайных процессов
с дискретным временем».
Практически весь текст первого издания входит и в настоящее. Изме-
нения, исправления носят, как правило, редакционный характер с учетом
также и тех замечаний, которые были получены мною от советских и зару-
бежных читателей, знакомых с книгой по русскому изданию и переводам
на английский и немецкий языки [98], [99]. Автор искренне признателен
всем им за внимание, советы и доброжелательную критику.
В настоящее, второе, издание добавлен новый материал: в главе III это
§ 5» §§ 7—12, в главе IV — § 5, в главе VII — § 8. Наиболее существенно
дополнена третья глава. Здесь читатель найдет изложение ряда вопросов,
относящихся к более углубленному изучению таких тем, как меры близости
вероятностных мер, метризуемость слабой сходимости, контигуальность
вероятностных мер. В эту же главу добавлены доказательства ряда важных
результатов о скорости сходимости в центральной предельной теореме
и в теореме Пуассона об аппроксимации биномиального распределения
пуассоновским, которые в первом издании присутствовали лишь в виде
формулировок.
Отметим также новый материал о вероятностях больших уклонений
(глава IV, § 5) и центральную предельную теорему для сумм зависимых
случайных величин (глава VII, § 8).
За последние несколько лет вероятностная литература, издаваемая
Главной редакцией физико-математической литературы издательства «На-
ука», пополнилась учебниками Б. А. Севастьянова [97], 1982 г., Ю. А. Ро-
занова [95], 1985 г., учебным пособием А. А. Боровкова [7], 1986 г., и
учебником Б. В. Гнеденко [15], 1988 г. В 1985 г. и 1986 г. издательство
МГУ издало учебное пособие Я. Г. Синая [128]. Представляется, что
эти издания вместе с настоящим, во многом отличаясь и дополняя друг
друга, охватывают довольно обширный материал, в существенном доста-
точно полно удовлетворяющий современным требованиям, предъявляемым
к преподаванию теоретико-вероятностных дисциплин студентам физико-
математических специализаций.
В учебнике Б. В. Гнеденко приводится много хорошо подобранных при-
меров в том числе и прикладного содержания, дается большой материал
методологического характера и обширный очерк истории теории вероят-
ностей. Учебное пособие А. А. Боровкова [7], пожалуй, наиболее сходно
с настоящей книгой по стилю изложения. Специального упоминания заслу-
живают главы 9 («Элементы теории восстановления»), 11 («Факторизаци-
онные тождества») и 17 («Функциональные предельные теоремы»), кото-
рые отличают пособие [7] от настоящего и [15], [95]. Учебник Ю. А. Роза-
нова содержит большой материал, касающийся разнообразных математи-
ческих моделей, которые теория вероятностей и математическая статистика
предлагают для описания случайных явлений и их эволюции. В основу
учебника Б. А. Севастьянова положен двухсеместровый курс его лекций
в МГУ. Материал заключительных четырех глав этого учебника охватывает
тот необходимый минимум, который входит в университетскую програм-
му годового курса по теории вероятностей и математической статистике.
В нашем пособии, возможно в большей степени, нежели чем в отмеченных
выше, значительное место уделено теоретико-множественным аспектам и
математическим основаниям теории вероятностей.
В учебниках Б. В. Гнеденко и Б. А. Севастьянова в конце каждой
главы, а в настоящем пособии в конце каждого параграфа добавлены
упражнения и задачи, которые вместе, например, с задачниками А. В. Про-
хорова, В. Г. Ушакова, Н. Г. Ушакова «Задачи по теории вероятностей» —
М.: Наука, 1986, и А. М. Зубкова, Б. А. Севастьянова, В. П. Чистякова
«Сборник задач по теории вероятностей» — М.: Наука, 1988, могут быть
использованы читателем для самоконтроля, а преподавателями для про-
ведения семинарских занятий со студентами.
Москва, октябрь 1988
А. Ширяев
Предисловие к первому изданию
В основу настоящего учебного пособия положен трехсеместровый курс
лекций, который читался автором в течение ряда лет на механико-ма-
тематическом факультете Московского государственного университета и
был частично издан ротапринтным способом под названием «Вероятность,
статистика, случайные процессы, I, II», изд-во МГУ.
В соответствии с традицией первая часть курса (примерно один се-
местр) отводится на элементарную теорию вероятностей (глава I). Изло-
жение начинается с построения вероятностных моделей с конечным числом
исходов и введения основных вероятностных понятий таких, как элемен-
тарные события, события, вероятность, независимость, случайные величи-
ны, математические ожидания, корреляция, условные вероятности и др.
Многие вероятностно-статистические закономерности хорошо просле-
живаются уже на примере простейшего случайного блуждания, порожден-
ного схемой Бернулли. В связи с этим для этого случая излагаются как
классические результаты (закон больших чисел, локальная и интегральная
теоремы Муавра и Лапласа), так и более современные результаты (напри-
мер, закон арксинуса).
Завершается первая глава рассмотрением зависимых случайных вели-
чин, образующих мартингал и марковскую цепь.
Главы II—IV являются расширенным изложением второй части курса
(второй семестр). Здесь излагается (глава II) ставшая общепринятой акси-
оматика теории вероятностей А. Н. Колмогорова и дается математический
аппарат, составляющий арсенал средств современной теории вероятно-
стей (и-алгебры, меры и способы их задания, интеграл Лебега, случайные
величины и случайные элементы, характеристические функции, условные
математические ожидания относительно а-алгебр, гауссовские системы и
др.). Следует отметить, что два результата теории меры —теорема Карате-
одори о продолжении меры и теорема Радона—Никодима — принимаются
без доказательства.
Третья глава посвящается вопросам слабой сходимости вероятност-
ных распределений и методу характеристических функций в доказатель-
стве предельных теорем. Вводятся понятия относительной компактности
и плотности семейства вероятностных распределений и доказывается (для
случая числовой прямой) теорема Ю. В. Прохорова об эквивалентности
этих понятий.
К этой же части курса отнесено рассмотрение свойств «с вероятностью
единица» для последовательностей и сумм независимых случайных вели-
чин (глава IV). Приводятся доказательства законов «нуля или единицы»
(Колмогоров, Хьюитт и Сэвидж), критерии сходимости рядов и даются
условия справедливости усиленного закона больших чисел. Закон повтор-
ного логарифма формулируется для произвольных последовательностей
независимых одинаково распределенных случайных величин с конечным
вторым моментом и доказывается в предположении, что эти величины
имеют гауссовское распределение.
Наконец, третья часть курса (главы V—VIII) отводится случайным про-
цессам с дискретным временем (случайным последовательностям). Главы
V и VI посвящены теории стационарных случайных последовательностей,
где стационарность понимается как в узком, так и в широком смысле.
Изложение теории стационарных в узком смысле случайных последова-
тельностей ведется с привлечением понятий эргодической теории: сохра-
няющее меру преобразование, эргодичность, перемешивание. Приводится
простое доказательство (данное А. Гарсиа) максимальной эргодической те-
оремы, что позволяет дать и простое доказательство эргодической теоремы
Биркгофа—Хинчина.
Рассмотрение стационарных в широком смысле случайных последо-
вательностей начинается с доказательства спектрального представления
для ковариационной функции. Затем вводятся ортогональные стохастиче-
ские меры, интегралы по ним и доказывается спектральное представление
для самих последовательностей. Рассмотрен также ряд статистических
задач: оценивание ковариационной функции и спектральной плотности,
экстраполяция, интерполяция и фильтрация. В эту же главу включен также
материал, относящийся к фильтру Калмана—Бьюси и его обобщениям.
В седьмой главе рассматриваются основные результаты теории мартин-
галов и родственных понятий. Излагаемый здесь материал стал включаться
в традиционные курсы теории вероятностей лишь сравнительно недавно.
В последней главе, посвященной марковским цепям, основное внимание
уделяется вопросам асимптотического поведения цепей Маркова со счет-
ным множеством состояний.
В конце каждого параграфа приводятся задачи, значимость которых
может быть различной: в одних предлагается доказать утверждения,
сформулированные, но не доказанные в основном тексте, другие содержат
утверждения, используемые в последующем изложении, третьи преследуют
цель дать дополнительные сведения к рассматриваемому кругу вопросов
и, наконец, некоторые носят характер простых упражнений.
При составлении курса и настоящего пособия автор использовал раз-
нообразную литературу по теории вероятностей. В историко-библиографи-
ческой справке указываются как источники приводимых результатов, так и
дополнительная литература, относящаяся к рассматриваемому материалу.
В книге применяется следующая нумерация и система ссылок. Каждый
параграф содержит свою нумерацию теорем, лемм и формул (без указания
номера главы и параграфа). При ссылке на соответствующий результат
из другого параграфа той же главы применяется двойная нумерация, где
первая цифра указывает номер параграфа (так, ссылка на формулу (2.10)
означает формулу (10) из § 2). При ссылке на результаты из другой главы
используется тройная нумерация (так, формула (П.4.3) означает формулу
(3) из § 4 главы II).
Автор пользуется здесь случаем поблагодарить А. Н. Колмогорова,
Б. В. Гнеденко, Ю. В. Прохорова, которые его учили и у которых он
учился теории вероятностей и советами которых он имел возможность
пользоваться. Автор приносит также свою признательность сотрудникам
кафедр теории вероятностей и математической статистики механико-мате-
матического факультета МГУ и сотрудникам отдела теории вероятностей
Математического института им. В. А. Стеклова АН СССР за обсуждения
и советы.
А. Ширяев
Введение
Предметом теории вероятностей является математический анализ слу-
чайных явлений — эмпирических феноменов, которые (при заданном «ком-
плексе условий») могут быть охарактеризованы тем, что
для них отсутствует детерминистическая регулярность (наблю-
дения над ними не всегда приводят к одним и тем же исходам)
и в то же самое время
они обладают некоторой статистической регулярностью (про-
являющейся в статистической устойчивости частот).
Поясним сказанное на классическом примере «честного» подбрасыва-
ния «правильной» монеты. Ясно, что заранее невозможно с определен-
ностью предсказать исход каждого подбрасывания. Результаты отдельных
экспериментов носят крайне нерегулярный характер (то «герб», то «ре-
шетка»), и кажется, что это лишает нас возможности познать какие-либо
закономерности, связанные с этими экспериментами. Однако, если прове-
сти большое число «независимых» подбрасываний, то можно заметить, что
для «правильной» монеты будет наблюдаться вполне определенная ста-
тистической регулярность, проявляющаяся в том, что частота выпадания
«герба» будет «близка» к 1/2.
Статистическая устойчивость частот делает весьма правдоподобной ги-
потезу о возможности количественной оценки «случайности» того или ино-
го события Л, осуществляющегося в результате экспериментов. Исходя
из этого, теория вероятностей постулирует существование у события А
определенной числовой характеристики Р(Л), называемой вероятностью
этого события, естественное свойство которой должно состоять в том,
что с ростом числа «независимых» испытаний (экспериментов) частота
появления события А должна приближаться к Р(Л).
Применительно к рассмотренному примеру это означает, что вероят-
ность события Л, состоящего в выпадании «герба» при бросании «пра-
вильной» монеты, естественно считать равной 1/2.
Число подобных примеров, в которых интуитивное представление о
численном значении вероятности того или иного события складывается
весьма легко, можно без труда приумножить. Однако все они будут носить
сходный характер и сопровождаться не определенными (пока) понятиями
типа «честное» подбрасывание, «правильная» монета, «независимость»
и т. п.
Призванная изучать количественные характеристики «случайности»,
теория вероятностей, как и всякая точная наука, стала таковой лишь тогда,
когда было четко сформулировано понятие вероятностной модели, когда
была создана ее аксиоматика. В этой связи естественно сейчас хотя бы
кратко остановиться на основных исторических вехах теории вероятностей.
Подробный «Очерк истории становления математической теории вероят-
ностей» приведен в книге «Вероятность— 2».
Возникновение теории вероятностей как науки относится к сере-
дине XVII века и связано с именами Паскаля (1623—1662), Ферма
(1601—1665), Гюйгенса (1629—1695). Хотя отдельные задачи, касаю-
щиеся подсчета шансов в азартных играх, рассматривались ранее — в
XV—XVI вв. итальянскими математиками (Кардано, Пачоли, Тарталья
и др.), первые общие методы решения таких задач были, по-видимому,
даны в знаменитой переписке между Паскалем и Ферма, начавшейся в
1654 г., и в первой книге по теории вероятностей «De Ratiociniis in Aleae
Ludo» («О расчетах в азартных играх»), опубликованной Гюйгенсом в
1657 г. Именно в этот период вырабатывается важное понятие «матема-
тическое ожидание», устанавливаются теоремы сложения и умножения
вероятностей.
Истинная история теории вероятностей начинается с работы Я. Бер-
нулли (1654—1705) «Ars Conjectandi» («Искусство предположений»),
опубликованной в 1713 г., в которой была доказана (и вполне строго)
первая предельная теорема теории вероятностей — «закон больших чисел»,
и работы Муавра (1667—1754) «Miscellanea Analytica Suppiementum»
(примерный перевод может быть таков: «Аналитические методы» или
«Аналитическая смесь»), 1730 г., в которой впервые была сформули-
рована и доказана (в симметричной схеме Бернулли) так называемая
«центральная предельная теорема».
Я. Бернулли принадлежит заслуга введения в науку «классического»
определения понятия «вероятность события» как отношения числа воз-
можных результатов испытаний, благоприятствующих рассматриваемому
событию, к числу всех возможных результатов испытаний.
Я. Бернулли был, вероятно, первым, кто делал четкое различие между
понятиями «вероятность» события и «частота» его появления и кто осо-
знал важность рассмотрения бесконечных Последовательностей повторных
испытаний.
Муавру принадлежит заслуга в определении таких понятий, как «не-
зависимость», «математическое ожидание», «условная вероятность».
В 1812 г. выходит большой трактат Лапласа (1749—1827) «Theorie Analy-
tique des Probabilites» («Аналитическая теория вероятностей»), в которой
он излагает свои собственные результаты в области теории вероятностей,
а также результаты своих предшественников. В частности, он обобщил
теорему Муавра на общий (несимметричный) случай схемы Бернулли,
раскрыв тем самым более полным образом значение результата Муавра.
Весьма значителен вклад Лапласа, состоящий в применении вероят-
ностных методов к теории ошибок наблюдений. Именно им была высказана
плодотворная идея, что ошибка наблюдений должна рассматриваться как
суммарный эффект сложения большого числа независимых элементарных
ошибок. Отсюда следовало, что при достаточно общих условиях распре-
деление ошибок наблюдений по крайней мере приближенно должно быть
нормальным.
К этому же периоду в развитии теории вероятностей, когда центральное
место в исследованиях занимали предельные теоремы, относятся работы
Пуассона (1781—1840) и Гаусса (1777—1855).
С именем Пуассона в современной теории вероятностей связано по-
нятие распределения и процесса, носящих его имя. Гауссу принадлежит
заслуга создания теории ошибок и, в частности, обоснование одного из ее
основных принципов — метода наименьших квадратов.
Следующий важный период в развитии теории вероятностей связан
с именами П. Л. Чебышева (1821 — 1894), А. А. Маркова (1856—1922),
А. М. Ляпунова (1857—1918), создавших эффективные методы доказа-
тельства предельных теорем для сумм независимых произвольно распре-
деленных случайных величин.
Число публикаций Чебышева по теории вероятностей невелико — их
всего четыре, но их роль в теории вероятностей и в создании классической
русской школы теории вероятностей трудно переоценить.
«С методологической стороны основной переворот, совершенный
Чебышевым, заключается не только в том, что он впервые с полной
настойчивостью выдвинул требование абсолютной строгости доказатель-
ства предельных теорем... но главным образом в том, что Чебышев
всюду стремился получить точные оценки отклонений от предельных
закономерностей, возможных при хотя бы и большом, но конечном числе
испытаний, в виде безусловно правильных при любом числе испытаний
неравенств» (А. Н. Колмогоров [30]). До Чебышева основной интерес
в теории вероятностей был связан с подсчетом вероятностей случайных
событий. Им же впервые была ясно осознана и использована вся сила
понятий «случайная величина» и «математическое ожидание случайной
величины».
Лучшим выразителем идей Чебышева был его ближайший ученик Мар-
ков, которому принадлежит несомненная заслуга доведения до полной яс-
ности результатов своего учителя. Значительным вкладом Маркова в тео-
рию вероятностей явилось начатое им исследование предельных теорем
для сумм зависимых случайных величин и создание одного из новых раз-
делов теории вероятностей — теории зависимых случайных величин, свя-
занных, как теперь принято говорить, в цепь Маркова.
«...Классический курс исчисления вероятностей А. А. Маркова и его
оригинальные мемуары, являющиеся образцом точности и ясности изложе-
ния, в наибольшей степени содействовали превращению теории вероятно-
стей в одну из самых совершенных областей математики и широкому рас-
пространению направления и методов Чебышева» (С. Н. Бернштейн [3]).
Для доказательства центральной предельной теоремы теории вероятно-
стей (о сходимости к нормальному закону) Чебышев и Марков применили
так называемый метод моментов. При более общих условиях и более про-
стым методом — методом характеристических функций эта теорема была
получена Ляпуновым. Последующее развитие теории показало, что метод
характеристических функций является мощным аналитическим средством
доказательства самых разнообразных предельных теорем.
Современный период в развитии теории вероятностей начинается с
установления аксиоматики. Первые работы в этом направлении принадле-
жат С. Н. Бернштейну (1880—1968), Р. Мизесу (1883—1953), Э. Борелю
(1871 — 1956). В 1933 г. вышла книга А. Н. Колмогорова «Основные
понятия теории вероятностей», в которой была предложена аксиоматика,
получившая всеобщее признание и позволившая не только охватить все
классические разделы теории вероятностей, но и дать строгую основу
для развития ее новых разделов, вызванных запросами естествознания и
связанных с бесконечномерными распределениями.
Изложение в настоящих книгах «Вероятность — 1» и «Вероятность —
2» основано на аксиоматическом подходе Колмогорова. При этом, чтобы
формально-логическая сторона дела не заслоняла интуитивных представ-
лений, наше изложение начинается с элементарной теории вероятностей,
«элементарность» которой состоит в том, что в соответствующих вероят-
ностных моделях рассматриваются эксперименты лишь с конечным числом
исходов. После этого мы даем изложение основ теории вероятностей в ее
наиболее общем виде («Вероятность — 1»).
Начиная с 20—30 годов прошлого столетия в теории вероятностей бур-
но развивается один из ее новых разделов — теория случайных процес-
сов, занимающаяся изучением семейств случайных величин, эволюциони-
рующих во времени. Была создана теория марковских процессов, теория
стационарных процессов, теория мартингалов, теория предельных теорем
для случайных процессов, теория информации.
Основное внимание в книге «Вероятность — 2» уделяется случай-
ным процессам с дискретным временем — случайным последовательно-
стям. Однако тот материал, который излагается во второй главе книги
«Вероятность — 1», дает основательную базу (прежде всего логического
характера), необходимую при изучении общей теории случайных про-
цессов.
Хотя настоящее издание книг «Вероятность — 1» и «Вероятность —
2» посвящено теории вероятностей, уместно будет сейчас сказать
несколько слов о математической статистике и, более общим обра-
зом, о статистике и их взаимоотношениях с теорией вероятностей.
Во многих странах (например, в Великобритании) Теория вероятно-
стей рассматривается как «интегральная» часть Статистики, обслу-
живающая ее математические аспекты. При этом Статистика предпо-
лагается состоящей из следующих разделов: описательная статистика
и математическая статистика, (Многие энциклопедические издания
отмечают, что первоначальное значение слова статистика — это «нау-
ка о состоянии государства» (по латыни status — состояние). На ранних
этапах ее называли «политической арифметикой», цель которой состоя-
ла в оценивании тех или иных показателей, характеризующих состояние
общества, экономики и т. д., и выявлении разного рода количественных
свойств массовых явлений по неполным данным.)
Описательная статистика занимается организацией представлений
статистических данных («статистического сырья») в удобных для анализа
формах. (Ключевыми словами здесь являются, например, такие: популя-
ция, выборка, частотные распределения и их гистограммы, относительные
частотные распределения и их гистограммы, частотные полигоны и др.).
В настоящее время имеется большое число пакетов статистических
программ (MINITAB, SAS, SPSSX и др.), которые позволяют представ-
лять даже очень большие массивы статистических данных в удобных для
анализа формах (в виде различных диаграмм, гистограмм и т. п.).
Математическая статистика призвана, собственно говоря, зани-
маться математической обработкой «статистического сырья», оценивани-
ем выборочных характеристик, выборочных распределений и вынесением
статистических выводов с указанием степени их надежности. (Ключевые
слова: оценивание — точечное и интервальное, различение гипотез, непа-
раметрические тесты, дисперсионный анализ, регрессионный анализ, ста-
тистика процессов, ...)
В России традиционным образом математическая статисти-
ка рассматривается как естественный раздел теории вероятностей,
занимающийся «обратными вероятностными задачами», т. е. задачами
определения той вероятностной модели, которая наиболее адекватным
образом отвечает полученным статистическим данным.
Подобный взгляд на математическую статистику (как часть теории ве-
роятностей) дает возможность придать методам и заключениям статистики
строгую математическую базу и облечь статистические выводы в фор-
му строгих теоретико-вероятностных утверждений. (См., например, § 13
«Фундаментальные теоремы математической статистики» в гл. III, «Веро-
ятность— 1».) В этой связи уместно будет напомнить, что первая пре-
дельная теорема теории вероятностей — закон болыиих чисел возникла
у Я. Бернулли в «Ars Conjectandi» [134], собственно говоря, именно из
желания получить математическое обоснование использования «часто-
ты» для оценивания «вероятности успеха» в «схеме Бернулли». (См. по
этому поводу «Вероятность — 1», гл. I, § 7.)
В заключение настоящего введения приведем текст Я. Бернулли из «Ars
Conjectandi» (глава вторая из части четвертой):
«Относительно того, что твердо известно и не подлежит сомнению,
мы говорим, что знаем или понимаем, относительно всего прочего — что
только догадываемся или предполагаем.
Делать о какой-либо вещи предположения — все равно, что измерять
ее вероятность. Поэтому искусство предположений (Ars conjectandi sive
stochastice) у нас определяется как искусство возможно точнее измерять
вероятности вещей затем, чтобы в наших суждениях или действиях мы
могли всегда выбирать или следовать тому, что будет найдено лучшим,
более удовлетворительным, спокойным и разумным».
Латинскому словосочетанию ars conjectandi (искусство предположе-
ний) соответствует греческое ато/аатсхг) тё/vif) (второе слово часто опус-
кается). Это словосочетание происходит от греческого отб/оС — цель,
догадка, предположение [134, с. 27, 75, 83].
В настоящее время слово «стохастический» широко используется как
синоним слова «случайный». Так, выражения «стохастические процессы»
и «случайные процессы» рассматриваются как равноправные. Нелишне
будет отметить, что теория случайных процессов и статистика слу-
чайных процессов входят ныне в число основных интенсивно развиваю-
щихся разделов теории вероятностей и математической статистики.
Глава I
ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
§ 1. Вероятностная модель эксперимента с конечным числом исходов 21
§ 2. Некоторые классические модели и распределения............. 36
§ 3. Условные вероятности. Независимость....................... 43
§ 4. Случайные величины и их характеристики.................... 53
§ 5. Схема Бернулли. I. Закон больших чисел.................... 67
§ 6. Схема Бернулли. II. Предельные теоремы (локальная, Муавра—
Лапласа, Пуассона)............................................ 78
§ 7. Оценка вероятности «успеха» в схеме Бернулли.............. 94
§ 8. Условные вероятности и математические ожидания относитель-
но разбиений................................................. 100
§ 9. Случайное блуждание. I. Вероятности разорения и средняя про-
должительность при игре с бросанием монеты................... 109
§ 10. Случайное блуждание. II. Принцип отражения. Закон арксинуса 120
§11. Мартингалы. Некоторые применения к случайному блужданию 128
§ 12. Марковские цепи. Эргодическая теорема. Строго марковское
свойство..................................................... 136
Мы называем элементарной теорией вероятностей ту
часть теории вероятностей, в которой приходится иметь дело с вероятностя-
ми лишь конечного числа событий.
А. Н. Колмогоров. «Основные понятия теории вероятностей» [32]
§ 1. Вероятностная модель эксперимента
с конечным числом исходов
1. Рассмотрим некоторый эксперимент, результаты которого (при дан-
ном «комплексе условий») описываются конечным числом различных ис-
ходов (явлений) о>1,..., ojyv. Для нас несущественна реальная природа этих
исходов, важно лишь то, что их число N конечно.
Исходы ..., ojyv будем также называть элементарными события-
ми, а их совокупность
Q = {cui, ..., cuyv}
(конечным) пространством элементарных событий или простран-
ством исходов.
Выделение пространства элементарных событий представляет собой
первый шаг в формулировании понятия вероятностной модели (веро-
ятностной «теории») того или иного эксперимента. Рассмотрим несколько
примеров описания структуры пространства элементарных событий.
Пример 1. При однократном подбрасывании монеты пространство ис-
ходов Q состоит из двух точек:
П = {Г, Р},
где Г —«герб», Р —«решетка». (Мы предполагаем, что «комплексом усло-
вий» исключаются возможности типа «монета стала на ребро», «монета
исчезла», ..., но в то же самое время предполагается возможность досто-
верным образом регистрировать результат подбрасывания.)
Пример 2. При n-кратном подбрасывании монеты пространство эле-
ментарных событий
J2 = {cu: o; = (ai, ..., ап), а, = ГилиР}
и общее число /V(Q) исходов равно 2Л.
Пример 3. Пусть сначала подбрасывается монета. Если выпадет
«герб», то бросается шестигранная кость (с цифрами 1, 2, 3, 4, 5, 6), если
же выпадает «решетка», то снова подбрасывается монета. Пространство
элементарных событий данного эксперимента будет таким:
П = {Г1, Г2, ГЗ, Г4, Г5, Гб, РГ, РР}.
Замечание. При изложении теории вероятностей «комплекс условий»,
как правило, не упоминается и «по умолчанию» предполагается данным.
Между тем, это понятие важно уже на уровне и элементарной теории ве-
роятностей, поскольку разные «комплексы условий» для одного и того же
эксперимента могут приводить к весьма разным вероятностным моделям
(«теориям»). (В этой связи см. далее текст в начале п. 3, дающий некоторые
пояснения, в чем здесь дело.)
2. Рассмотрим теперь более сложные примеры, связанные с разными
способами выбора п шаров из урны, содержащей М различных шаров.
Пример 4. Выбор с возвращением. Так называют эксперимент,
в котором на каждом шаге извлеченный шар возвращается обратно.
В этом случае каждая выборка из п шаров может быть записана в виде
(дь ..., ап), где az- — номер шара, извлеченного на /-м шаге. Понятно, что
в случае выбора с возвращением каждое а/ может принимать любое из
М значений 1, 2, ..., М. Описание пространства элементарных событий
существенно зависит от того, считаем ли мы выборки тождественного
состава, такие как, скажем, (4, 1, 2, 1) и (1, 4, 2, 1), различными или
одинаковыми. В связи с этим принято различать два случая: упорядочен-
ные выборки и неупорядоченные выборки. В первом случае выборки,
состоящие из одних и тех же элементов, но отличающиеся порядком
следования этих элементов, объявляются различными. Во втором случае
порядок следования элементов не принимается во внимание и такие
выборки объявляются тождественными. Чтобы подчеркнуть, какие
конкретно выборки мы рассматриваем, будем для упорядоченных вы-
борок использовать обозначение (аь ..., ап), а для неупорядоченных —
[аь ..., ап].
Итак, в случае упорядоченных выборок с возвращением простран-
ство элементарных событий Q имеет следующую структуру:
П = {о>: ш = (aj, ..., an), af- = 1, ..., М},
и число различных исходов (выборок), называемых в комбинаторике раз-
мещениями из М по п с повторениями, равно
/V(fi) = Mrt. (1)
Если же рассматриваются неупорядоченные выборки с возвращени-
ем (в комбинаторике — сочетания из М по п с повторениями), то
Q = {o>: cu = [й], ..., ал], at == 1, ..., М}.
Понятно, что число /V(Q) (различных) неупорядоченных выборок меньше,
чем число упорядоченных. Покажем, что для этого случая
N(fl) = CnM+n_h
(2)
где Ч- n (k_iy
— «число сочетаний из k элементов по I».
Будем вести доказательство по индукции. Обозначим N(M, п) число
интересующих нас исходов. Ясно, что для всех k М
N(k, \) = k = Clk.
Предположим теперь, что N(k, n) = C]J+rt_1, и покажем, что эта
формула остается справедливой при замене п на я+ 1. При рассмотрении
неупорядоченных выборок [aj, ..., art+i] можно считать, что их элементы
расположены в порядке неубывания: а\ < ... ал+ь Очевидно, что
число неупорядоченных выборок с а\ = 1 равно N(M, п), с =2 равно
N(M - 1, п) и т. д. Следовательно,
_ г»л+1 \ I
~ GAf+n-U “Г V-M-i+n
N{M, n+\) = N(M> n) + ... + /V(l, n) =
= Сд1+л_1 +С^_1+л_1 + ... + C" =
— + •••
-+(ед-спя)+с„п=сх
где мы воспользовались следующим легко проверяемым свойством бино-
миальных коэффициентов Clk:
с'-'+с£=с'+1.
(Это свойство лежит в основе подсчета биномиальных коэффициентов из
«треугольника Паскаля».)
Пример 5. Выбор без возвращения. Будем предполагать, что п М
и что извлеченные шары обратно не возвращаются. В этом случае также
рассматриваются две возможности, связанные с различением упорядочен-
ных и неупорядоченных выборок.
В случае упорядоченных выборок без возвращения (в комбинатори-
ке— размещений из М по п без повторений) пространство исходов
Q = {cu: cv = (ai, ..., ап), ak^ai, k/l; ai = \,...,M}f
а число элементов этого множества равно М(М- \)...(М - п+ 1). Это
число обозначается (М)п или Апм и называется «числом размещений из
М по п».
В случае неупорядоченных выборок без возвращения (в комбинато-
рике— со четаний из М по п без повторений) пространство исходов
Q = {cu: о> = [яь ..., ял], я*/я/, k^l\ я£ = 1,...,М}
состоит из
N(^) = CnM
(3)
элементов. Действительно, из неупорядоченного набора [яь..., ял], состо-
ящего из различных элементов, можно получить ровно п\ упорядоченных
наборов. Следовательно, N(Q) • п\ = (М)п и, значит, N(Q) = р = Спм.
Результаты о числе исходов в случае п извлечений из урны с М шарами
сведем в таблицу 1:
Таблица 1
мп Cjw+n-l С возвращением
(М)п спм Без возвращения
Упорядоченный Неупорядоченный ^ХВыбор Набор\^
Для случая М = 3 и и = 2 структура соответствующих пространств эле-
ментарных событий приводится в таблице 2:
Таблица 2
(1, 1) (1,2) (1,3) (2, 1) (2, 2) (2, 3) (3, 1) (3, 2) (3, 3) [1, 1][2, 2] [3, 3] [1.2] [1,3] [2, 3] С возвращением
(1.2) (1,3) (2, 1) (2, 3) (3, 1) (3, 2) [1.2] [1,3] [2, 3] Без возвращения
Упорядоченный Неупорядоченный ^'хВыбор НаборХ^
Пример 6. Размещение дробинок по ячейкам. Рассмотрим вопрос
о структуре пространства элементарных событий в задаче размещения
п дробинок (шаров и т. п.) по М ячейкам (ящикам и т. п.). В статистической
физике подобная задача возникает, например, при изучении распределения
п частиц (это могут быть протоны, электроны, ...) по М состояниям (это
могут быть энергетические уровни).
Пусть ячейкам присвоены номера 1, 2,..., М, и предположим сначала,
что дробинки различимы (имеют номера 1, 2, ..., п). Тогда распределе-
ние п дробинок по М ячейкам полностью описывается (упорядоченным)
набором (flj,..., ал), где а, — номер ячейки, куда попала дробинка с номе-
ром L Если же рассматриваемые дробинки неразличимы, то их распреде-
ление по М ячейкам полностью описывается (неупорядоченным) набором
[П1,..., ал], где а, — номер ячейки, в которую попала дробинка на i-м шаге.
Сравнивая рассматриваемую ситуацию с примерами 4 и 5, видим, что
имеют место следующие соответствия:
(упорядоченные выборки) <-+ (различимые дробинки),
(неупорядоченные выборки) <-+ (неразличимые дробинки),
означающие, что случаю упорядоченных (неупорядоченных) выборок в
задаче выбора п шаров из урны с М шарами соответствует (один и только
один) случай расположения различимых (неразличимых) дробинок в задаче
размещения п дробинок по М ячейкам.
Аналогичный смысл имеют следующие соответствия:
(выбор с возвращением) <-+
(выбор без возвращения)
в ячейке может находиться
любое число дробинок
в ячейке может находиться
не более одной дробинки
Из этих соответствий можно сконструировать соответствия типа:
неупорядоченные выборки\ /неразличимые дробинки в задаче
в задаче выбора без воз- - и* равнения по ячейкам когда
I I в ячейке не может находиться
вращения ) \ о
' 7 \ более одной дробинки
и т. д., что дает возможность использовать примеры 4 и 5 для описания
структуры пространства элементарных событий в задаче распределения
различимых и неразличимых дробинок по ячейкам с запретом (в ячейке
может находиться не более одной дробинки) или без запрета (в ячейке
может находиться любое число дробинок).
Таблица 3 показывает структуру расположения двух дробинок по трем
ячейкам. В случае различимых дробинок они обозначаются Б (белая)
и Ч (черная). В случае неразличимых дробинок их наличие в ячейке
обозначается знаком +.
Таблица 3
1БЧ1 1 1 |Б|Ч| ||Б| |Ч| |Ч|Б| | | |БЧ| I I |Б|Ч| 1Ч| |Б| I |Ч|Б|1 I |БЧ| l-H-l I I I 1+Я' 1 1 1 I++I 1+1+1 11+1 1+1 |_|±Ш Без запрета
1Б[Ч| „| |Б| |Ч| 1Ч1Б1 1 |._L5J4| 141 |Б| | |Ч|Б| |±Ш 1±1_1±1 1_1±1±1 С запретом
Различимые дробинки Неразличимые дробинки \ Разме- \ ще- _ \ ние Тип \ дро- \ бинки \
Указанная выше двойственность между рассматриваемыми задачами
позволяет очевидным образом найти число исходов в задаче размещения
дробинок по ячейкам. Соответствующие результаты, включающие в себя
также и результаты таблицы 1, сведены в таблицу 4.
Таблица 4
N(Q) в задаче размещения п дробинок по М ячейкам
X. Тип дро- X. бин- Раз-Х. ки ме- X. щение Х^ Различимые дробинки Неразличимые дробинки
Без запрета мп (статистика Максвелла-Больцмана) Сп '-'M+n-l (статистика Бозе—Эйнштейна) С возвращением
С запретом (М)п Сп (статистика Ферми—Дирака) Без возвращения
Упорядоченные выборки Неупорядоченные выборки ^\Выбор Набор\^
N(Q) в задаче выбора п шаров из урны с М шарами
В статистической физике говорят, что различимые (неразличимые)
частицы, не подчиняющиеся принципу запрета Паули («не больше одной
частицы в каждой ячейке»), удовлетворяют (физической) статистике
Максвелла—Больцмана (соответственно — статистике Бозе—Эйнштейна).
Если же частицы неразличимы и подчиняются принципу запрета, то —
статистике Ферми—Дирака (см. табл. 4). Известно, например, что элек-
троны, протоны и нейтроны подчиняются статистике Ферми—Дирака,
фотоны и пи-мезоны — статистике Бозе—Эйнштейна. Известно также, что
случай различимых частиц, подчиняющихся принципу запрета, в физике
не встречается.
3. Наряду с понятием пространства элементарных событий введем
теперь важное понятие события. лежащее в основе построения всякой
вероятностной модели («теории») рассматриваемого эксперимента.
Экспериментаторы обычно интересуются не тем, какой конкретно
исход имеет место в результате испытания, а тем, принадлежит ли исход
тому или иному подмножеству всех исходов. Все те подмножества A CQ,
для которых по условиям эксперимента возможен ответ одного из двух
типов: «исход сие А» или «исход ш Л», — будем называть событиями.
Например, пусть осуществляется трехкратное подбрасывание монеты.
Пространство всех исходов Q состоит из восьми точек:
П = {ГГГ, ГГР, ..., РРР},
и если «комплекс условий» позволяет записать (зафиксировать, «изме-
рить» и т. п.) результаты всех трех подбрасываний, то, скажем, множество
Л = {ГГГ, ГГР, ГРГ, РГГ}
является событием, состоящим в том, что выпадет по крайней мере два
«герба». Однако если «комплекс условий» позволяет зафиксировать лишь
только результат первого подбрасывания, то рассматриваемое множест-
во А уже нельзя называть событием, поскольку нельзя дать ни утвер-
дительного, ни отрицательного ответа на вопрос о том, принадлежит ли
конкретный исход множеству А.
Отправляясь от некоторой заданной системы множеств, являющихся
событиями, можно образовывать новые события, отвечающие конструкци-
ям высказываний с логическими связками «или», «и» и «не», чему на языке
теории множеств соответствуют операции «объединения», «пересечения»
и «дополнения».
Если А и В — два множества, то под их объединением, обозначаемым
Л UB, понимается множество, состоящее из точек, входящих или в А. или
в В:
A U В = {u? е Q: си е А или си € В}.
L
На языке теории вероятностей А и В — событие, состоящее в том, что
произошло хотя бы одно из событий А или В.
Пересечение двух множеств А и В, обозначаемое АпВ или АВ, есть
множество, состоящее из точек, входящих и в Л, и в В:
Л ПВ = {а>еП: шеА и шеВ}.
Событие А С\В состоит в том, что одновременно произошло и событие А,
и событие В.
Так, если А = {ГГ, ГР, РГ} и В = {РР, РГ, ГР}, то
Л иВ = {ГГ, ГР, РГ, РР} (=П),
Л ПВ = {РГ, ГР}.
Если А — некоторое подмножество П, то под его дополнением, обозна-
чаемым в дальнейшем А, понимается множество точек из Q, не входящих
в А,
Если через В\А обозначать разность множеств В и А (т. е. множество
точек, входящих в В и не входящих в Л), то Л = П\Л. На языке теории
вероятностей А — это событие, состоящее в ненаступлении события А.
Так, если событие А = {ГГ, ГР, РГ}, то А = {РР} — событие, состоящее в
том, что подряд выпадут две «решетки».
Множества Л и Л не имеют общих точек, и, следовательно, множес-
тво ЛпЛ является пустым. Для пустого множества будем использовать
обозначение 0. В теории вероятностей множество 0 называется невоз-
можным событием. Множество Q естественно назвать необходимым, или
достоверным, событием.
Объединение Л и В множеств Л и В в том случае, когда они не пере-
секаются (АВ = 0), называется суммой множеств Л и В и обозначается
л+в.
Если рассматривается некоторая система множеств Л С Q, то с
помощью теоретико-множественных операций и, П и \ можно из элементов
построить новую систему множеств, которые также являются событи-
ями. Присоединяя к этим событиям достоверное и невозможное события
Q и 0, получаем систему множеств л/, которая является алгеброй, т. е.
такой системой подмножеств множества Q, что
1) Пел/,
2) если Л ел/, Вел/, то множества ЛиВ,ЛпВ,Л\В также принад-
лежат л/.
Из сказанного следует, что в качестве систем событий целесообраз-
но рассматривать такие системы множеств, которые являются алгебрами.
Именно такие системы событий мы и будем рассматривать далее.
Остановимся на некоторых примерах алгебр событий:
a) jz/={Q, 0} —система, состоящая из Q и пустого множества (так
называемая тривиальная алгебра);
b) = Д, Q, 0} —система, порожденная событием Д;
с) я/={А: А СП} — совокупность всех (включая и пустое множество 0)
подмножеств Q.
Нетрудно заметить, что все эти алгебры событий получены по следую-
щему принципу.
Будем говорить, что система множеств
^ = {Db...,Drt}
образует разбиение множества Q, a Di являются атомами этого разби-
ения, если множества Di непусты, попарно не пересекаются и их сумма
равна П:
D\ +... + Dn = Q.
Если, например, множество Q состоит из трех точек, П = {1, 2, 3}, то
существует пять различных разбиений:
01= Pi}
cDi={1,2, 3};
02 = Pi,D2} cD1={1,2},D2 = {3};
03 = Pi,D2} cD1={1,3},D2 = {2};
04 = Pi,D2} cD1={2,3},D2 = {1};
05 = Pi, D2, D3} c D\ = {1}, D2 = {2}, D3 = {3}.
(По поводу общего числа разбиений конечного множества см. задачу 2.)
Если рассматривать всевозможные объединения множеств из 0, то
вместе с пустым множеством 0 полученная система множеств будет ал-
геброй, которая называется алгеброй, порожденной разбиением и
обозначается а(^). Таким образом, элементы алгебры а(^) составляются
из пустого множества и сумм множеств, являющихся атомами разбие-
ния
Итак, если 0 — некоторое разбиение, то ему однозначным образом
ставится в соответствие алгебра ^ = а(^).
Справедливо и обратное утверждение. Пусть 38 — некоторая алгебра
подмножеств конечного пространства П. Тогда найдется, и притом един-
ственное, разбиение атомы которого являются элементами алгебры 38, и
такое, что ^=а(^). В самом деле, пусть множество D ^38 и обладает тем
свойством, что для всякого В е 38 множество D П В или совпадает с D, или
является пустым множеством. Тогда совокупность таких множеств D об-
разует разбиение & с требуемым свойством а(&) =38. В случае примера а)
в качестве & берется тривиальное разбиение, состоящее лишь из одного
множества D\ =Q; в случае Ь) ^ = {Л, Л}. Самое мелкое разбиение Of,
составленное из одноточечных множеств {cuz}, си/ е Q, порождает алгебру
в примере с), т. е. алгебру всех подмножеств fl.
Пусть и ^2 — Два разбиения. Будем говорить, что разбиение
«мельче» разбиения #|, и записывать это в виде =^^2, если a(^i)C
Са(^).
Покажем, что если пространство Q состоит, как было предположено
выше, из конечного числа точек cuj, ...»сидт, то общее число N(srf) мно-
жеств, составляющих систему $4 из примера с), равно 2N. Действитель-
но, каждое непустое множество А е л/ может быть представлено в виде
/4 = {cuZ1, ..., где 6Q, Поставим в соответствие этому
множеству последовательность, состоящую из нулей и единиц:
(0, ...,0, 1,0, ...,0, 1, ...),
где на местах с номерами q, ..., ik стоят единицы, а на остальных — нули.
Тогда при фиксированном k число различных множеств А вида {шц,..., cuzJ
совпадает с числом способов, которыми можно k единиц (k неразличимых
дробинок) разместить по N местам (по N ячейкам). Согласно таблице 4
(см. правую нижнюю клетку), число таких способов равно CkN. Отсюда (с
учетом пустого множества) находим, что
N(^) = 1 + ClN +... + С% = (1 + 1)" = 2n.
4. Пока мы сделали два первых шага к построению вероятностной
модели («теории») эксперимента с конечным числом исходов: выделили
пространство исходов SI и некоторую систему л/ его подмножеств, обра-
зующих алгебру и называемых событиями. (Пару <? = (Q, л/) иногда иден-
тифицируют с экспериментом.) Сделаем теперь следующий шаг, а имен-
но припишем каждому элементарному событию (исходу, явлению) си/ 6 Q,
/ = 1, некоторый «вес», обозначаемый р(си/) (или pi) и называе-
мый вероятностью исхода си/, который будем считать удовлетворяющим
следующим условиям:
а) 0^ p(cu/) 1 (неотрицательность),
b) p(cui) +... + p(cu/y) = 1 (нормированность).
Отправляясь от заданных вероятностей р(си£) исходов си/ определим
вероятность Р(Л) любого события А по формуле
РИ)= 52 p&i). (4)
{i twieA}
Определение. Принято говорить, что «вероятностное пространство»
(П, л/, Р),
Где Q = {a>i, сид/}, si — некоторая алгебра подмножеств Q и Р =
= {Р(Л); А 6 jz/}, определяет (задает) вероятностную модель («теорию»)
эксперимента с (конечным) пространством исходов (элементарных собы-
тий) Q и алгеброй событий si. (Ясно, что Р({^}) = p(cuz), / = 1, ..., N.)
Из определения (4) вытекают следующие свойства вероятностей:
Р(0) = О, (5)
Р(П) = 1, (6)
Р(Д U В) = Р(Д) + Р(В) - Р(Л П В). (7)
В частности, если А П В = 0, то
Р(Л + В) = Р(Л) + Р(В), (8)
и
Р(А) = 1-Р(Д). (9)
5. При построении вероятностных моделей в конкретных ситуациях
выделение пространства элементарных событий Q и алгебры событий si,
как правило, не является сложной задачей. При этом в элементарной
теории вероятностей в качестве алгебры si обычно берется алгебра всех
подмножеств Q. Труднее обстоит дело с вопросом о том, как задавать
вероятности элементарных событий. В сущности, ответ на этот вопрос ле-
жит вне рамок теории вероятностей, и мы его подробно не рассматриваем,
считая, что основной нашей задачей является не вопрос о том, как при-
писывать исходам те или иные вероятности, а вычисление вероятностей
сложных событий (событий из si) по вероятностям элементарных событий.
С математической точки зрения ясно, что в случае конечного простран-
ства элементарных событий с помощью приписывания исходам o/j,...,
неотрицательных чисел р\, ..., рн, удовлетворяющих условию р\ + ... +
+ p/v = l, мы получаем все мыслимые (конечные) вероятностные прост-
ранства.
Правильность же назначенных для конкретной ситуации значений
Pi, ..., рн может быть до известной степени проверена с помощью
рассматриваемого далее закона больших чисел, согласно которому
в длинных сериях «независимых» экспериментов, происходящих при
одинаковых условиях, частоты появления элементарных событий «близки»
к их вероятностям.
В связи с трудностью, связанной с вопросом приписывания исходам
значений их вероятностей, отметим, что существует много практических си-
туаций, в которых из соображений симметрии или однородности пред-
ставляется разумным рассматривать все мыслимые исходы как равновоз-
можные. Поэтому, если пространство элементарных исходов Q состоит из
точек о>|, ..., oj/v, где N < оо, то полагают
p(wi) = ... = p(ww)= 1//V,
и, следовательно, для любого события Дел/
P(A) = N(A)/N. (10)
где N(A) — число элементарных событий, составляющих А.
Такой способ задания вероятностей носит название классического.
Ясно, что в этом случае подсчет вероятностей Р(Д) сводится к подсчету
числа исходов, приводящих к событию А. Делают это обычно комби-
наторными методами, в связи с чем комбинаторика, имеющая дело с
конечными множествами, занимает значительное место в вероятностном
исчислении.
Пример 7. Задача о совпадениях. Пусть урна содержит М шаров,
занумерованных числами 1, 2,.... М. Производится выбор с возвращением
объема п. при этом рассматриваемые выборки считаются упорядоченными.
Ясно, что в этом случае
Q = {o>: o> = (ai, ..., ап). а, = 1,...,М}
и N(Q) = Mn. В соответствии с классическим способом задания вероятно-
стей будем считать все Мп исходов равновероятными и поставим следую-
щий вопрос: какова вероятность события
Д = {cj: а^ aj. i /},
т. е. события, заключающегося в отсутствии повторений? Понятно, что
Д^(Д) = М(М- 1)...(М-я+ 1) и, значит,
Эта задача допускает следующую интересную интерпретацию. Пусть
в классе находится п учеников. Будем считать, что день рождения каждого
ученика приходится на один из 365 дней и любой день равновозможен.
Спрашивается, какова вероятность Рзб5(л) того, что в этом классе с п уче-
никами найдутся по крайней мере два ученика, дни рождения которых
совпадают? Если рассматривать выбор дня рождения как выбор шара из
урны с М = 365 шарами, то, согласно (11),
^365W 1 осел *
Следующая таблица дает значения вероятностей Рзб5(л) для некото-
рых п:
п 4 16 22 23 40 64
Р365(П) 0,01636 0,28360 0,47569 0,50730 0,89123 0,99711
п 70 100
Рзб5(п) 0,99916 1-3,07249-10"7
При достаточно больших М
Мп \ М) М М 2
k=l k=l
и, значит,
(=Рм(п)), М—*оо.
Ниже приводится график функции РзббОО- В том же самом масштабе
график приближения Рзб5(л) практически совпадает с графиком функции
ЛзббО*)- На интервале [0, 60] максимальное их отличие равно примерно
0,01 (в окрестности значения и = 30).
Графики ?365(Л) и Рзб5(л)
График ?зб5(л) - Рзб5(л)
Интересно отметить, что (вопреки ожидаемому!) размер класса, где с
вероятностью 1/2 найдутся по крайней мере два ученика с совпадающими
днями рождения, не столь уж велик: он равен всего лишь 23.
Пример 8. Выигрыш, в лотерею. Рассмотрим лотерею, устроенную
по следующему принципу. Имеется М билетов, занумерованных числами
1, 2, ..., М, из которых п билетов с номерами 1, 2, ..., п являются вы-
игрышными (М^2я). Вы покупаете п билетов, и спрашивается, какова
вероятность (обозначим ее Р) того, что по крайней мере один билет будет
выигрышным?
2 - 9727
Поскольку порядок, в котором извлекаются билеты, не играет роли с
точки зрения наличия или отсутствия в купленном наборе выигрышных би-
летов, то следует считать, что пространство элементарных событий имеет
такую структуру:
Q = {cu: о> = [ан ..., ал], а, = 1, ..., М}.
Согласно таблице 1, /V(Q) = C^. Пусть теперь
Ло = {с^: = [«1, ..., ал], at=n+\, ..., 44}
— событие, состоящее в том, что среди купленных билетов нет выигрыш-
ных. Опять-таки, согласно таблице 1, N(Ao) = C^_n. Поэтому
Р«= = 0 - > - -(> - л^тт)
и, значит,
Если М = п2 и п -♦ оо, то Р(Ло)—и
1-е~* «0,632,
где сходимость довольно быстрая: уже при л= 10 вероятность Р = 0,670.
6. Задачи.
1. Установите справедливость следующих свойств операций Пии:
ЛиВ = ВиЛ,ЛпВ = ВпЛ (коммутативность),
A U (В U С) = (Л U В) U С, А П (В П С) = (Л П В) П С (ассоциативность),
Л П (В U С) = (Л П В) U (Л П С), А U (В П С) = (Л UВ) П (Л и С) (дистрибу-
тивность),
ЛUЛ = Л, Л П Л = Л (идемпотентность).
Показать также, что
ЛиВ = ЛпВ, ЛпВ = ЛиВ.
2. Пусть множество Q состоит из N элементов. Показать, что общее
число d(N) различных разбиений множества П определяется формулой
bN
d^) = e-1^^-. (12)
fe=0
(Указание. Доказать, что
/v—1
d(N) = CkN_! d(k), где d(0) = 1,
6=0
и затем проверить, что ряды в (12) удовлетворяют этим рекуррентным
соотношениям.)
3. Доказать, что для любой конечной системы множеств Дь ..., Ап
Р(Д1и...иДлКР(Д1) + ... + Р(Дл).
4. Пусть А и В — два события. Показать, что ДВиВД есть событие,
состоящее в том, что произойдет в точности одно из событий А или В.
При этом
Р(ДВ U В А) = Р(Д) + Р(В) - 2Р(ДВ).
5. Пусть Дь ..., Ап — события и величины So, Si, ..., Sn определены
следующим образом: So = 1,
= Г)Akr), l^r^n,
Jr
где суммирование распространяется по неупорядоченным подмножествам
Jr = [Ль ..., множества {1, ..., я}, ki i j.
Пусть Вт — событие, состоящее в том, что одновременно произойдет в
точности т событий из Дь ..., Ап. Показать, что
п
r=/n
В частности, для т = 0
P(B0)=l-Si+S2-...±S«.
Показать также, что вероятность того, что одновременно произойдет
по крайней мере т событий из Дь ..., Дл, равна
Р(вт)+...+Р(вл)=£(-ir-mc;_Vsr.
r=/n
В частности, вероятность того, что произойдет по крайней мере одно из
событий Дь Дл, равна
P(B1) + ... + P(B„) = S1-S2 + ...TSrt.
Доказать справедливость следующих свойств:
(а) неравенства Бонферрони: для всякого £=1,2, ... такого, что
2£^и,
Si — S2 + ... — S2fc Р f U А ) ^«$1 — S2 + ... + S2jfe_i;
\z=l /
(Ь) тождество Пуанкаре'.
Р(й =£(-l)r-'Sr;
\г=1 / Г=1
(с) неравенство Фреше\
сг+1^Сг- 0,1,..., Л 1,
(d) неравенство Гумбела'.
~ $г+1 < СГп ~$г _ | 9
Cr сг-1 ’ г“ Ь J
л-1 Сл-1
6. Показать, что Р(Л ГУ В А С) Р(Л) + Р(В) + Р(С) - 2 и, по индукции,
(п \ п
АА >£Р(Л)-(л-1).
1 = 1 / 1=1
7. Исследуйте асимптотику вероятностей Рд/(п) из примера 7 при
разных предположениях относительно п и М (типа: п = хМ, М—*оо, или
п=ху/М, А4—>оо, гдех — фиксировано). Сравните результаты с локальной
предельной теоремой из § 6.
§ 2. Некоторые классические модели и распределения
1. Биномиальное распределение. Предположим, что монета подбра-
сывается п раз и результат наблюдений записывается в виде упорядочен-
ного набора (аь ал), где а, = 1 в случае появления «герба» («успех»)
и а,=0 в случае появления «решетки» («неуспех»). Пространство всех
исходов имеет следующую структуру:
Q = {a>: cu = (ai, ..., ап), а, =0или1}.
Припишем каждому элементарному событию cu = (ai, ..., ап) вероят-
ность («вес»)
р(ш) = p^a‘qn~^ а‘,
где неотрицательные числа р и q таковы, что р + ^ = 1. Прежде всего
покажем, что этот способ задания «весов» р(о>) действительно является
корректным. Для этого нам достаточно проверить, что $2 Р&) = 1-
Рассмотрим все те исходы си = (Д|, .... ап), для которых ai = где
i
# = 0, 1,п. Согласно таблице 4 (размещение k неразличимых «единиц»
по п местам), число таких исходов равно С„. Поэтому
п
52 РИ = 52 Cknpkqn~k = (p + q)n = \.
шЕП k=Q
Итак, пространство Q вместе с системой л/ всех его подмножеств и
вероятностями Р(Д) = 52 РМ» (в частности, Р({cu}) = р(си), ш е П)
&еа
определяет некоторую вероятностную модель. Естественно назвать ее
вероятностной моделью, описывающей п-кратное подбрасывание
монеты.
В случае и = 1, когда пространство элементарных исходов состоит лишь
из двух точек о>= 1 («успех») и о> = 0 («неуспех»), вероятность р(1) = р
естественно назвать вероятностью «успеха». Далее мы увидим, что рас-
сматриваемая нами вероятностная модель, описывающая n-кратное под-
брасывание монеты, может быть получена как результат п «независимых»
испытаний с вероятностью «успеха», на каждом шаге равной р.
Введем в рассмотрение события
Ak = {ar. o; = (ai, ..., ап), а\ +... + art = й}, й = 0, 1, ..., п,
означающие, что произойдет в точности k «успехов». Из сказанного выше
следует, что
P(Ak) = Cknpkqn~k, (1)
п
причем 52 Р(Л0=1-
*=о
Набор вероятностей (Р(Ло), ..., Р(Лл)) называется биномиальным .
распределением (числа «успехов» в выборке объема п).
Это распределение играет исключительно важную роль в теории
вероятностей, возникая в самых разнообразных вероятностных моделях.
Обозначим Pn(k) = P(Ak), 6 = 0, 1,...,и. На рис. 1 воспроизведены
биномиальные распределения для случая р = - («симметричная» монета)
ип = 5, 10, 20. 2
Приведем еще одну модель (в сущности эквивалентную предшествую-
щей), описывающую случайное блуждание некоторой «частицы».
Пусть частица выходит из нуля и через единицу времени делает шаг на
единицу вверх или вниз (рис. 2).
Таким образом, за п шагов частица может переместиться максимум на
п единиц вверх или п единиц вниз. Понятно, что каждая «траектория» и
Рис. 1. Графики биномиальных вероятностей Pn(k) для л = 5, 10, 20
движения частицы может быть полностью описана набором (ai,..., ал), где
а, = + 1, если на i-м шаге частица сдвигается вверх, и а, = -1, если сдви-
гается вниз. Припишем каждой траектории ш «вес», =
Рис. 2.
где р(о>) — число «+1» в последо-
вательности o; = (ai,..., ал), т. е.
i/(w)= Lai+,- + M + n,
а неотрицательные числа р и q
таковы, что р + q = 1.
Поскольку РМ = 1> то
набор вероятностей р(о>) вместе
с пространством Q траекторий
си = (а 1,..., ап) и его подмножествами действительно определяет некоторую
вероятностную модель движения частицы за п шагов.
Поставим следующий вопрос: какова вероятность события состо-
ящего в том, что за п шагов частица окажется в точке с ординатой, рав-
ной &? Этому условию удовлетворяют все те траектории о/, для которых
р(си) — (п — р(о>)) = &, т. е.
( х П-^k
Число же таких траекторий (см. табл. 4) равно СпП+/г>^2, и, значит,
Р(Л^) = C^+k)^2 p(n^k)/2q(n-k)/2
Таким образом, биномиальное распределение (Р(Л_л), Р(Ло), ...
..., РИ»)) описывает, как говорят, распределение вероятностей положе-
ния частицы за п шагов.
Заметим, что в «симметричном» случае (р=q = 1/2), когда вероятность
отдельной траектории равна 2~",
Р(Д*) = С<п+^2-2-я.
Рассмотрим асимптотику этих вероятностей при больших п.
Если число шагов равно 2п, то из свойств биномиальных коэффи-
циентов следует, что среди вероятностей Р(Л*), |й|^2п, максимальной
является вероятность
РИо) = С^-2-2л.
Из формулы Стирлинга (см. фор-
мулу (6) в п. 4)
/г! ~ л/2тгп *)
-4 -3 -2 -1 0 1 2 3 4
Рис. 3. Возникновение биномиаль-
Поэтому
_ (2п)!
2л (п!)2
и, значит, при больших п
\ 1 ного распределения
у/тт'
Рис. 3 дает представление о возникновении биномиального распреде-
ления при движении частицы за 2п шагов (в отличие от рис. 2 временная
ось здесь направлена вверх).
2. Мультиномиальное распределение. В обобщение предшествую-
щей модели предположим, что пространство исходов имеет следующую
структуру:
Q = {o>: о> = (аь ..., ал), сц = дь ..., br},
где dj,..., br — заданные числа. Пусть ц (си)— число элементов в последо-
вательности си = (а 1,..., ап), равных bi, i = 1,..., г, и вероятность исхода ш
определяется формулой
рМ = р^'м...р^>,
где р,0 и pi +... + pr = 1. Заметим, что
рм= 52 сп(п\, ...,пг)р"'...рпгг,
шЕП fni^O..пг^0\
I rtj4-...+nr=n J
*) Соотношение f(n) ~ g(n) означает, что f(n)/g(n) —► 1 при п —> оо.
где через Сп(П\, пг) обозначено число упорядоченных последователь-
ностей (aj,..., ал), у которых элемент Ь\ встречается п\ раз,..., элемент Ьг
встречается пг раз. Поскольку число способов, которыми П\ элементов Ь\
можно расположить на п местах, равно С"1, П2 элементов Ь% на п-п\
местах — C”LЛ1 и т. д., то
С„(п,, .... nr) = C? =
— (и - пр! । _ n\
П\\(П — rtj)! п^\ (n — П\ — П2)! П\\...ПГ\'
Поэтому
= £ _^L_p«1...p;, = (p| + ... + pr)« = it
fni ^0,...»
I rtl+...±nr=n J
и, следовательно, рассматриваемый способ задания вероятностей является
корректным.
Пусть
АП{...пг = {м'- Р1М = И1, ..., vr(uj) = nr}.
Тогда
Р(Л,...Лг) = Сл(/г1,...,иХ,--РгЛг. (2)
Набор вероятностей {Р(ДЛ1...Лг)} носит название мультиномиального
(полиномиального) распределения.
Подчеркнем, что возникновение этого распределения и его частного
случая — биномиального распределения — связано с выбором с возвра-
щением,
3. Многомерное гипергеометрическое распределение появляется
в задачах, где имеет место выбор без возвращения.
Для примера рассмотрим урну, содержащую М различных шаров, за-
нумерованных, скажем, числами 1, 2, ..., А4, из которых М\ шаров имеют
«цвет» Ь\, ..., Мг шаров имеют «цвет» Ьг, М\ + ... + Мг = М. Предполо-
жим, что осуществляется выбор без возвращения объема п<М. Прост-
ранство элементарных событий
Q = {uj: cu = (a>, ..., ап), ak^a^ k/l; а[ = \,...,М}
и N(Q) = (M)n. Будем считать элементарные события равновозможными
и найдем вероятность события ВЛ1..Лг, состоящего в том, что П\ шаров
имеют цвет ..., пг шаров имеют цвет Ьг, П\+ ... + пг = п. Нетрудно
показать, что
N(Bn...л,) = Сл(иь ..., пг)(М\)П{ ...(Мг)Пг,
и, значит,
p/о .Пг) __ CMt "СМг /пч
..Пг) “ A(Q) “ С" • (6)
Набор вероятностей {Р(ВЛ1 Лг)} носит название многомерного ги-
пергеометрического распределения. В случае г = 2 это распределение
называют просто гипергеометрическим в связи с тем, что так называе-
мая производящая функция этого распределения есть гипергеометрическая
функция.
Структура многомерного гипергеометрического распределения доволь-
но сложна. Так, вероятность
£Л1 QT12
= Л1+Л2 = Л, МХ+М2 = М, (4)
содержит девять факториалов. Однако легко видеть, что если М —> оо,
Afi —► оо, но так, что -г- —> р (и, следовательно, -гг —> 1 — р), то
Al Af
Р(ВПьЯ2)^С^+П2ря'(1-рГ. (5)
Иначе говоря, при сделанных предположениях гипергеометрическое
распределение аппроксимируется биномиальным, что интуитивно понят-
но, поскольку при больших М и Afi (конечный) выбор без возвращения
должен давать почти тот же результат, что и выбор с возвращением.
Пример. Используем формулу (4) для нахождения вероятности уга-
дывания шести «счастливых» номеров в известной лотерее «спортлото»,
суть которой состоит в следующем.
Имеется 49 шаров, занумерованных числами 1, 2, ..., 49, из которых
шесть шаров «счастливых» (скажем, красного цвета; остальные-—белого).
Производится выбор без возвращения шести шаров. Спрашивается, како-
ва вероятность того, что все шесть вытащенных шаров являются «счаст-
ливыми». Полагая Af = 49, Mi =6, п\ =6, И2 = 0, видим, что интересующее
нас событие
Вб,о = {6 шаров — «счастливые»}
имеет, согласно (4), вероятность
Р(В6.о) = 7^«7,2-1О-8.
С49
4. Числа п! с ростом п растут чрезвычайно быстро. Так,
10! = 3628 800,
15! = 1307 674 368 000,
а 100! содержит 158 знаков. Поэтому как с теоретической, так и с вычис-
лительной точки зрения важна следующая формула Стирлинга:
л! = >/27гп(^)П ехр(-^), О<0„<1, (6)
доказательство которой имеется в большинстве руководств по математи-
ческому анализу (см. также задачу 1 в § 8 гл. VIII).
5. Задачи.
1. Доказать утверждение (5).
2. Показать, что для полиномиального распределения {Р(ДЛ1.«г)} мак-
симальное значение вероятности достигается в точке (&ь ...» йг), удовле-
творяющей неравенствам: npi - 1 < (п + г - 1)р/, / = 1, ...» г.
3. Одномерная модель Изинга. Пусть имеется п частиц, расположен-
ных в точках 1, 2, ..., п. Предположим, что каждая из частиц относится
к одному из двух типов, причем частиц первого типа П[ и второго — П2
(п\+П2 = п). Будем считать все п\ расположений частиц равновозмож-
ными.
Построить соответствующую вероятностную модель и найти вероят-
ность события Ап(mi 1, АП12, m2i, ^22) = {^п = т\i,..., U22 = mzzY где цу —
число частиц типа /, следующих за частицами типа / (z, j = 1, 2).
4. Используя вероятностные соображения, доказать справедливость
следующих тождеств:
*=о
п
т^п+1,
k(k - 1)С* = т(т - 1)2Ш-2, т 2,
*=о
kCkn=nCkn~[,
гдеО^т^п,О^й^пи пола-
/=о гаем С/ =0 при j <0 или / >/.
5. Пусть N — размер некоторой популяции, который требуется оценить
«минимальными средствами» без простого пересчета всех элементов этой
совокупности. Подобного рода вопрос интересен, например, при оценке
числа жителей в той или иной стране, городе и т. д.
В 1786 г. Лаплас для оценки числа N жителей во Франции предложил
следующий метод.
Выберем некоторое число, скажем, М, элементов популяции и пометим
их. Затем возвратим их в основную совокупность и предположим, что
они «хорошо перемешаны» с немаркированными элементами. После этого
возьмем из «перемешанной» популяции п элементов. Пусть среди них
X элементов оказались маркированными.
Показать, что соответствующая вероятность = m} задается
формулой гипергеометрического распределения (ср. с (4)):
рп г'П—т
D /V /V—М
Считая М, п и т фиксированными, найдем максимум этой вероятности
по /V, т. е. найдем «наиболее правдоподобный» объем всей популяции,
приводящий (при заданных М и п) к тому, что число X маркированных
элементов оказалось равным т.
Показать, что наиболее правдоподобное значение (обозначим его N)
определяется формулой ([ • J — целая часть):
N = [Мпт~1].
Так полученная оценка N для N называется оценкой максимального
правдоподобия.
(Продолжение этой задачи см. в § 7 (задача 4).)
6. (Ср. с задачей 2 в § 1.) Пусть SI содержит N элементов и d(N) есть
число различных разбиений Q, обладающих тем свойством, что каждое
подмножество разбиения имеет нечетное число элементов. Показать, что
d(l) = l, d(2) = l, d(3) = 2,
J(4) = 5, J(5) = 12, d(6) = 37
и, вообще,
d(n)xn =eshx_ i
n=l
§ 3. Условные вероятности. Независимость
1. Понятие вероятности события дает нам возможность ответить на
вопрос такого типа: если урна содержит М шаров, из которых Mi шаров
белого цвета и Мг — черного, то какова вероятность Р(А) события А,
состоящего в том, что вытащенный шар ймеет белый цвет? В случае клас-
сического подхода P(4) = Mi/M.
Вводимое ниже понятие условной вероятности позволяет отвечать
на вопрос следующего типа: какова вероятность того, что второй извле-
ченный шар белого цвета (событие В), при условии, что первый шар также
имеет белый цвет (событие Л)? (Рассматривается выбор без возвращения.)
Естественно здесь рассуждать так: если первый извлеченный шар имел
белый цвет, то перед вторым извлечением мы имеем урну с М — 1 шаром,
из которых Mi — 1 шаров имеют белый цвет, а Мг - черный; поэтому
интуитивно представляется целесообразным считать, что интересующая
нас (условная) вероятность равна — р
Дадим теперь определение условной вероятности, согласующееся с
интуитивными представлениями о ней.
Пусть (П, jz/, Р) — (конечное) вероятностное пространство и А — неко-
торое событие (т. е. А е jz/).
Определение 1. Условной вероятностью события В при условии
события А с Р(А)>0 (обозначение: Р(В |А) ) называется величина
В случае классического способа (§ 1, п. 4) задания вероятностей
P№ = S'p(-4S,“!W"-3Ha’"T'
p(SH) = ™. (2)
Следующие свойства условных вероятностей непосредственно вытека-
ют из определения 1:
Р(Л|Л) = 1,
Р(0|Л) = 0,
Р(В|Л) = 1, ВЭА,
Р(В1+В2|Л) = Р(В,|Л) + Р(В2|Л).
Из этих свойств следует, что при «закрепленном» множестве А услов-
ная вероятность Р(|Л) обладает на пространстве (ПОЛ, л/nA), где
st С\ А = {ВГ\А: Вел/}, теми же свойствами, что и исходная вероятность
Р( ) на (Q, л/).
Отметим, что
Р(В|Л) + Р(В|Л) = 1,
однако, вообще говоря,
Р(В|Л) + Р(В|Л)0 1,
Р(В|Л) + Р(В|А) /1.
Пример 1. Рассмотрим семьи, имеющие двух детей. Спрашивается,
какова вероятность того, что в семье оба ребенка мальчики, в предполо-
жении, что:
а) старший ребенок — мальчик;
Ь) по крайней мере один из детей — мальчик?
Пространство элементарных событий (исходов) здесь, очевидно, та-
ково:
Q = {ММ, МД, ДМ, ДД},
где МД означает, что старший ребенок — мальчик, младший — девочка,
и т. д.
Будем считать, что каждый исход равновозможен:
Р(ММ) = Р(МД) = Р(ДМ) = Р(ДД) =
Пусть А — событие «старший ребенок — мальчик», В — «младший ре-
бенок — мальчик». Тогда A U В есть событие «по крайней мере один из
детей — мальчик», АВ — «оба ребенка мальчики» и интересующая нас
в вопросе а) вероятность есть условная вероятность Р(АВ | Л), а в вопро-
се Ь) — условная вероятность Р(АВ | А и В).
Легко находим, что
р(ЛВ|Л)_РИ£)_ 1/4-1
Р(Л) -1/2-2.
Р(АВ IA U В) — _ 1/4 _ ]_
р(Ли5) -3/4-3-
2. Следующая простая, но важная формула (3), носящая название
формулы полной вероятности, является основным средством при под-
счете вероятностей сложных событий с использованием условных вероят-
ностей.
Рассмотрим некоторое разбиение 0 = {Л1, ..., Ап} с Р(Л/)>0, i =
= (часто такое разбиение называют также полной группой
несовместимых событий). Ясно, что
В = В A j +... -Ь ВАп
и, значит,
п
Р(В) = £Р(ВД,).
/=1
Но
Р(ВД/) = Р(В|Д/)Р(Л).
Тем самым имеет место формула полной вероятности
Р(В) = £Р(5|А)Р(А). (3)
1=1
В частности, если 0 < Р(Л) < 1, то
Р(В) = Р(В | А) Р(Л) + Р(В | Л) Р(Д). (4)
Пример 2. В урне имеется М шаров, среди которых т «счастливых».
Спрашивается, какова вероятность извлечь на втором шаге «счастливый»
шар (предполагается, что качество первого извлеченного шара неизвестно,
рассматривается случай выбора без возвращения объема п = 2 и все ис-
ходы равновозможны). Пусть А — событие «первый шар — счастливый»,
В — «второй шар — счастливый». Тогда
т(т — 1)
Р(R р(^л) _ ^(Л1-1) _ лгс- 1
Р(ВИ)~ Р(Л) т - м__г
м
т(М - т)
р/р1лч_Р(^)_ ^(УИ-1) _ т
р(Л) - м-т ~м-\
М
и
Р(В) = Р(ВИ)РИ)+Р(В|Л)РЙ) = 2^2 + -й^7^ = 2.
Интересно отметить, что вероятность Р(Л) также равна m/Ni. Таким
образом, то обстоятельство, что качество первого шара осталось неиз-
вестным, не изменило вероятности того, что извлеченный на втором шаге
шар оказался «счастливым».
Из определения условной вероятности (Р(Л)>0)
Р(ДВ) = Р(В|Л)Р(Л). (5)
Эта формула, носящая название формулы умножения вероятностей,
обобщается (по индукции) следующим образом: если рассматриваются со-
бытия Л|, ...» Лл_1 такие, что P(/h ...Лп_i) >0, то
Р(Л1...Лл)==Р(Л1)Р(Л2|Л1)...Р(Лл|Л1...Лл^1) (6)
(здесь Л1... Лл = Л1 ПЛ2 П... П Ап).
3. Предположим, что события А к В таковы, что Р(Д) > 0 и Р(В) > 0.
Тогда наряду с (5) справедлива также формула
Р(ДВ) = Р(Д|В)Р(В). (7)
Из (5) и (7) получаем так называемую формулу Байеса:
Р(Д|В)=Р(Л)рР^|Л). (8)
Если события А1,..., Ап образуют разбиение О, то из (3) и (8) следует
так называемая теорема Байеса:
Р(А । В) = ^Р(Д,)Р(В|Д,) (9)
Е P^/OP^M;)
/=1
В статистических применениях события Ль ...» Ап, образующие «пол-
ную группу событий» (Д1 + ... + /4rt = Q), часто называют «гипотезами», а
Р(Ai) — априорной *) вероятностью гипотезы Л/. Условная вероятность
Р(Л/ \В) трактуется как апостериорная вероятность гипотезы Л/ после
наступления события В.
Пример 3. Пусть в урне находятся две монеты: Л1 — симметричная
монета с вероятностью «герба» Г, равной 1/2, и Л2 — несимметричная
монета с вероятностью «герба» Г, равной 1/3. Наудачу вынимается и под-
брасывается одна из монет. Предположим, что выпал герб. Спрашивается,
какова вероятность того, что выбранная монета симметрична.
Построим соответствующую вероятностную модель. В качестве прос-
транства элементарных событий (исходов) естественно здесь взять мно-
жество Q = {Л 1 Г, Л]Р, Л2Г, Л2Р}, описывающее все исходы выбора и под-
брасывания (Л1Г означает, что вынута монета Л i и в результате подбрасы-
вания выпал герб, и т. д.). Вероятности рассматриваемых исходов должны
быть заданы так, чтобы, согласно условиям задачи,
Р(Л1) = Р(Л2) = 1/2
и
Р(Г|Л0 = 1/2, Р(Г|Л2) = 1/3.
Этими условиями вероятности исходов определяются однозначно:
Р(Л!Г)= 1/4, Р(Л1Р)= 1/4, Р(Л2Г)= 1/6, Р(Л2Р)= 1/3.
Тогда, согласно формуле Байеса, интересующая нас вероятность
РМ |г^ PHOP^HQ 3
__ V 11 ; Р(Л1)Р(Г|Л1) + Р(Л2)Р(Г|Л2) ~ 5
) A priori —до опыта, a posteriori — после опыта.
и, значит,
Р(Л2|Г) = 2/5.
4. Вводимое в этом пункте понятие независимости играет в опреде-
ленном смысле центральную роль в теории вероятностей: именно это по-
нятие определило то своеобразие, которое выделяет теорию вероятностей
в общей теории, занимающейся исследованием измеримых пространств
с мерой.
Если А и В — два события, то естественно сказать, что событие В
не зависит от Л, если знание того обстоятельства, что совершилось
событие Л, никак не влияет на вероятность совершения события В. Иначе
говоря, будем говорить, что «В не зависит от Л», если
Р(В|Л) = Р(В) (10)
(здесь мы предполагаем, что Р(Л) > 0).
Поскольку
р/д I — Р(ЛВ)
р(В|Л)--р^-,
то из (10) находим, что
Р(ЛВ) = Р(Л)Р(В). (11)
Точно так же, если Р(В)>0, то естественно сказать, что «Л не зависит
от В», если
Р(Л|В) = Р(Л).
Отсюда снова получаем соотношение (11), которое, заметим, симметрич-
но относительно Л и В и имеет смысл также и тогда, когда вероятность
этих событий может быть равна и нулю.
Исходя из этого, примем следующее
Определение 2. События А и В называются независимыми или
статистически независимыми (относительно вероятности Р), если
Р(ЛВ) = Р(Л)Р(В).
В теории вероятностей часто приходится рассматривать независимость
не только событий (множеств), но и систем событий (множеств).
Приведем соответствующее
Определение 3. Алгебры (и, более общо, системы подмножеств П)
srf\ и называются независимыми или статистически независимыми
(относительно вероятности Р), если независимы любые два множества Л|
и Л2, принадлежащие соответственно и
Для примера рассмотрим две алгебры
«я/i = {Д1, Д1, 0, Q} И «Й^2 = {/42, /42, О),
где Л1 и Д2 — некоторые множества из Q. Нетрудно показать, что srf\ и
независимы тогда и только тогда, когда независимы события /41 и А%.
Действительно, независимость и 4 означает независимость шестна-
дцати пар событий: /41 и Д2, Д1 и Д2, ..., Q и Q. Следовательно, /41 и
д2 независимы. Обратно, если /41 и А% независимы, то надо показать,
что независимы остальные пятнадцать пар событий. Проверим, например,
независимость A i и А%. Имеем
Р(Д1Д2) = Р(Д1)-Р(Д1Д2) = Р(Д1)-Р(Д1)Р(Д2) =
= Р(Д1)(1-Р(Д2)) = Р(Д1)Р(Д2).
Независимость остальных пар проверяется аналогичным образом.
5. Понятие независимости двух множеств и двух алгебр множеств
распространяется на случай любого конечного числа множеств и алгебр
множеств.
Определение 4. Говорят, что множества Д i, ..., Ап независимы или
статистически независимы в совокупности (относительно вероятно-
сти Р), если для любых k = 1, ..., п и 1 z‘i < /2 <...</* ^ п
Р(Д/1...Д4) = Р(Д/1)...Р(Д/Д (12)
Определение 5. Алгебры множеств ,..., называются независи-
мыми или статистически независимыми в совокупности (относительно
вероятности Р), если независимы любые множества Дь ..., Дл, принадле-
жащие соответственно /аб, ...,
Отметим, что из попарной независимости событий, вообще гово-
ря, не следует их независимость. Действительно, если, например, Q =
= {о>1, о>2, сиз, и все исходы равновозможны, то события
Д = {cUi, CU2}, В = {cUi, CU3}, С = {cui, CU4}
попарно независимы, но в то же время
Р(ЛВС) = | / Q)3 = Р(4) Р(В) Р(С).
Отметим также, что из того, что для некоторых событий Д, В и С
Р(ДВС) = Р(Д) Р(В) Р(С),
вовсе не следует попарная независимость этих событий. В самом деле,
пусть пространство Q состоит из 36 упорядоченных пар (/, /), где /, j =
= 1, 2, ..., 6, и все эти пары равновозможны. Тогда для А = {(/, /): / = 1, 2
или 5}, В = {(/, /): / = 4, 5 или 6}, С = {(/, /): i + j = 9} имеем
Р(ДВ) = |/| = Р(Д)Р(В),
Р(ЛС) = ^/1=Р(Д)Р(С),
Р(ВС) = 1/^ = Р(В)Р(С),
но в то же время
Р(ДВС) = 1 = Р(Д)Р(В)Р(С).
ОО
6. С точки зрения понятия независимости рассмотрим подробнее
классическую модель (Q, jz/, Р), введенную в § 2 и приведшую к возник-
новению биномиального распределения.
В этой модели
П = {си: о> = (аь ...» ап), ai=0, 1},
£/ = {А: АСИ}
И P({w}) = pM с
p{uj) = p^a‘qn-^ai. (13)
Пусть событие АСИ. Будем говорить, что это событие зависит от ис-
пытания в k-й момент времени, если оно определяется лишь значением а*.
Примером таких событий являются события
Ak = {w: а*=1}, Ak = {u: ak = 0}.
Рассмотрим последовательность алгебр jz/J, jz^, таких, что jz^ =
= {/U, Ak, 0, Q}, и покажем, что в случае (13) эти алгебры независимы.
Ясно, что
Р(Д*)= £ £ р^дП-^ =
{с*д:а*=1} {о>:а*=1}
= р у pai4-...+a*-i4-a*+i+—+ал х
(Д|.a*_i,a*+i.ап)
п—\
X ^(л-1)-(а1+...+^-|+^+1+...+ал) = р Ql^plq(n-\)-l _ р>
1=0
и аналогичный подсчет показывает, что P(Ak) = q и при &//
Р(ДИ/) = Р2, P(AkAt) = pq, P(AkAl) = q2.
Отсюда легко выводится, что алгебры jz^ и jz^, й//, независимы.
Аналогично показывается, что независимы алгебры ^/j, ..., sin. Это
дает основание назвать рассматриваемую модель (Q, jz/, Р) моделью, от-
вечающей п независимым испытаниям с двумя исходами и вероятно-
стью «успеха» р. Я. Бернулли был первый, кто систематически изучал эту
модель и доказал для нее справедливость закона больших чисел (§ 5).
В связи с этим эту модель называют также схемой Бернулли (с двумя
исходами — «успехом» и «неуспехом» — и вероятностью «успеха» р).
Детальное рассмотрение вероятностного пространства в схеме Бернул-
ли показывает, что оно имеет структуру «прямого произведения вероят-
ностных пространств», состоящую в следующем.
Предположим, что задан набор (Пь SB\, Pi), ..., (Qrt, Рл) конеч-
ных вероятностных пространств. Образуем пространство Q = Qi х(12х
х... х точек щ = (ai, ..., ал), где а/ € Обозначим si = 0Sfa 0
0... 0 S6n —’ алгебру подмножеств Q, состоящую из сумм множеств вида
А = В\ х В2 х • х Вп с Наконец, для щ = (aj,..., ап) положим
р(ш) = р\(а[)... рп(ап) и определим Р(А) для множеств А = В[ хВ2х ...
... х Вп формулой:
Р(Я) = 52 Р\(а\)...рп(ап).
{а|€В1,...,ал€Вл}
Нетрудно проверить, что P(Q)= 1 и, следовательно, тройка (Q, si, Р)
определяет некоторое вероятностное пространство. Это пространство на-
зывают прямым произведением вероятностных пространств
(П1, , Pf), • • •» Рл)«
Отметим одно легко проверяемое свойство прямого произведения ве-
роятностных пространств: относительно вероятности Р события
А[ ={щ: а\ € Bi}, ...» Ап = {щ: ап ЕВп},
где BiE&li, являются независимыми. Точно так же алгебры множеств
пространства SI
si\ ={А]: А[ = {о>: а\ ЕВ\}, В\ G^i},
= {Ап • Ап== {щ • ап £ Вп}, Вп 6 ^П}
являются независимыми.
Из приведенных конструкций видно, что схема Бернулли
(О, si, Р) с П = {щ: щ = (аь ..., ап), at = 0, 1},
^ = {Л:ЛСП} и Р(М) = р^0'дл-2а'
X п
л)=>-Пр(Л).
может быть получена как прямое произведение вероятностных про-
странств (Qi, Р/), i = 1, 2, ..., и, где
Qi = {0, 1}, <^i = {{0}, {1}, 0, Qi},
P/({1}) = P, P/({0}) = <7.
7. Задачи.
1. Привести примеры, показывающие, что, вообще говоря, равенства
Р(В | А) + Р(В | Л) = 1,
Р(В|Л) + Р(В|Л) = 1
неверны.
2. Урна содержит М шаров, из которых М[ шаров белого цвета. Рас-
сматривается выбор объема п. Пусть В/ — событие, состоящее в том,
что извлеченный на /-м шаге шар имел белый цвет, а Л* — событие,
состоящее в том, что в выборке объема п имеется в точности k белых
шаров. Показать, что как для выбора с возвращением, так и для выбора
без возвращения
Р(В,|Лл) = Л/«.
3. Пусть Лj, ..., Лл — независимые события. Показать, что тогда
Р
4. Пусть Ль ..., Ап — независимые события с P0i) = pf. Показать,
что вероятность Pq того, что ни одно из этих событий не произойдет,
определяется формулой
п
i=l
5. Пусть Л и В — независимые события. В терминах Р(Л) и Р(В)
выразить вероятности событий, состоящих в том, что произойдет в точ-
ности k, по меньшей мере k и самое большее k из событий Л и В
(й = 0, 1, 2).
6. Пусть событие Л таково, что оно не зависит от самого себя, т. е. Л
и Л независимы. Показать, что тогда Р(Л) равно 0 или 1.
7. Пусть событие Л таково, что Р(Л) равно 0 или 1. Показать, что Л и
любое событие В независимы.
8. Рассматривается электрическая схема, изображенная на рис. 4.
Каждое из реле Л, В, С, D и Е, работающих независимо, находится в
открытом состоянии (и, значит, не пропускает электрический сигнал)
или в закрытом состоянии (и тогда сигнал пропускается) с вероятностями
р vt q соответственно. Спрашивается, какова вероятность того, что сигнал,
поданный на «вход», будет получен на «вы-
ходе»? Какова условная вероятность того,
что реле Е было открыто, если на «выходе»
был получен сигнал?
9. Пусть Р(Л + В)>0. Показать, что
Р(Л IА + В) = р(ЛДр(В) •
10. Пусть событие А не зависит от со-
оо
бытий Вя, 1, при этом В1пВ/ = 0, ///. Тогда события А и |J Вп
/1=1
являются независимыми.
11. Показать, что если Р(Д|С)>Р(5|С) и Р(Л|С)>Р(В|С), то
Р(Л)>Р(В).
12. Показать, что
Р(Л|В) = Р(Л|ВС)Р(С|В) + Р(Л|ВС)Р(С|В).
13. Пусть X и Y — независимые биномиальные величины с параметрами
п и р. Показать, что
P{X = k\X + Y = m) = ^^~, k = 0, 1, ..., min(m, п).
С2п
14. Пусть Л, В, С — попарно независимые равновероятные события,
причем А П В П С = 0. Найти максимально возможное значение для веро-
ятности Р(Л).
15. В урну, где находился один белый шар, добавили либо белый, либо
черный шар (с одинаковыми вероятностями). После этого случайным обра-
зом вытащили один шар. Он оказался белым. Какова условная вероятность
того, что оставшийся в урне шар тоже белый?
§ 4. Случайные величины и их характеристики
1. Пусть (Q, jz/, Р) — вероятностная модель некоторого эксперимента
с конечным числом исходов 7V(Q) и алгеброй л/ всех подмножеств П.
Можно заметить, что в рассмотренных выше примерах, связанных с под-
счетом вероятностей тех или иных событий А е si. собственно природа
пространства элементарных событий Q не представляла интереса. Основ-
ной интерес представляли лишь некоторые числовые характеристики, зна-
чения которых зависели от элементарных событий. Так, мы интересовались
вопросами о том, какова вероятность определенного числа успехов в серии
из п испытаний, каково распределение вероятностей числа дробинок по
ячейкам и т. п.
Вводимое сейчас (и далее — в более общем виде) понятие случайной
величины призвано определить величины, характеризующие результаты
«измерений» в случайных экспериментах.
Определение 1. Всякая числовая функция £ = £(о>), определенная на
(конечном) пространстве элементарных событий Q, будет называться (про-
стой) случайной величиной. (Происхождение термина «простая» случай-
ная величина станет понятным после введения общего понятия случайной
величины в § 4 гл. II.)
Пример 1. В модели двукратного подбрасывания монеты с пространс-
твом исходов Q = {ГГ, ГР, РГ, РР} определим случайную величину £ = £(а>)
с помощью таблицы
UJ ГГ ГР РГ РР
СМ 2 1 1 0
Здесь £(ш) по своему смыслу есть не что иное, как число «гербов»,
отвечающее исходу и>.
Другим простейшим примером случайной величины £ является индика-
тор (иначе — характеристическая функция) некоторого множества
A erf:
?=/л(4
где *)
ujEA,
Когда экспериментатор имеет дело
со случайными величинами, опи-
сывающими те или иные показания, то основной вопрос, который его ин-
тересует, — это вопрос о том, с какими вероятностями эта случайная
величина принимает те или иные значения. С этой точки зрения интерес
представляет не распределение вероятностей Р на (Q, л/), а распределение
вероятностей на множестве значений случайной величины. Поскольку в
рассматриваемом случае Q состоит из конечного числа точек, то множество
значений X случайной величины £ также конечно. Пусть X = {хь ..., хш},
где (различными) числами Х|, ..., хт исчерпываются все значения
*) Для индикатора /Ди) используются также обозначения 1(A), 1д. По поводу часто
используемых далее свойств индикаторов см. задачу 1.
Обозначим ЗС — совокупность всех подмножеств множества X, и пусть
В G «ЙГ. Множество В можно также интерпретировать как некоторое со-
бытие, когда пространство исходов есть X — множество значений £.
Рассмотрим на (X, вероятность ₽$(•), индуцируемую случайной ве-
личиной £ по формуле
Р^В) = Р{ш: £(cv)eB}, Be Я.
Ясно, что значения этих вероятностей полностью определяются вероятно-
стями
Р^) = Р{иг. £M = xJ, xfeX.
Набор чисел {Р$(х\)у ..., Р^(хт)} называется распределением веро-
ятностей случайной величины £.
Пример 2. Случайная величина £, принимающая два значения 1 и О
с вероятностями («успеха») р и («неуспеха») q, называется бернуллиев-
ской *). Ясно, что для нее
Р^(х) = рх^1“х, х = 0, 1. (1)
Биномиальной (или биномиально распределенной) случайной вели-
чиной £ называется случайная величина, принимающая п +1 значение
О, 1, ..., п с вероятностями
P^x) = Cxnpxqn~x у х = 0, 1, ..., п. (2)
Заметим, что в этих и во многих приводимых далее примерах мы не кон-
кретизируем структуру основного вероятностного пространства (Q, л/, Р),
а интересуемся лишь значениями случайных величин и их распределениями
вероятностей.
Вероятностная структура случайных величин £ полностью описывается
распределением вероятностей {Р$(х,), i = 1, ..., т}. Вводимое ниже поня-
тие функции распределения дает эквивалентное описание вероятностной
структуры случайных величин.
Определение 2. Пусть хе/?1. Функция
/?eW = P{w:
называется функцией распределения случайной величины £.
Ясно, что
Fe(x)= £ Р&А
*) Обычно в вероятностной литературе вместо выражений «бернуллиевская», «бино-
миальная», «пуассоновская», «гауссовская», ... случайная величина, используемых здесь,
говорится о случайных величинах, имеющих распределение Бернулли, биномиальное, Пуас-
сона, Гаусса, ...
И
где /v(x-) = lim Ft(y).
Если считать, что Х\ < х% <... < хт, и положить F$(xo) = 0, то
i = l, ..., т.
Приводимые далее графики (рис. 5) дают представление о Р$(х) и F$(x)
для биномиальной случайной величины £.
Непосредственно из определения 2 следует, что функция распределения
F^ = F^(x) обладает такими свойствами:
(1) Fe(-oo) = 0,Fe(+oo) = l;
(2) F$(x) непрерывна справа (F$ (х+) =
= F^(x)) и кусочно постоянна.
Наряду со случайными величинам ча-
сто приходится рассматривать случайные
векторы £ = (£ь ...» £г), компоненты ко-
торых являются случайными величинами.
Например, при рассмотрении мультиноми-
ального распределения мы имели дело со
случайным вектором v = (pi ,..., z/r), где ц- =
= zz; (ал) — число элементов в последователь-
ности cu = (ai,..., ал), равных 6/, i = 1,..., г.
Набор вероятностей
Ре(хь ..., хг) =
= P{cv: £iM=Xi, ..., £r(o>) = xf},
где Xi e Xi (Xi — область допустимых значений $•), называется распреде-
лением вероятностей случайного вектора £, а функция
Л-(*ь ..., xr) = P{a>: CiMCxi,..., ^f(cj)^xr},
где Xi е/?1, называется функцией распределения случайного вектора
€ = (€ь...,€г).
Так, для упомянутого выше вектора ^ = (pj, ..., иг)
Ру(П\у ...» Пг) = Сп(П\' ..., пг)р*' ...рпгг
(см. (2) § 2).
2. Пусть Ci, ..., Сг — некоторый набор случайных величин, принимаю-
щих значения в (конечном) множестве/С/?1. Обозначим через SE алгебру
всех подмножеств X.
Определение 3. Случайные величины £i, ..., называются незави-
симыми (в совокупности), если для любых Х\, хг еХ
Р{€1=хь...,ег=хг} = Р{е1=Х1}...Р{^ = хг},
или, что эквивалентно, для любых ..., Вг 6 33
P{eieBi,...,ef6Bf} = P{6eB1}...P{ef6Bf}.
Простейший пример независимых случайных величин можно получить,
рассматривая схему Бернулли. Именно, пусть
Q = {o>: о> = (аь ..., ал), а,=0, 1}, р(ш) = aiqn~'£ ai
и = для o> = (ai, ..., ал), / = 1, ..., п. Тогда случайные величины
Сь & • ••, являются независимыми, что вытекает из установленной в § 3
независимости событий
/h={^: ai = l}, . /4л = {о>: ал = 1}.
3. В дальнейшем нам не раз придется сталкиваться с вопросом о
распределении вероятностей случайных величин, являющихся функция-
ми ftfi, ..., fr) от случайных величин ..., £г. Рассмотрим сейчас лишь
вопрос об отыскании распределения суммы случайных величин £ = +
Если £ принимает значения в множестве X = {хi,..., хД а ту — в множе-
стве У = {(/ь то случайная величина £ = £+ т/ принимает значения
в множестве Z = {z: z = xt<+yj, i = 1, ..., ft, / = 1, ..., /}, и ясно, что
/’c(z)=p{c=z}=p{e+7?=z}= £ Р{е=хь»?=^}.
Особо важен случай независимых случайных величин £ и т/. Тогда
Р{< = Xi,'n = yj} = P{^^xi}P{T] = yt},
и, значит, для любого z е Z
k
P((z)= 52 P^P^yjj^P^P^z-Xi). (3)
{(i,j):xi+yj=z} i=l
Если, например, £ и q — независимые бернуллиевские случайные ве-
личины, принимающие каждая значения 1 и 0 с вероятностями р и q
соответственно, то Z = {0, 1, 2} и
Р<(О) = Ре(О)Рч(О) = <72,
рс(1) = Р€(0)Рч(1) + Р€(1)Рч(0) = 2pq,
Рс(2) = Р€(1^(1) = р2.
По индукции легко устанавливается, что если £ь £2, ...» £л — незави-
симые бернуллиевские случайные величины с Р{£, = 1} = /?, P{£z = 0} = г/,
то случайная величина £ = £i + ... + £„ имеет биномиальное распределение
Pc{k) = Ckpkqn~k, k = 0,\,...,n. (4)
4. Перейдем теперь к важному понятию математического ожида-
ния, или среднего значения, случайных величин.
Пусть (Q, si, Р) — (конечное) вероятностное пространство и £ = £(си) —
некоторая случайная величина, принимающая значения в множестве
X = {*1, ..., Xk}. Если положить А= {си: £ = xj, i = 1, ..., k, то, очевидно,
£ можно представить в таком виде:
k
(5)
/=1
где множества А\, ..., Ak образуют разбиение пространства Q (т. е. они
попарно не пересекаются и их сумма равна Q; см. п. 3 § 1).
Обозначим pi = P{£:=Xi}. Интуитивно ясно, что если наблюдать за
значениями случайной величины £ в «п повторных независимых экспери-
ментах», то значение х, должно встретиться примерно npi раз, i = 1,..., k,
(Полезно сопоставить это высказывание с утверждениями законов боль-
ших чисел, формулируемых далее в §§ 5, 12.) Таким образом, «среднее
значение» этой случайной величины, подсчитанное по результатам п экс-
периментов, есть примерно
! *
-[пр1Х1 + ... + яркХЛ]=^2 Pixi-
/=1
Это замечание делает понятным следующее
Определение 4. Математическим ожиданием или средним зна-
k
чением случайной величины £= *7(А) называется число
/=1
k
Ее=2>Р(Л). (6)
Поскольку Ai = {си: £(си) = х,} и Р$(х,) = Р(Д), то
k
(7)
Вспомнив определение функции распределения F^ = F^(x) и обозначив
AF€(x) = F«(x)-F€(x-),
находим, что P^(x;) = AFf(Xi) и, следовательно,
k
E£ = £x(AF?(x,). (8)
z=l
Прежде чем переходить к рассмотрению свойств математических ожи-
даний, заметим, что часто приходится иметь дело с различными представ-
лениями случайной величины £ в виде
/
ем=$2х</(в7),
/=1
где В\ + ... + В/ =Q, но среди %'• могут быть, вообще говоря, одинаковые
/
значения. В этом случае Е£ можно подсчитывать по формуле £ х'Р(В7),
/=1
не переходя к представлению (5), где все X/ различны. Действительно,
£ х<Р(В/) = х/ £ Р(В/) = х/Р(Л/)
и, значит,
/ k
22x<P(B/) = ^x,P(A).
/=1 i=l
5. Сформулируем основные свойства математических ожиданий:
1) Если £ > 0, /ио Е£ 0.
2) Е(а£ + brj) = аЕ£ + ЬЕт), а, b — постоянные.
3) Если то Е£ > Ет/.
4) lEeicEia
5) Если £ и rj независимы, то Е£т/ = Е£ • Ег}.
6) (Е|£т?|)2 Е£2 • Ет?2 (неравенство Коши—Бу няко веко го, называе-
мое также неравенством Коши—Шварца или неравенством Шварца).
7) Если £ = /(4), то Е£ = Р(Л).
Свойства 1) и 7) очевидны. Для доказательства 2) пусть
е = ^х,/(Л(), ^ = £^/(ВД
< /
Тогда
+ Ьт}=a Xil(Ai П В/) + b УМ п в/) = + Ьу^А, Г\В))
ij ij ij
И
Е(аС + Ьг)) = ^(ах,- + byj) Р(Д, Л Ву) =
ij
= 22 ах,Р(Д,) + 22 &^/Р(В/) =
= а XiP(Ai) + b 22 г//Р(В/) = аЕе + дЕт?.
‘ /
Свойство 3) следует из 1) и 2). Свойство 4) очевидно, поскольку
ie£|= 22х,р(А) ^2>'1ри-)=ЕК1-
i i
Для доказательства свойства 5) достаточно заметить, что
е^=е(22 wo) (22 =
= Е 22 Л В;) = 22 XiyjP(Ai Л В;) =
ij Ч
=22 х.^ри,) р(в7)=(22 х<р(А)) fc ^р(в/))=
i,j ' i ' ' j '
где мы воспользовались тем, что для независимых случайных величин £
и г} события
4,={w: СМ=х,} и В, = {ш: r)(u)=yj}
являются независимыми: Р(Л ПВ7) = Р(А) Р(В7).
Чтобы доказать свойство 6), заметим, что
с2=22 =J2 у2!^в^
i i
и
Ее2=22 ^ри<)- Е*?2=12 ^?р(в/>-
< /
Пусть Е£2 > 0, Ет/2 > 0. Положим
Поскольку 2|£rj|^£2 + тр, то 2E|£ij|^E£2 + E7j2 = 2. Значит, Е|^| 1 и
(Е|£7,|)ЧЕ£2-Е,,2.
Если же, скажем, Е£2 = 0, то это означает, что х2Р(Л/) = 0 и, еле-
i
довательно, среди значений, принимаемых случайной величиной £, есть
значение 0, причем Р{си: £(о>) = 0}= 1. Поэтому, если по крайней мере
одно из значений Е£2 или Ет?2 равно нулю, то, очевидно, Е|£т?| = 0 и,
следовательно, неравенство Коши—Буняковского также выполняется.
Замечание. Свойство 5) обобщается очевидным образом на любое
конечное число случайных величин: если £i, ..., £г независимы, то
Е6...£ = Е6...Е£.
Доказательство здесь то же, что и для случая п = 2, или по индукции.
Пример 3. Пусть £ — бернуллиевская случайная величина, принима-
ющая значения 1 и 0 с вероятностями р и q. Тогда
Е£=ЬР{£=1} + 0Р{£ = 0} = р.
Пример 4. Пусть & , ..., — п бернуллиевских случайных величин с
Р{£ = 1} = Р, P{6=0} = <7> Р + <7 = 1- Тогда для
Sn = 6 + • • • + €«
находим, что
ESn=np.
К этому результату можно прийти и другим путем. Нетрудно понять,
что Е5Л не изменится, если предположить, что бернуллиевские случайные
величины fi, ...» независимы. При этом предположении, согласно (4),
P{Sn = k} = Cknpkqn~k, k = Q,\,...,n.
Поэтому
п п п
ES, = £ SPIS, = k} = £ «W* = s ‘ 44^ А"-‘ =
6=0 л=о *=0
= Пр V _________(Я~1)!______ =
Р 2^ (k- 1)!((л — 1)-(Л- 1))!Р q
«=1
= ир \ ————— о^ = по
пр 2^ /!((л-1)-/)!Р Ч пр-
Впрочем, первый способ приводит к результату быстрее, нежели по-
следний.
6. Пусть е = 52 где А, = {ш: £(w) = х,}, и <р = y>(C(w)) — некото-
рая функция от еМ- Если В) = {ш: = У]}< то (/вДа?) = /(В,))
/
и, следовательно,
= X У/Р(В^ = L У1РМ- (9)
/ /
Но ясно также, что (/^.(ал) = /(Л/))
¥’(€М) = ^2
i
Поэтому наряду с (9) для подсчета математического ожидания случайной
величины <р = <р(£) можно пользоваться формулой
Е<р(€) = ^2 ¥’(х<)р«(х<)-
/
7. Следующее важное понятие дисперсии случайной величины £ ха-
рактеризует степень разброса значений £ относительно ее математиче-
ского ожидания.
Определение 5. Дисперсией случайной величины £ (обозначается D£)
называется величина
D£ = E«-E£)2.
Величина a = +-\/D£ называется стандартным отклонением.
Поскольку
Е(€ - ЕС)2 = Е(е2 - • Е£ + (Ее)2) = Е<2 - (Ее)2,
ТО
De=Ее2-(Ее)2.
Ясно, что D£ 0. Из определения дисперсии также следует, что
D(a + b£) = 62D£, а, b — постоянные.
В частности, Da = 0, D(6£) = 62D£.
Пусть £ и ту —две случайные величины. Тогда
D (е + п) = Е ((£ - Ее) + (Т) - Er?))2 = De + DT? + 2Е« - Е^т) - Ет,).
Обозначим
cov(e, ri)=Е(е - Ее)(»? - е»?).
Эта величина называется ковариацией случайных величин £ и т/. Если
D£ >0, Dp > 0, то величина
у/и£ит]
называется коэффициентом корреляции случайных величин £ и ту.
Нетрудно показать (см. далее задачу 7), что если р(£, ту) = ±1, то величины
£ и ту линейно зависимы:
т) = а£ + Ь,
где а > 0, если р(£, ту) = 1, и а < 0, если р(£, ту) = -1.
Сразу отметим, что если £ и ту независимы, то независимы £ — Е£ и
ту - Ету, а значит, по свойству 5) математических ожиданий
cov(£, р) = Е(£ - Е£) Е (ту - Ер) = 0.
С учетом введенного обозначения для ковариации находим, что
D(£ + ту) = D£ + Оту + 2 cov(£, ту). (10)
Если £ и ту независимы, то дисперсия суммы £ + ту равна сумме диспер-
сий:
D(£ + fy) = D£ + DTy. (И)
Как следует из (10), свойство (11) остается выполненным и при мень-
шем предположении, нежели независимость £ и ту. Именно, достаточно
предположить, что величины £ и ту некоррелированы, т. е. cov(£, ту) = 0.
Замечание. Из некоррелированности £ и ту, вообще говоря, не следует
их независимость. Вот простой пример. Пусть случайная величина а при-
нимает значения 0, тг/2 и тг с вероятностями 1/3. Тогда £ = sin а и ту = cos а
некоррелированы; в то же время они не только зависимы (относительно
вероятности Р):
Р{£= 1, ту= 1} = 0/1/9 = Р{£= 1}Р{ту= 1},
но и, более того, функционально зависимы: £2 + ту2= 1.
Свойства (10), (11) очевидным образом распространяются на произ-
вольное число случайных величин £ь ..., £л:
(п \ п
Е $)= Е D6+2 Е cov&’ ы- <12>
/=1 / i=l i>j
В частности, если величины £i, ..., £л попарно независимы (достаточно,
на самом деле, их попарной некоррелированности), то
(п \ п
Е$ eED$- <13>
/ = 1 / /=1
Пример 5. Если £ — бернуллиевская случайная величина, принимаю-
щая два значения 1 и 0 с вероятностями р и q, то
D< = E« - Е£)2 = Е(£ - р)2 = (1 - р)2р + p2q = pq.
Отсюда следует, что если £ь ...,£л — последовательность независимых
(одинаково распределенных) бернуллиевских случайных величин и Sn =
= £1 +... + 61, то
DSn = npq. (14)
8. Рассмотрим две случайные величины £ и ту. Предположим, что
наблюдению подлежит лишь случайная величина £. Если величины £ и г)
коррелированы, то можно ожидать, что знание значений £ позволит выне-
сти некоторые суждения и о значениях ненаблюдаемой величины q.
Всякую функцию f = /(£) от £ будем называть оценкой для ту. Будем
говорить также, что оценка f* = /*(£) оптимальна в среднеквадрати-
ческом смысле, если
E(»7-/*(€))2 = infE(7/-f(€))2.
Покажем, как найти оптимальную оценку в классе линейных оценок
Х(£) = а + Ь£. Для этого рассмотрим функцию g(a, b) — E(q — (a + b^))2.
Дифференцируя g(a, b) по а и Ь, получаем
^^ = -2Е^-(а + &е)],
^^ = -2Е[(р-(а+ &£))£],
откуда, приравнивая производные к нулю, находим, что оптимальная в
среднеквадратическом смысле линейная оценка есть А*(£) = а* +Ь*£, где
а* = Ер-д*Е<, Ь* = ~^}. (15)
Иначе говоря,
А*(£) = Ер + ^^^-Е£). (16)
Величина Е(р-А*(£))2 называется среднеквадратической ошибкой
оценивания. Простой подсчет показывает, что эта ошибка равна
= Е(р- А*(£))2 = Dq- = Dp [1 - Р2(С. т?)]. (17)
Таким образом, чем больше (по модулю) коэффициент корреляции
р(£, г)) между £ и ту, тем меньше среднеквадратическая ошибка оцени-
вания △*. В частности, если |р(£, ту)| = 1, то Д*=0 (ср. с результатом
задачи 7). Если же случайные величины £ и т] не коррелированы (т. е.
т?) = 0), то А‘(£) = Ет?. Таким образом, в случае отсутствия корреляции
между С и т] лучшей оценкой т] по £ является просто Ет] (ср. с задачей 4).
9. Задачи.
1. Проверить следующие свойства индикаторов /л =/л(ш):
/0 = 0, /п = 1, /л- = 1-/д,
1ab = Ia-Ib, Iaub = 1a+1b~ Iab,
1а\в =/а(1 -/в). 1аь.в = (1а— 1в)2 = 1а+ !в (mod 2),
п п п
f —— I / —— 1 I / —1 < = 1 t —1
где А А В — симметрическая разность множеств А и В, т. е. множество
(Д\В)и(В\Л).
2. Пусть ^ — независимые случайные величины и
Cmin = min(£i, ..., Стах = max(£i, ..., £rt).
Показать, что
P{€min > X} = f[ Р{£ > %}, P{6nax < X} = [J Р& < X}.
/=1 i=l
3. Пусть Сь **•» Сл — независимые бернуллиевские случайные величи-
ны с
P{6=0}=l-AA
Р{С: = 1} = А/Д,
где △ — малое число, △ > 0, А/ > 0. Показать, что
р{б+...+&=1 }=А0 д+0(д2)’
\’=1 '
PU1 +...+&>1}=О(Д2).
4. Показать, что inf Е(С~а)2 достигается при а = Е£ и, следо-
—оо<а<оо
вательно,
inf E(£-a)2 = D£.
—оо<а<оо
5. Пусть С — случайная величина с функцией распределения (х) и
те — медиана (х), т. е. такая точка, что
3 - 9727
Показать, что
inf EI£-al = E|f-/nel.
—оо<а<оо
6. Пусть Р^х) = Р{£ = х} и F$(x) = Р{£ х}. Показать, что'для а > 0 и
—оо < b < оо
pai+b(x)=p^^±y
Fa(+b(X) = F^^).
Если у 0, то
F^(y) = Ft(+y/y)-F^-y/y) + Р^(-у/у).
Пусть £+ = тах(£, 0). Тогда
0,
Fe+(x)= I Fe(0),
aw.
х<0,
х = 0,
х>0.
7. Пусть £ ит?—две случайные величины с D£>0, Dt/>0 и р=р(£, т?) —
их коэффициент корреляции. Показать, что |р| С 1- При этом, если |р| = 1,
то найдутся такие константы а и Ь, что т) = а£ + Ь. Более того, если р — 1,
то
т?-Ет? _ £-Е£
v/DiJ -/04
(и, значит, а > 0), если же р = — 1, то
т?-Е??= £-Е<
/Dp >/ЁЧ
(и, значит, а < 0).
8. Пусть £ и р — две случайные величины с Е£ = Ер=0, D£ = Dp = 1 и
коэффициентом корреляции р = р(С, р). Показать, что
Е тах(£Е 2, р2)1 + \/1 “Р2-
п
9. Используя равенство 1-п—= [] (1 -/д,), доказать формулу Р(В0) =
U А /=1
/=1
= 1 - Si + S2 —... ± Sn из задачи 5 § 1.
10. Если £1,.... £„ — независимые случайные величины, <pi = <pi(ii, ...
• ••, &) и <Р2=<Р2(&+1..£„) —две функции от Ci, ik и &+ь .... in
соответственно, то случайные величины (р\ и у>2 независимы.
11. Показать, что случайные величины £|, ..., £л независимы тогда и
только тогда, когда для всех ..., хп
......................(Xi, х„) = FCl (xi)... Л€л (х„),
где F^,...,^„(xi, ..., хп) = P{£i СX),..., хп}.
12. Показать, что случайная величина £ не зависит от самой себя (т. е.
£ и £ независимы) в том и только том случае, когда £ = const.
13. При каких условиях на £ случайные величины £ и sin £ независимы?
14. Пусть £ и rj — независимые случайные величины и Выразить
вероятности P{£t?^z} и через вероятности Р$(х) и Р^у).
15. Пусть £,??,£ — случайные величины, |£| 1, |т?| 1, |£| 1. Доказать
справедливость неравенства Белла: |Е££ - Er£\ 1 — Е£т/. (См., напри-
мер, [136].)
16. В п урн независимым образом бросаются k шаров. (Для каждого
шара вероятность его попадания в каждую конкретную урну равна \/п.)
Найти математическое ожидание числа непустых урн.
§ 5. Схема Бернулли. I. Закон больших чисел
1. В соответствии с данными выше определениями тройка
(П, л/, Р) с П = {ш: cu = (ai, ..., art), а, =0, 1},
si = {Л: А С Q}, Р(М) = a‘qn-^ “• (= р(ш))
называется вероятностной моделью, отвечающей п независимым испыта-
ниям с двумя исходами, или схемой Бернулли.
В этом и следующем параграфах мы изучим некоторые предельные
(в указываемом ниже смысле) свойства схем Бернулли, которые оказы-
вается удобным ввести в терминах случайных величин и вероятностей со-
бытий, связанных с ними.
Введем случайные величины £i,..., £л, полагая для си = (а>,..., ал), что
6’М = а,, i = 1,..., п. Как мы уже видели, бернуллиевские величины £z(o>),
*== 1, ..., и, независимы и одинаково распределены:
Р{6 = 1} = Р, Р{6=0} = ^, / = 1,...,п.
Понятно, что случайная величина £, характеризует результат испытания на
*-м шаге (в z-й момент времени).
Положим So(cv) = 0 и
Sfc = £1 + • • • + £ъ k = 1, ..., п.
з*
Как было найдено выше, ESn = пр и, следовательно,
Е — = р. (1)
п v 7
Иначе говоря, среднее значение частоты появления «успеха», т. е. вели-
чины Sn/n. совпадает с вероятностью «успеха» р. Отсюда естественно
возникает вопрос о том, как велики отклонения частоты Sn/n появления
«успеха» от его вероятности р.
Прежде всего отметим, что не приходится рассчитывать на то, что
при достаточно малых е > 0 и даже при больших значениях п отклонения
частоты Sn/n от вероятности р будут меньше е для всех ы, т. е. что будет
выполнено неравенство
CVGfi. (2)
Действительно, при 0 < р < 1
Р{^ = 1} = Р{€| = 1,-.€л = 1} = Рл.
р{^=о} = р{£1=О,...,£я = О} = <Д
откуда следует, что неравенство (2) не выполняется при достаточно малых
е>0.
{S 'I
и | =о| малы. Естественна поэтому мысль, что суммарная вероятность
исходов о;, для которых —— - р > е, будет при достаточно больших п
также мала.
В связи с этим постараемся оценить вероятность события
для чего воспользуемся следующим неравенством, открытым П. Л. Чебы-
шевым.
Неравенство Чебышева. Пусть (О, j/, Р) — некоторое вероят-
ностное пространство и £ = £(о>) — неотрицательная случайная ве-
личина. Тогда для всякого е>0
(3)
Доказательство. Заметим, что
е=еле > е)+е/(е < *) > е/(е > е),
где ДА) — индикатор множества А.
Поэтому по свойствам математических ожиданий
Е$>еЕ/К>е) = еР{£>е},
что и доказывает (3). □
Следствия. Пусть £ — произвольная случайная величина. Тогда
для е>0
PWeX^1.
Р{|£| >£} = Р«2>£2}< (4)
Р{|е-Е<|>еК^.
Воспользуемся последним неравенством, взяв £, = Sn/n. Тогда с уче-
том (14) § 4 получим
. D(—) Пс
р/ _ „К -1 < 'П ' _ DSn _ npq _ pg
11 n r J e2 n2e2 n2e2 ne2'
Итак,
Р{1т_р|>п}^2^гЧ’ (5)
Un I J ne2 4ne2
откуда видно, что при больших п вероятность отклонения частоты «успеха»
Sn/n от его вероятности р больше чем на е достаточно мала.
Обозначим для всех и > 1 иО^й^и
p„W=cnW*.
Тогда
р{|^-рМ= s
и, в сущности, в (5) мы установили, что
V (6)
, пе2 4пе2
МММ
т. е. доказали некоторое неравенство, которое можно было бы получить и
аналитически, без использования вероятностной интерпретации.
Из (6) ясно, что
Pn(k)~*Q, П—*ОО.
(7)
Графически это утверждение можно пояснить следующим образом.
Изобразим биномиальное распределение {Pn(k)t O^k^n}, как это сде-
лано на рис. 6 (при р = 1/2).
Тогда с ростом п вся
картина «расплывается», в
то же время «сжимаясь» по
высоте. При этом сумма ве-
личин Pn(k) по k таким, что
пр - ne k пр + пе, стре-
мится к единице.
Будем представлять по-
следовательность случайных
величин So> Si, ..., Sn как траекторию некоторой блуждающей частицы.
Тогда результат (7) означает следующее.
Проведем прямые kp, k(p+e) и й(р — г). Тогда «в среднем» траек-
тория движется вдоль прямой kp.vi для любого £>0 можно утверждать,
что для достаточно больших п с большой вероятностью точка 5Л, харак-
теризующая положение частицы в момент и, будет лежать в интервале
(п(р-е), п(р + е)]; см. рис. 7.
Рис. 7.
Утверждение (7) хотелось бы записать в таком виде:
— ►О’ я—>оо.
(8)
Однако надо иметь в виду, что здесь существует определенная тонкость.
Дело в том, что эта запись была бы вполне оправданной, если бы Р была
вероятностью на некотором пространстве (Q, л/), на котором определена
бесконечная последовательность независимых бернуллиевских случайных
величин Сь €2, •• Эти объекты действительно можно построить и тем
самым придать утверждению (8) совершенно строгий вероятностный смысл
(см. далее следствие 1 к теореме 1 § 9 в гл. II). Пока же, если желать
придать смысл аналитическому утверждению (7), пользуясь языком эле-
ментарной теории вероятностей, то можно утверждать лишь следующее.
Пусть (П(л), л/(л), Р(л)), 1, — последовательность схем Бернулли
таких, что
П<л> = = (аЮ _, aW), aW = о, 1},
^={A: Ac№},
И
S(kn)(a><">) =^n)(wW) +... + ^)(wW),
где для каждого n 1 £jn),..., £пЛ> — последовательность независимых оди-
каково распределенных бернуллиевских случайных величин.
Тогда
|S"n)(fa,(n>)-р|>£}= 22 Pn(k)^0, n-^QO. (9)
МНЧ
Утверждения типа (7)—(9) носят название
«Закон больших чисел Я. Бернулли».
Отметим, что доказательство Я. Бернулли именно и состояло в установ-
лении утверждения (7), что было сделано им вполне строго с использова-
нием оценок для «хвостов» биномиальных вероятностей Pn(k) (при тех &,
для которых |^-р|^е). Непосредственное вычисление суммы вероят-
ностей «хвостов» биномиального распределения £ Pn(ty пред-
МЖ
ставляет для больших п довольно трудоемкую задачу, к тому же полу-
чаемые формулы мало пригодны для практической оценки того, с какой
вероятностью частоты Sn/n отличаются от р меньше чем на е. Именно
поэтому большое значение имели открытые Муавром и Лапласом (для про-
извольного 0 < р < 1) простые асимптотические формулы для вероятностей
Pn(k), что позволило не только заново доказать закон больших чисел, но
и получить его уточнения — так называемые локальные и интегральные
предельные теоремы, суть которых состоит в том, что при больших п и
по крайней мере для k~np
1 (k-np)2
Pn(k)~
a
eyfnjpq
52 S e^dx.
2. Следующий параграф посвящен точным формулировкам и доказа-
тельствам этих результатов. Сейчас же мы остановимся на вопросе о том,
каков реальный смысл закона больших чисел, какова его эмпирическая
интерпретация.
Пусть производится большое число, скажем, N, серий экспериментов,
каждая из которых состоит из «п независимых испытаний с вероятно-
стью интересующего нас события С, равной р». Пусть Sln/n — частота
появления события С в i-й серии и Ne — число серий, в которых частоты
отклоняются от р меньше чем на е:
Ne равно числу тех z, для которых — р I е.
Тогда из закона больших чисел можно заключить, что
(10)
гдеР£ = р{
Важно при этом подчеркнуть, что попытка уточнить соотношение (10)
неминуемо приводит к необходимости использования некоторой вероят-
ностной меры точно так же, как оценка отклонения частоты Sn/n от р
оказывается возможной лишь после привлечения вероятностной меры Р.
3. Рассмотрим полученную выше оценку
₽{|т-'’1>'}= 52 <>1)
МЫ»}
для ответа на следующий, типичный для математической статистики
вопрос: каково наименьшее число наблюдений и, гарантирующее выпол-
нение (для любого 0 < р < 1) неравенства
(12)
где а — заданное (обычно малое) число?
Из (11) следует, что таким числом является наименьшее целое и, для
которого
<|3>
Если, например, а = 0,05 и 6 = 0,02, то число наблюдений, равное
12500, гарантирует выполнение неравенства (12) независимо от значения
неизвестного параметра р.
Далее мы увидим (п. 5, § 6), что это число наблюдений сильно завыше-
но; это объясняется тем, что неравенство Чебышева дает слишком грубую
оценку сверху вероятности р{|~ “ р|
4. Обозначим
C(n’e)={w: 1^г-рН4
Из доказанного закона больших чисел следует, что для всякого е > 0 при
достаточно больших п вероятность множества С(п, е) близка к единице.
В этом смысле траектории (реализации) ш из С(п, е) естественно назвать
типичными (или (п, е)-типичными).
Поставим следующий вопрос: каково число N(C(n, е)) типичных ре-
ализаций и вес р(ш) каждой типичной реализации?
С этой целью заметим сначала, что общее число точек N(Q) = 2n, и если
р = 0 или 1, то множество типичных траекторий С(и, е) состоит соответ-
ственно всего лишь из одной траектории (0, 0, ..., 0) или (1, 1, ..., 1). Но
если р = 1/2, то интуитивно понятно, что «почти все» траектории (за ис-
ключением траекторий типа (0, 0,..., 0) или (1, 1,..., 1)) будут типичными,
следовательно, их число должно быть близко к 2Л.
Оказывается, что на поставленный вопрос можно дать исчерпывающий
ответ для произвольных 0< р < 1; при этом выясняется, что как число
типичных реализаций, так и их веса р(ш) определяются некоторой специ-
альной функцией от р («энтропией»).
Чтобы глубже раскрыть содержание соответствующего результата, по-
лезно рассмотреть несколько более общую схему из п. 2 § 2, нежели схема
Бернулли.
Пусть (рь р2» ...» Рг) — некоторое конечное распределение вероятно-
стей, т. е. набор неотрицательных чисел, удовлетворяющих условию р\ +
+... + рг = 1. Энтропией этого распределения называется величина
г
H = -^Pi\nph (14)
1=1
где In — натуральный логарифм и 0 • In 0 = 0. Ясно, что И 0, причем И = 0
тогда и только тогда, когда все вероятности рх, кроме одной, равны нулю.
Функция f(x) = —x In х, 1, выпукла кверху, и, как хорошо известно
из свойств выпуклых функций,
/(*1) + --- + f(xr) < X1 + ••• )
Следовательно,
w = - s р, In р, < -г • |„(а+^) =i„ г.
/=1
Иначе говоря, энтропия достигает своего максимального значения при
р1 = ... = рг = 1/г (см. рис. 8 для функции Н —Н(р) в случае г = 2).
Если рассматривать распределение вероятностей (рь рг, •••, Рг) как
вероятности появления некоторых событий, скажем, Ль Л2,..., Лг, то со-
вершенно понятно, что «степень неопределенности» в свершении того или
иного события различна для различных распределений. Если, например,
Рх = 1, р2 = ... = рг = ®, то ясно, что такое распределение не обладает
Рис. 8. График функ-
ции Н(р) = -р In р -
- (1 - р) In(l-p)
никакой неопределенностью: с полной уверенно-
стью можно сказать, что в результате опыта про-
изойдет событие Ль Однако если р\ = ... = рг —
= \/г, то такое распределение обладает макси-
мальной неопределенностью в том смысле, что
невозможно отдать предпочтение в свершении тому
или иному событию.
Важно поэтому было бы иметь количествен-
ную характеристику меры неопределенности
различных распределений вероятностей, что поз-
воляло бы их сравнивать с этой стороны. Такой
удачной характеристикой меры неопределенности как раз и оказалась
энтропия И, играющая существенную роль в статистической механике,
теории кодирования и теории связи, что видно из следующих рассмотрений.
Предположим, что пространство исходов
Q = {o>: о> = (аь •» яД а/ = 1,...,г}
и p(uj) = р”^... где — число элементов / в последовательно-
сти cj, а (рь Рг) — некоторое распределение вероятностей.
Для е > 0 и n = 1, 2, ... положим
С(п, г) = {о>: -р<| <£, / = г}.
Ясно, что
Р(С(П, £)) > 1 - £ р{|!^ - р,| >£},
и для достаточно больших п в силу закона больших чисел, примененного
к случайным величинам
1, а*=Ч
О» h
k = 1, ..., п,
вероятности р{|~~ — Pi| достаточно малы. Тем самым при боль-
ших п вероятность события С(п, е) близка к единице. Поэтому, как и в
случае г = 2, траектории, входящие в С(п, б), будем называть типичными.
Если все pi > 0, то для любого ш е П веса
р(а>) = ехр< —п In pk}
Поэтому, если ш — типичная траектория, то в силу (14)
k-\
-Pfc| In pk<:-€ 52 ln Pk-
k=\
Отсюда следует, что для типичных траекторий вероятность р(ш) близ-
ка к е~пН и — поскольку в силу закона больших чисел при больших п
типичные траектории «почти» исчерпывают fi — число таких траекторий
должно быть порядка епН. Эти соображения приводят к следующему пред-
ложению.
Теорема (Макмиллан). Пусть Pi>0, / = 1, ..., г, и 0<е< 1. Тогда
существует по = по(е\ Рь ..., рг) такое, что для всех п>п&
а) еп<н~^ N(C(n, ei)) < еп&+€\
b) e-nW+^ p(uj) е-п{Н~е\ uj е С(п, si),
С) Р(С(П, 60)= £ 1, п-4 00,
w€C(n,ei)
где
(( г
е, 61 -2 In pk I ].
\ *=1 / /
Доказательство. Утверждение с) следует из закона больших чисел.
Для доказательства остальных утверждений заметим, что если С(п, ei),
то
npfc-eifl + k = 1, ..., г,
и, значит,
p(w) = exp|- £2 |п Р*} <ехр{-п Р* |п P*“S|rt ^2 ln Pk\
Охр{-л(//-|)}.
Аналогично
p(w)>exp{-n(tf + |)}.
Следовательно, Ь) и подавно выполнено.
Далее, поскольку
Р(С(п, ei)) >N(C(n, ei)) • min р(ш),
и>еС(п,€\)
то
N(C(n, е,))^
Р(С(п,£|))
min % p(w)
шеС(п,Е[)
1
е-л(/У+|)
= e',(//+f)
и аналогично
N(C(n, si)) > P(C(«. gi)) > р(С( »ХМ).
\ \ 17/^ max pLA \ \ 17/
ueC(n,Ei) r
Поскольку Р(С(я, 6i))—► 1, n —>oo, то найдется n\ такое, что для п>п\
Р(С(л, 61)) > 1 - € и, значит,
N(C(n, £i))>(l -е) ехр(л(//- |)}=ехр{л(Я-е)+ (у +1п(1 -£))}•
Пусть П2 таково, что для п > П2
^+1п(1-£)>0.
Тогда для n > «о = max(ni, Пг)
N(C(n,ei))>en{H-£\ □
5. Закон больших чисел для схемы Бернулли позволяет дать простое
и изящное доказательство известной теоремы Вейерштрасса о равно-
мерном приближении непрерывной функции полиномами.
Пусть / = Др) — непрерывная функция на отрезке [0, 1]. Введем по-
линомы
п ь
Bn(p) = ^f(^)Cknpk(\-p)n-kt O^pci, п^О, (15)
k=0
называемые полиномами Бернштейна по имени автора (С. Н. Берн-
штейна) приводимого доказательства теоремы Вейерштрасса.
Если ...» — последовательность независимых бернуллиевских
случайных величин с Р{£ = 1} = р, Р{&= 0} = <? и Sn =6 +... + £л, то
Ef(Sn/n) = Bn(p).
Поскольку непрерывная на отрезке [0, 1 ] функция f = f(p} равномерно
непрерывна, то для всякого е > 0 найдется S > 0 такое, что |/(х) — f(y)\ г,
коль скоро |х - у\ 6. Ясно также, что такая функция ограничена, |/(х)|
<оо.
Учитывая это и неравенство (5), находим
п
{А;|£_,|>г}
Отсюда следует, что для полиномов Бернштейна (15)
lim 1/(р)-Я>(р)|=о,
л-*оо
что и составляет утверждение теоремы Вейерштрасса.
6. Задачи.
1. Пусть £ и ту —случайные величины с коэффициентом корреляции р.
Показать справедливость следующего двумерного аналога неравенства
Чебышева:
Р{|€- Е£| >или |»7-Ет/| ^еу/Drj} ^(1 +\/1 -р2).
(Указание. Воспользоваться результатом задачи 8 из § 4.)
2. Пусть / = /(х) — неотрицательная четная функция, неубывающая при
положительных х. Тогда для случайной величины £ = £(w) с l€(w)l С
p{iei>e}>EZ(^~Z(g).
В частности, для f(x) =х2
^=^Р{|£-Е£|^}^.
3. Пусть — последовательность независимых случайных ве-
личин с D& С. Тогда
Р Л6 + ••• + & _ Е(6 +,::d-A)|>e|^ С (16)
11л п I J П€2
(С теми же оговорками, какие были сделаны к соотношению (8), из нера-
венства (16) следует справедливость закона больших чисел в более общей
ситуации, нежели в схеме Бернулли.)
4. Пусть — независимые бернуллиевские случайные величины
с Р{£=1} = р>0, Р{& = -1}= 1 - р. Имеет место следующая оценка
Бернштейна’, существует а > 0 такое, что
р{|у - (2р - 1)| 2е-°£2л,
где Sn = £1 + ... + £„ и в>0.
5. Пусть £ — неотрицательная случайная величина, а > 0. Найти точную
верхнюю грань для Р{х ^а}, если известно, что
(О Ее = 20;
(ii ) Ее = 20, De = 25;
(iii ) Ее = 20, De = 25 и е симметрична относительно своего среднего
значения.
§ 6. Схема Бернулли. II. Предельные теоремы
(локальная, Муавра—Лапласа, Пуассона)
1. Как и в предыдущем параграфе, пусть
srt=ei
Тогда
= (1)
и в силу (14) § 4
Е(т-")2=™ <2)
Из формулы (1) следует, что ~ р, где знак эквивалентности ~ получил
точную интерпретацию в законе больших чисел в виде оценки вероятно-
стей р{|^-р|Естественно думать, что напрашивающемуся из (2)
«соотношению»
также можно придать точный вероятностный смысл, рассматривая, напри-
мер, вероятности типа
p{|v
или, что то же, вероятности
(поскольку ESn=np и DSn=npq).
Если обозначить, как и выше, для п 1
Pn{k) = Cknpkqn~k, O^k^n,
то вероятность
$п ~~ ESn
л/ds;
Pn(k).
(4)
Поставим задачу об отыскании удобных асимптотических формул при
я—>оо для вероятностей Pn(k) и их сумм для тех &, которые удовлетворяют
условиям в правой части (4).
Следующий результат дает ответ не только для этих значений k (т. е.
таких, что \k - пр| = O(y/npq)), но и для тех, которые удовлетворяют усло-
вию \k-np\ = o(npq)2/3.
Локальная предельная теорема. Пусть 0 < р < 1, тогда равномер-
но по всем k таким, что \k — пр\ = o(npq)2/\
Pn(k)~
1 (k-np)2
__Q 2npq
y/2impq
(5)
т.е, при п—юо
sup
Pnlk)
1 _ ik~nP)2
— — e 2л pg
y/2impq
(6)
где <p(n) — любая неотрицательная функция такая, что <р(п) =
= o(npq)2/3.
Доказательство существенно использует формулу Стирлинга (6) § 2
п! = л/2тгле "пП(1 +Р(п)),
где Р(п) —+ 0, п —* оо.
Согласно этой формуле, если п —> oo, k —► оо, п — k —► оо, то
_ п\ _____________________\/2тте ппп_____________
п “ (n-k)l ~ • 2тг(п -Л) e~kkk • e-(n-k\n - k)n~k
\+R(ri) __ 1 1 +e(n, k, n - k)
,,+ад,,1+я^‘я=ДП)'
где очевидным образом определяемая функция e = e(n, k, n-k)-+0 при
n —> oo, k —> oo, n — k —> oo.
Поэтому
Pn(k) = Cknpkqn~k =
Обозначим b = -. Тогда
n
= , A = expf^ In 4 + (n — k) In -J—• (1 +e) =
= - , - = L== exp(n [- In 4 + (1 — In -J—£1} • (1 + e) =
y/2irnp(l - p) Fl Ln p k nJ l-pJJ
= ~/9 '\r exp{-«//(p)}- (l +£),
y/2irnp(l - p)
где
H(x) —x In — + (1 -x) In -J—-
P l-P
Рассматриваемые значения k таковы, что \k — np\ = o{npq)2^, а значит,
p — p -♦ 0, n —> oo.
Поскольку для 0 < x < 1
//'(x) = ln - -In -J—
P 1 -P
то, представив Н(р) в виде Н(р + (р - р)) и воспользовавшись формулой
Тейлора, найдем, что для достаточно больших п
Н(р) = Н(р) + Н'(р)(р -р)+ \н"(р){р - р)2 + О(\р- р|3) =
Ч(7 + |)(Л-р)2 + О(|/>_р|3)’
Следовательно,
РМ = V2«J(I-P) ‘ +ЛО<1*’ - '’*>}" +Е»'
Заметим, что
п х2 п fk \2 (k-np)2
2pq(? ~ 2pq\n ~ 2npq
Поэтому
/>„(£) = —(1+е'(п, й, п-й)),
y/2irnpq
где
1 +£z(n, k, я-й) = (1 +e(n, k, n-fe))e"O(lz>~^|3)y^2^)
и, как легко видеть,
sup |e'(n, k, n — й)| —> 0, п -> oo,
если sup брать по тем k, для которых
\k-np\^<p{n), <p(n) = o(npq)2^3.
□
Следствие. Утверждению локальной предельной теоремы мож-
но придать следующую эквивалентную форму: для всех хе/?1 та-
ких, что x = o(npq)1'6, а пр + Xy/npq — целые числа из множества
{О, 1,.... п},
Рп(пр+Xy/npq)^ 1 е х2/2,
y/2Tvnpq
т. е. при п-+оо
sup
{х:|х|$^(л)}
Рп(пр Л-Xy/npq)
1 е-х2/2
y/2itnpq
(7)
(8)
- 1
где ip(n) = o(npqy^6.
С учетом замечаний, сделанных по поводу формулы (8) § 5, полученные
результаты на вероятностном языке можно переформулировать следую-
щим образом:
1 _ (k~nPf
P{Sn = k}-- е 2пря , \k-np\ = o(npq)2/\ (9)
y/Zimpq
р{^^=х}~^=----------е~х^2, x = o(npq)^. (10)
I y/npq J у/2тгпрд
(В последней формуле величины np+Xy/npq предполагаются принимаю-
щими значения 0, 1, п.)
Если положить tk = --- и = tk +! — tk = —, то последней фор-
y/npq \/прд
муле можно придать такой вид:
Sn-np
y/nPQ
tk = o(npq)l/6.
(П)
Ясно, что △/* = —==—>0, п—>оо, и множество точек {/Л как бы
y/npq 1
«заполняет» всю числовую прямую. Естественно поэтому думать, что (11)
можно использовать для получения «интегральной» формулы
р{а<
Sn-np
Jnpq
х i b
ft | ~ -= e“x2/2 dx,
J
—oo < a ft < oo.
Перейдем к точным формулировкам.
2. Пусть для -оо < а ft < оо
Рп(а,Ь]= Pn(np+Xy/npq
а<х^Ь
где суммирование распространяется по тем х, для которых np + Xy/npq —
целые числа.
Из локальной теоремы следует (см. также (11)), что для всех tk, опре-
деленных из равенства k = пр + tkyfnpq и удовлетворяющих условию
Т < оо,
Pn{np + tk^npq) = ^e-t2/2{\+e(tk>n)], (12)
где
sup \e(tk, n)| —>0, п—юо. (13)
Следовательно, для фиксированных а и b таких, что -Г
где Т < оо,
52 Pn(np + tky/npq)= 52 -^г~'‘/2+ 52 л)-^=е-'‘/2 =
Z- ~ VZ7T * “* VZ7T
a<tk^b a<tk^b a<tk^b
1 b
= -j== \ e~“2/2 dx + R^(a, b) + R{2)(a, b), (14)
v2^ X
где
R„4a, b)= У2 e~‘^2 - -j= § e-*2/2 dx,
R(2\a,b)= 52 еЦк,п)^е-№
VxTT
Из известных свойств интегральных сумм
sup \Rn\a, 6)|—>0, п-too. (15)
-T^a^b^T
Ясно также, что
sup |/?<2)(а, Z>)| < sup \e{tk, n)|- 52 ‘*/2^ SUP л)| x
-reader |/*|^Г ,л^г V2tt |#*|cr
X
T 1
C g-x2/2jx_|_ sup |/?(l)(a ^1 (16)
_y -Г^аС*^Г J
где сходимость правой части к нулю следует из (15) и того известного из
математического анализа факта, что
—L= е xi^2dx^-y= е X^2dx=l. (17)
Обозначим
Ф(х) = -^= е~/2/2 dt.
v —оо
Тогда из (14)—(16) вытекает, что
sup |Рл(а, Z?] — (Ф(6) — Ф(а))| —>0, п->оо. (18)
-Т^а^Ь^Т
Покажем сейчас, что этот результат справедлив не только для конеч-
ных Т, но и для Г = оо. В силу (17) для заданного е>0 можно найти такое
конечное Т = 7(e), что
1 г
“7= e“*2/2dx > 1 - (19)
л/2тг 4
Согласно (18), можно найти также такое /V, что для всех п> N и Т = Т(е)
sup |Рл(а,д]-(Ф(д)-(Ф(а))|<^. (20)
-Т^а^Ь^Т *
Отсюда и из (19) следует, что
Рп(-т, Л>1-|,
и, значит,
Рл(-оо,-7] + /’л(7’,ооК|,
где /’„(-оо, 7] = Hm Pn(S, 7] и Рп(Т, оо)= lim Рп(Т, S].
S|—оо Sfoo
Таким образом, для любых -оо^-Т^а^Ь^Т^оо
I —Т . оо
< 7 + Рл(-оо, — 7] + ~г= е~х /2dx + Pn(T, оо) 4- -7= \e~x^2dx^
4 х/2тг а/2тг ’
. е , £ . е . е
4 + 2 + 8 + 8 “ £'
С учетом (18) отсюда легко выводится, что Рп(а, Ь] стремится к
Ф(Ь) - Ф(а) равномерно по всем —оо а < b оо.
Итак, доказана
Интегральная теорема Муавра—Лапласа. Пусть 0< р < 1,
Pn{k) = Cknpkqn~k,
Тогда
Pn(a,b}= Рп(пр+Xy/npq).
а<х^Ь
sup
—оо^а<Ь^оо
1 b
Рп(а, й] - -= 5 е-*2/2
v2tt J
—>0, и—>оо.
(21)
С точностью до тех же самых замечаний, которые были сделаны по
поводу соотношения (8) § 5, результат (21) можно на вероятностном языке
сформулировать следующим образом:
sup
—оо^ЖЬ^оо
Sn ~ ESn
VDS;
n—*0Q.
Из этой формулы сразу следует, что для любых -оо А < В оо
Р{Л<5.<В)-[ф(^)-ф(^)]-0, п-оо. (22)
Пример. Правильная кость подбрасывается 12000 раз. Спрашивает-
ся, какова вероятность Р того, что число шестерок будет лежать в интер-
вале (1800, 2100].
Искомая вероятность равна
ж—\ . / 1 \Л/5\ 12000-Л
Е cMs)(s)
1800<£^2100
Понятно, что точное вычисление этой суммы «на руках» представляет
весьма трудоемкую задачу. Если же воспользоваться интегральной тео-
ремой, то найдем, что интересующая нас вероятность Р примерно равна
(п=12000, р = |, 4 = 1800, В = 2100)
_/ 2100-2000
I /1 Б
I 1/12000
\ V 6 6
_/ 1800 - 2000
— Ф/ г-...... =
I I 1 Б
\ 1/12000-i
Ху 6 6
= Ф(л/б) - Ф(—2>/б)« Ф(2,449) - Ф(-4,898)« 0,992,
где значения Ф(2,449) и Ф(-4,898) взяты из таблиц для функции Ф(х) (так
называемой нормальной функции распределения} см. далее п. 6).
3. Нанесем биномиальные вероятности Pn(np + Xy/rFpq) (х предпола-
гается таким, что np+Xy/npq — целое число) на график (рис. 9).
Тогда локальная теорема говорит о том, что для х = о(прд)'^ вероят-
ности Рп(пр + X\/npq) хорошо «ложатся» на кривую —=L=e“x2/2.
y/Zimpq
Pn(np+Xy/npq)
* e_Jf2/2
у/2тгпрд
Рис. 9.
Интегральная же теорема говорит о том, что вероятность Рп(а, Ь] =
= P{ay/npq <Sn-np by/npq} = Р{пр + ay/n~pq < Sn пр + by/npq}
ь
хорошо аппроксимируется интегралом (1Д/2тг) § е~х /2 dx,
а
Обозначим
Fn(x) = Рп(-оо, х]
Sn-np
Тогда из (21) следует, что
sup |F„(x) - Ф(х)| —>0, п-юо. (23)
—ОО^Х^ОО
Интересно было бы понять, насколько быстро с ростом п происходит
стремление к нулю в (21) и (23). Приведем результат, относящийся сюда и
являющийся частным случаем так называемой теоремы Берри—Эссеена
(§ 11 гл. Ill):
sup
—оо^х<оо
|Гя(х)-Ф(х)|^
(24)
Важно подчеркнуть, что порядок оценки 1 f\/npq не может быть улуч-
шен, а это означает, что аппроксимация с помощью функции Ф(х)
может быть плохой при значениях р, близких к нулю или единице, даже
при больших п. Возникает поэтому вопрос о том, а нельзя ли при малых
значениях р или q найти для интересующих нас вероятностей лучшую
аппроксимацию, нежели так называемая нормальная, даваемая локаль-
ной и интегральной теоремами. С этой целью заметим, что, скажем, при
р = 1/2 биномиальное распределение {Pn(k)} имеет симметричную форму
Pn(k)
0,3
0,2
0,1
/JY4P = l/4,«=10
0 2 4 6 8 10
(рис. 10, слева). Однако при малых значениях р биномиальное распреде-
ление приобретает асимметричную форму (см. рис. 10, справа), и поэтому
не приходится ожидать, что нормальная аппроксимация будет хорошей.
4. Оказывается, что при малых значениях р хорошую аппроксимацию
для {Pn(k)} дает так называемое пуассоновское распределение вероят-
ностей.
Пусть
р (b\-lcnPk<Jn~k< k = 0' Ь •••>«>
' (0, * = м+1,п + 2...
и предположим сейчас, что р является функцией от и, р = р(п).
Теорема Пуассона. Пусть р(п)—>0, п-^оо, причем так, что
пр(п) —► Л, где А > 0. Тогда для любого k = 0, 1, ...
Рп(/г)->7Гь, поо, (25)
где
\k-x
= * = 0, 1, ... (26)
Доказательство весьма просто. Поскольку по предположению р(п) =
= то для любого фиксированного &==0,1, ... и достаточно боль-
ших п
р (Ь\ — pk п^пп~~^_ О (л Л + 1)
гп\к)~ ^пР Ч “ ri
Но
rt(n-l)...(n-fc + l)[^+oQ)] =
= Q [А + 0(1 п-*оо,
nR
и
что и доказывает (25). □
Набор чисел {тг*, й = 0, 1, ...} образует так называемое пуассонов-
оо
ское распределение вероятностей (тг*>0, £ ^=0- Отметим, что все
л=о
рассматриваемые выше (дискретные) распределения были сосредоточе-
ны лишь в конечном числе точек. Пуассоновское распределение — это
первый встретившийся нам пример (дискретного) распределения, сосре-
доточенного в счетном числе точек.
Приведем следующий результат (Ю. В. Прохоров), показывающий,
с какой скоростью величины Pn(k) сходятся к тг* при п—>оо: если
пр(п) = Х, то *)
£|P„(*)-7rft|Cy-min(2, Л).
k=0
(27)
5. Вернемся к предельной теореме Муавра—Лапласа. Покажем, как
из нее следует закон больших чисел (с оговорками, сделанными в § 5 к
формуле (8)). Поскольку
p{|^’_pke} = p{|^£kejA},
Un I J II \/npq I V pq J
то из (21) ясно, что для е > О
И $ e“x2/2dx—>0, п—юо, (28)
-Eyjn/pq
Р{|~ “ я —>оо,
что и составляет утверждение закона больших чисел.
Из (28)
р{|~ “ р| ~ ^== $ e“%2/2dx, п->оо, (29)
-eyjn/pq
в то время как неравенство Чебышева давало лишь оценку
II п Ч J пе2
В п. 3 § 5 было показано, что для числа наблюдений, необходимого для
справедливости соотношения
неравенство Чебышева дает следующую оценку:
где [х] — целая часть числа х. Так, при 6 = 0,02, а = 0,05 необходимо
12500 наблюдений. Воспользуемся теперь для решения той же задачи
аппроксимацией (29).
♦) Доказательство несколько более слабого результата дано в § 12 гл. III.
Определим число k(a) из соотношения
1
—= e“x/2dx=l-a.
VZ7r -k(a)
Поскольку 2в\/п, то, определяя (наименьшее целое) п из нера-
венства pq
2eVn^k(a). (30)
получим, что
(3,)
Из (30) находим, что п = П2(а) с
, . Гй2(а)1
Л2(а)=Г4?Т
гарантирует выполнение (31), где точность аппроксимации легко может
быть установлена из (24).
Беря е = 0,02, а = 0,05, находим, что на самом деле достаточно лишь
2500 наблюдений, а не 12 500, как это следовало из неравенства Чебышева.
Значения k(a) находятся по таблицам. Приведем ряд значений k(a) для
некоторых значений а:
а 0,50 0,3173 0,10 0,05 0,0454 0,01 0,0027
k(a) 0,675 1,000 1,645 1,960 2,000 2,576 3,000
6. Введенная выше функция
Ф(х) = -^= е dt,
v'Z'K _ оо
(32)
участвующая в интегральной теореме Муавра—Лапласа, играет исклю-
чительно важную роль в теории вероятностей. Эта функция называется
нормальным или гауссовским распределением вероятностей на числовой
прямой с (нормальной или гауссовской) плотностью
<р(х) = —е“*2/2, хе/?1.
V 2тг
Мы уже встречались с (дискретными) распределениями, сосредоточен-
ными в конечном и счетном множестве точек. Нормальное распреде-
ление принадлежит другому важному типу (непрерывных) распределений,
возникающих в теории вероятностей. Отмеченная выше его исключитель-
ная роль объясняется прежде всего тем, что при достаточно общих предпо-
ложениях распределение суммы большого числа независимых случайных
величин (не обязательно бернуллиевских!) хорошо аппроксимируется нор-
мальным распределением (§ 4 гл. III). Остановимся сейчас на некоторых
простейших свойствах функций <^(х) и Ф(х), графики которых приведены
рис. 11 и 12.
Функция <р(х) является симметричной колоколообразной кривой, убы-
вающей с ростом |х| очень быстро: </?(!) = 0,24197, <р(2) = 0,053991,
<^(3) = 0,004432, <^(4) = 0,000134, <^(5) = 0,000016. Максимум этой кривой
достигается в точке х = 0 и равен (2тг)-1/2 «0,399.
1 Х 2
Кривая Ф(х) = -/= $ е~1 /2 dt быстро приближается с ростом х
к единице: Ф(1) = 0,841345, Ф(2) = 0,977250, Ф(3) = 0,998650, Ф(4) =
= 0,999968, Ф(5) = 0,999997.
По поводу таблиц функций <р(х) и Ф(х), а также других основных
функций, используемых в теории вероятностей и математической стати-
стике, см. [6].
Полезно отметить, что при расчетах, наряду с функцией Ф(х), часто
используется родственная ей функция ошибок
"/2 dt,
Очевидно, что (х > 0)
Ф(х) = |[1 +erf(^)], еН(х) = 2Ф(^/2х)-1.
Рис. 12. График функции нормального распределения Ф(х)
7. В конце п. 3 § 5 было отмечено, что оценка сверху для вероятности
события {а;: “ р| даваемая неравенством Чебышева, является
достаточно грубой. Получение этой оценки основывалось на неравенстве
ЕХ2
Чебышева Р{Х для неотрицательных случайных величин X ^0.
Можно попытаться, однако, воспользоваться неравенством Чебышева в
форме
р у 26
Р{Х^е} = P{X2k > е2*}=^~. (33)
Но можно пойти и дальше, а именно воспользоваться «экспоненциальной»
формой неравенства Чебышева: если X > 0 и А > 0, то
Р{Х^г} = Р{еАЛ>еА£}^ЕеА(Л-£). (34)
В силу произвольности А > 0 ясно, что
P{X>e}^4nf ЕеА(А-е). (35)
Посмотрим, к чему приводит этот путь в случае X = Sn/n, Sn — £i +
+ • • • + tn, P{£i = 1} = P, Р^ = 0} = q, 1.
Обозначим у>(А) = ЕеА?|. Тогда
9?(А) = 1 - р + рех
и в предположении независимости величин Ci> ..€л
EeAS" = [<р(А)]я.
Поэтому (0<а < 1)
р{— С inf ЕеА(^-“) = inf е-п[л°-|п *’(«)] =
I п J А>0 Л>0
г 1 / VI supfas-In ¥>(s)]
= inf e-«lfls-|n*’<s)l = e s><> . (36)
s>0
Аналогично
r. f Sn 1 sup[as-ln y>(s)]
p{~<a}<£? ’<" . (37)
Функция f(s) = as - In [ 1 - p + pes] при p < a 1 достигает максимума
в точке so (/'(5о) = О). определяемой из равенства
5о = а(1 - р)
р(1 - а)'
Поэтому
sup f(s) = H(a),
s>0
где
Н(а) = а In ^ + (1-а) In
— функция, уже рассмотренная выше при доказательстве локальной тео-
ремы (п. 1).
Итак, при р а 1
р{^>а}о-п//(а), (38)
и поскольку Н(р + х)^ 2х2, 0 < р + х 1, то при е > 0, 0 р < 1
р{т_р>е}<е’2Л£2- (39)
Аналогичным образом устанавливается, что для а р 1
р{^^а}^е~я//(а)’ (40)
и, следовательно, для всякого е > 0, 0 р 1
р{^-/^-е}^~2< (41)
Тем самым
(42)
Отсюда вытекает, что число наблюдений Пз(а), гарантирующее выпол-
нение при любых 0 р 1 неравенства
р{|^-₽|^}я-а.
(43)
определяется формулой
п3(а) =
1п(2/а)]
2е2 Г
(44)
где [х] — целая часть числа х. Пренебрегая «целыми частями» и сравнивая
пз(а) с ni(a)= находим, что
«1(g) = 1
"3(Q) 2а In
а
Too,
а|0.
Отсюда видно, что при а|0 оценка минимального необходимого чис-
ла наблюдений, полученная с помощью экспоненциального неравенства
Чебышева, является более точной, чем оценка, найденная из обычного
неравенства Чебышева, особенно при малых а. Воспользовавшись без
труда устанавливаемым соотношением
\ е у2^2 dy е х2/<2, х —> оо,
х/2^ ? * yfox
можно показать, что Z?2(q)~2 In -, a J.O. Тем самым
^2(^)
«з(«)
^1, а|0.
Неравенства типа (38)—(42) носят название неравенств для вероят-
ностей больших уклонений. Объяснение этому названию следующее.
Интегральная теорема Муавра—Лапласа дает возможность просто
оценивать вероятности событий {|Srt — пр\^xV/г}, характеризующих
«стандартное» уклонение (на величину порядка у/п) Sn от пр. Неравенства
же (39), (41) и (42) дают оценку для вероятностей событий {ш: |Srt — пр\
х/г}, описывающих уклонения порядка большего, нежели у/п, а именно
порядка п.
Мы продолжим рассмотрение вопроса о вероятностях больших укло-
нений в более общих случаях в § 5 гл. IV.
8. Задачи.
1. Пусть и = 100, р= 1/10, 2/10, 3/10, 4/10, 5/10. Используя таблицы
(например, из [6]) биномиального и пуассоновского распределений, срав-
ните значения вероятностей
Р{ 10 < S100 12}, Р {20 < S1Oo 22},
Р{33 < S юо 35}, Р {40 < Sюо 42},
Р{50< Sioo^52}
с соответствующими значениями, даваемыми нормальной и пуассоновской
аппроксимациями.
2. Пусть р = 1/2 и Zn — 2Sn - п (число превышений единиц над нулями
в п испытаниях). Показать, что
sup| х/тгТг P{Z2n = /} - e'-i1!*' | —► 0, п —► оо.
/
3. Доказать, что в теореме Пуассона (с р — Х/п) имеет место следующая
скорость сходимости:
Id /м Xke~x I А2
sup|P.(4)- — [«-.
(Для доказательства полезно ознакомиться с § 12 гл. III.)
§ 7. Оценка вероятности «успеха» в схеме Бернулли
1. В рассмотренной выше схеме Бернулли (П, л/, Р) с Q = {a>: cu =
= (*1, ..., хл), Xi =0, 1}, £/ = {А: A CQ}, Р({а>}) = р(а>), где
р(о>) = р^ Xiqn~^ Xiy
предполагалось, что число р (вероятность «успеха») известно.
Представим теперь, что р заранее не известно и мы хотим его опре-
делить по наблюдениям за исходами эксперимента, или, что то же, по
наблюдениям за случайными величинами fi,..., £л, где & (о;)=х,. Эта зада-
ча, являющаяся типичной для математической статистики, допускает
различные постановки. Ниже мы рассматриваем две такие постановки:
задачу оценивания и задачу построения доверительных интервалов.
Следуя обозначениям, принятым в математической статистике, неиз-
вестный параметр р обозначим через в. считая a priori, что значения
в принадлежат множеству © = [0, 1]. Часто говорят, что набор =
= (Q, л/, Ря; 0е0) с Pfl(M) = 0£ *< (1 * задает вероятностно-
статистическую модель (отвечающую «п независимым испытаниям» с
вероятностью «успеха» 0 6 0), а всякую функцию Тп = Тп(ш), принимаю-
щую значения в ©, называют оценкой.
Если Srt = £1 +... + £л и Г* = ^, то из закона больших чисел следует,
что оценка Г* является состоятельной в том смысле, что (е > 0)
Ре{\Т*-е\>г}-^ п—*оо. (1)
Кроме того, эта оценка является несмещенной: для всякого 0 6©
Е0г;=0, (2)
где E# — математическое ожидание, отвечающее вероятности Ра.
Свойство оценки быть несмещенной является вполне естественным:
оно отражает тот факт, что всякая разумная оценка должна, по край-
ней мере «в среднем», приводить к желаемому результату. Однако легко
заметить, что оценка Г* не является единственной несмещенной оценкой.
Например, такой же будет всякая оценка
т___+... + Ьп^п
п~~ п
где Ь\ +... + Ьп = п. При этом для таких оценок также будет выполняться
закон больших чисел (1) (по крайней мере, если <оо), и тем самым
эти оценки Тп так же «хороши», как и Г*.
В этой связи возникают вопросы о том, как сравнивать различные
несмещенные оценки, какую из них назвать наилучшей, оптимальной.
По самому смыслу оценок естественно было бы считать, что оценка тем
лучше, чем меньше ее отклонение от оцениваемого параметра. Основыва-
ясь на этом, назовем оценку Тп эффективной (в классе несмещенных
оценок Тп), если
Dfl7rt = inf Dfl7rt, 0 6©, (3)
Тп
где Dfl7rt — дисперсия оценки Гл, т. е. величина Еа(7л - 0)2.
Покажем, что рассмотренная выше оценка Г* является эффективной.
Имеем
П т*-П п0(1-0) _0(1-0) ш
Поэтому, для того чтобы установить, что оценка Г* эффективна, достаточ-
но показать, что
infDe7-„^fc^. (5)
•п /*
При 0 = 0 или 1 это неравенство очевидно. Пусть теперь 0 6(0, 1) и
Ясно, что P#(М) = где
РеМ = П Р^Х‘У
1=1
Обозначим
L0(cj) = ln ре(ш).
Тогда
М“>)=In е • 52 Xi+In( I - ff) • £( I - Xi)
и
дьв(Ш) = ^Xj-e)
де е(\-е) ’
Поскольку
1 = Е(?1=52 РеМ
CU
и в силу несмещенности оценки Тп
0 = Ев7’я = 52 тп(ш)Ре(ш),
и>
то после дифференцирования по в получим, что
дре(и)
n _ v дР<№ _ v' де Пл(, л _ р Г<^М1
дре(ш)
Значит,
1_рлГ/т m
1 Е0|уЛ 0) де J
и, согласно неравенству Коши—Буняковского,
1 с Ее[7-Л -0]2.eJ^|W,
L Ou J
откуда
(6)
где величина In(0) = носит название информации Фишера.
Из (6) получаем частный случай так называемого неравенства Рао-
Крамера для несмещенных оценок Тп
(7>
В рассматриваемом случае
//т = Р [^±М]2 = Е ГПС/~0)12 л0(1-0) п
пУ> де J 0(1-0)] [0(1 — 0)]2 0(1-0)’
что и доказывает неравенство (5), из которого, как уже отмечалось, следует
эффективность несмещенной оценки T* = Sn/n для неизвестного парамет-
ра в.
2. Очевидно, что, рассматривая в качестве «точечной» оценки для в
величину 7*, мы совершаем некоторую ошибку. Может даже случить-
ся, что численное значение 7*, подсчитанное по наблюденным значениям
Xi, будет довольно сильно отличаться от истинного значения в.
Поэтому целесообразно было бы указывать еще и величину погрешности.
Довольно бессмысленно надеяться, что для всех элементарных со-
бытий ш величины 7* = 7* (о?) мало отличаются от истинного значения
неизвестного параметра в. Однако из закона больших чисел мы знаем,
что для всякого 6 > 0 при достаточно больших п вероятность события
{|0 - 7*| > <5} будет достаточно мала.
Согласно неравенству Чебышева,
Р 7*1 >> С 0(1—0)
Р*{|0 - IJ > д} -^2“ =
и, значит, для всякого А > 0
рД|0- Г*| А1 - Л.
I V I Л
Если взять, к примеру, А = 3, то найдем, что с Ре-вероятностью, большей,
чем 0,8888 (1 — i | «0,8888), осуществится событие
о2 У
и тем более — событие
поскольку 0(1 —0)
Таким образом,
3
2у/п
^>0.8888.
Иначе говоря, можно утверждать, что истинное значение параметра в при-
надлежит интервалу |У* - Г* + с вероятностью, большей, чем
0,8888. Иногда это утверждение символически записывают в такой форме:
где <Ф 88 %» означает «более чем в 88 % случаев».
3
Интервал 7Л* -
+ _3_
л 2А
является примером так называемых
доверительных интервалов для неизвестного параметра.
Определение. Множество вида
1Ш -ЙМ],
где и — Две функции элементарных событий, назовем дове-
рительным интервалом надежности 1 — 5 (или с уровнем значимо-
сти 5), если для всех 0 е 0
Рe{(cv) 0 1 - (5.
Приведенные выше рассуждения показывают, что интервал
'Т'*__'Т1* I
п 2^’ п 2у/П
1 1 ГТ
имеет надежность 1 - . На самом деле надежность доверительного ин-
тервала значительно выше, что связано с тем, что использованное нера-
венство Чебышева дает лишь грубую оценку вероятностей событий.
Для получения более точных результатов заметим, что
где ф\ п) и -02 = » л) —корни квадратного уравнения
\2
(0-П)2 = ^ 0(1-0),
описывающего эллипс, расположенный так, как это изображено на рис. 13.
Пусть теперь
Fg (х)=рД $п~пв А
Тогда в силу (24) § 6
SupWW-*W|«-^l=
Поэтому, если a priori известно, что
где △ — некоторая константа, то
sup |^(х)-Ф(х)|<
и, значит,
Р9М(Г*, п) < е мт;, п)}=|0 - г;I а^^-^ } =
= рД |5"~ng| с а) (2Ф(А) - 1) - -Д=.
I х/га0(1 — 0) J v ’ ’ Дл/й
Пусть А* — то наименьшее А, для которого
9
где J* — заданный уровень значимости. Обозначая = —
находим, что А* есть корень уравнения
Ф(А) = 1-|.
В случае больших п можно пренебречь членом
2/Д^/п и считать, что А* удовлетворяет соотно-
шению
Ф(А*) = 1-£.
В частности, если А*=3, то 1—5* = 0,9973...
Так что с вероятностью, примерно равной 0,9973,
2
0Ц-0)
п
п у п
(8)
или, после итерирования и отбрасывания членов порядка О(п“3/4),
Tn*(l-Trt*)
п
п
п
О)
Отсюда следует, что доверительный интервал
7*__— 7* + 3
п 2^’ п 2^
(Ю)
имеет (при больших п) надежность 0,9973 (тогда как неравенство Чебы-
шева давало надежность лишь, примерно, равную 0,8888).
Отсюда можно сделать следующий практический вывод. Пусть произ-
водится большое число W серий экспериментов, в каждой из которых по
п наблюдениям оценивается параметр в. Тогда примерно в 99,73 % случаев
из N в каждой серии оценка будет отличатьс'я от истинного значения
3
параметра не больше чем на ^-7=. (См. по этому поводу также конец § 5.)
2\/ и.
3. Задачи.
1. Пусть a priori известно, что параметр в принимает значения в ©о С
С [0, 1]. Выяснить, когда существует несмещенная оценка для параметра 0,
принимающая значения лишь в множестве ©о.
2. В условиях предыдущей задачи найти аналог неравенства Рао-
Крамера и рассмотреть вопрос об эффективных оценках.
3. В условиях первой задачи рассмотреть вопрос о построении довери-
тельных интервалов для в.
4. В дополнение к задаче 5 в § 2 исследовать вопрос о несмещенности
и эффективности оценки N, считая N достаточно большим, N N ^>п.
Построить, по аналогии с доверительными интервалами для параметра 0
(см. формулы (8) и (9)), доверительные интервалы [N — a(N), N + b(N)]
для N такие, что
Рм м-n{fi ~ a(N) N С N + b(N)}«1 - а,
где а — некоторое малое число.
§ 8. Условные вероятности и математические
ожидания относительно разбиений
1. Пусть (9, si, Р) — конечное вероятностное пространство и
— некоторое разбиение Q (D(- P(D,)>0, i= 1, ..., k, и D\ + ... +
+ D* = Q). Пусть, далее, А — событие из зг/ и Р(ЛЩ) — условная ве-
роятность события А относительно события Dt.
С набором условных вероятностей {Р(Д |DZ), i = 1, ..., k} можно свя-
зать случайную величину
k
ттМ = £Р(Л|О,)/о» (1)
/=1
(ср. с (5) § 4), принимающую на атомах разбиения Dt значения Р(Д|ОХ).
Чтобы подчеркнуть, что эта случайная величина связана именно с раз-
биением 0, ее обозначают
Р(Д |0) или Р(Д |ЯМ
и называют условной вероятностью события А относительно раз-
биения St.
Это понятие, а также вводимые далее более общие понятия условных
вероятностей относительно а-алгебр, играют важную роль в теории
вероятностей, что постепенно будет раскрываться последующим изложе-
нием.
Следующие два свойства условных вероятностей очевидны:
Р(Д + В|^) = Р(Л|Я + Р(В|^); (2)
если 0 — тривиальное разбиение, состоящее из одного множества Q, то
Р(Д|0) = Р(Д). (3)
Определение условной вероятности Р(Д|0) как случайной величины
дает возможность говорить о ее математическом ожидании, используя ко-
торое можно следующим компактным образом записать формулу полной
вероятности (3) § 3:
ЕР(Д|0) = Р(Д). (4)
Действительно, поскольку
k
р(л|я(^)=12ри1о'),^и-
i=l
то по определению математического ожидания (см. (5) и (6) § 4)
k k
ЕР(Л|Я = 12 РИ|А)Р(А) = £ Р(4О,) = Р(Л).
/=1 1=1
Пусть теперь ту = — случайная величина, принимающая с положи-
тельными вероятностями значения у\, ..., у
k
= Уi,D№'
i=i
где Dj = {uj: ту(а>) = «/;}. Разбиение ^ = {ОЬ ..., называется раз-
биением, порождаемым случайной величиной ту. Условную вероятность
Р(Л |^) будем в дальнейшем обозначать Р(Л |ту) или Р(А|ту)(а;) и назы-
вать условной вероятностью события А относительно случайной
величины rj. Условимся также под P(A\q = yj) понимать условную веро-
ятность Р(Д |DZ), где Dj = {uj: = yj}.
Аналогичным образом, если туь ...» — случайные величины и
.Tim — разбиение, порожденное величинами туь %,...»т/т, с атомами
Dy{ ,Уг.-,Ут = {«*7: 7)1 (ш) = У1, % М = У2, • • •, »?m (w) = Ут},
то Р(А|^|Л?2..rjm) обозначается Р(А|туь ту2, ...» Лт) и называется услов-
ной вероятностью события А относительно случайных величин
т. Т)2, ...» ТУ/и.
Пример 1. Пусть £ и ту —две независимые одинаково распределенные
случайные величины, принимающие каждая значения 1 и 0 с вероятностя-
ми р и q. Найдем для & = 0, 1, 2 условную вероятность Р(А|ту) события
А = {uj : £ + ту = k} относительно ту.
С этой целью отметим сначала следующий общий полезный факт: если
4 и ту —две независимые случайные величины, то при Р{ту = у} > 0 имеем
P(^ + 7? = z|7/ = y) = P{^ + y = z}. (5)
В самом деле,
P(€+7?=zh=i/) =
P{C + n = z, Т) = у} _ P{£4-y = z, Г) = у}
Р{т1 = у} Р{‘П = у}
P{t+y=z}P{n=y}
Р{'П = У}
= P{£+y=z}.
Используя эту формулу, находим, что
p(4h)M=p(e+»?=*h)M=
= Р(£ + 7) = 6 17) = 0)/{4=0}(w) + Р(С +1) = k 17) = 1 )/{т)= 1}И =
= Р{<=й}/(п=0}М + Р{£ = k -1 }/b=nM.
Итак,
"<7/{ч=0}М,
Р(£ + г/ = k | j?)(w) = p/b=o}(w) + у/{ч=1}(а/),
й = 0,
й=1,
й = 2,
(6)
или, что то же самое, ^(1-jj), k = 0.
Р(€ + т? = й|»?) = < р(1 -р) + qp, k=\, (7) pq, k = 2.
2. Пусть £ = £(о>) — случайная величина, принимающая значения в
множестве X = {х>, ..., xz }:
/
€== У » Л у == {а;: £ = Ху},
/=1
и ^ = {01, ...» Dk} — некоторое разбиение. По-
добно тому как для £ по вероятностям Р(А,),
/ = 1, было определено математическое
ожидание
/
E£ = Y,xiP<Aj)’ (8)
/=1
1(3.1)
’ (10)
Р(.|О)------------► EttlD)
1(1) 1(11)
’ (9) ’
Р(.|2) Е(£|0)
Рис. 14.
так и с помощью условных вероятностей Р(Л;-1 <&), естественно
определить условное математическое ожидание случайной величи-
ны £ относительно разбиения !&, обозначаемое E(£|f?) или E(f |0)(о>),
формулой t
Е(€1Я = Ёх/р(л/1^- <9>
/=1
Согласно этому определению, условное математическое ожидание
Е(£10)(о>) является случайной величиной, принимающей для всех эле-
ментарных событий си, принадлежащих одному и тому же атому D/,
/
одно и то же значение *;P(Ay|Df). Это замечание показывает, что
/=1
к определению условного математического ожидания Е(£|<^) можно было
бы подойти иначе. А именно, сначала определить E(£|D,) — условное
математическое ожидание £ относительно события О, формулой
Е(£|А) = Ёх/РИ/|А) (=^^).
/=1
а затем положить по определению
/
=22 E(eiD,)/D/M
1 = 1
(см. диаграмму на рис. 14).
(Ю)
(Н)
Полезно отметить, что значения Е(£ | D) и Е(£|0) не зависят от спо-
соба представления случайной величины £.
Приводимые далее свойства условных математических ожиданий непо-
средственно вытекают из их определения:
Е(а£ + б7/|0) = аЕ(£|0) + 6Е(т?|0), а, b — константы; (12)
E(C|Q) = E£ (13)
Е(С|0) = С, С—константа; (14)
если ^ = /л(а?), то
Е(£|0) = Р(Д|0). (15)
Последнее равенство показывает, в частности, что свойства условных ве-
роятностей можно получать непосредственно из свойств условных мате-
матических ожиданий.
Следующее важное свойство обобщает формулу полной вероятно-
сти (4):
ЕЕ(£|Я = ЕС (16)
Для доказательства достаточно заметить, что, согласно (4),
/ / i
ЕЕ(С|я = Е S XjP(Aj| Я = Е Х/ЕРИ/i ^)=Е х/ри/) =Е^-
/=1 /=1 /=1
Пусть & = {D\, ..., Dk} — разбиение и т/ = т/(о/) — некоторая случайная
величина. Будем говорить, что случайная величина rj является измеримой
относительно этого разбиения, или ^-измерима, если =$ 0, т. е. 77 = 77(0;)
может быть представлена в виде
k
1=1
где yt могут быть и равными. Иначе говоря, случайная величина ^-изме-
рима тогда и только тогда, когда она принимает постоянные значения на
атомах разбиения
Пример 2. Если ^ — тривиальное разбиение, <^ = {Q}, то величина 77
будет ^-измеримой в том и только том случае, если 77 = С, где С — посто-
янная. Всякая случайная величина 77 измерима относительно разбиения
Предположим, что случайная величина 77 является ^-измеримой. Тогда
Е(^|я=г?Е(е|^) (17)
и, в частности,
/
Для доказательства (17) заметим, что если £= £ х'^аг то
/=1
/ k
<’7=52 52 Xiyi,AiDi
/=1 /=1
и, значит,
Ik I k k
E(Cj?i^)=5252x^iP^/Dii^=5252x/^ 52 PH/O,iom)/Dm(w)=
/=1 i=l /=1 / = 1 m=l
Ik Ik
=5252х/^р(д/а|а)/о,м=£$2^ри/Р/^м. <i9>
/=1 /=1 /=1 1 = 1
С другой стороны, учитывая, что /£ =/d, и IdJd„ =0, i^m, получаем,
77E(ei^)=
k
52
./=1
52 ww
-/=1
k I
i=l /=1
что вместе с (19) доказывает (17).
Установим еще одно важное свойство условных математических ожи-
даний. Пусть 01 и 02 — Два разбиения, причем 0i 02 (разбиение 02
«мельче» разбиения 0j). Тогда справедливо «телескопическое» свойство:
Е[Е«|^2)|^] = Е(^|^). (20)
Для доказательства предположим, что
^1 ={0Н. •••> Dim}, ^2 = {Dil, •••. Din}.
Тогда, если С= х'^Ар то
/=1
е(€1^2)=52^р(»/1^2),
/=1
и достаточно лишь установить, что
E[P(^|^)|^] = P(^|^). (21)
Поскольку
Р(Д/|^2) = ^РИ/|О2<,)Ч,
<7=1
ТО
Е[Р(Лj |0г) |0il = Е Р(Л/ |D29)P(D29|0() =
<?=i
= ^Р(Л/|О2(?) ^P(D2JDlp)/Dlp =
q=t Lp = l
= E £ PHy|D2<z)P(D2JDlp) =
p=l <7=1
=i>„ E Р(Л/|О29)Р(О2(,|О1р) =
P=1 l?:D2,CDlp}
= Vz V p^d2<,) P(^) =
2-j ,D>p 2^ p(d2 ) ‘ P(o, )
p=l (<7 = 02,00,,} v 2,7 ' lp'
=ЕЧР(ЛУ|О1Р) = Р(ЛУ|01),
P=1
что и доказывает (21).
В том случае, когда разбиение порождается случайными величинами
тц, .... % (0 = 0,,....jjk), условное математическое ожидание Е(£|<^.
будет обозначаться Е(£|rji, ..., (или Е(£|т/ь ^)(о?)) и называться
условным математическим ожиданием случайной величины £ отно-
сительно Т)\, ..., T)k-
Непосредственно из определения Е(£ [ту) следует, что если £ и т/ неза-
висимы, то
E(€h) = EC (22)
Из (18) следует также, что
Е(т?Ь) = Л- (23)
Свойство (22) допускает следующее обобщение. Пусть случайная ве-
личина £ не зависит от разбиения (т. е. для любого Di е @ случайные
величины £ и /р, независимы). Тогда
Е(£|0) = Е£. (24)
Из (20) в качестве частного случая получаем следующую полезную фор-
мулу:
E[E(^|J?1,%)hi] = E(€h1). (25)
Пример 3. Для случайных величин £ и т], рассмотренных в примере 1,
найдем Е(£ -Ь ??| т?). В силу (22) и (23)
E(€ + »)h) = EC + 7?= р+т).
Этот результат можно получить и отправляясь от (8):
2
E(£ + T/h) = kP(^ + 7] = k\T]) = p(\-T]) + qT} + 2pT)=p + T).
Пример 4. Пусть £ и т) — независимые одинаково распределенные
случайные величины. Тогда
Е(€1€ + »?) = Е(7?|€ + 7?) = ф. (26)
Действительно, считая для простоты, что £ и т? принимают значения
1, 2, ..., ш, находим, что (1 2^1 ^2пг)
р(е=й|^+т/=/)=
P{e=fe,e+t?=/} p^=k,r]=i-k}
P{^ + p = l} Р« + »7 = 0
P{< = fe)P{I? = /-fe} P{7) = k}P{$ = l-k}
P{^ + T] = l} p« + »? = o
= Р(7? = й|^ + 7/ = /).
Этим доказано первое равенство в (26). Для доказательства второго до-
статочно заметить, что
2E(£|£ + j7) = Е«|е + т/) + Efole + T/) = Е(С + »?|С + 7?) = € + »?•
3. Еще в § 1 отмечалось, что каждому разбиению 0 = {Di, Dk}
конечного множества О, соответствует алгебра а(^) подмножеств SL Точно
так же и обратно, всякая алгебра S8 подмножеств конечного пространст-
ва Q порождается некоторым разбиением 0 (^=а(^)). Тем самым между
алгебрами и разбиениями конечного пространства Q существует взаим-
но однозначное соответствие. Это обстоятельство следует иметь в виду
в связи с вводимым в дальнейшем понятием условного математического
ожидания относительно специальных систел множеств, так называемых
<т-алгебр.
В случае конечных пространств понятия алгебр и а-алгебр совпадают.
При этом оказывается, что если & — некоторая алгебра, то вводимое
в дальнейшем (§ 7 гл. II) условное математическое ожидание Е(£|<^)
случайной величины £ относительно алгебры SB просто совпадает с
Е(£ 10) — математическим ожиданием £ относительно разбиения & такого,
что <^=а(0). В этом смысле в случае конечных пространств в дальнейшем
мы не будем различать Е(£|^) и Е(£ | понимая всякий раз, что Е(£|^)
есть по определению просто Е(£|0).
4. Задачи.
1. Привести пример двух случайных величин £ и т/, которые не являются
независимыми, но для которых
Е(е|т7)=Ее
(Ср. с утверждением (22).)
2. Условной дисперсией £ относительно разбиения $} называется слу-
чайная величина
D(ci^=E[(e-E(ei0))2|0].
Показать, что дисперсия
D£ = ED(£|0) + DE(£|0).
3. Отправляясь от (17), доказать, что для всякой функции f = f(rf)
условное математическое ожидание Е(£|т?) обладает следующим свой-
ством:
ЕШЕШ] = ЕК/(70].
4. Пусть £ и ту —случайные величины. Показать, что inf Е(т?—/(£))2
достигается на функции /*(£) = Е(т/|£). (Таким образом, оптимальной в
среднеквадратическом смысле оценкой т? по £ является условное матема-
тическое ожидание Е(ту | £).)
5. Пусть 6, т — независимые случайные величины, причем
величины одинаково распределены, а т принимает значения
1,2, Показать, что если ST=£i + ... + £т — сумма случайного
числа случайных величин, то
E(ST |t) = tE£i, D(Sr|r) = -rD£1
и
ESr = Ет • Е£,, DST = Er D£i + Dr • (E£i )2.
6. Доказать равенство (24).
§ 9. Случайное блуждание. 1. Вероятности разорения
и средняя продолжительность при игре
с бросанием монеты
1. Значение установленных в § 6 предельных теорем для схемы Бер-
нулли далеко не исчерпывается тем, что они дают удобные формулы для
подсчета вероятностей P{Sn = k} и Р{Л <Sn В}. Роль этих теорем состоит
также и в том, что они носят универсальный характер, т. е. остаются
справедливыми не только для независимых бернуллиевских случайных ве-
личин • • •> принимающих всего лишь два значения, но и для величин
гораздо более общей природы. В этом смысле схема Бернулли явилась
той простейшей моделью, на примере которой были подмечены многие
вероятностные закономерности, присущие и гораздо более общим моделям.
В настоящем и следующем параграфах будет рассмотрен ряд новых
вероятностных закономерностей, подчас носящих крайне неожиданный ха-
рактер. Все рассмотрения будут вестись снова для блужданий, описывае-
мых схемой Бернулли, хотя многие выводы остаются справедливыми и для
блужданий более общего вида.
2. Рассмотрим схему Бернулли (П, л/, Р), где Q = {a>: cu = (xl, ..., xrt),
х/=±1}, si — система всех подмножеств Q и P({uj}) = pt'^qn~l'^\
р(^)—Пусть i = l, ..., п. Тогда, как уже известно,
последовательность ...» является последовательностью независимых
бернуллиевских случайных величин,
р{^=i}=р, p{e=-i}=^ p+?=i.
Положим So=0, Sk=£i +...+&, 1 k п. Последовательность (Sk)k^n
можно рассматривать как траекторию случайного блуждания некоторой
«частицы», выходящей из нуля. При этом S*+i = Sk + &+ь т. е. если в
момент k частица находится в точке Sk то в момент k +1 она сдвига-
ется либо на единицу вверх (с вероятностью р), либо на единицу вниз
(с вероятностью q).
Пусть А и В — два целых числа, А 0 < В. Одна из интересных задач,
связанных с рассматриваемым случайным блужданием, состоит в иссле-
довании вопроса о том, с какой вероятностью блуждающая частица
выйдет за п шагов из интервала (Л, В). Интересен также вопрос о том,
с какой вероятностью выход из интервала (Л, В) произойдет в точке Л или
в точке В.
Естественность этих вопросов становится особенно понятной, если
воспользоваться следующей игровой интерпретацией. Пусть имеются
Два игрока (первый и второй), у которых начальные капиталы равны
соответственно (-Л) и В. Если £ = + 1, то будем считать, что второй игрок
платит единицу капитала первому; если же & = — 1, то, наоборот, первый
платит второму. Таким образом, =6 +•••+& можно интерпретировать
как величину выигрыша первого игрока у второго (если Sk < 0, то этот
выигрыш есть на самом деле величина проигрыша первого игрока второму)
за k «ходов».
В тот момент времени k^n, когда впервые Sk = B капитал
второго (первого) игрока становится равным нулю, иначе говоря, происхо-
дит его разорение. (Если k <п, то следует считать, что игра прекращается
в момент времени &, хотя само блуждание остается определенным до мо-
мента п включительно.)
Прежде чем переходить к точным постановкам, введем ряд обозначе-
ний.
Пусть х — целое число из интервала [Л, В], и для 0 k п пусть Sxk =
= * + S*,
т£ = min{0^/ k: S* = Л или В}, (1)
где условимся считать = &, если Л < S* < В для всех 0^/0-
Для каждого и х с [Л, В] момент т£, называемый момен-
том остановки (см. §11), является целочисленной случайной величиной,
определенной на пространстве элементарных событий П (зависимость т£
от ы явно не указывается).
Ясно, что для всех / < k множество {о>: т£ = /} есть событие, состоящее
в том, что случайное блуждание {Sf, O^z О}, начинающееся в нулевой
момент в точке х, выйдет из интервала (Л, В) в момент /. Понятно также,
что для / множества {ш: т£=1, S* =А}п{ш:т£ = 1, S* = B} имеют смысл
событий, состоящих в том, что блуждающая частица выйдет из интервала
(Л, В) в момент / в точках Л и В соответственно.
Обозначим для всех 0 k п
^{^.-^ = 1,5^ 4},
2)
£{0,:^ = /,$/' = /?},
0^6
и пусть
а.(х) = Р«), /?Их) = Р(^)
— вероятности выхода частицы за время [0, k] из интервала (Л, В) соответ-
ственно в точках Л и В. Для этих вероятностей можно получить рекуррент-
ные соотношения, из которых последовательно находятся ai(x), ..., art(x)
и Z?i(x), ..., &(х).
Итак, пусть А <х<В. Ясно, что а0(х) = /Зо(х) = О. Пусть теперь 1
k п. Тогда по формуле (3) § 3
&(х) = Р«) =
= P(^|S[=x+l)P{e1 = l} + P(^|5f=x-l)P{6 = -l} =
= pP(^|Sf=x + l)+<7P(^|Sf = x-l). (3)
Покажем, что
P(^|Sf =х+1) = Р(^+'), P(^|S[=X-1) = P(^Z11).
С этой целью заметим, что множество
можно представить в виде
= : (*> * + •••»*+ & +•••+&)€ ££}»
где Bxk — множество траекторий вида
(х, х + хь ..., x + xi + ... + xfe)
с Xi =±1, которые за время [0, k] впервые вы-
ходят из интервала (Л, В) в точке В (рис. 15).
Представим множество В£ в виде В£л+1 +
+ В£’Х“1, где В£л+1 и В^”1 — те траектории
из BJ, для которых Х\ = + 1 и Xi = — 1 соответ-
Рис. 15. Пример траекто-
рии из множества Bxk
ственно.
Заметим, что каждая траектория (х, х + 1, х + 1 + Х2, ..., х+ 1 +Х2 +
+ ...-hXfc) из Sx’x+1 находится во взаимно однозначном соответствии с
траекторией (х +1, х +1 +хг,..., х +1 +Х2 + ... +х*) из В^,1. То же спра-
ведливо и для траекторий из Bxk'x~[. Учитывая эти обстоятельства, а также
независимость, одинаковую распределенность величин £1, ..., & и форму-
лу (6) § 8, находим, что
Р(^|5[=х+1) = Р(^|е1 = 1) =
= Р((х, х + £i, х + fi 4-... +£*) €В*|£i = 1) =
= Р{(х + 1, х + 1 + £г. • , х + 1 + & + • • + &) € В*+*} =
= Р{(х+1,х+1+£1...x+l+el+...+^-i)6B^11} = P(^t11).
Точно так же
P(^|Sf=x-l) = ₽№').
Таким образом, в силу (3) для х € (Л, В) и k п
/3*(x) = P/Vi(x+ 1) + <?&_i(x- 1),
(4)
где
А(В) = 1, Х?/(Л)==О, 0^/^п. (5)
Аналогично
ak(*) = P&k-\(x+ \) + qak-\(x- 1) (6)
с
а/(А) = 1, az(B) = 0,
Поскольку ao(x) = /?oW = O, хе (А, В), то полученные рекуррентные
соотношения можно (по крайней мере в принципе) использовать для отыс-
кания вероятностей ai(x),.... ап(х) и (3\(х),...,/?л(х). Оставляя в стороне
конкретное вычисление этих вероятностей, зададимся вопросом об их зна-
чениях при больших п.
С этой целью заметим, что поскольку SSxk_x C.SSxk, k^n, то &_1(х)^
^Pk(x) 1. Естественно поэтому рассчитывать (а так оно и есть, см. далее
п. 3), что при достаточно больших п вероятность /Зп(х) близка к решению
/3(х) уравнения
/3(х) = р/3(х+1) + ^(х-1) (7)
с граничными условиями
Х?(В) = 1, /?(А) = 0, (8)
получаемыми формальным предельным переходом из (4) и (5).
Для решения задачи (7), (8) предположим сначала, что p^q. Нетрудно
заметить, что рассматриваемое уравнение имеет два частных решения а
и b(q/p)x, где а и b — константы. Будем поэтому искать общее решение
/?(х) в виде
0(x) = a + b(q/p)x. (9)
С учетом (8) находим, что для всех А х В
в(х}= (q/p)x-(q/p)A (10)
Р(х) (я/р)в-Ша- ( }
Покажем, что это есть единственное решение рассматриваемой за-
дачи. С этой целью достаточно показать, что все решения задачи (7), (8)
могут быть представлены в виде (9).
Пусть 0(х) — некоторое решение с /3(А) = 0, 0(B) =1. Всегда можно
найти такие константы а и 5, что
а + b(q/p)A = 0(A), a + b(q/p)A+l = 0(А + 1).
Тогда из (7) следует, что
0(А + 2) = а + b (q/ р)А+2
и вообще
@(x) = a + b(q/p)x.
Тем самым найденное решение (10) есть единственное решение рассмат-
риваемой задачи.
Аналогичные рассуждения показывают, что единственное решение
уравнения
а(х)== pa(x + l) + qa(x- 1), хе (А, В), (11)
с граничными условиями
а(А)=1, а(В) = 0 (12)
задается формулой
(13)
(q/p)B-(q/pr
Если же р = <7 = 1/2, то единственными решениями /3(х) и а(х) задач
(7), (8) и (11), (12) являются соответственно
\ *~А
т=в=л
/ \ В-Х
и
Заметим, что при любых 0 р 1
(14)
(15)
Рис. 16. График /3(х) —
вероятности достижения
точки В раньше точки 0,
когда частица выходит
из точки х
а(х)+ /3(х) = 1. (16)
Величины а(х) и /3(х) хотелось бы назвать
вероятностями разорения первого и вто-
рого игрока соответственно (когда начальный
капитал первого есть х - А, а второго В-х) при
неограниченном числе ходов, что, конечно, предполагает существование
бесконечной последовательности независимых бернуллиевских случай-
ных величин £1, &» ..., где & = +1 трактуется как выигрыш первого игрока,
а 6= -1 — как его проигрыш. Рассмотренное в начале этого параграфа ве-
роятностное пространство (Q, л/, Р) оказывается слишком «бедным» для
того, чтобы на нем существовала такая бесконечная последовательность
независимых случайных величин. В дальнейшем мы увидим (§ 9 гл. II),
что такую последовательность действительно можно построить и что
величины /3(х) и а(х) в самом деле являются вероятностями разорения
при неограниченном числе шагов.
Обратимся к ряду следствий, вытекающих из полученных формул.
Если положить Л = 0, О^х^В, то по своему смыслу функция /3(х)
будет вероятностью того, что частица, вышедшая из состояния х, достигнет
точки В раньше, чем точки 0. Из формул (10) и (14) следует (рис. 16), что
{х/В, р=<? = 1/2,
{д/р)х -1 п,п О7)
(р/р)в-1’ p^q-
Далее, пусть выполняется неравенство q> р, означающее, что для пер-
вого игрока игра является неблагоприятной. Его предельная вероятность
разорения а = а(0) задается формулой
(<7/p)g -1
(д/р)в - (ч/р)А'
Предположим сейчас, что условия игры изменены: капиталы игроков
по-прежнему равны (-Л) и В, но плата каждого игрока теперь равна 1/2,
а не 1, как раньше. Иначе говоря, пусть теперь Р{$ = 1/2} = р, Р{£/ =
= -1/2} = <у. Обозначим в этом случае предельную вероятность разорения
первого игрока через а 1/2. Тогда
_ (q/p)2B -1
011/2
и, значит,
(q/p)B +1
а,/2=а'(7/р)В+(^>а’
если q> р.
Отсюда вытекает такой вывод: если для первого игрока игра небла-
гоприятна (т. е. q > р), то увеличение ставки в два раза уменьшает
вероятность его разорения.
3. Обратимся теперь к вопросу о том, как быстро ап(х) и /Зл(х)
сходятся к предельным значениям а(х) и /3(х).
Будем считать для простоты х = 0 и обозначим
&п == ^л(О), /?л = (0), 7л == 1 ~ (Oin + рп).
Ясно, что
7Л = Р{Л < Sk < В, 0 k п},
где {Л < Sk < В, 0 k п} обозначает событие
П {A<Sk<B}.
Q^k^n
Пусть п = rm, где г и т — целые числа, и
С1 = £i + •••
& — 6и+1 + • • • +
Сг = 6п(г-1)+1 +*-- + 6тп-
Тогда, если С = |Д| + В, то нетрудно убедиться в том, что
{A<Sk<B, \^k^rrn}C{\&\<C,..., |Cr| <С},
и, значит, в силу независимости величин ..., Qr и их одинаковой рас-
пределенности
7» < Р{|01 < С...IGI < С}=П Р{|С.1 < С}=(Р{|С11 < С}/. (18)
1=1
Заметим, что D<j = т[ 1 — (р — р)2]. Поэтому при 0 < р < 1 для достаточно
больших т
Р{|О|<С}^£1, (19)
где £i < 1, поскольку если P{|Ci| С}= 1, то D<j С2.
Если же р = 0 или р = 1, то для достаточно больших т вероятность
Р{|С1|<С} = 0, и, следовательно, (19) выполнено при всех 0^ р=< 1.
Из (18) и (19) следует, что для достаточно больших п
7п^еп, (20)
где е = е\/т < 1.
Согласно (16), а + /3= 1. Поэтому
(а - ап) + (/? - fin) = 'in,
и так как а ап, 0 (Зп, то
0 а - ап < 7„ < еп,
О^0-0п^'Гп^£п
с е< 1. Аналогичные оценки справедливы и для разностей а(х) — ап(х) и
0(х)-0п(х).
4. Обратимся теперь к вопросу о средней длительности случайного
блуждания.
Пусть mk(x) = Erf — математическое ожидание момента остановки г£,
feCn. Поступая, как и при выводе рекуррентных соотношений для /3*(х),
получаем, что для х е (Л, В)
mk(x) = Erxk= £ /PW = 0 =
= £ /[PP(^ = /|6 = D + ?P(^ = /|6 =-!)] =
= L 4pPW=/-i}+?PKZIl =/-!}] =
l^l<k
= £ (/+1)[рР{^1'=/} + ^Р{^,1=/}] =
Os^*-1
= pmk_i(x + l)+qmit_i(x- 1) +
+ £ [рР{т^11=/} + ?Р{т^11=/}] =
0^/^fe-1
= pmk_ i (х + 1) + qmk_1 (х - 1) + 1.
Итак, для х е (Л, В) и 0 k п функции т^(х) удовлетворяют рекур-
рентным уравнениям
mk(x) = 1 + pmk_\(x + \) + qtnk-i(x- 1), (21)
где mo(x) = O. Из этих уравнений вместе с граничными условиями
rnk(A) = mk(B) = 0 (22)
можно последовательно найти т\(х), ..., тп(х).
Поскольку rrik(x) mjfe+i(x), то существует предел
m(x) = lim тл(х),
л—юо
который в силу (21) удовлетворяет уравнению
m(x) = 1 + рт(х + 1) + qtn(x - 1) (23)
с граничными условиями
т(Л) = т(В) = 0. (24)
Чтобы найти решение этого уравнения, предположим сначала, что
т(х) < оо, х е (Л, В). (25)
Тогда, если p^q.io частное решение имеет вид и общее решение
(см. (9)) записывается в виде
Отсюда с учетом граничных условий т(А) = т(В) = 0 находим, что
т(х) = [В/3(х) + Ла(х) - х], (26)
где /3(х) и а(х) определяются из формул (10) и (13). Если же р — q = 1/2,
то общее решение уравнения (23) имеет вид
т(х) = а + Ьх -х2,
и поскольку т(А) = т(В) = 0, то
т(х) = (В-х)(х-Д). (27)
Отсюда, в частности, вытекает, что если начальные капиталы игроков
равны (В = — Л), то
т(0) = В2.
Возьмем В= 10, и пусть каждый ход в игре осуществляется через 1 се-
кунду, тогда (предельное) среднее время до разорения одного из игроков
довольно велико —оно равно 100 с.
Формулы (26) и (27) были получены в предположении, что т(х) < оо,
хб(Л, В). Покажем теперь, что и на самом деле т(х) конечны при всех
хе (Л, В). Ограничимся рассмотрением случая х = 0. Общий случай раз-
бирается аналогичным образом.
Пусть p = q = 1/2. С последовательностью So, Sr, ..., Sn и моментом
остановки тп=Тп свяжем случайную величину STn = STn(^), определенную
следующим равенством:
п
5r„M = ^SftM/{Tn=A>M. (28)
fc=0
Наглядный смысл величины STn ясен — это есть значение случайного
блуждания в момент остановки тп. При этом, если тп <и, то STn =А или В;
если же тп = п, то А < STn В.
Докажем, что при р = q = 1/2
EST„=0, (29)
ES^ = Et„. (30)
Для доказательства первого равенства заметим, что
п п
EST„ = £ E[S*/<T,=WM] = £ E[Sn/{r„=ft)MJ +
*=0 fc=0
п п
+ 52 E[(Sa-S„)/{Tb=j4(w)J = ES„+52 E[(Sft-Sn)/{T„=ftj(w)], (31)
/г=0 /г=0
где, очевидно, ESrt=0. Покажем, что
£ E[(Sft-Sn)/{ro=*)(W)]=0.
k=0
Для 0^k<n имеем {тп >k} = {A <S\ <В, ..., A <Sk <В}. Событие
{cu: А < S\ < В,..., А < Sk < В} может быть, очевидно, представлено в виде
(£ь...,&)еЛД (32)
где Ak — некоторое подмножество множества {— 1, +1 }*. Иначе говоря, это
множество определяется лишь значениями случайных величин £i, ..., & и
не зависит от значений величин &+ь ..., £л. Поскольку множество
{тл = й} = {тл > k- 1}\{тл >&},
то оно также является множеством вида (32). В силу независимости слу-
чайных величин ..., £л и в силу задачи 10 к § 4 отсюда вытекает, что
для любого O^kcn случайные величины Sn-Sk и I{Tn=k} независимы,
а значит,
E[(S, - Sk)l{Tn=k}] = Е[5Л - Sk] • Е/ь=,} = 0,
что и доказывает формулу (29).
Тем же методом доказывается и формула (30):
п п
ES?, = 52 Е$2/{Тл=*} = £ E([S„ + (S* - S„)]2/{Го=а)) =
6=0 л=о
= £ [ES2/{T„=fc) + 2ES„(S, - Sn)I{Ta=k} + E(S„ - S4)2/{r„=ft}] =
*=0
= ES2 - £ E(S„ - Sk)2l{Ta=k} = n-X(n-k) P{rn = k} =
= £*P{t„ = *} = Et„.
Итак, для p = q — 1/2 имеют место формулы (29), (30). В случае же
произвольных р и q (р + q = 1) аналогично устанавливается, что
Е5Гя = (р^^)Етл, (33)
E[Sr„-T„EeI]2 = De1ETn> (34)
где E£i = р - q, D£i = 1 - (р - q)2.
С помощью полученных соотношений покажем, что lim mrt(0) =
Л—+ОО
= m(0) < оо.
Если р = q = 1/2, то в силу (30)
Ет„ тах(Л2, В2). (35)
Если же p^q, то из (33)
Р тах(|Л|, В)
(36)
откуда ясно, что т(0) < оо.
Заметим также, что в случае р = q = 1/2
Ет„ = ES2, = А2ап + ВЧ + Е (S2/M <Sn <в>/{Тл=я} ]
и, значит,
А2ап + В2/?л < Етп А2ап + В2(Зп + тах(Л2, В2) • уп.
Отсюда и из неравенств (20) следует, что математические ожидания Етп
сходятся при п —> оо к предельному значению
/п(0) = Л2а + В2/3 = Л2 • _ в2 = Ив|
D — гл D гл
экспоненциально быстро.
Аналогичный результат справедлив и в случае p^q:
А Е /Л\ аА + РВ
экспоненциально быстро Етп —► /и(0) = ——.
5. Задачи.
1. Показать, что в обобщение (33) и (34) справедливы следующие фор-
мулы:
ES** = х + (р — q)Er%,
E[S^-<Eet]2 = D6-E< + x2.
2. Исследовать вопрос о том, к чему стремятся величины а(х), /3(х) и
/п(х), когда уровень А 1 —оо.
3. Пусть в схеме Бернулли р = q = 1/2. Каков порядок Е|Srt | при боль-
ших и?
4. Два игрока независимым образом подбрасывают (каждый свою) сим-
метричные монеты. Показать, что вероятность того, что у них после п ПОД-
fl
брасываний будет одно и то же число гербов, равна 2-2" ^2 (С*)2. Вывести
/г=0
Л
отсюда равенство 52 (Сл)2 = ^2л (см- также задачу 4 в § 2).
Пусть ап — тот первый момент, когда число гербов у одного игро-
ка совпадает с числом гербов у другого (совершается п подбрасываний,
ап = п +1, если указанного момента не существует). Найти математические
ожидания Е тт(ал, п).
§ 10. Случайное блуждание. II. Принцип отражения.
Закон арксинуса
1. Как и в предыдущем параграфе, будем предполагать, что ...
..., — последовательность независимых одинаково распределенных
бернуллиевских случайных величин с
Pte = l} = P, Pte = -1} = <7,
= £i + •••+ &» So = O.
Обозначим
a2n = min{l k 2n: S* = 0},
полагая а2Л = оо, если Sk / 0 при всех 1 k 2п.
Наглядный смысл &2п вполне понятен — это момент первого возвра-
щения в нуль. Свойства этого момента и будут изучаться в настоящем
параграфе, при этом будет предполагаться, что рассматриваемое случайное
блуждание симметрично, т. е. р = q = 1/2.
Обозначим для 0 k п
W2Jt = P{52jfe = 0}, f2k = P{^2n =2й}. (1)
Ясно, что ио = 1 и
f. ____________________________pk q—26
U2k — ^>2k ’ *
Наша ближайшая цель — показать, что для 1 k п вероятность /2л
определяется формулой
hk = ^U2(k-\)- (2)
Понятно, что для 1 k п
{<Т2л =2fe} = {Si /0, S2/O,Sik-1 /О, S2* = 0},
и в силу симметрии
Ь = Р{51 /0.....S2*-i /0, 52* = 0} =
= 2P{Si > 0...$2*-1 > 0, S2k = 0}. (3)
Назовем путем длины k последовательность чисел (So,..., S*) и обо-
значим через Lk(A) — число путей длины k, для которых выполнено свой-
ство А. Тогда
/2* = 2 £2л($1 >0, $2*-1 >0, $2* = 0, $2*+1 =О2*+Ь •••
(“2‘+.°2"’ • • •, s2n = а2к+1 +... + а2„).2-2я =
= 2L2*(Si > 0, ..., S2k_! > 0, S2k = 0) • 2~2*, (4)
где суммирование распространяется по всем наборам (а2*+1, •••» а2п) с
at = ± 1.
Следовательно, отыскание вероятности сводится к подсчету числа
путей L2k(Si > 0..S2ft_i > 0, S2k = 0).
Лемма 1. Пусть а, b — целые неотрицательные числа, а — Ь>0 и
k = a + b. Тогда
Lk(Si>0, ...,Sk-l>0,Sk = a-b) = ^-Cak. (5)
Доказательство. Действительно,
Lk(S{ >0, ..., Sfc-i >0, Sk = а — b) =
= Lk(S\ = 1, S2 > 0,..., Sk-i > 0, Sk = a - b) = Lk(S{ = \,Sk = a-b)-
- Lk(S\ = 1, Sk = a - b'. 3/, 2 < i k — 1, такое, что S, 0). (6)
Иначе говоря, число положительных путей (Si, S2,Sk), выходящих
из точки (1, 1) и заканчивающихся в точке (&, а — Ь). совпадает с числом
всех путей, идущих из точки (1, 1) в точку (ft, а — д), за вычетом тех путей,
которые касаются или пересекают временную ось. *)
Заметим теперь, что
Lk(Si = 1, Sk = а - b\ 3/, 2 С i k — 1, такое, что Si 0) =
= LH5i=-l,S, = a-ft), (7)
т.е. число путей, идущих из точки а = (1, 1) в точку (3 = (k, а-b) и
касающихся или пересекающих временную ось. совпадает с числом
всех путей, идущих из точки а* = (1, -1) в точку /3 = (k, a-b). Дока-
зательство этого утверждения, носящего название принципа отражения.
следует из легко устанавливаемого взаимно однозначного соответствия
между путями A = (Sj,.... Sa, Sa+\, ...» Sk), соединяющими точки а и /3.
*) Путь (Sj, ...» Sk) называется положительным (неотрицательным), если все Sz >0
(S, 0); путь называется касающимся временной оси, если Sj 0 или Sj 0 для всех
1^/ ^/г и найдется такое 1 i k, что S/=0, и называется пересекающим временную
ось, если найдутся такие два момента времени i и /, что S/ >0, a S/ <0.
и путями В = (—Si, ...» —Sa, Sa+i, ...» S*), соединяющими ТОЧКИ а* И (3
(рис. 17); а —первая точка, где пути А и В обращаются в нуль.
Из (6) и (7) находим
L*(Si >0, ..., S*_| >0, Sk = a-b) =
= L^(Si = 1, S^ = a — &)—
-Lk(Sk = -l, Sk = a-b) =
Ca— 1 b
k-\ ~^k-\ “
Рис. 17. К принципу отражения что и доказывает утверждение (5). □
Возвращаясь к подсчету вероятности
f2k. находим, что, согласно (4) и (5) (с a = &, b =k - 1),
f2k = 2L2*(Si > 0,..., S2*_, > 0, S2k = 0) • 2~ik =
= 2L2ft_1(S, >0,.... S2ft_, = l).2-2A = 2-2-2< = ^«2(й-0.
£K 1 &к
Итак, формула (2) доказана.
Приведем еще одно доказательство этой формулы, основанное на сле-
дующем замечании. Непосредственная проверка показывает, что
^W2(fe-J) = U2(k-1) “ U2k- (8)
В то же самое время ясно, что
{а2п = 2k} = {а2л > 2(k - 1)} \ {а2п > 2й},
{^>2/} = {S1/0, ...,S2//0}
и, значит,
{а2л = 2k) = {Si / 0, ..., S2{k-п / 0} \ {Si / 0, ..., S2k^ 0}.
Поэтому
f2k = Р {Si / 0, ..., S2(^d 0} - P{S! / 0, ..., S2* /0},
и, следовательно, в силу (8) для доказательства равенства f2k = ^и2(л-1)
достаточно показать, что
L2,(Si / 0, ..., S2k / 0) = L2k(S2k = 0). (9)
С этой целью заметим, что очевидным образом
^(51 / 0, ..., S2£ / 0) = 2L2k(S\ > 0, ..., S2£ > 0).
Поэтому для проверки (9) нужно лишь установить, что
2L2k(Si > 0, ..., S2k > 0) = L2k(Si > 0,..., S2jfe > 0) (10)
И
^2k(51 0, ..., S2k > 0) = L>2k($2k = 0).
(11)
Равенство (10) будет доказано, если показать, что между путями А =
= (Si,..., S2*), у которых по крайней мере одно 5/ =0, и положительными
путями В = (Sj,..., S2k) можно установить взаимно однозначное соответ-
ствие.
Пусть А = (Si,..., S2k) — неотрицательный путь, у которого первое об-
ращение в нуль происходит в точке а (т. е. Sa=0). Выпустим из точки
(а, 2) траекторию (на рис. 18 она обозначена штриховыми линиями) (Sa +
4-2, Sa+i +2,..., S2* + 2). Тогда путь B = (Si,..., Sa_b Sfl + 2,..., S2* + 2)
является положительным. Обратно, пусть B = (Si, ..., S2*) — некоторый
положительный путь и b — тот последний момент времени, для которого
Sb = 1 (рис. 19). Тогда путь A = (Si, ..., Sb, Sb+\ -2,..., S*-2) является
Рис. 19.
неотрицательным. Из приведенных конструкций следует, что между поло-
жительными путями и неотрицательными путями, у которых по крайней
мере одно S, = 0, существует взаимно однозначное соответствие. Тем са-
мым формула (10) доказана.
Установим теперь справедливость равенства (11). В силу симметрии
и (10) достаточно показать, что
^(51 > 0, ..., S2k > 0) + L2k(S\ >0, ..., S2k 0
и BZ, 1 i 2&, такое, что S, = 0) = £2*(52* = 0).
Множество путей (S2* = 0) можно представить в виде суммы двух мно-
жеств и #2, где — те пути (So, ...» 52Д У которых только один
минимум, а #2 — пути, у которых минимум достигается по меньшей мере в
двух точках.
Пусть CiE^i (рис. 20) и 7 —точка минимума. Поставим пути Ci =
s(5o, Si, ...,S2*) в соответствие положительный путь С*, полученный
следующим образом (рис. 21). Отразим траекторию (So, Si,..., S/) около
вертикальной линии, проходящей через точку /, и полученную траекторию
сместим вправо и вверх, выпустив ее из точки (26, 0). Затем сместим
начало координат в точку (/, —т). Полученная траектория С* будет по-
ложительным путем.
Точно так же, если путь С2 € ^2, то тем же приемом ему можно поста-
вить в соответствие некоторый неотрицательный путь
Обратно, пусть С* = (Si > 0, ..., 82k > 0) — некоторый положительный
путь с 526 = 2/п (см. рис. 21). Поставим ему в соответствие путь Cj, по-
лученный следующим образом. Пусть р — та последняя точка, где Sp=^m,
Отразим (Sp, ..., 82т) около вертикальной прямой х = р и сместим от-
раженную траекторию вниз и влево так, чтобы ее правый конец совпал
с точкой (0, 0). Поместим затем начало координат в левый конец полу-
ченной траектории (это будет в точности траектория, изображенная на
рис. 20). Полученный путь Cj = (So, ..., 82k) имеет единственный мини-
мум, и 52^ = 0. Аналогичная конструкция, примененная к пути (Si ^0, ...
..., 82k 0 и 3i, 1 i 26, с Si = 0), приводит к пути, у которого по меньшей
мере два минимума и 82k = 0. Тем самым установлено взаимно однозначное
соответствие, которое и доказывает требуемый результат (11).
Итак, равенство (9), а следовательно, и формула f2k = U2(k-\) — U2k =
1
= 2^м2(л-1) установлены.
Из формулы Стирлинга
«2* = С^-2 2k~-±=, Л-»оо.
утгй
Поэтому
2^3/2’ й^°°-
Отсюда следует, что математическое ожидание времени первого воз-
вращения в нуль
п п
Е min(or2rt, 2n) = ^2k Р{ст2я = 2k} + 2пи2я = «2(*-1> + 2пи2п
k=i k=i
является довольно-таки большим.
оо
Более того, £2 u2(k-\) = оо. Следовательно, предельное значение сред-
k=\
него времени возвращения блуждания в нуль (при неограниченном числе
шагов) равно оо.
Это обстоятельство поясняет многие неожиданные свойства рассмат-
риваемого симметричного случайного блуждания. Например, естественно
было бы ожидать, что за время 2п среднее число ничьих при игре двух
равносильных противников (р = 1/2), т. е. число тех моментов време-
ни г, для которых Sx =0, должно быть пропорционально 2и. Однако на
самом деле среднее число ничьих имеет порядок \/2п (см. (17) в § 9 гл. VII).
Отсюда вытекает, в частности, что, вопреки ожидаемому, «типичные» ре-
ализации блуждания (So, Si, ..., Srt) должны иметь не синусоидальный
характер (примерно половину времени частица проводит на положительной
стороне и другую половину — на отрицательной), а характер длинных за-
тяжных волн. Точная формулировка утверждения дается так называемым
законом арксинуса, к изложению которого мы сейчас и приступим.
2. Обозначим Pzk,2n вероятность того, что на отрезке [0, 2п] частица
проводит 2k единиц времени на положительной стороне *).
Лемма 2. Пусть uq = 1 и 0 k п. Тогда
P2k,2n = U2k U2n-2k • (12)
Доказательство. Выше было установлено, что /^ = U2(k-\)
Покажем, что
k
^2^ = 57 hru2(k-r). (13)
r=I
Поскольку {S2* = 0} С {<т2п < 2k}, то
{S2fc = 0} = {S2k = 0} П {<72 sj 2k} = Y, <s2* = 0} H {<r2n = 2/}.
l^fc
Следовательно,
W2fe = P{S2fe = 0}= P{S2fc =0, O2n = 2/} =
i^/^й
= 52 P(52i=0|<72ft=2/)P{<72n=2/}.
*) Мы говорим, что в интервале [т — 1, т] частица находится на положительной стороне,
если по крайней мере одно из значений Sm__j или Sm положительно.
Но
P(S2k = ОIа2п = 2/) = P(S2k = 01 Sj / 0, ..., S2/_ 1 /О, S2/ = 0) =
= Р($2/ + (€2/4-1 +--- + €2fe) = 0|Si /0, .... S2/_i /0, S2l =0) =
= Р (S2/ + (€2/4-1 + • • • + €2*) = 01 S2l = 0) =
= Р{€2/4-1 +---+€2Л = 0} = Р{52(^-1) =0}.
Поэтому
= ^2 P{S2(k-l) = 0} Р{^2л = 2/},
i^/^fe
что и доказывает формулу (13).
Перейдем к доказательству формулы (12). При й = 0 и k = n ее спра-
ведливость очевидна. Пусть теперь 1 k п - 1. Если частица проводит
2k моментов времени на положительной стороне, то она проходит через
нуль. Пусть 2г — момент первого возвращения в нуль. Возможны два
случая: когда S/ 0, / 2г и S/ 0, / 2г.
Число путей, относящихся к первому случаю, равно, как нетрудно ви-
деть,
(1 • 21 272г)22<я-г»Р2(Л-г),2(л_г) = | • 22я/2гР2(й_г),2(л_г).
Во втором случае соответствующее число путей равно
•22л/г2гР2^2(Л-Г).
Следовательно, для 1 k п — 1
1 > 1 х^ А
P2kt2n = 2 52 hrP2(k-r),2(n-r) + 2 52 f^P2k.2{n-r)^ (14)
r= 1 r= 1
Предположим, что формула P2k,2m = u2m^2m-2k верна для m = 1,..., п — 1.
Тогда из (13) и (14) находим, что
1 Х^ А 1 хА
P2k,2n = 2U2n~2k 52 f2r^2k-2r + 2U2k 52 f2rU2n-2r-2k =
r=i r=i
1.1 r-1
= 2 u2n-2kU2k + 2 U^U2n-2k = U2kU2n-2k- Ы
Пусть теперь 7(2и) — число единиц времени в интервале [0, 2и], кото-
рое частица проводит на положительной стороне. Тогда для х < 1
Поскольку при k —> оо
то
P2kt2n = ^2k^2(n-k) ~
1
7Ty/k(n - k) ’
если k —> оо, п — k —> оо.
Поэтому
52 Ра*-2п - 52
Я—>00,
откуда
Е р^-\ S rt-^°°-
h-ШЛ w v ( °
Но из соображений симметрии
5? P2k,2n “+ £
{44}
и
1 r dt о —! . г 1
- \ .... = Z7T arcsin y/X -
” 1/2 a/^O 2
Тем самым доказана следующая
Теорема (закон арксинуса). Вероятность того, что доля време-
ни, проводимого частицей на положительной стороне, меньше или
равна х, стремится к 2тг“1 arcsin у/х:
P2k,2n—>27г“! arcsin \fx. (15)
Заметим, что подынтегральная функция «(/) = (/(! — Z))-1/2 в интеграле
1 ( dt
представляет U-образную кривую, уходящую в бесконечность в точках
/=0и/ = 1.
Отсюда следует, что при больших п
т. е., образно говоря, более вероятно, что доля времени, проводимого ча-
стицей на положительной стороне, будет близка к нулю (или единице),
нежели к естественно ожидаемому значению 1 /2.
Пользуясь таблицами арксинуса и тем обстоятельством, что на самом
деле скорость сходимости в (15) очень быстрая, находим, что
pf2^?^0,024}^0’1’
pt2^^0,65}”0,6-
Таким образом, если рассматривается временной интервал [0, 1000], то
вполне может случиться, что примерно в одном случае из десяти частица
будет проводить всего 24 единицы времени на положительной стороне, но
большую часть времени —976 единиц—на отрицательной стороне.
3. Задачи.
1. С какой скоростью Е min(u2n, 2я) —>оо при п —>оо?
2. Пусть тп = min{l ^k^n: Sk= 1} и тл=оо, если S*<1 при всех
К чему стремится Е тт(тл, п) при п—юо для симметричного
(р = q = 1/2) и несимметричного (р /р) блужданий?
3. Основываясь на идеях и методах § 10, показать, что для симмет-
ричного (р = р = 1/2) случайного блуждания Бернулли {S*, k п} с So = O,
= + ... + & имеют место следующие формулы (N — положительное
целое число):
Р{ max Sk>N, Sn<N\ = P{Sn>N},
J
Р( max S^N) = 2P{Srt^M-P{Sn = ^,
J
p( max SA = tf) = P{S„ = W} + P{Sn = tf + i}.
ll^/г^л J
§ 11. Мартингалы. Некоторые применения
к случайному блужданию
1. Рассмотренные выше бернуллиевские величины £|,...,£л обра-
зовывали последовательность независимых случайных величин. В этом
и следующем параграфах будут введены два важных класса зависимых
случайных величин, образующих мартингал и марковскую цепь.
Теория мартингалов будет детально излагаться в гл. VII. Сейчас же бу-
дут даны лишь некоторые определения, доказана одна теорема о сохране-
нии мартингального свойства для моментов остановки и дано ее примене-
ние к выводу так называемой теоремы о баллотировке. В свою очередь эта
последняя теорема будет использована для иного доказательства утвер-
ждения (5) § 10, полученного выше с применением принципа отражения.
2. Пусть (Q, л/, Р) — конечное вероятностное пространство, @\
— некоторая последовательность разбиений.
Определение 1. Последовательность случайных величин £ = (&)1<л<л
называется мартингалом (относительно разбиений =$ ^2 •••
если:
1) & являются ^-измеримыми,
2) E(&+i|5M = &, Ю^г-1.
Чтобы подчеркнуть, относительно какой системы разбиений случай-
ные величины £ = (£ь ..., £л) образуют мартингал, будем использовать так-
же запись
€ = (1)
часто опуская для простоты обозначений указание на то, что 1 k п.
В том случае, когда разбиения порождаются случайными величи-
нами т.е.
..
вместо того, чтобы говорить, что £ = (&, — мартингал, будем просто
говорить, что сама последовательность £ = (&) образует мартингал.
Остановимся на некоторых примерах мартингалов.
Пример 1. Пусть т/i,...» г]п — независимые бернуллиевские случайные
величины с
Р{т/, = 1} = Р{7/. = -1}=1/2,
5^=7/! +...+Т/Л И 0* = ^,....
Заметим, что структура разбиений проста:
^={0+ £Г},
где D+ = {ш: т/i = + !}, = {cj: t/i = — 1};
02 = {D++, D+", £Г+, D“},
где D++ = {uj: t/i = + 1,772 = + 1}, ..., D ={cu: 7/1 = -1, 772 = — 1}; и т. д.
Нетрудно понять также, что ....rjk = ..sk-
Покажем, что последовательность (S*, Sk)\^k^n образует мартингал.
Величины Sk являются ^-измеримыми и в силу (12), (18) и (24) § 8
E(S*+i |^) = Е($* + т/*+1 |^) = E(Sfe|^) + E(T/fe+i |^) = Sfe + E^+l = Sk,
что и есть требуемое мартингальное свойство.
Если положить So = 0 и взять = {ЭД — тривиальное разбиение, то
последовательность (S*, &k)o^k<zn также будет мартингалом.
Пример 2. Пусть t/j, ..., т)п — независимые бернуллиевские случай-
ные величины с P{ty = l} = р, Р{тц = -1} = д. Если p^q, то каждая из
последовательностей £ = (&) с
&=(р) *> ik = Sk-k(p-q), где Sk = rn +
образует мартингал.
Пример 3. Пусть ту —некоторая случайная величина, ... Qfn и
б^Е^ЭД. (2)
Тогда последовательность £ = (&, образует мартингал. В самом
деле, ^-измеримость Е(т,|ЭД очевидна и, согласно (20) § 8,
Е(&+11 ®к) = E[Efo| ЭДО | Я] = Е(п\9к)=&.
В связи с этим заметим, что если £ = (&, — произвольный
мартингал, то в силу формулы (20) § 8
& = Е(&+11 <%) = Е[Е(&+21 ^+1) | <%] = Е(&+21^) =... = Е(СЯ | 0Д (3)
Таким образом, множество всех мартингалов £ = (&, f&kh^k^n исчер-
пывается мартингалами вида (2). (Заметим, что в случае бесконечных
последовательностей £ = (&, это, вообще говоря, уже не так; см. за-
дачу 6 в § 1 гл. VII.)
Пример 4. Пусть т/i, ..., т/л — последовательность независимых оди-
наково распределенных случайных величин, S^ = t/i + ... + т^ и =
^2 = •••» ^n = ^sn.sr Покажем, что последовательность £ =
= «*. с <2 = 6 =51 образует
мартингал. Во-первых, ясно, что ^ЭДы и & —^-измеримы. Далее, в
силу симметрии для j С п - k + 1
Е(7)/|ЭД = Е(т)1|ЭД (4)
(ср. с (26) § 8). Поэтому
п—64-1
(л-Л + 1)Е(т?1|ЭД = £ Е(щ|ЭД = Е($„_л+1|ЭД = S„_*+I.
/=|
Значит,
и мартингальность последовательности £ = (&, &k) следует из примера 3.
Замечание. Из установленного результата о мартингальном свойстве
последовательности £ = (&, понятно, почему иногда говорят,
что последовательность образует обращенный мартингал.
(Ср. с задачей 5 в § 1 гл. VII.)
Пример 5. Пусть щ,..., щ — независимые бернуллиевские случайные
величины с
Ph =+i}=Pto = -i}=i/2,
Sk = rji + ... + r)k- Пусть А и В —два целых числа, Л<0<В. Тогда для
всякого 0 < А < тг/2 последовательность £ = (£*, с = 3>s... и
€* = (cos A)-* exp{t'A(s* - } (5)
образует комплексный мартингал (т. е. действительная и комплексная ча-
сти & — мартингалы).
3. Из определения мартингала следует, что математическое ожидание
Е& одно и то же для всех k:
Е& = Е£ь
Оказывается, что это свойство остается для мартингалов справедли-
вым, если вместо (детерминированного) момента k брать так называемые
моменты остановки.
Для соответствующей формулировки введем такое
Определение 2. Случайная величина т=т(о>), принимающая значения
1,2,..., и, будет называться моментом остановки (относительно разби-
ений (ЭД1^Л, =^^2=^---=^^л), если для любого k = 1,..., п случайные
величины /{r=fe}(cu) являются ^-измеримыми.
Если трактовать разбиение @k как разбиение, порожденное наблю-
дениями за k шагов (например, = .^ — разбиение, порожденное
величинами r/i, ..., т/Д то ^-измеримость величины /(T=fej(a;) означает,
что осуществление или неосуществление события {т = k} определяется
лишь наблюдениями за k шагов (и не зависит от «будущего»).
Если ^ = а(^), то ^-измеримость величин /{г=^(а?) эквивалентна
предположению, что
{т = *}€<%. (6)
С конкретными примерами моментов остановки мы уже встречались:
таковыми являются моменты т£, а2Л, введенные в §§ 9 и 10. Эти моменты
являются частным случаем моментов остановки вида
r4 = min{0<^C«:
= min{0 < k п: £* G Л},
являющихся моментами (соответственно первого после нудя и первого)
достижения множества А некоторой последовательностью •••»
4. Теорема 1. Пусть £ = (&, —мартингал и т —некото-
рый момент остановки относительно разбиений (f&k)\^k^n-
Тогда
Е(М) = ^, (8)
где
= (9)
и
Е^ = Е6. (10)
Доказательство (ср. с доказательством формулы (29) § 9). Пусть
De^i. Тогда, пользуясь свойствами условных математических ожиданий
и принимая во внимание мартингальное свойство (3), находим, что
е«’|°)-5Жг=рТ5)Ё Е(й'^.ад=
= рЬу S EiE(€n|^)/{r=/}/D]=Е E[E(e„/(r=z>/0|^)]=
1 п 1
= рЙ Е EK«/{r=/)/0] = Е(М = E&\D),
а следовательно,
Е(М) = Е((М) = Ь-
Равенство E£T = E£i следует отсюда очевидным образом. □
Следствие. Для мартингала (Sk, ®k)\^k^n из примера 1 и любого
момента остановки т (относительно (^)) справедливы формулы
EST = 0, Е$2 = Ет, (11)
называемые тождествами Вальда (ср. с (29) и (30) § 9; см. также
задачу 1 и теорему 3 в §2 гл. VII).
Используем теорему 1 для доказательства следующего утверждения.
Теорема 2 (о баллотировке). Пусть ..., т]п — последователь-
ность независимых одинаково распределенных случайных величин,
принимающих конечное число значений из множества {0, 1,
Sk = т + • • • + Тогда
P(Sk<k для всех 1 ^k^n\Sn) = (1 - , (12)
где а+ = тах(а, 0).
Доказательство. На множестве {cu: Sn^n} формула очевидна. Бу-
дем поэтому доказывать (12) для тех элементарных исходов, для которых
Sn < Л.
Рассмотрим мартингал £ = (&, ^)i^^/n введенный в примере 4, с & =
"*-**•.-............
Определим
T = min{l 1},
полагая г = п на множестве
{Ek < 1 для всех 1 k п} = ( max ~ < 11.
ll^/^/i I J
Понятно, что на этом множестве =£л =Si =0 и, значит,
(max ~-<l| = (max ~ < 1, Sn <п\С {£г =0}. (13)
ll^/^rt I J ll^rt I J v /
Рассмотрим теперь те исходы, для которых одновременно Sn < п и
max ~ > 1. Обозначим а = п + 1 — т. Нетрудно видеть, что
1^/^л I г
<7 = тах{1 ^k^n: Sk^k}
и, значит (поскольку Sn < и), а < п, Sa а и Sa+i < а + 1. Следовательно,
^+1 =Sa+i -Sa <(<? + 1)-а = 1, т.е. =0. Поэтому а Sa = Sa+i <
< а + 1, а следовательно, Sa = а и
р 5л+1—т 5О 1
п + 1 — т ст
Тем самым
{ max ^>l,S„<«}c{£T=l}. (14)
ll^/^rt I J
Из (13) и (14) находим, что
{ max > 1, S„ <п\ = {£т = 1}П{5„ <п}.
Поэтому на множестве {Srt < п}
Р( max > 1 |S„) = Р£- = 1 |S„) = E(£r |S„),
где последнее равенство следует из того, что £т принимает лишь два зна-
чения: 0 или 1.
Заметим теперь, что E(£r|Srt) = Е(£т |^i) и в силу теоремы 1 E(^T^i) =
= 6 = 5л/и. Следовательно, на множестве {5Л <п}
P(Sk<k для всех 1 О^и|5л) = 1 — □
Применим эту теорему для получения другого доказательства леммы 1
из § 10 и объясним ее название как теоремы о баллотировке.
Пусть ..., £л — последовательность независимых бернуллиевских
случайных величин с
Р{6 = 1} = Р{$ = -1}== 1/2,
S* = £i + ...+& и а, b — целые неотрицательные числа такие, что а-Ь >0,
а + b = п. Покажем, что тогда
Р($!>0.....Sn>0\Sn = a-b) = ^. (15)
В самом деле, в силу симметрии
P(Si>0, ...,S„>0|S„=a-6) = P(Si<0,.... S„<0|S„ = -(a-d)) =
= P(Si + 1 < 1, Sn + п <n\Sn + п = п — (а — b))) =
= Р(т)1 < 1,.... j)i + ... + 77n<nhi+...4-7,„ = rt-(a-fe)) =
Г. n-(a-b)~\ + а-b а—Ь
= I | . I . 2= —.
L п J п а + Ь'
где мы положили = 1 и воспользовались равенством (12).
Из (15) очевидным образом выводится формула (5) § 10, установленная
в лемме 1 § 10 с применением принципа отражения.
Будем интерпретировать £• = + ! как голос, поданный на выборах за
кандидата Л, а ^ = — 1 — за кандидата В. Тогда Sk есть разность числа
голосов, поданных за кандидатов А и В, если в голосовании приняло
участие k избирателей, а Р (S i > 0,..., S л > 01 S л = а - b) есть вероятность
того, что кандидат А все время был впереди кандидата S, при условии,
что в общей сложности А собрал а голосов, В собрал Ь голосов и а - b > 0,
а + Ь = п. Согласно (15), эта вероятность равна (а — Ь)/п.
5. Задачи.
1. Пусть 0О — последовательность разбиений, = {ЭД;
r]k — ^-измеримая величина, 1 k п. Доказать, что последовательность
£ = (&> 0*)1^л с
k
/=1
является мартингалом.
2. Пусть величины tji, % таковы, что Е(т^|т)\, ..., ^_|) = 0. Дока-
зать, что последовательность £ = с £1 =*71 и
k
^+i=52^+|^(’’1.......
где ft — некоторые функции, образует мартингал.
3. Показать, что всякий мартингал £ = (&, &k)\^k^n имеет некоррели-
рованные приращения: если a<b <с <d, то
COV(&-&, &-&) = 0.
4. Пусть С = (€1, - • -, ) — некоторая случайная последовательность та-
кая, что & — ^-измеримы =$... =$ 0Л). Доказать, что для того,
чтобы эта последовательность была мартингалом (относительно системы
разбиений (#*)), необходимо и достаточно, чтобы для любого момента
остановки т (относительно (#*)) Е£т = E£i. (Выражение «для любого мо-
мента остановки» можно заменить на выражение «для любого момента
остановки, принимающего два значения».)
5. Показать, что если £ = (£ft, — мартингал иг - момент оста-
новки, то для любого k
Е[^<т=Л)] = Е[&/{г=А)].
6. Пусть £ = (£*, ЭД и ч = (%, &k) — два мартингала, £1=771= 0. До-
казать, что
п
Е£Л, = £2 Е(& -£*-1)(% -%-i)
*=2
и, в частности,
п
Е£2 = £Е(&-&_02.
6=2
7. Пусть т/i, ..., т)п — последовательность независимых одинаково рас-
пределенных случайных величин, Етуг =0. Показать, что последовательно-
СТИ £ = (&) С
/ k \2
<*=(52^1
\/=1 /
_ exp{Afa + ... + ?^)}
(Е exp{Xm})k
являются мартингалами.
8. Пусть т?1, т]п — последовательность независимых одинаково рас-
пределенных случайных величин, принимающих значения в конечном мно-
жестве Y. Пусть /0(#) = Р{7?| =1/}>0, yeY и f\(у) — неотрицательная
функция с /1 (У) = 1- Показать, что последовательность £ = (&, с
yeY
с, __ /1 (rik) фТ)__
образует мартингал. (Величины называемые отношениями правдопо-
добия, играют исключительно важную роль в математической статистике.)
§ 12. Марковские цепи. Эргодическая теорема.
Строго марковское свойство
1. В рассмотренной выше схеме Бернулли с П = {ш: cu = (xi, ..., хп),
Х/ = 0, 1} вероятность каждого исхода си задавалась формулой Р({си}) =
= p(cu), где
p(cu) = p(xi)...p(xrt) (1)
с р(х) = pxqx~x. При этом условии случайные величины fi,...,£rt с
^•(си) = хх- оказывались независимыми и одинаково распределенными с
Р{^=х} = ... = Р{е„ = х}=р(х), х = 0, 1.
Если вместо (1) положить
р(и) = р{(х{)...рп(хп),
где pf(x) = p* (1 — pi)x~x, 0^ pi 1, то тогда случайные величины ..., £л
также будут независимыми, но уже, вообще говоря, разнораспределен-
ными:
P{€i =x} = Pi(x), ...» Р{€л=х} = рл(х).
Рассмотрим одно обобщение этих схем, приводящее к зависимым слу-
чайным величинам, образующим так называемую цепь Маркова.
Будем предполагать, что
Q == {cu: cv = (x0, хь хл), х, еЛ},
где X — некоторое конечное множество. Пусть заданы также неотрица-
тельные функции ро(х). pi(x, у). .... рп(х. у) такие, что
22 Ро(х) = 1,
*** (2)
pk(x, у) = 1, А=1, хеХ.
уех
Для каждого исхода ш = (хо, Х\, хп) положим P({w}) = р(ш), где
р(ш) = po(xo)pi(xo, xi)...pn(xn_i, х„). (3)
Нетрудно проверить, что Р(ш) — 1 и> следовательно, набор этих чи-
cu GO
сел р(а>) вместе с пространством Q и системой всех его подмножеств
определяет некоторую вероятностную модель (Q, л/, Р), которую принято
называть моделью испытаний, связанных в цепь Маркова.
Введем в рассмотрение случайные величины £о, ...»с £(о>) = х/
для cu = (xi,..., хп). Простой подсчет показывает, что
Р{Со = а} = ро(а),
(4)
Р{Со = ао...& = a*} = Po(ao)Pi(ao, ai)... pk(ak_t, ak).
Установим теперь справедливость для рассматриваемой вероятностной
модели (Q, зУ, Р) следующего важного свойства условных вероятностей:
Р(&+1 |& = <2*. •••. Co = flo) = P(C*+i ~ak+i |Сл = а*) (5)
(в предположении Р{& = а*, ..., Со = ^о} > 0).
В силу (4) и определения условных вероятностей (§ 3)
р/л п |С £ „ х P{&+i=a*+i......Со = «о}
н (С*+1 = ац+1 С* = ak, ..., Со = ао) = —б?7—Z-с—— =
Рк* = «*. •••, Со = «о/
Po(ao)Pi(flo. в1)-„Рй+1(аЬ а*+1)
Ро(ао)-- Р*(а*-ь a.k)
= Р*+1(я*, а*+1).
Аналогичным образом проверяется равенство
Р(С*+1 =0*+! |C* = afc) = Pk+li^k, Ofc+l),
(6)
что и доказывает свойство (5).
Пусть .........— разбиение, порожденное величинами Со. • • • > С*. и
Тогда в соответствии с обозначениями, введенными в § 8, из (5) следует,
что
Р(&+1 = #64-1 |<^) = Р(&+1 =ak+\ |&)> (7)
или
Р(€л+1 = #64-1 |£о, •••, €б) = Р(€б4-1 = #64-1 1€б).
Замечание. Прервем наше изложение, чтобы сделать важное для все-
го дальнейшего замечание в связи с формулами (5) и (7) и событиями
нулевой вероятности.
При установлении формулы (5) предполагалось, что Р{& = аь ...
..., ^о = #о}>О (а значит, и Р{£б = #б}>0). Нужно это было, в сущности,
лишь потому, что (пока!) условные вероятности Р(Л|В) определялись
только в предположении Р(В) > 0.
Но заметим, что если В = = ..., £о = #о} и Р(В) = 0 (а, значит,
и Р(С) = 0 для С = {& е а*}), то «путь» {& = #о» • • •» €б = Qk} должен рас-
сматриваться как нереализуемый и тогда вопрос о том, что есть условная
вероятность события {£k+\ —dk} при условии этого нереализуемого «пу-
ти», с практической точки зрения не представляет интереса.
В этой связи и для определенности мы будем далее определять услов-
ную вероятность Р(Л|В) формулой
Р(Л|В) = <
Р(АВ)
Р(В) ’
0,
если Р(В)>0,
если Р(В) = 0.
При таком определении формулы (5) и (7) становятся справедливыми
и без всяких оговорок типа Р{£* = а*, ..., £о = #о} > 0.
Подчеркнем, что отмеченная трудность, связанная с событиями нулевой
вероятности, весьма типична для вероятностных рассмотрений. В § 7 гл. II
будет приведено общее определение условных вероятностей (относительно
произвольных разбиений, а-алгебр, ...), которое и весьма естественно, и
«работает» в ситуациях «нулевой вероятности».
Если воспользоваться очевидным равенством
Р(ЛВ|С) = Р(Л|ВС)Р(В|С),
то из (7) получаем, что
Р(€л = #л» • • • > Сб4-1 = #64-1 |&%) = Р(€л == #л, • • •, £б4-1 = #64-1 |€б)» (8)
ИЛИ
Р(€л = #л» •••> &4-1 = #64-1 |€о» •••» €б) = Р(€л =#л, •••» €б4-1 =#64-1 |€б)« (9)
Это равенство допускает следующую наглядную интерпретацию. Будем
трактовать & как положение «частицы» в «настоящем», (Со, .., С*-1)~ в
«прошлом» и (&+ь ...,Сл) — в «будущем». Тогда (9) означает, что при
фиксированных «прошлом» (Со» •••» &-1) и «настоящем» Сл «будущее»
(&+ь • •♦»€«) зависит лишь от «настоящего» & и не зависит от того, ка-
ким способом частица попала в точку т. е. не зависит от «прошлого»
(Со» - •» &-1)-
Пусть Б = {Сл = Ял» - &+i = я*+1}» Н = {& — с^}, П = {&-1 =а^\, ...
..., Со = яо}- Тогда из (9) следует, что
Р(Б|НП) = Р(Б|Н),
откуда легко находим, что
Р(БП | Н) = Р(Б | Н) Р(П | Н). (10)
Иначе говоря, из соотношения (7) следует, что при фиксированном
«настоящем» Н «будущее» Б и «прошлое» П оказываются независимы-
ми. Нетрудно показать, что справедливо и обратное: из выполнения (10)
для любого k = 0, 1,..., п - 1 следует выполнение свойства (7) для всякого
й = 0, 1, ...,п-1.
Свойство независимости «будущего» и «прошлого», или, что то же,
независимость «будущего» от «прошлого» при фиксированном «насто-
ящем», принято называть марковским свойством, а соответствующую
последовательность случайных величин Со» •••» Сл — марковской цепью.
Таким образом, если «веса» р(а>) элементарных событий задаются фор-
мулой (3), то последовательность С —(Со» ...» Сл) с С/(ш) = Х/, будет обра-
зовывать марковскую цепь.
В этой связи понятно следующее
Определение. Пусть (Q, л/, Р) —некоторое (конечное) вероятностное
пространство и С = (Со» •••» Сл) — последовательность случайных величин
со значениями в (конечном) множестве X. Если выполнено условие (7),
то последовательность С = (Со» --•» Сл) называется (конечной) марковской
цепью.
Множество X называется фазовым пространством или простран-
ством состояний цепи. Набор вероятностей (poW)» хеХ, с PoW =
= Р{Со = х} называют начальным распределением, а матрицу ||р*(х, у)\\,
х>уеХ, с pk(x, */) = P(C* = !/lC*-i = х) —матрицей переходных веро-
ятностей (из состояний х в состояния у) в момент 1, ..., п.
В том случае, когда переходные вероятности pk(x, у) не зависят от k,
Pk(x, у) = р(х, у), последовательность С = (Со» • • •»Сл) называется однород-
ной марковской цепью с матрицей переходных вероятностей || р(х, у)||.
Заметим, что матрица ||р(х, у)\\ является стохастической: ее эле-
менты неотрицательны и сумма элементов любой ее строки равна единице,
£ р(х, у) = 1, х&Х.
У
Будем считать, что фазовое пространство X состоит из конечного мно-
жества целочисленных точек (X = {0, 1,..., N}, X = {0, ± 1,..., ±N} и т. д.),
и обозначать, согласно традиции, pi = ро(О и pz/- = р(/, /).
Понятно, что свойства однородных марковских цепей полностью опре-
деляются начальными распределениями pi и переходными вероятностя-
ми pij. В конкретных случаях для описания эволюции цепи вместо явного
выписывания матрицы || р^ || используют (ориентированный) граф, верши-
нами которого являются состояния из X, а стрелка
идущая из состояния i в состояние / и с числом Pij над ней, показывает,
что из точки i возможен переход в точку j с вероятностью pij. В том
случае, когда pij =0, соответствующая стрелка не проводится.
Пример 1. Пусть X = {0, 1, 2} и
/ 1 ° ° \
НМ = 1/2 0 1/2 .
\2/3 0 1/3/
Этой матрице соответствует следующий граф:
1/2 1/2
2/3
Отметим, что здесь состояние 0 является «поглощающим»: если части-
ца в него попала, то она в нем и остается, поскольку poo = 1. Из состояния 1
частица с равными вероятностями переходит в соседние состояния 0 и 2;
состояние 2 таково, что частица остается в нем с вероятностью 1/3 и
переходит в состояние 0 с вероятностью 2/3.
Пример 2. Пусть X = {0, ±1, ..., ±N}, ро = 1, Paw = P-n-n = 1 и для
{Р, j=i+l,
q, j = (11)
0 в остальных случаях.
Переходы, соответствующие такой цепи, можно графически изобразить
следующим образом (N = 3):
q q q р р р
Эта цепь отвечает исследованной выше игре двух игроков, когда капи-
тал каждого равен N и на каждом шаге первый игрок с вероятностью р
выигрывает у второго +1 и проигрывает -1 с вероятностью q. Если трак-
товать состояние i как величину выигрыша первого игрока у второго, то
достижение состояний N и —N означает разорение второго и первого
игроков соответственно.
В самом деле, если т/i, т/2, ..., qn — независимые бернуллиевские
случайные величины с Р{т/1=-Н1} = р, Р{т7/ = — 1} = <у и Sk = r)\ + ... + т/^ —
величина выигрыша первого игрока у второго, то последовательность
So, Si, ...» Sn с So = O будет образовывать марковскую цепь с ро=1 и
матрицей переходных вероятностей (11), поскольку
P(Sfc+i = j\Sk = ik, Sk-i =ik-\> ..., Si =ii) =
= P(S^+^+i =/|Sjfe = ^, Saj_i =z^-i, ..., Si =ij) =
= P(S* + ^+i = j | Sk = ik) = P{^+i = j - ik}-
Марковская цепь So, Si, ..., Sn имеет весьма простую структуру:
S*+i = Sk + zfe+i, 1,
где 7/i, 7/2» •••» 7/rt — последовательность независимых случайных величин.
Те же рассуждения показывают, что если £о, *7ь •••» Цп — независимые
случайные величины, то последовательность £о, ...» с
&+1 = fk(€k, tyfe+ih O^fe^n-1, (12)
также образует марковскую цепь.
В этой связи полезно отметить, что так построенную марковскую цепь
естественно рассматривать как вероятностный аналог (детерминиро-
ванной) последовательности х = (х0, ...» хл), управляемой рекуррентными
соотношениями
х*+1 = fk(*k)-
Приведем еще один пример марковской цепи типа (12), возникающей
в задачах теории «очередей».
Пример 3. Пусть на стоянку такси в единичные моменты времени
прибывают (по одной в каждый момент) машины. Если на стоянке нет
ожидающих, то машина немедленно уезжает. Обозначим через % число
ожидающих, приходящих в момент k на стоянку, и будем предполагать, что
т/1, Лп — независимые случайные величины. Пусть & — длина очереди
в момент &, Со = 0- Тогда, если Сл = /, то в следующий момент k + 1 длина
очереди Сл+i станет равной
{^+1, если/=0,
i - 1 + %+ь если i > Ь
Иначе говоря,
С*+1 —(€/?- 1)+ — 1,
где а+ = тах(а, 0), и, значит, последовательность С = (Со, • •, Сл) образует
цепь Маркова.
Пример 4. Этот пример относится к теории ветвящихся процессов.
Под ветвящимся процессом с дискретным временем будем понимать пос-
ледовательность случайных величин Со, £1, •••, Сл, где Сл интерпретируется
как число частиц, существующих в момент времени fe, а процесс гибе-
ли-размножения частиц происходит следующим образом: каждая частица
независимо от других частиц и от «предыстории» превращается в j частиц
с вероятностями ру-, / = 0, 1, ..., М.
Будем считать, что в начальный момент времени имеется всего лишь
одна частица, Со = 1- Если в момент k было Сл частиц (с номерами
1,2, ...,Сл), то, согласно описанию, Сл+i представляется в виде слу-
чайного числа случайных величин:
где — число частиц, произведенных частицей с номером 4 Разумеется,
если Сл = 0, то и Сл+1 =0. Считая, что все случайные величины
/ > 1, независимы между собой, находим
Р(&+1 = 4+1 |€л = 4, Сл-1 =4-1, •••) =
= Р (Сл+i = I & = 4) = Р +... + = 4+1 }•
Отсюда видно, что последовательность Со, Сь • ••, Сл образует марковскую
цепь.
Особый интерес представляет случай, когда каждая частица или
погибает с вероятностью q, или превращается в две с вероятностью р,
р + q = 1. Для этого случая легко подсчитать, что
Pij = Р(&+1 = /|€л=0
задается формулой
_(c!/2pi/2q‘-i/2, j = о.................2t,
Pij — 1 Л
[О в остальных случаях.
2. Будем обозначать через £ = (&, Ц Р) однородную марковскую цепь
с вектором (строкой) начальных вероятностей П=||р/|| и матрицей пере-
ходных вероятностей Р= || ||. Ясно, что
Ри = Р(6 = i 1€о = 0 = •• • = Р(& = /1 е„-1 = О-
Обозначим
pJ) = P(^ = /ieo = O (=Р(&+/ = Ж/ = 0, / = 1,2, ...)
— вероятность перехода за k шагов из состояния i в состояние j и
р‘Л)=р{&=/}
— вероятность нахождения частицы в момент времени k в точке /. Пусть
также
п“ЧЛ р^ = ||руц.
Покажем, что переходные вероятности р-^ удовлетворяют «уравне-
нию Колмогорова—Чепмена»
(13)
а
или, в матричной форме,
р(*+0 = р(£). р(0. Ц4)
Доказательство соотношения (13) весьма просто и основано на фор-
муле полной вероятности и марковском свойстве:
Р//+0 = Р (£k+l = j | £0 = j) = Р (gk+l = j, £k=a\£o = t) =
= Р(6+/ = /|& = а)Р(& = а|£о = 0 = £ P^P^-
a a
Особо важны следующие два частных случая уравнений (13): обрат-
ное уравнение
o!;+,’=s^p3 <>5>
а
и прямое уравнение
а
(см. рис. 22 и 23). В матричной форме прямые и обратные уравнения
Рис. 22. К обратному уравнению
записываются соответственно следующим образом:
р(*+1)=р(*).р, (17)
р(Лч-1) =р. р(Л) (18)
Аналогично для (безусловных) вероятностей р^ получаем, что
<19>
а
или, в матричной форме,
П^+0 =П<*) .р(0.
В частности,
= кдС*). р (прямое уравнение)
и
КдС**1) - и*1) .рМ (обратное уравнение).
Поскольку Р(1) =Р, Щр) =Ц то
р(*)=р\ =][][• Р*.
Тем самым для однородных марковских цепей вероятности перехода за
k шагов р^ являются элементами й-х степеней матриц Р, в связи с чем
многие свойства этих цепей можно изучать методами матричного анализа.
Пример. Рассмотрим однородную марковскую цепь с двумя состоя-
ниями 0 и 1 и матрицей
р= (pQ0
\Рю Ри/
Нетрудно подсчитать, что
f Роо + Р01Р10 Poi(Poo + Ри)
\Рю(Роо + Ри) Рп + Р01Р10
и (по индукции)
1 р-Рн 1-Роо
2-Р00-Р11 V"^1 1 — Роо
! (Роо + Рп ~ О” ( 1“Роо -(1-роо)
2-Роо-Рп (1 —Pli) 1-Рн
(в предположении, что |роо + Ри - 1| < О-
Отсюда видно, что если элементы матрицы Р таковы, что |роо + Ри-
— 11 < 1 (в частности, если все вероятности перехода рц положительны),
то при п —> оо
1 Л - Ри 1 - Роо
2-Роо“Ри \1 - Ри 1“Роо/
(20)
и, значит,
Таким образом, если |роо + Ри —1|<L то поведение рассматривае-
мой марковской цепи подчиняется следующей закономерности: влияние
начального состояния на вероятность нахождения частицы в том или ином
состоянии исчезает с ростом времени сходятся к предельным зна-
чениям 7г7-, не зависящим от I и образующим распределение вероятностей:
тго О, Tri > 0, 7го + 7Г1 = 1); если к тому же все элементы > 0, то тогда
предельные значения тго>О, тп >0 (ср. далее с теоремой 1).
3. Следующая теорема описывает широкий класс марковских це-
пей, обладающих так называемым свойством эргодичности: пределы
тг7 = lirn pff не только существуют, не зависят от z, образуют распреде-
ление вероятностей (тг, 0, ^2 = 1), но и таковы, что тг7 > 0 при всех j
(такие распределения называются эргодическими; подробнее см. § 3 в
гл. VIII).
Теорема 1 (эргодическая теорема). Пусть Р=||р//Ц— матрица
переходных вероятностей марковской цепи с конечным множест-
вом состояний X = {I, 2, ..., N}.
а) Если для некоторого по
то найдутся числа яь ..., тг/v со свойством
тг/Х), J>; = 1 (22)
/
такие, что для каждого j еХ и любого i еX
Р{ц~**Ь я-»оо- (23)
Ь) Обратно, если существуют числа тп,..., л/у, удовлетворяющие
условиям (22) и (23), то найдется по такое, что выполнено усло-
вие (21).
с) Числа (7Г1,7гл) из а) удовлетворяют системе уравнений
= j = \,...,N. (24)
а
Доказательство, а) Обозначим
m^ = min Л4;Л> = тах р^\
Поскольку
р!'+,,=Ер-«рЗ. (25)
а
ТО
/и-п+1) = min р!я+1) = min PiaPal > m.in ZL Pia min Pal = mT'
/ I / I Ann £ Г Q '-*/ /
at a
откуда m^ m^n+>\ и аналогично М*я) ^М*я+1). Поэтому для доказатель-
ства утверждения (23) достаточно показать, что
M^-mf-tO, л-оо, j=l,...,N.
Пусть е = min,-,; р-Ло) > 0. Тогда
р!Г"’=£ p“/>S=
а
НО ~ £Р/о 5, ПОЭТОМУ
S -epgl +ОР?1 = ™(“>(l -el+ep'’”1.
а
и, значит,
т^+л)>т<л)(1-£) + £р2л).
Аналогичным образом
Л4*По+л) доЮц _£) + ерМ'
Объединяя эти неравенства, получаем
Л1(«о+«) _ m(«o+«> (М(«) _ m("))(! _ £)
и, следовательно,
^(fcno+л) _ _ mW)( 1 _ е)* I о, k -> оо.
Итак, по некоторой подпоследовательности {пр} при
пр —> оо. Но разность Мjn) — т^ монотонна по п, а значит, Л)*п) — /п*п) —> О
при и—>оо.
Если обозначить тг, = lirn т^\ то из полученных оценок вытекает, что
для п По
\pff - 7Г/1 (1 -е)^01"1,
т.е. сходимость pff к предельным значениям тг/, происходит с геометри-
ческой скоростью.
Ясно также, что > т^ е > 0, n^riQ и, значит, 7гу- > 0.
Ь) Условие (21) непосредственно следует из (23), поскольку число со-
стояний КОНеЧНО И 7Гу > 0.
с) Уравнения (24) вытекают из (23) и (25). □
4. Система уравнений (ср. с (24))
-*7 = 52 *аРа/, j = l,...,N (24*)
а
играет большую роль в теории марковских цепей. Всякое ее неотрица-
тельное решение Q=(<?i, ..., Цн), удовлетворяющее условию gQ = 1,
а
принято называть стационарным или инвариантным распределением
вероятностей для марковской цепи с матрицей переходных вероятностей
IIPij\\. Объяснение этого названия состоит в следующем.
Возьмем распределение Q = (^i, ...,<?/v) в качестве начального, т.е.
пусть Pj = qj, j = 1, ..., N. Тогда
р)1) = 52 4aPai=qi
a
и вообще p^ = qj. Иначе говоря, если в качестве начального распреде-
ления взять Q = (<7ь ..., q^), то это распределение не будет изменяться
со временем, т. е. для любого k
Р{& = /} = Р{£о = /}, / = i,...,/v.
Более того, марковская цепь £ = (£, Q, Р) с таким начальным распреде-
лением Q = (^i, qN) будет стационарной: совместное распределение
вектора (&, ..., &+/) не зависит от k для любого / (предполагается,
что k + / п).
Условие (21) гарантирует как существование пределов тгу^Нгп р^\ не
зависящих от z, так и существование эргодического распределения, т. е.
распределения (тп, ..., тгуу) с тг7 >0. При этом распределение (тп, ...» тг/v)
оказывается также и стационарным распределением. Покажем сейчас,
что этот набор (тп, ...»тг/v) является единственным стационарным рас-
пределением.
В самом деле, пусть (тп, ..., тг#) —-еще одно стационарное распреде-
ление. Тогда
тг/=52 = • •=12 ^pS ’
а а
И поскольку Paj —^^j, ТО
’Г/ = 52^“1Г/) = 7Г/-
а
Отметим, что стационарное распределение вероятностей (и к тому же
единственное) может существовать и для неэргодических цепей. Дей-
ствительно, если
то
р2л___________________ р2л+1 _
if "\1 °f
и, следовательно, пределы lim pff не существуют. В то же самое время
система
Qj — ЯаРаЬ j' = Ь 2,
а
превращается в систему
4i = 92.
92 = 91.
единственное решение (91,92) которой, удовлетворяющее условию ^ +
+ 92=1, есть (1/2, 1/2).
Отметим также, что для рассмотренного выше примера в п. 2 система
(24*) с X/ = qj имеет вид
<7o = <7oPoo + <7iPio,
=<7oPoi + Р\ 1»
откуда, учитывая условие qv + q\ = 1, находим, что единственное стацио-
нарное распределение (до, <71) совпадает с уже найденным:
1 — р 1 1 1 — рпг\
?0=2-РОО-Р..’ qi = 2^^
Рассмотрим теперь некоторые следствия, вытекающие из эргодической
теоремы.
Пусть А — некоторая группа состояний, А СХ, и
1а{х) = <
1, хёА,
О, х#А.
Введем величину
рд(п) =
/л«о) + --- + /л(€п)
п+1
— долю времени, проводимого частицей в множестве А. Поскольку
Е[/4(€0|&=/]=Р(беДИо=О=£ Р? (=р<-Л)И))-
jeA
то
1 п
E[^(n)ieo=l]=^-f ^Р^(Д)
fe=0
и, в частности,
1 «
Е1ия(»)1е»="1-=^ £
fe=0
Из анализа известно (см. также лемму 1 в § 3 гл. IV), что если после-
довательность ап -> а, то -----------► а, п -> оо. Поэтому если р}-1 -> тг7-,
k —> оо, то
Ер{Л(п) -> 7Г/, Е1/д(л) -»7ГД, где тгд = 7Г/-
/ел
Для эргодических цепей на самом деле можно доказать большее, а
именно, что для величин /Д£о), • /а(€л), ••• справедлив
Закон больших чисел. Если £1, ••• — конечная эргодическая
марковская цепь, то для всякого е > 0, любого множества АСХ и
произвольного начального распределения
Р{|»<4(я)-7гл|>е}-*0, п-юо. (26)
Прежде чем переходить к доказательству, заметим, что непосредствен-
ное применение результатов § 5 к бернуллиевским величинам /Д£о)» •••
..., 1а(£п). ♦ невозможно, поскольку они, вообще говоря, являются за-
висимыми. Однако доказательство можно провести по тому же пути, что и
в случае независимых величин, если снова воспользоваться неравенством
Чебышева и тем обстоятельством, что для эргодических цепей с конечным
числом состояний найдется такое 0 < р < 1, что
\р^-^\^Срп. (27)
Рассмотрим состояния i и / (которые могут и совпадать) и покажем,
что для е > 0
Рф'{Л('0-’Г/1>е|& = 0->0, я-юо. (28)
В силу неравенства Чебышева
р<1ил (") - 0 <
Поэтому надо лишь показать, что
EdI,{/}(«)-7r/|2|€o = 4-^O, п->оо.
Простой подсчет показывает, что
E{h/}(rt) - 7Г/12Ко = О =
Г п “12 > п п
v ’ L*=o J J v 7 k=o i=o
где
Ко = 1} - E[/w(&) Ko = i]-
- EU{/}K/) Ko=t] +^2 = PifpJ? - w/P?’ - W?+rf,
s = min(£, /) и t = K~/|.
В силу (27)
Поэтому
где Ci — некоторая постоянная. Следовательно,
1
(п+1)2
п п
*=0 /=0
С|
(И+1)2
$2 52 [p*+p'+pfc+pz]<
*=0 /=0
л л
_4Cj_ 2(п+1) _ 8С,
"(п+1)2’ \-р (п+1)(1-р) U’ " °°
откуда и следует справедливость соотношения (28), из которого очевидным
образом вытекает требуемое соотношение (26).
5. В § 9 для случайного блуждания So, Si, ..., порожденного схемой
Бернулли, были выведены рекуррентные уравнения для вероятностей и
математических ожиданий времени выхода на ту или иную границу. Ана-
логичные уравнения сейчас будут выведены и для марковских цепей.
Пусть £ = (£0, ...) — марковская цепь с матрицей переходных веро-
ятностей ||р/7|| и фазовым пространством X = {0, ±1, ..., ±Л/}. Пусть А и
В — два целых числа, -N ^А^О^В ихеХ. Обозначим через
множество тех траекторий (хо, Х\,..., х^), х, еX, которые впервые выходят
из интервала (А, В) через верхнюю границу, т. е. покидают множество
(А, В), попадая в множество (В, В + 1, ..., /V).
Положим для А х В
/М*) = Р((£о, • &)£^+i |Со = *)•
С целью отыскания этих вероятностей (первого выхода марковской
цепи из множества (А, В) через верхнюю границу) воспользуемся методом,
примененным при выводе обратных уравнений.
Имеем
Аг(х) = Р((£о, ^)€^+1 |£о=*) =
= 57 Р^Р((€о» • l€o = *» -У),
У
где, как нетрудно убедиться, опираясь на марковское свойство и однород-
ность цепи,
Р((€о» &)£^+i l€o = x, =//) =
= Р((*. У. €2,...» &)6^+i |£о=*, €i = */) =
=pfe,^..4^^iei=?)=
= Р((*Л ...» €л-1)^^|€о = «/)=/?Л-!(у).
Поэтому для А < х< В и 1
0k{x) = ^2 Pxy$k-\<y)-
У
При ЭТОМ ясно, что
&(х) = 1, х = В, В + 1, ...,/V,
и
/?Нх) = 0, x = -N, А.
Аналогичным образом выводятся и уравнения для а*(х) —вероятностей
первого выхода из интервала (А, В) через нижнюю границу.
Пусть Tk = min{0 I k: (А, В)}, причем т* = k, если множество
{•} = 0. Тогда тот же самый метод, примененный к т^(х) = Е{т* |£о = *}»
приводит к следующим рекуррентным уравнениям:
mk(x)= 1 >nk-i(y)Pxy
У
(здесь 1 k п, А < х < В), При этом
т*(х) = 0, • х^(А, В).
Понятно, что если матрица переходных вероятностей задается форму-
лой (11), то уравнения для а^(х), /?^(х) и т^(х) превращаются в соответ-
ствующие уравнения из § 9, где они получены, по существу, тем же самым
методом, что и здесь.
Наиболее интересны применения выведенных уравнений в предельном
случае, когда блуждание осуществляется неограниченно во времени. Так
же, как и в § 9, соответствующие уравнения можно получить формальным
предельным переходом из выведенных выше уравнений, полагая k —> оо.
Для примера рассмотрим марковскую цепь с состояниями {0, 1, ..., В}
и переходными вероятностями
Роо = 1, Рвв = 1
и для 1 i В — 1
' pi>0, j — i + l,
Pij = И,
Л’>°,
/=Ч
/ = *- h
где £/ + /7 + ^ = 1.
Этой цепи соответствует граф
Отсюда видно, что состояния 0 и В являются «поглощающими», в любом
же другом состоянии i частица остается с вероятностью г/, переходит на
единицу вправо с вероятностью pi и влево с вероятностью ф.
Найдем а(х) = lim а^(х) — предельную вероятность того, что частица,
k—»оо
выходящая из точки х, достигнет нулевого состояния раньше, чем состоя-
ния В. Предельным переходом при k—>оо в уравнениях для а*(х) получим,
что для 0 < / < В
«(/') = ?/<*(/ - 1) + ria{j) + Pja(j + 1)
с граничными условиями
а(0) = 1, а(В) = 0.
Поскольку ry = 1 — q} - то
Р/(а(/ + 0 “ <*(/)) = <7/(«(/) “ «(/ - О)
и, следовательно,
а(/ + 1)-а(/)=ру(а(1)- 1),
где
р‘ pi... pj’
Ро= 1-
/
Но а(/ + !)-! = £}(a(z + 1) - a(i)). Поэтому
i=0
а(/ +1)-1 = («(!)-1)£ А-
/=0
Если j = В — 1, то a(j + 1) = а(В) = 0, и, значит,
В-1
Е А
/=0
откуда
В-1 В-1
Е А Е а
а<‘) = 7П— и =
Е А Е А
1=0 1=0
(Ср. с соответствующими результатами § 9.)
Пусть теперь /n(x) = lim^ — предельное значение среднего вре-
мени блуждания до попадания в одно из состояний 0 или В, Тогда т(0) =
= /и(В) = 0,
т(х)= 1 + 52 т(У)Рху
У
и, следовательно, для рассматриваемого примера
для всех j = 1, В — 1. Чтобы найти т(Д обозначим
Тогда
+ = / = 1,...,В —1,
и последовательно находим, что
где
' Р1---Р/ J Pi L Pj_i...piJ
Поэтому
/-1 /-i /-1 ;-i
^(/)=- m(0)=52 mg+1)=52(a"*(1) - я,-)=1) ^2 a- - 52 •
i=0 i=0 t=0 i=0
Осталось лишь найти m(l). Но /п(В) = 0, значит,
' ’ s-i
Е Pi
i=Q
и для 1 < j В
В-1
/-1 Е Ri М
i=0 £ Pi i=Q
/=0
(Ср. с соответствующими результатами из § 9, полученными там для случая
6 = 0, pi = p> qi=q.)
6. В этом пункте будет рассмотрено одно усиление марковского свой-
ства (8), заключающееся в том, что оно остается справедливым при за-
мене момента времени k на случайный момент (см. далее теорему 2).
Важность этого так называемого строго марковского свойства будет
проиллюстрирована, в частности, на примере вывода рекуррентных соот-
ношений (38), играющих существенную роль для классификации состояний
марковских цепей (гл. VIII).
Пусть С = (€о> •••, €л) — однородная марковская цепь с матрицей пе-
реходных вероятностей ||рц||, & = (^)о^^л — система разбиений, =
= ^0...Через будем обозначать алгебру а(^), порожденную раз-
биением 0%.
Придадим прежде всего марковскому свойству (8) несколько иную
форму. Пусть В G Покажем, что
Р(4л =a«. •••> &+1 =aft+i IГ){& = a*}) =
= Р(€л = ал. •••. &+1 =о*+1 |& = Дл) (29)
(предполагается, что Р(ВГ1{£*=а*})>0). Действительно, множество В
можно представить в виде
В = 52 (& = ао> • • • > & = а*}>
где сумма берется по некоторым наборам (aj, ..., aj). Поэтому
р/е __п е _________- IRnff _____п Й__ РК^л — Дл> • • •, — ak} В)_
Р(£„ ап, ...,&+1 aft+1|Bn{& а*}) Р({& = аА)пВ)
_ 12* Р({&1 = вл, •••, А {Со=Др, •••, &=а£})
P({C* = aft)nS) ’
Но в силу марковского свойства
Р({£л — • • • > И {£о — а0. • •» — aj}) —
{Р(€« = ^ni •••» Сл+i = flfe+i |Со = •• •» £k — dk) х
xP{£o = ao-•••• & = еслиа*=а£,
О, если
{Р(€л=ап. =ал+1|&=а*)х
х Р{<о = ао- •••• ^k = a*k}, еслиа* = а^,
О, если а*/а*,
rP(£> = an, ...,^+i=a*+i|C* = a*)x
= < х P({& = aft}nB), еслиал = а£,
О, еслиа*/а£.
Тем самым сумма £* в (30) равна
P(6i = •••> &+1 =0fe+i I& = а*) Р({& = л*}ПВ),
что и доказывает формулу (29).
Пусть т — момент остановки (относительно системы разбиений =
= (^f)o^rt; см. определение 2 в § 11).
Определение. Будем говорить, что множество В из алгебры при-
надлежит системе множеств если для каждого 0 k п
Вп{т = А}б4 (31)
Нетрудно проверить, что совокупность таких множеств В образует
алгебру (называемую алгеброй событий, наблюдаемых до момента т).
Теорема 2. Пусть £ = (£о, •. •, £л) — однородная марковская цепь с
матрицей переходных вероятностей Цр^Ц, т — момент остановки
(относительно ^), В е и А = {си: т +1 п}. Тогда, если Р{Л П В Г)
П (£т = ао)} > 0, то выполнены следующие строго марковские
свойства:
Р(£г+/ = Я/, ..., £г+1 =ai |/4пВп(£г = яо)) =
= Р(£г+/ = я,, ..., Ст+1 = ах | А П {£т = яо)}), (32)
и (в предположении Р(Л п {£Т = яо}) > 0)
Р(€т+/ = Of, ..., £т+1 = ^1 М И {£т = ао}) = Ра$а\ • • • Pai_\ar (33)
Доказательство проведем для простоты лишь в случае / = 1. По-
скольку В П (г = k) е то, согласно (29),
Р(€т+1 = аь ЛпВп{£г = яо})= Р{&+1 =аь &= ло> т = й, В} =
А^л-1
= 52 р(&+1 =а11& = ао, Т = В)Р{& = а0, T = k, В} =
k^.n— 1
= 52 р(&+> =а> l€* = ao)P{€* = ao. r = k, В} =
k^n-l
= Раоа, 52 р{& = ао, т = й, B} = paoa,P(4nBn{£T = ao}).
k^.n— 1
что доказывает и (32), и (33) (в случае (33) надо взять В = Q). □
Замечание 1. В случае / = 1 строго марковское свойство (32), (33)
эквивалентно, очевидно, тому, что для любого С СХ
Р(£г+1 е СIА П В П {£г = яо}) = Ра0(С), (34)
где
PaQ(C)= Pa^ai-
В свою очередь (34) может быть переформулировано следующим образом:
на множестве А = {т п - 1}
P(er+i6C|^) = ^T(C), (35)
что является одной из обычно используемых форм строго марковского
свойства в общей теории однородных марковских процессов.
Замечание 2. Свойства (32) и (33) остаются справедливыми (если
воспользоваться соглашениями, описанными в замечании 1) и без огово-
рок, что вероятности событий А П В П {£т = ао} и А П {£т = до} должны быть
положительными.
7. Пусть £ = (£о, •••, £п) — однородная марковская цепь с матрицей
переходных вероятностей ||р/;||,
^ = P(& = U//*. 1|$) = 0 (36)
И для iV /
= = = 0 (37)
— вероятности первого возвращения в состояние i в момент времени k и
первого попадания в состояние / в момент k соответственно.
Покажем, что
п
™ ₽/?='
Л=1
Наглядный смысл этой формулы ясен: чтобы за п шагов попасть из
состояния i в состояние /, надо сначала за k шагов (1 ^k^n) впервые
попасть в состояние /, а затем за оставшиеся п - k шагов из j попасть
в /. Дадим теперь строгий вывод.
Пусть j фиксировано и
T7 = min{l ^k^n: & = Д
полагая т7= п + 1, если {•} = 0. Тогда = Р(т7 = k |£о = 0 и
р‘;)=р(€л=/1€о=о= Е р(е«=лт/=л|^о=о=
= Е P^l+n-k = hTj = k\^ = i), (39)
1^«£л
где последнее равенство следует из того, что Ст/+л-л = €л на множестве
{т7 = k}. Далее, для всякого 1 k п множество {т7 = k} = {т7 = &, £Г7 = /}.
Поэтому, если Р{£о = i, т; = k} > 0, то в силу теоремы 2
РКту+п-* = / Ко = i, Tj = k) = Р(Ст/+п-Л = j Ко = t. Tj = k, Cry = /) =
=P(eT;+„_A=/Kr/=/)=pJ-‘)
и, согласно (37),
л n
Pi? = E PKr/+n-* = j Ko = i, Tj = k) P(Tj = k Ko = 0 = X P?j'k}rl?,
fc=l k=\
что и доказывает соотношение (38).
8. Задачи.
1. Пусть £ = (Со, * * •, Сл) — марковская цепь со значениями в X и f = /(х)
(х бХ) — некоторая функция. Будет ли последовательность (/(Со)» • • •, /(Сл))
образовывать марковскую цепь? Будет ли марковской цепью «обратная»
последовательность (Сл, Сп-1, •••» Со)?
2. Пусть Р = ||р1}||, 1 /, / г, — стохастическая матрица и А — соб-
ственное число этой матрицы, т. е. корень характеристического уравнения
det ||Р —АЕ|| =0. Показать, что Ai = 1 является собственным числом, а все
остальные корни Аг,...» Аг по модулю не больше 1. Если все собственные
числа Ai, ..., Хг различны, то pff допускают представление
Pi? = + ач (2)Аг + • • • + ац(г)Хкг,
где 7г7, а,/(2),..., а/7(г) выражаются через элементы матрицы Р. (Из этого
алгебраического подхода к анализу свойств марковских цепей, в частности,
вытекает, что при |Аг|< 1, ..., |Ar| < 1 для каждого j существует предел
lipi р^\ не зависящий от z.)
3. Пусть £ = (Со, ..., Сл) ~однородная марковская цель с множеством
состояний X и матрицей переходных вероятностей Р = ||рху||. Обозначим
7V(x) = EM£i)Ko = x] (=$2 ‘Р(У)Рхи)-
У
Пусть неотрицательная функция <р = <^(х) удовлетворяет уравнению
7V(x) = ^(x), xgX.
Доказать, что последовательность случайных величин
C = (Cb^f) С & = №)
образует мартингал.
4. Пусть £ = (£„, И, Р) и £ = (£„, П, Р) — две марковские цепи, отлича-
ющиеся начальными распределениями H=(pi,..., рг) и fi = (pi,..., рг).
Пусть И*"* = (pjn), ..., р^п)), ®п) = (р{п),.... РгП>)- Показать, что если
min pij > е > 0, то
Е 1Р/Я)-Р/Л)1^2(1 -ref.
5. Пусть Р и Q — стохастические матрицы. Показать, что PQ и
аР + (1 - <*)Q с 0 а 1 также являются стохастическими матрицами.
6. Рассматривается однородная марковская цепь (£о, ...» £л) со значе-
ниями в X = {0, 1} и матрицей переходных вероятностей
1-р р \
где 0 < р < 1, 0 < q < 1. Положим S„ = £о + • • • + Сп- В обобщение теоремы
Муавра—Лапласа (§ 6) показать, что
прд(2—р — д)
(Р+?)3
k —> Ф(х), п —> оо.
Убедиться в том, что в случае р +q = 1 величины & независимы и
сформулированное утверждение сводится к тому, что
Глава II
МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Вероятностная модель эксперимента с бесконечным числом ис-
ходов. Аксиоматика Колмогорова............................... 161
§2. Алгебры и а-алгебры. Измеримые пространства............. 171
§ 3. Способы задания вероятностных мер на измеримых простран-
ствах ....................................................... 191
§4. Случайные величины. I .................................. 214
§5. Случайные элементы ..................................... 221
§ 6. Интеграл Лебега. Математическое ожидание................ 226
§7. Условные вероятности и условные математические ожидания
относительно а-алгебр.................................... 266
§8. Случайные величины. II.................................. 300
§ 9. Построение процесса с заданными конечномерными распреде-
лениями 314
§ 10. Разные виды сходимости последовательностей случайных ве-
личин 324
§11. Гильбертово пространство случайных величин с конечным вто-
рым моментом ................................................ 338
§ 12. Характеристические функции.......................... 352
§ 13. Гауссовские системы................................. 380
Теория вероятностей как математическая дисциплина может и должна
быть аксиоматизирована совершенно в том же смысле, как геометрия и алгебра.
Это означает, что, после того как даны названия изучаемым объектам и их
основным отношениям, а также аксиомы, которым эти соотношения должны
подчиняться, все дальнейшее изложение должно основываться исключительно
лишь на этих аксиомах, не опираясь на обычное конкретное значение этих
объектов и их отношений.
А. Н. Колмогоров. «Основные понятия теории вероятностей» [32]
§ 1. Вероятностная модель эксперимента
с бесконечным числом исходов.
Аксиоматика Колмогорова
1. Введенные в предшествующей главе модели позволили нам дать
вероятностно-статистическое описание тех экспериментов, число исходов
которых конечно. Так,тройка (О, л/, Р) с Q = {cu: cu = (aj,..., ал), сц =0,1},
{Л: А С $7} и Р({cu}) = aiqn~^ ai — это модель эксперимента, состо-
ящего в л-кратном «независимом» подбрасывании монеты с вероятностью
выпадания «герба», равной р. В этой модели число N(Sl) всех исходов, т. е.
число точек множества Q, конечно и равно 2Л.
Зададимся теперь вопросом о построении вероятностной модели для
эксперимента, состоящего в бесконечном «независимом» подбрасывании
монеты с вероятностью выпадания «герба», на каждом шаге равной р.
В качестве множества исходов естественно взять множество
Q = {cu: а> = (ль 02» •••)» ai =0, 1},
т. е. пространство всех последовательностей си = (а>, ...), элементы ко-
торых принимают два значения 0 или 1.
Чему равна мощность /V(Q) множества Q? Хорошо известно, что вся-
кое число ае[0, 1) может быть однозначно разложено в (содержащую
бесконечное число нулей) двоичную дробь
а = у+ § + ... (Oi=0, 1).
Отсюда можно вывести, что между точками О, множества си и точками а
множества [0, 1) существует взаимно однозначное соответствие, а значит,
мощность множества Q равна мощности континуума.
Таким образом, если желать строить вероятностные модели, описыва-
ющие эксперименты типа бесконечного подбрасывания монеты, то при-
ходится привлекать к рассмотрению пространства Q довольно сложной
природы.
Попытаемся теперь понять, как разумно следовало бы задавать (при-
писывать) вероятности в модели бесконечного числа «независимых» под-
брасываний «правильной» (р = ^ = 1/2) монеты.
Поскольку в качестве Q можно взять множество [0, 1), то интересу-
ющая нас задача может рассматриваться как задача о значениях веро-
ятностей в модели «случайного выбора точки из множества [0, 1)». Из
соображений симметрии ясно, что все исходы должны быть «равновоз-
можными». Но множество [0, 1) несчетно, и если считать, что его ве-
роятность равна единице, то получается, что «вес» р(а>) каждого исхода
eve [0, 1) непременно должен быть равен нулю. Однако из такого способа
задания вероятностей (p(cu) = 0, сие [0, 1)) мало что следует. Дело в том,
что обычно мы интересуемся не тем, с какой вероятностью произойдет тот
или иной исход, а тем, какова вероятность того, что исход эксперимента
будет принадлежать тому или иному заданному множеству исходов (собы-
тию) А. В элементарной теории вероятностей по «весам» р(ш) можно было
найти вероятность Р(Л) события А: Р(Л) = £ ₽(4 В рассматриваемом
шел
сейчас случае при р(си) = 0, сие [0, 1), мы не можем определить, например,
вероятность того, что «случайно выбранная точка из [0, 1)» будет принад-
лежать множеству [0, 1/2). В то же самое время интуитивно ясно, что эта
вероятность должна была бы быть равной 1/2.
Эти замечания подсказывают, что при построении вероятностных моде-
лей в случае несчетных пространств Q вероятности надо задавать не для
отдельных исходов, а для некоторых множеств из Q. Та же аргументация,
что и в первой главе, показывает, что запас множеств, на которых задается
вероятность, должен быть замкнутым относительно взятия объединения,
пересечения и дополнения. В связи с этим полезно следующее
Определение 1. Пусть Q — некоторое множество точек си. Система si
подмножеств Q называется алгеброй, если
a) Q е si,
b) A, Be si Av Be si, Ar\Be si,
c) Aesi => Aesi.
(Заметим, что в условии b) достаточно требовать лишь, чтобы либо
A U В е si, либо А П В е si, поскольку ЛиВ = ЛпВ,ЛпВ=ЛиВ.)
Для формулировки понятия вероятностной модели нам необходимо
Определение 2. Пусть si — алгебра подмножеств Q. Функция мно-
жеств р = р(А), Aesi, принимающая значения в [0, оо], называется
конечно-аддитивной мерой, заданной на si, если для любых двух непе-
ресекающихся множеств А и В из si
р(А + В) = р(А) + р(В).
(О
Конечно-аддитивная мера /х с /х(П)<оо называется конечной, а в
случае /х(П) = 1 — конечно-аддитивной вероятностной мерой или ко-
ечно-аддитивной вероятностью.
2. Дадим теперь определение вероятностной модели (в расширенном
смысле) экспериментов с исходами («явлениями») из множества Q.
Определение 3. Совокупность объектов
(Q, Р),
где
а) Q — множество точек иг,
b) si — алгебра подмножеств Q;
с) Р - конечно-аддитивная вероятность на si,
называется вероятностной моделью, вероятностной «теорией»
(эксперимента) в расширенном смысле.
Оказывается, однако, что для построения плодотворной математиче-
ской теории эта вероятностная модель является слишком широкой. Поэто-
му приходится вводить ограничения как на классы рассматриваемых под-
множеств множества Q, так и на классы допустимых вероятностных мер.
Определение 4. Система & подмножеств Q называется а-алгеброй,
если она является алгеброй и, кроме того, выполнено следующее свойство
(усиление свойства Ь) из определения 1):
Ь*) если Ап е п = 1, 2, ..., то
^\Апе^
(при этом достаточно требовать, чтобы либо U либо р| Апе&).
Определение 5. Пространство Q вместе с а-алгеброй его подмно-
жеств & называется измеримым пространством и обозначается (Q, &).
Определение 6. Конечно-аддитивная мера р, заданная на алгебре si
подмножеств множества Q, называется счетно-аддитивной (сг-адди-
тивной) или просто мерой, если для любых попарно непересекающихся
00
множеств А), Аг, ... из Л таких, что £ Лл езг/,
Л=1
(оо \ оо
52Ап) =52
Л=1 / л=1
Мера р называется a-конечной, если пространство П можно предста-
вить в виде
оо
Л=1
с Д(Пл)<оо, п = 1, 2, ...
Мера (подчеркнем — счетно-аддитивная мера) Р на алгебре «с/,
удовлетворяющая условию P(Q)=1, будет называться вероятностной
мерой или вероятностью (определенной на множествах алгебры л/).
Остановимся на некоторых свойствах вероятностных мер.
Если 0 — пустое множество, то
Р(0) = О.
Если А, В erf, то
Р(Я U В) = Р(Л) + Р(В) - Р(Д О В).
Если А, В erf и В С А, то
Р(В)4₽(Д).
Если Ап е si, п = 1, 2, ..., и U Ап е si, то
Р(Л11М2и ...)<Р(Л1) + Р(Л2)+ ...
Первые три свойства очевидны. Для доказательства последнего доста-
ОО ОО _ _
точно заметить, что (J Ап=^ Вп,Г№ В\=А\, Вп=А\Г\...Г\Ап-\ПАп,
л=1 л==1
и > 2, Bi П Bj = 0, i / /, и, значит,
Р (и = р f Р(ВЯ) < Е Р(Л).
\л=1 / \л=1 / л=1 л=1
Приводимая ниже теорема, имеющая многочисленные применения, дает
условия, при которых конечно-аддитивная функция множеств является в
то же самое время и счетно-аддитивной.
Теорема. Пусть Р — конечно-аддитивная функция множеств,
заданная на алгебре rf, с P(Q)= 1. Тогда следующие четыре условия
эквивалентны:
1) Р а-аддитивна (Р — вероятность)',
2) Р непрерывна сверху, т,е. для любых множеств А\, А%, ...Erf
оо
таких, что AnQAn+\, |J An&si,
Л=1
limP(4„) = PHJ 4 Л
3) Р непрерывна снизу, т. е. для любых множеств 4ь Л2, ...€si
ОО
таких, что An^An+t, П An&si,
Л = 1 .
limP(4n) = p[Q Л);
\п=1 /
4) Р непрерывна в «нуле», т. е. для любых множеств А ь Л2,... 6 л/
таких, чтоАп+\САп, Q Ап = 0,
Л=1
lim Р(Лл) = 0.
Доказательство. 1) 2). Поскольку
(J Ап =Л1 +И2\Л1) + (Лз\Л2) + ...,
л=1
ТО
р(0 Лл]=р(Л1) + р(Л2\Л1) + р(Л3\Л2) + ...=
\л=1 /
= р(Л1) + р(Л2)-р(Л1) + р(Л3)-р(Л2) + ... =lim р(Лл).
2) => 3). Пусть n > 1, тогда
ри„) = р(М (^ \ л>)) = р(^) - р(Л I \ АО-
Последовательность множеств {Л 1 \ Дп}л>1 является неубывающей (см.
таблицу на с. 167) и
U (А\А)=А\П А„.
п=1 п=1
Тогда в силу 2)
lim р(Л,\Лл) = р( J (Л,\Д„))
\л=1 /
и, значит,
lim р(Лл) = р(Л1)-Пгп р(Л(\Лл) =
= р(Л|)-р[и(Л1\Л„)]=Р(Л1)-Р1л1\р|Л„| =
\л=1 / \ Л=1 /
= р(Л1)-р(Л1) + р[р| Лл)=р(р| Лл).
\л=1 / \л=1 /
3) =ф 4). Очевидно.
4) =ф 1). Пусть множества Ль Л 2, ... € si попарно не пересекаются и
£ An^si. Тогда
п=1 / °о \ ( п \ ( 00 \
р(52* =р(52* +Р 52 •
\/=1 / \/ = 1 / \/=«4-1 /
оо
и поскольку £ Ai 1 0, п —> ОО, ТО
1=л4-1
оо п / п
22 Р(Л) = lim 22 Р(А) = lim Р £ Л
/=1 1=1 \/ = 1
= lim
п
(оо \ / оо \
52 А< =р 52 п
i=n4-l / \/=1 /
3. Теперь можно сформулировать ставшую общепринятой систему ак-
сиом Колмогорова, лежащих в основе построения вероятностных моделей
экспериментов с исходами (явлениями) из множества Q.
Основное определение. Набор объектов
(Q, Р),
где
a) Q — множество точек ы,
Ь) & — а-алгебра подмножеств Q,
с) Р — вероятность на &,
называется вероятностной моделью (эксперимента) или вероятност-
ным пространством. При этом пространство исходов Q называется про-
странством элементарных событий, множества А из & — событиями,
а Р(Л) —-вероятностью события А.
Из данного определения видно, что аксиоматика теории вероятностей
существенно опирается на аппарат теории множеств и теории меры. В свя-
зи с этим полезна таблица (см. с. 167—168), показывающая, как раз-
личные понятия интерпретируются в теории множеств и в теории веро-
ятностей. Примеры наиболее важных для теории вероятностей измеримых
пространств и способы задания вероятностей на них будут даны в после-
дующих двух параграфах.
Замечание. При построении моделей экспериментов, призванных опи-
сывать вероятностные связи «явлений с условиями», следует (согласно
замечанию в § 1 гл. I) оговаривать, при каком «комплексе условий» эти
Таблица 1
Обозначения Интерпретация теории множеств Интерпретация теории вероятностей
CU Q & A=Q\A див АпВ (или АВ) 0 АГ\В — 0 А+В А\В А&В ОО и Аа Л=1 оо Е А„ Л=1 элемент, точка множество точек сг-алгебра подмножеств множество точек дополнение множества А, т. е. множество точек си, не входящих в А объединение множеств А и В, т. е. множество точек си, входящих или в А, или в В пересечение множеств А и В, т. е. множество точек си, вхо- дящих и в А, и в В пустое множество множества А и В не пересе- каются сумма множеств, т. е. объ- единение непересекающихся множеств разность множеств А и В, т. е. множество точек, входя- щих в А, но не входящих в В симметрическая разность множеств, т. е. множество (Д\В)и(В\Л) объединение множеств А ।, Аг, ..., т. е. множество точек си, входящих ИЛИ В А], или в Аг, ... сумма, т. е. объединение попарно непересекающихся множеств А|, Аг, ... исход, элементарное событие пространство исходов, эле- ментарных событий; досто- верное событие а-алгебра событий событие (если исход сие А, то говорят, что наступило собы- тие А) событие, состоящее в нена- ступлении события А событие, состоящее в том, что произошло по крайней мере одно из событий А или В событие, состоящее в том, что одновременно произо- шло и А, и В невозможное событие события А и В несовместны (не могут наступать одновре- менно) событие, состоящее в том, что произошло одно из двух несовместных событий событие, состоящее в том, что произошло А, но не про- изошло В событие, состоящее в том, что произошло одно из со- бытий А или В, но не оба одновременно событие, состоящее в насту- плении по крайней мере од- ного из событий А|, Аг, ... событие, состоящее в насту- плении одного из несовмест- ных событий Ai, Аг, ...
Продолжение
ОО А лп /1=1 Ап Т А (или А = lim j Ап) п Ап 1А (или А = lim J, Ая) п lim Ап (или lim sup Ап, или {Ап б. ч.}) lim An п (или lim inf Ап) пересечение множеств Aj, А2, ..., т. е. множество то- чек си, входящих И В А|, и в А2, ... возрастающая последовате- льность множеств Ап, сходя- щаяся к А, т.е. А| СА2С ... и А= U Ап я=1 убывающая последователь- ность множеств Ап, сходя- щаяся к А, т.е. Aj 2 А2 2 ••• И А = П Ап /1=1 оо оо множество р| U Ak л=| k—n 00 00 множество U П Ал /1=1 fe=/i событие, состоящее в том, что одновременно произо- шли события А।, А2, ... возрастающая последовате- льность событий, сходящих- ся к событию А убывающая последователь- ность событий, сходящихся к событию А множество исходов си, кото- рые бесконечное число раз (бесконечно часто) встреча- ются в последовательности Aj, А2, ... событие, состоящее в том, что произойдут все события Aj, А2, ... за исключением, быть может, только конечно- го числа
эксперименты рассматриваются. Как правило, мы этого не делаем, при-
держиваясь той точки зрения, что каждый раз должно быть ясно, в чем
эти «условия» заключаются.
4. Задачи.
1. Пусть Q = {r: ге [0, 1]} —множество рациональных точек на [0, 1],
si — алгебра множеств, каждое из которых является конечной сум-
мой непересекающихся множеств А вида {г: а < г < Ь}, {г: а <Ь},
{г: a<r^b}, {г: а^г^Ь}, и Р(А) = Ь - а. Показать, что Р(А), Aesi,
является конечно-аддитивной, но не счетно-аддитивной функцией мно-
жеств.
2. Пусть Q — некоторое счетное множество и & — совокупность всех
его подмножеств. Положим /х(Л) = 0, если А конечно, и /х(А) = оо, если
А бесконечно. Показать, что функция множеств /х конечно-аддитивна, но
не счетно-аддитивна.
3. Пусть /х — конечная мера на а-алгебре Апе#\ п = 1, 2, ..., и
А = lim Ал, (т. е. А = lim Ап = lim Ап). Показать, что /х(А) = lim /х(Ал).
п п и п
4. Доказать, что Р(Л △ В) = Р(Л) 4- Р(В) - 2Р(Л П В). (Ср. с задачей 4
§ 1 гл. I.)
5. Показать, что «расстояния» Р1(Д, В) и рг(А S), определенные по
формулам
Р1(Л, В) = Р(ЛАВ),
„и,В)Лот -"НЛиВ)0О.
[О, если Р(/4иВ) = 0,
удовлетворяют «неравенству треугольника».
6. Пусть /х — конечно-аддитивная мера на алгебре л/, множества
оо
Дь 4г, ...6 л/ попарно не пересекаются и А = Ai € si. Тогда д(4)>
1=1
> £ мио-
1=1
7. Доказать, что
lim sup An = lim inf An, lim inf An = lim sup An,
lim inf An C lim sup An, lim sup(4„ U Bn) = lim sup An U lim sup B„,
lim inf(4„ П Bn) = lim inf An D lim inf Bn,
lim sup An П lim inf Bn C lim sup(4„ И Bn) C lim sup A„ П lim sup Bn.
Если An T А или An I A, to
lim inf An — lim sup An.
8. Пусть {xn} — числовая последовательность и An = (-00, хл). По-
казать, что х = lim sup хп и А = lim sup Ап связаны следующим образом:
(-00, х) С А С (—оо, х]. Иначе говоря, А равно или (—оо, х), или (—оо, х].
9. Привести пример, показывающий, что для мер, принимающих зна-
чение +оо, из счетной аддитивности не вытекает, вообще говоря, непре-
рывность в «нуле» 0.
10. Проверить неравенство Буля: Р(4 ПВ) > 1 — Р(4) — Р(В).
11. Пусть Ль ...,Ап — некоторые события из &. Говорят, что эта
система событий является перестановочной (exchangeable или inter-
changeable), если вероятности РИ,, ...4(() одни и те же (= pi) для любого
выбора индексов 1 i i <... < ii С п и всех 1 I п. Доказать, что для таких
событий имеет место следующая формула:
(п \
|J 4,- j =npi-С^р2 + С^рз-... + (-\)п~1рп.
1 = 1 /
12. Пусть (Ak)k^\ — бесконечная последовательность перестановоч-
ных событий, т. е. для любого п 1 и любого набора индексов 1 i\ < ...
вероятности Р(Л/, ...Д/я) имеют одно и то же значение (= рп).
Доказать, что
Р(НтЛя) = Р| С| Ak | = lim ph
7 u=! /
pflim Л„)=Р( H Л*)=1- lim (-1)'Д'(р0),
\ n / \ / /—*oo
где po = l, △1(pn) = P„+i- Рп, &Црп) = &1(А'~1(рп)),
13. Пусть (Ап)п^\ — некоторая последовательность множеств, /(Дл) —
индикатор множества Д„, п 1. Показать, что
I (lim АЛ = lim 1(Ап),
' п ' п
/(lim Ля) =lim 1{Ап),
\ п / л
Л=1
14. Показать, что
(оо \
А Ап ) = min !(Ап).
1 / Л^1
Л=1 /
15. Доказать, что
P(lim Ля)>Нт Р(ЛЯ), Pdim А„) СДшР(ЛЯ).
16. Пусть Л* = ПтЛ„ и A* = lim А„. Показать, что Р(Л„—Л,)—>0,
Р(Л*-Л„)-+0.
17. Пусть множества Ля —> Л (в том смысле, что Л = А*=Л»), Показать,
что Р(Л АЛЯ)—>0.
18. Пусть множества Ап сходятся к множеству Л в том смысле, что
Р(Л △Л*) = Р(Л ДЛ») = 0. Показать, что тогда также Р(Л △Ля)-+0.
19. Доказать, что симметрическая разность ЛДВ множеств Л и В
удовлетворяет следующему свойству:
/(Л △ В) = /(Л) + /(В) (mod 2).
(Вывести отсюда, что Р(Л △ В) = Р(Л) + Р(В) — 2Р(Л Г) В); ср. с зада-
чей 4.) Проверить также следующие свойства симметрической разности:
(Л △В)ДС = ЛД(ВАС), (ЛДВ)Д(ВДС) = ЛДС,
ЛДВ = С & А = ВЬС.
§ 2. Алгебры и а-алгебры. Измеримые пространства
1. Алгебры и а-алгебры являются составными элементами при по-,
строении вероятностных моделей (экспериментов). Приведем примеры и
ряд результатов, относящихся к этим объектам.
Пусть Q некоторое пространство элементарных событий. Очевидным
образом системы множеств
^ = {0, Q}, = ACQ}
являются и алгебрами, и а-алгебрами. При этом — тривиальная, самая
«бедная» а-алгебра, а — самая «богатая» а-алгебра, состоящая из
всех подмножеств Q.
В случае конечных пространств Q а-алгебра вполне обозрима, и,
как правило, именно ее рассматривают в элементарной теории в качестве
системы «событий». В случае же несчетных пространств класс «F* оказы-
вается слишком широким, поскольку на системе таких множеств не всегда
удается «согласованным образом» задать вероятность.
Если А С Q, то система
= {А, А, 0, Q}
является также примером алгебры (и а-алгебры) и называется алгеброй
(а-алгеброй), порожденной множеством А.
Эта система множеств является частным случаем систем, порождаемых
разбиениями. А именно, пусть
^ = {DbD2, ...}
— некоторое счетное разбиение Q на непустые множества:
Q = Di+D2+...; DfnD/ = 0, i^j.
Тогда система si = образованная из множеств, являющихся объеди-
нением конечного или счетного числа элементов разбиения (с присоеди-
ненным пустым множеством), является алгеброй (и а-алгеброй).
Следующая лемма имеет важное значение, поскольку в ней устанавли-
вается принципиальная возможность построения наименьших алгебры
и а-алгебры, содержащих заданную систему множеств.
Лемма 1. Пусть S — некоторая система множеств из Q. Тогда
существуют наименьшая алгебра, обозначаемая ot(£), и наимень-
шая а-алгебра, обозначаемая а(£), содержащие все множества из S.
Доказательство. Класс всех подмножеств пространства Q есть
<т-алгебра. Таким образом, по крайней мере одна алгебра и одна а-ал-
гебра, содержащие S, существуют. Образуем теперь систему (а(<^)),
состоящую из тех множеств, которые принадлежат любой алгебре (и-алге-
бре), содержащей S. Нетрудно проверить, что такая система есть алгебра
(а-алгебра) и к тому же наименьшая. □
Замечание 1. Систему a(S) (соответственно <?((?)) часто называют
(наименьшей) алгеброй (соответственно а-алгеброй), порожденной си-
стемой множеств
Как уже было отмечено, понятие а-алгебры играет в теории вероят-
ностей важную роль, входя в «основное определение» вероятностного
пространства (п. 3 § 1). В этой связи понятно желание дать конструктив-
ный способ получения и-алгебры а(«с/), порожденной, скажем, некоторой
алгеброй л/. (Лемма 1 устанавливает, что такая а-алгебра существует, но
не дает ее эффективного построения.)
Один из мыслимых и представляющихся естественными способов об-
разования а(л/) из si мог бы быть следующим.
Пусть 8 — некоторая система подмножеств Q. Обозначим 8 систему
подмножеств Q, состоящую из множеств, входящих в 8, дополнений к ним
и конечных или счетных объединений множеств из 8. Положим s/q = si,
si\ = si2 = si[ ит. д. Понятно, что при каждом п система sin содержится
в a(si), и можно было бы ожидать, что при некотором п sin = о (si) или,
по крайней мере, |J sin = a(si).
Однако это, вообще говоря, не так. Действительно, возьмем Q = (0, 1 ] и
в качестве алгебры si рассмотрим систему подмножеств Q, порожденную
пустым множеством 0 и конечными суммами интервалов вида (а, д] с ра-
циональными концами а и Ь. Нетрудно убедиться, что в рассматриваемом
оо
случае система множеств |J sin строго меньше и-алгебры a (si).
Л=1
В дальшейшем наш основной интерес будет связан не с тем, как,
скажем, из алгебры si сконструировать наименьшую а-алгебру a (si),
а с вопросом о том, как установить, что та или иная заданная система
множеств является а-алгеброй.
Для получения ответа на такой вопрос нам понадобится важное понятие
«монотонного класса».
Определение 1. Система Л подмножеств Q называется монотон-
ным классом, если из того, что Ап ^Л, п = 1, 2, ..., и Ап Т Л или Ап 1 А,
следует, что А е Л.
Пусть 8 — некоторая система множеств. Будем обозначать через р(8)
наименьший монотонный класс, содержащий <£*. (Доказательство су-
ществования такого класса проводится так же, как и в лемме 1.)
Лемма 2. Для того чтобы алгебра si была в то же время и сг-ал-
геброй, необходимо и достаточно, чтобы она была монотонным
классом.
Доказательство. Каждая а-алгебра является, очевидным образом,
монотонным классом. Пусть теперь л/ является монотонным классом и
п
Ап esi, п = 1, 2, ... Ясно, что Вп= (J Л,- б л/ и ВпСВп+\. Следовательно,
1=1
оо
по определению монотонного класса Вп Т U Л/ е л/. Аналогично устанав-
i=l
оо
ливается, что р| Ai £si. □
/=1
Используя эту лемму, докажем справедливость следующего результата,
проясняющего связь понятий «а-алгебра» и «монотонный класс».
Теорема 1. Пусть si — алгебра. Тогда
д(л/)=ст(л/)- (1)
Доказательство. Из леммы 2 p(si) С a(si). Поэтому достаточно по-
казать, что p(si) является а-алгеброй. Но система = — монотон-
ный класс, поэтому опять-таки по лемме 2 достаточно только установить,
что p(si) является алгеброй.
Возьмем А е Л и покажем, что тогда А е jH. С этой целью применим
часто используемый в дальнейшем принцип подходящих множеств, со-
стоящий в следующем.
Обозначим
Л={В: Ве^,ВеЛ}
все те множества, которые обладают интересующим нас свойством. Ясно,
что si С Установим, что — монотонный класс.
Пусть Вп б тогда Bn б -И, Вп 6 Л, и поэтому
lim j Вп б lim f Вп б sH, lim J. Вп б Л, lim | Вп б
Следовательно,
lim Т Вп = lim 1 Вп б Л, lim | Вп = lim Т Вп б л?,
lim f Вп = lim | Вп б Л, lim | Вп = lim Т Вп б Л,
а значит, Л— монотонный класс. Но уЦ и sii — наименьший моно-
тонный класс. Поэтому sit — sit, и если А б sit = д(л/), то и А б Л, т. е.
класс замкнут относительно операции взятия дополнения.
Покажем теперь, что класс Л замкнут относительно взятия пересе-
чения.
Пусть А б Л и
ЛА={В-. В^Л,А^\В^Л}.
Из равенств
lim 1 (А П Вп) = А П lim 1 Вп, lim Т (Л П Вп) = А П lim f Вп
следует, что Ла ~ монотонный класс.
Далее, легко проверяется, что
(Ле^в) & (ВеЛА). (2)
Пусть теперь Л е л/, тогда поскольку л/ — алгебра, то для всякого
Вея? множество Л П В е я/ и, значит,
Но Ла — монотонный класс, а ^ — наименьший монотонный класс. Зна-
чит, Ла = Л для любого Л е я?. Но тогда из (2) вытекает, что для Л 6 я?
и ВеЛ
(АеЛв) & (ВеЛА = Л).
Поэтому, если Л ея?, то для любого ВеЛ
АеЛв.
В силу произвольности Л е я/ отсюда следует, что
яГСЛв^Л.
Значит, для всякого В е Л
В ““ ♦
т. е. если ВеЛ и С е Л, то С Г) Be Л.
Итак, класс Л замкнут относительно операций взятия дополнения
и пересечения (а значит, и объединения). Следовательно, Л=-р{яГ) —
алгебра, что и завершает доказательство теоремы. □
Анализ проведенного доказательства показывает, что при рассмот-
рении систем множеств, образованных по принципу подходящих мно-
жеств, было важно то, что эти системы замкнуты относительно неко-
торых теоретико-множественных операций.
С этой точки зрения, во всей проблематике «монотонных классов» ока-
зывается полезным выделение так называемых «я-систем» и «Х-систем»
множеств, которые, в сущности, и были использованы в доказательстве
теоремы 1. С помощью этих понятий можно дать еще ряд утверждений
(теорема 2), которые относятся к рассматриваемой проблематике и ча-
сто оказываются более удобными, нежели непосредственное обращение к
проверке того, что та или иная система множеств является «монотонным
классом».
Определение 2 («тг-А-системы»). Пусть Q — некоторое простран-
ство. Система & подмножеств Q называется л-системой, если она за-
мкнута относительно взятия конечных пересечений: если Ль ...» Ап е
то П
Система J2? подмножеств Q называется Х-системой, если
(Аа)Пе^
(А*) (Д, ве^и АСВ) => (В\Ле^),
(Ас) (Лле^, О1,и ЛПТЛ) => (Ле^?).
Система Of подмножеств Q, являющаяся одновременно тг-системой и
A-системой, называется л-Х-системой или d-системой Дынкина.
Замечание 2. Полезно отметить, что группа условий (Аа), (АД (АД
определяющая A-систему, равносильна (задача 9) группе условий (АД
(Ар, (Ас), где
(Ар если А е %, то А е
(Д') если Ап 1, АпС\Ат = 0 для т^п, то Q Ап е%.
Отметим также, что всякая алгебра, очевидно, является тг-системой.
Если S — некоторая система множеств, то через тг(<?), Х(£) и d(£)
обозначаются соответственно наименьшие тг-, А- и d-системы, содержа-
щие S.
Роль тг-А-систем проясняется в приводимой ниже теореме. Чтобы пол-
нее раскрыть смысл этой теоремы, заметим, что каждая о-алгебра яв-
ляется Х-системой. Обратное же, вообще говоря, не верно. Так, если
П = {1, 2, 3, 4}, то система
^f = {0, П, (1, 2), (1, 3), (1, 4), (2, 3), (2, 4), (3, 4)}
является A-системой, но не а-алгеброй.
Однако оказывается, что если дополнительно потребовать, чтобы
A-система была в то же самое время и тг-системой, то тогда эта тг-
А-система уже будет и а-алгеброй.
Теорема 2 (о тг-А-системах). а) Всякая л-Х-система S является
сг-алгеброй.
Ь) Пусть S есть л-система множеств. Тогда A(^) = d(^) = a(^).
с) Пусть S есть л-система множеств, <£ есть какая-то Х-си-
стема и SQ&. Тогда а(£) С
Доказательство, а) Система S содержит Q (в силу (Аа)) и замкнута
по отношению к взятию дополнений и конечных пересечений (согласно
(А£) и предположению, что S является тг-системой). Тем самым система
множеств S является алгеброй (в соответствии с определением 1 из
§ 1). Чтобы теперь доказать, что £ является также и а-алгеброй, надо
(в соответствии с определением 4 из § 1) убедиться в том, что если
множества Bi, В2, ... принадлежат то тогда и их объединение |J Вп
п
также принадлежит S.
Положим Л|=В1 и Ап = ВпС\А\П...пДл_ь Тогда, согласно (А'),
Р| Ап 6 £. Но р| Вп = П Ап, следовательно, и Q Вп е S.
Итак, всякая тг-А-система является а-алгеброй.
Ь) Рассмотрим A-систему А(<?) и а-алгебру а(^). Как уже отмечалось,
всякая а-алгебра является A-системой. Тогда поскольку а(<?) 2 то
сг(<£) = А(а(<?) 2 А(<?). Тем самым А(<?) С а(£).
Если теперь показать, что система А(<?) является также и тг-системой,
то тогда, согласно утверждению а), получим, что А(<?) есть а-алгебра,
содержащая S. Но так как а(^) есть минимальная а-алгебра, содержа-
щая и по доказанному А(<?) С а(<?), то А(<?) = а($).
Итак, обратимся к доказательству того, что А(^) является тг-систе-
мой.
Как и при доказательстве теоремы 1, воспользуемся принципом
подходящих множеств.
Пусть
#1 = {В G А(^): В П А е А(<?) для всех А е £}.
Если Ве^, тоВпЛе^ (поскольку S есть тг-система). Значит, SQS\.
Но система £\ есть A-система (в силу самого определения £\). Поэтому
A(^)CA(^i) = ^i. С другой стороны, по определению системы имеет
место включение С А(^).
Таким образом, = А(^).
Пусть теперь
^2 = {В е А(^): В П А е А(<?) для всех А е А(^)}.
Как и ^i, система £2 является А-системой.
Возьмем множество В е S. Тогда по определению системы £\ для всех
4e<?i=A(<?) находим, что ВпЛбА(^). Следовательно, из определения
системы £2 видим, что (?С(£2и А(^) С А(^2) = ^2- Но А(<Л 2<^2- Поэтому
А(<?) = <?2> и, значит, для любых А и В из А(<?) множество ДпВбА(^),
т. е. система А(^) является тг-системой. Итак, X(S) является тг-А-системой
(а значит, A(<?) = d(<?)), и, как уже было отмечено выше, отсюда следует,
что А(<^) = а (<£*).
Тем самым утверждение Ь) установлено.
с) Из того, что £ С и <£ есть A-система, находим, что А(^) С A(j5f) =
= Из b) следует, что А(^) = а(<?). Поэтому <j(<?) CjJf. □
Замечание 3. Результаты теоремы 2 могут быть выведены непосред-
ственно и из теоремы 1 (задача 10).
Сформулируем два утверждения, доказательство которых служит хо-
рошей иллюстрацией применения принципа подходящих множеств и
теоремы 2 о тг-А-системах.
Лемма 3. Пусть Р и Q — две вероятностные меры, заданные на
измеримом пространстве (Q, ^). Пусть £ — некоторая п-система
множеств из & и меры Р и Q совпадают на множествах из 8.
Тогда эти меры совпадают и на а-алгебре а(8). В частности, если
si есть алгебра и меры Р и Q совпадают на ее множествах, то они
совпадают и на множествах из a(si).
Доказательство. Воспользуемся принципом подходящих мно-
жеств, беря в качестве таковых множества J2? =_{Л е а(8): Р(Л) = Q0)}.
Ясно, что QeJjf. Если Ае&, то, очевидно, и АеЯ, поскольку Р(Л) =
= 1 — Р(Д) = 1 -Q(/4) = Q(A). Если Ai, А2, ... есть система непересека-
ющихся множеств в тогда в силу счетной аддитивности мер Р
и Q
р (и =Е ри«)=L =Q (U •
X Л / Л Л X /
Тем самым выполнены свойства (Аа), (Х'ь), (А'), и, значит, является
А-системой.
По условию леммы 8С^ и 8 является тг-системой. Тогда из утвер-
ждения с) теоремы 2 следует, что а(8) С В силу же самого определения
подходящих множеств это свойство и означает, что меры Р и Q совпадают
на а-алгебре а(8). □
Лемма 4. Пусть si\, ..., sin — независимые (относительно ме-
ры Р) алгебры событий. Тогда относительно этой меры будут неза-
висимы и а-алгебры а(^г/\), cr(jz^), ..., а(£/п).
Доказательство. Отметим прежде всего, что в общих вероятност-
ных моделях независимость множеств и систем множеств (алгебр, а-ал-
гебр, ...) определяется точно так же, как и в элементарной теории веро-
ятностей (см. определения 2—5 в § 3 гл. I).
Пусть Л2, ...» Ап — множества из ..., sin соответственно и
= Р(ДПД2П...ЛДЯ) = Р(4) Р(Л*)|. (3)
*=2 '
Покажем, что является А-системой.
Ясно, что Qe JT, т.е. выполнено свойство (Ао). Пусть А и В принад-
лежат и А С В. Тогда поскольку
п
Р(ЛГ)Л1П...ПД„) = Р(Д) [J P(Ak)
k=2
Р(ВПЛ1П...ПЛЯ) = Р(В) [J Р(Ак),
k=2
то, вычитая из второго соотношения первое, находим, что
п
Р((В\Л)ПЛ1П...ПЛЯ) = Р(В\Л) [J РИ*).
k=2
Значит, выполнено свойство (АД Наконец, если множества В^еа(л/1),
k 1, и Bk Т В, то Bk П/U П...П An T В ПЛ2П... ПAn. Поэтому в силу непре-
рывности сверху вероятности Р (см. теорему в § 1) из Р(В*ПД2^ •••
п
... ПЛЛ) = Р(В^) И Р(А) предельным переходом (£—>оо) находим, что
/=2
п
Р(ВпЛ2П...ПЛя) = Р(В) П Р(Л),
/=2
т. е. выполнено свойство (АД
Таким образом, система Jfj является A-системой и Применяя
утверждение с) из теоремы 2, находим, что jgfj
Тем самым показано, что системы а(^), ..., являются незави-
симыми.
Проводя аналогичные рассмотрения для системы ...,
приходим к тому, что независимыми будут и системы а(«^), ...,
а(л^), или, равносильно, системы ..., а(д?1), а(л^).
Продолжая этот процесс, приходим к независимости системы, состоя-
щей из а-алгебр <г(яА), сг(^), ...» а(л^). □
Замечание 4. Проанализируем еще раз, что же нужно требовать от
системы множеств, чтобы она образовывала а-алгебру.
С этой целью будем говорить, что система множеств S является тг*-си-
стемой, если она замкнута относительно взятия счетного пересечения:
Ль А2, ...е£ => Р| AneS.
Л=1
Тогда из определения а-алгебры следует, что если некоторая алгебра
S является в то же самое время и ^-системой, то она будет и а-ал-
геброй.
Подход же, основанный на понятии «тг-А-система», несколько иной.
Здесь мы отправляемся не от понятия «алгебра», а от понятия «А-систе-
ма». И, как следует из утверждения а) теоремы 2, если эта Х-система
является в то же самое время ^-системой, то она будет и сг-алгеброй.
Ясно, в чем состоит разница в этих подходах.
Когда мы проверяем, что некоторая система является а-алгеброй,
начиная при этом с проверки того, что эта система является алгеброй.
это означает, что мы делаем эту проверку, привлекая к рассмотрению
лишь конечные суммы (или пересечения) множеств. «Счетность»
(а именно в ней-то «все дело») возникает тогда, когда мы осуществляем
проверку того, что эта система множеств является также и тг*-системой.
При «А-тг-подходе» проверку свойства, что интересующая нас система
множеств является а-алгеброй, мы начинаем прежде всего с установления
того, что эта система является А-системой. свойства (Ас) или (Д') которой
связаны уже со «счетными» операциями. Зато на втором этапе — при
проверке того, что эта система является тг-системой, — мы оперируем лишь
с конечными пересечениями или суммами множеств.
Завершим изложение результатов о «монотонных классах» приведени-
ем одной из их функциональных версий. (Примером применения может
служить доказательство леммы теоремы 1 в § 2 гл. VIII.)
Теорема 3. Пусть S есть ^-система множеств из & и ЯР —
совокупность тех действительнозначных &-измеримых функций,
для которых выполнены следующие свойства:
(fti) если AeS. то функция 1д е ЛР\
(й2) если feJIP, herfP, то f + geJtPu cfeJIP для всякого дей-
ствительного числа с;
(й3) если функции hn еЯР. О 1, 0 йл Тh. то heЯР.
Тогда класс УР содержит и все ограниченные функции, являющи-
еся измеримыми относительно а-алгебры а(£).
Доказательство. Пусть ^ = {Д е&: 1д € JP}. Из (Й0 следует, что
<£. Но система <£ в силу (й2) и (йз) является (задача 11) Л-системой.
Поэтому, согласно утверждению с) теоремы 2, находим, что a(S}Q££.
Таким образом, если Aea(S}. то функция ЦеЛР. По свойству (й2) отсюда
вытекает, что все простые функции (т. е. функции, являющиеся конечными
линейными комбинациями функций вида !д.. где At Ga(<?)) тоже принад-
лежат классу ЯР. Наконец, в силу свойства (й,) получаем, что и всякая
ограниченная а(<?)-измеримая функция принадлежит классу ЛР. □
Замечание 5. Пусть Х\..... Хп — случайные величины на (Q, <^), &х =
= cr(Xi,Хп) и f = f(uj) — ^х-измеримая функция. Тогда найдется такая
борелевская функция F = F(x1, хп). что f(a>) = F(X\(u). .... Хп(и)).
Для доказательства этого утверждения достаточно воспользоваться те-
оремой 3, беря в качестве подходящего множества функций JP множе-
ство неотрицательных борелевских функций F = F(x\. .... xrt) и в качестве
множества S совокупность множеств
£ = Xi(oj)^Xi, ..., Х„(о;)^хл; xf- е R, i = 1>..., п}.
Применяя теорему 3, получаем, что всякая неотрицательная -изме-
римая функция f = f(cu) представлена в виде [(ш) = F(X\(uj), Хп(ш)).
Общий случай (не обязательно отрицательных) функций f сводится к рас-
смотренному предварительным переходом к представлению / =
Перейдем к рассмотрению наиболее важных для теории вероятностей
измеримых пространств (Q, ^).
2. Измеримое пространство (/?, «^(/?)). Пусть /? = (-оо, оо) —дей-
ствительная прямая и
(a, b] = {х е R: а < х Ь}
для всех —оо а < b < оо. Условимся под интервалом (а, оо] понимать
интервал (а, оо). (Это соглашение необходимо для того, чтобы дополнение
до интервала (—оо, Ь] было интервалом того же вида, т. е. открытым слева
и замкнутым справа.)
Обозначим через л/ систему множеств в /?, состоящую из конечных
сумм непересекающихся интервалов вида (а, Ь]:
п
Aerf, если Д = ^2(а/,й/], п<оо.
i=l
Нетрудно проверить, что эта система множеств, в которую мы вклю-
чаем также и пустое множество 0, образует алгебру, которая, одна-
ко, не является и-алгеброй, поскольку если Лл = (0, 1 —1/п]ел/, то
ил = (0,1)£^.
п
Пусть S8(R) — наименьшая а-алгебра сг(«я/), содержащая систему л/.
Эта а-алгебра, играющая важную роль в математическом анализе, назы-
вается борелевской алгеброй множеств числовой прямой, а ее множест-
ва — борелевскими.
Если обозначить через «X систему интервалов / вида (а, &], а через
<?(</) — наименьшую а-алгебру, содержащую то нетрудно проверить,
что <?(</) будет совпадать с борелевской алгеброй. Иначе говоря, к боре-
левской алгебре можно прийти от системы минуя обращение к алге-
бре «с/, поскольку <?(</) = а(а(</)).
Заметим, что
(a, ft)=|J а<Ь, [а, ft] = Q (а - ft], a<b,
Л=1 Л=1
{а}=П (а-1, а].
Л=1
Тем самым в борелевскую алгебру наряду с интервалами вида (а, Ь] входят
одноточечные множества {а}, а также любое из шести множеств
(а, Ь), [а, Ь], [а, Ь), (-оо, Ь), (-оо, ft], (а, оо). (4)
Отметим также, что при конструировании борелевской алгебры S$(JR) мож-
но было бы отправляться не от интервалов вида (а, Ь], а от любого из шести
указанных интервалов, поскольку все наименьшие а-алгебры, порожден-
ные системами множеств в /?, состоящими из конечных сумм непересе-
кающихся интервалов одного и того же типа из (4), совпадают с a-алге-
брой &(R)-
Иногда приходится иметь дело с a-алгеброй &(R) множеств на
расширенной числовой прямой /? = [—оо, оо]. Так называют наимень-
шую a-алгебру, порожденную системами множеств в R, состоящими из
конечных сумм непересекающихся интервалов вида
(a, b] = {х е R: а < х ft}, -оо а < ft оо,
где под (—оо, ft] понимается множество {xeR: — оо х ft}.
Замечание 1. Для измеримого пространства (/?, ^(/?)) часто исполь-
зуются также обозначения (/?, S8), (У?1,
Замечание 2. Введем на числовой прямой R метрику
= ттй|
(эквивалентную обычной евклидовой метрике |x-t/|) и обозначим через
<^о(У?) наименьшую a-алгебру, порожденную конечными суммами непере-
секающихся открытых множеств вида Sp(x°) = {х е R: р\ (%, х°) < р}, р > О,
х°е/?. Тогда SSq(R) — 38(R) (см. задачу 7).
3. Измеримое пространство (У?л, 08(Rn)). Пусть Rn=Rx ...xR —
прямое, или декартово, произведение п экземпляров (копий) числовой
прямой, т. е. множество упорядоченных наборов х = (хь ..., хл), где
-оо<х^<оо, й=1,...,п. Множество / = У1Х...х/л, где /* = (а£, ft*],
т. е. множество {х е Rn: Xk € 4, k = 1, ..., п}, назовем прямоугольником,
4 — сторонами этого прямоугольника. Через «X обозначим совокуп-
ность всех множеств, состоящих из конечных сумм непересекающихся
прямоугольников /. Наименьшая a-алгебра а(«Х), порожденная системой
прямоугольников с/, называется борелевской алгеброй множеств в Rn
и обозначается S8(Rn). Покажем, что к этой борелевской алгебре можно
было бы прийти и иначе.
Наряду с прямоугольниками / = /1 х ... х /л рассмотрим прямоугольни-
ки В = х ... х Вп с борелевскими сторонами (В* — борелевское мно-
жество числовой прямой, стоящей на й-м месте в прямом произведении
/?х...х/?). Наименьшая а-алгебра, содержащая все прямоугольники с
борелевскими сторонами, обозначается
и называется прямым произведением а-алгебр S8(R). Покажем, что на
самом деле
Иначе говоря, наименьшие и-алгебры, порожденные системами множеств,
образованными из конечных сумм непересекающихся прямоугольников
/ =/1 х ... х /л, и системами множеств, образованными из конечных сумм
непересекающихся прямоугольников В = В\ х ... х Вп с борелевскими
сторонами, совпадают.
Доказательство существенно опирается на следующее предложение.
Лемма 5. Пусть £ — некоторый класс множеств из О, множес-
тво В С Q, и пусть по определению
<^РВ = {ДРВ: А е£} (5)
и а(£Р В) — наименьшая а-алгебра подмножеств В, порожденная
системой &Г\В. Тогда
а(^РВ) = а(^)рВ. (6)
Доказательство, Поскольку £Qcr(£), то
Р В С а(<?) Р В. (7)
Но а(<?)РВ является а-алгеброй в В, поэтому из (7) следует, что
а(^РВ)Са(^)РВ.
Для доказательства обратного включения снова воспользуемся прин-
ципом подходящих множеств.
Обозначим
% = {Леа(Л: ДРВеа(^РВ)}.
Поскольку о(£) и а(^РВ) являются а-алгебрами, то % также а-алгебра,
причем, очевидно,
откуда а(<?)Са(%)=% Са(<?) и, значит, Поэтому для каждого
множества А е а(£)
А ПВ еа(£пВ)
и, следовательно, а(^) Р В С а(£ Р В). □
Доказательство совпадения а-алгебр 38 (Rn) и 38®...® 38. Для
п = 1 их совпадение очевидно. Докажем теперь, что они совпадают для
п = 2.
Поскольку 38(R2) Q38®38, то достаточно показать, что борелевский
прямоугольник В\ х В2 принадлежит <^(/?2).
Пусть R2 = R\ х /?2, где R\ и R2 — «первая» и «вторая» действительные
прямые, =^1 х ^2 = Л| х ^2» где 38\ х /?2 (Я1 х «^2) есть совокуп-
ность множеств вида В\ х /?2 (R\ х В2) с В\ е38\ (В2€382). Пусть также
и «Л — совокупности интервалов в R\ и R2 и —J\ х /?2, /2=^1 х
Тогда, если Bj = В\ х R2, B2~R\ х В2» то в силу (6)
В\ х В2 = ИВ2 ^1 НВ2 = ПВ2 =
= сг(</1 А В2) С сг(с/1 А «Х2) = a(</i х ./2)»
что и требовалось доказать.
Случай произвольного п>2 рассматривается аналогичным образом.
□
Замечание. Пусть 38o(Rn) — наименьшая а-алгебра, порожденная си-
стемами множеств, образованными конечными суммами непересекающих-
ся открытых «шаров»
Sp(x°) = {xeRn : рп(х, х°)<р}, x°eRn, р>0,
в метрике
п
рп(х, х°) = 52 2~*Р1 (JC*. 4),
fe=l
где x = (xi, ..., xrt)t х° = (х?, ..., х°).
Тогда &o(Rn) = &(Rn) (задача 7).
4. Измеримое пространство (/?°°, <^(/?°°)) играет значительную роль
в теории вероятностей, поскольку оно служит основой построения вероят-
ностных моделей экспериментов с бесконечным числом шагов.
Пространство R°° — это пространство упорядоченных числовых по-
следовательностей
х = (*1, Х2. ...), -оо < Xk < 00, k = 1, 2, ...
Обозначим через 4 и В^ соответственно интервалы (a*, bk) и борелев-
ские множества й-й числовой прямой (с координатой х*). Рассмотрим
цилиндрические множества
</(/1 х ... xln) = {x: х = (хь *2, ...), Xi е/ь ..., хп е/Д (8)
х... хВл) = {х: х = (хь х2, ...), еВь ...» хпеВп}, (9)
S(Bn) = {x: х = (хь ...,хл)еВл}, (10)
где Вп — борелевское множество из &(Rn). Каждый из «цилиндров»
«/(Bi х ... х Вп) или с/(Вл) может рассматриваться также как цилиндр с
основаниями в Rrt+1, /?л+2, ...» поскольку
</(В1 х ... х Вп) = ^(Bi х ... х Впх R),
J(Bn) = J(Bn+\
гдеВл+1=Вл xR.
Множества, составленные из конечных сумм непересекающихся ци-
линдров </(/j х ... х /Д образуют алгебру. Точно так же алгебру образуют
множества, составленные из объединений непересекающихся цилиндров
«/(Bi х ... х Вп). Система цилиндров </(Вл) также образует алгебру. Обо-
значим ^(R°°), ^i(R°°) и ^(R00) наименьшие а-алгебры, содержащие
все множества (8), (9) и (10) соответственно. (Часто и-алгебру ^i(R°°)
обозначают SS(R) 0 SS(R) 0 ...) Понятно, что ^(R°°) С (R°°) С ^(R00)-
На самом же деле все эти три и-алгебры совпадают.
Для доказательства обозначим для каждого п = 1, 2, ...
^ = {/lCRrt: {х: (xl,...,xrt)6 4}6^(R00)}.
Пусть Вп е ^(Rrt). Тогда
Вле^л.
Но <#п — а-алгебра, а значит,
Ж)с<) = ^.
Отсюда можно сделать заключение, что ^(R00) £ «^(R00)-
Итак, ^(R°°) = (R°°) = ^2(R°°).
В дальнейшем множества из ^(R°°) будем называть борелевскими
множествами (в R°°).
Замечание. Пусть <^o(R°°) — наименьшая а-алгебра, порожденная
системами множеств, образованными конечными суммами непересекаю-
щихся открытых «шаров»
Sp(x°) = {х е /?°°: />оо(х, х°) < р}, x°eR°°, р> 0,
в метрике
оо
Роо(х, Х°) = 52 4)>
*=1
где х = (х 1, Х2, ...) и х° = (х^, х!?, ...). Тогда SS(R°°) = S§q(R°°) (задача 7).
Приведем несколько примеров борелевских множеств в /?°°:
(а) {х е R°°: sup хп > а}, {х & R°°: inf xn < а};
(b) {х & R°°: lim xn a}, {x G R°°: lim xn > а}, где, как обычно,
lim xn = inf sup xm, lim xn = sup inf xm\
n rn^n n m^n
(c) {x € R°°: xn —►} — множество тех x e R°°, для которых lim xn суще-
ствует и конечен;
(d) {x 6 R°°: lim xn > a};
(e) [xeR°°: £ |xn| > a) ;
l л=1 J
{n 1
x e R°°: 52 xk = 0 по крайней мере для одного и > 1 >.
k=\ )
Чтобы убедиться, например, в том, что множества из (а) входят в си-
стему ^(/?°°), достаточно заметить, что
{х: sup xn > a} = |J {х: хп > а} е ^(/?°°),
п
{х: inf х„ < а} = {х: xn < а} G @(R°°).
п
5. Измеримое пространство (/?г, ^(/?г)), где Т — произвольное
множество. Пространство RT — это совокупность действительных функций
х = (х/), определенных для t е Т. * *) В основном нас будет интересовать
тот случай, когда Т — некоторое несчетное подмножество числовой пря-
мой. Для простоты и определенности можно сейчас предположить, что
Т = [0, оо).
Введем в рассмотрение три типа цилиндрических множеств:
Л..../Л(Л х...х/л) = {х: х/, е/ь ...,х/яе/л}, (11)
Л /Л(В1 х...хВл) = {х: х^еВь ...,х/яеВл}, (12)
Л tn(Bn) = {x: (х/1,...,х/л)евл}, (13)
где Ik — множества вида (a*, bk], Bk — борелевские множества на числовой
прямой, а Вп — борелевское множество в Rn.
*) В дальнейшем для функции из RT используются также обозначения: х = (х/)/еу,
* = (*/),/€ Г.
Множество .....tnU\ х... х/л) есть не что иное, как множество тех
функций, которые в моменты /|, ..., tn «проходят через окна» Л, ..., /л, а
в остальные моменты принимают
произвольные значения (рис. 24).
Обозначим через S8\(RT)
и <^2(/?г) наименьшие а-алгебры,
содержащие все цилиндрические
множества (11), (12) и (13) соот-
ветственно. Ясно, что
&(RT)Q&i(RT)C&2(RT). (14)
На самом же деле все три а-алгебры
совпадают между собой. Более то-
го, исчерпывающим образом можно
описать и структуру их множеств.
Теорема 4. Пусть Т — несчетное множество. Тогда S8(RT) =
= <%\(RT) =g§2(RT) w любое множество A e&(RT) имеет следующую
структуру: найдутся не более чем счетное множество точек
/ь /2» ••• Т и борелевское множество В из ^(/?°°) такие, что
А = {х: (xh,xt2, ...)еВ}. (15)
Доказательство. Обозначим через S совокупность множеств ви-
да (15) (при различных наборах (/ь •••) и множествах В из ^(/?°°)).
Если Ль А2, ...и отвечающие им наборы есть = tf\ ...),
7(2) = (/{2), tf\ ...), то множество можно взять в качестве
k
единой системы такой, что все Д/ будут представлены в виде
Дi = {«К • (^п > ^Т2 ♦ • ♦ •) £ }»
где В[ — некоторые множества из (одной и той же) а-алгебры ^(/?°°),
а п е Т(оо).
Отсюда следует, что система множеств S образует а-алгебру. Понятно,
что эта а-алгебра содержит все цилиндрические множества вида (13) и,
поскольку SB2{RT} есть наименьшая а-алгебра, содержащая эти множе-
ства, то вместе с (14) это дает
с (/?г) С ^2(/?г) С (16)
Рассмотрим множество А из <?, представимое в виде (15). Если зафик-
сировать набор (/j, t2, ...), то тогда те же рассуждения, что и в случае
пространства (/?°°, ^(/?°°)), показывают, что множество А будет элемен-
том а-алгебры, порожденной цилиндрическими множествами (11). Но эта
а-алгебра, очевидно, принадлежит а-алгебре «^(/?г), что вместе с (16) и
доказывает оба утверждения теоремы. □
Итак, любое борелевское множество А из а-алгебры S8(RT) опреде-
ляется ограничениями, наложенными на функции х = (х/), t е Г, не более
чем в счетном числе точек /2» ••• Отсюда следует, в частности, что
множества
А \ = {х: xt < С для всех t е [0, 1]},
Az = {x : X/ =0 по крайней мере для одного t е [0, 1]},
Лз = {х: X/ непрерывна в фиксированной точке [0, 1]},
зависящие от «поведения» функций в несчетном числе точек, не обязаны
быть борелевскими. И действительно, все три указанных множества не
принадлежат 38 (R^).
Покажем это для множества Если А\то, согласно
доказанной теореме, можно найти такие точки (^, t%, ...) и множество
BQe38(Roo)> что
{х: sup х/ < С, / е [0, 1]} = {х: (х,о, х/0, ...)€в0}.
t 1 2
Ясно, что функция yt = C — \ принадлежит Дь и, следовательно,
(£/zo, t/zo, ...)еВ°. Образуем тогда функцию
(С-1,
Zt~ (С+1, /j,
Понятно, что
(Уф Уф •••) = (z/o,z<o,
и, значит, функция z = (z/) принадлежит множеству
{х: (х,о, xto,
Но ясно также, что она не принадлежит множеству {х: sup X/ < С}. По-
лученное противоречие показывает, что А[
В связи с неизмеримостью множеств Дь А2 и A3 по отношению к
а-алгебре в пространстве всех функций х = (х/), t е [0, 1], ес-
тественно рассмотреть более узкие классы функций, где эти множества
могут оказаться измеримыми. Интуитивно понятно, что так будет, если
в качестве исходного пространства рассмотреть, например, пространство
непрерывных функций.
6. Измеримое пространство (С, 38(C)), Пусть Г = [0,1] и С —
пространство непрерывных функций х = (хД 0^/^1. Относительно
равномерной метрики р(х, у) = sup |xz — yt | это пространство является I
I
метрическим. В пространстве С можно ввести две а-алгебры: 38(C) — j
а-алгебру, порожденную цилиндрическими множествами, и а-алгебру |
^o(Q, порожденную открытыми (в метрике р(х, у)) множествами. (
Покажем, что на самом деле обе эти а-алгебры совпадают: &(С) = &о(С).
Пусть В = {х: Х/о < Ь} — некоторое цилиндрическое множество. Нетруд-
но убедиться, что это множество является открытым. Отсюда вытекает, что
{х: xtl <fti, ..., xtn <Ьп}е38п(С) и, значит, 38(C) Q38q(C).
Обратно, рассмотрим множество Вр = {у: y€Sp(x^)}, где х° есть неко-
торая функция из С и Sp(x°) = {xeC: sup |х/ -х^ср} — открытая сфера
с центром в х°. В силу непрерывности функций из С
Вр = {уеС: yeSp(x°)} = (yeC i max \yt-х?| <р} =
= Q{i/eC: \ytk-xl\<p}e&(C), (17)
tk
где tk — рациональные точки отрезка [0, 1]. Поэтому 38ц(С) С 38(C).
Пространство (С, 38^(С), р) является польским, т. е. полным и сепара-
бельным; [5], [87].
7. Измеримое пространство (О, 38(D)), где D — пространство функ-
ций х = (х/), t е [0, 1], являющихся непрерывными справа (xt = х/+) для
всех t < 1 и имеющих пределы слева (в любой точке t > 0).
Так же, как и в случае пространства С, в D можно задать метрику
d = d(x, у) так, что d-алгебра 38$(D), порожденная открытыми множе-
ствами, будет совпадать с а-алгеброй ^(О), порожденной цилиндриче-
скими множествами. При этом (D, ^(D), d) станет сепарабельным прос-
транством; [5], [87]. Эта метрика d = d(x, у), введенная А. В. Скороходом,
определяется следующим образом:
d(x, i/) = inf (е>0: ЗАеА: sup |xz - £/ащ| + sup \t - А(/)| Л, (18)
1 t t J
где А —множество строго возрастающих непрерывных на [0, 1] функций
А = А(0 с А(0) = 0, А(1) = 1.
8. Измеримое пространство ( П й Л]. Наряду с пространс-
\teT ter /
твом (RTt 38(RT)), являющимся прямым произведением Т копий числовой
прямой с системой борелевских множеств, в теории вероятностей рассмат-
ривают также измеримые пространства ( П й Ь образованные
ver teT /
следующим образом.
Пусть Т — произвольный набор индексов и (Qz, — измеримые про-
странства, t^T. Обозначим Q= П “ множество всех функций и = (и/),
teT
t G Г, таких, что (vt е £lt Для каждого t G Т.
Совокупность всех конечных объединений непересекающихся цилин-
дрических множеств
Z..../„(51 x...xB„) = {w: Ujt{ еВ\, ...,wtiteBn},
где образует, как нетрудно показать, алгебру. Наименьшую а-ал-
гебру, содержащую все цилиндрические множества, обозначают
ter
а измеримое пространство (П О/, JsJ ^/) называют прямым произведе-
нием измеримых пространств (Q/, «^/), t еТ.
9. Задачи.
1. Пусть SB\ и <^2 —Две а-алгебры подмножеств пространства О. Будут
ли а-алгебрами системы множеств
Зё\ П^2 = И- A eS8\ и А
и S82 = И • А е S8\ или А е <^2}?
2. Пусть ^={ОЬ О2» некоторое счетное разбиение П и ^=а(^).
Какова мощность а-алгебры
3. Показать, что
&(Rn)®&(R) = ®(Rn+'\
4. Доказать, что множества (b)—(f) (см. п. 4) принадлежат 38(R°°).
5. Доказать, что множества Дг и Дз (см. п. 5) не принадлежат
6. Доказать, что функция (18) действительно задает метрику.
7. Доказать, что &o(Rn) = &(Rn), О 1, и ^o(R°°) = SS(R°°).
8. Пусть С = С[0, оо) — пространство непрерывных функций х = (х<),
определенных для / > 0. Показать, что относительно метрики
ОО
р(х> */) = 5? 2“л min Г sup 11, х, уеС,
1°^" J
это пространство является (как и в случае С = С[0, 1]) польским, т. е. пол-
ным сепарабельным метрическим пространством, и а-алгебра <^о(С),
порожденная открытыми множествами, совпадает с а-алгеброй «^(С), по-
рожденной цилиндрическими множествами.
9. Доказать равносильность групп условий (Аа), (А^), (Ас) и (Аа), (А£),
(А') (см. с. 175).
10. Вывести теорему 2 из теоремы 1.
11. Доказать, что в теореме 3 система является А-системой.
12. Говорят, что а-алгебра является счетно-порожденной или сепа-
рабельной. если она порождается некоторым счетным классом подмно-
жеств.
Показать, что а-алгебра 38 борелевских подмножеств Q = (0, 1] явля-
ется счетно-порожденной.
Показать на примере, что возможна ситуация, когда две а-алгебры
&\ и таковы, что &\ С ^2, — счетно порождена, но такой
не является.
13. Показать, что для того, чтобы сг-алгебра У была счетно-порожден-
ной, необходимо и достаточно, чтобы % = и(Л) для некоторой случайной
величины X (определение а(Х) см. в п. 4 § 4).
14. Дать пример сепарабельной и-алгебры, у которой есть несепара-
бельная под-а-алгебра.
15. Показать, что Х\. ••• — независимая система случайных величин
(§§ 4, 5), если а(Хп) и а(Х[. .... Хп_\) независимы при каждом п^ 1.
16. Привести пример, показывающий, что соединение двух и-алгебр
не есть и-алгебра.
17. Пусть si\ и две независимые системы множеств, каждая из
которых является тг-системой. Показать, что тогда и и также
независимы. Привести пример двух независимых систем si\ и не яв-
ляющихся тг-системами, для которых и уже зависимы.
18. Пусть <£ есть A-система. Тогда (Л, В е А П В = 0) => (A U В е
19. Пусть и — две сг-алгебры подмножеств в Q. Положим
d(^,^2) = 4 sup |Р(Л1Л2)-Р(Л1)Р(Д2)|.
Л2€«^2
Показать, что эта величина, характеризующая степень зависимости между
и ^2, имеет следующие свойства:
(a)0^d(^,^2)^l;
(b) d(&\. ^2) = 0, если и только если и ^2 независимы;
(с) d(&\. «^2)= 1, если и только если пересечение и ^2 содержит
множество, вероятность которого равна 1/2.
20. Применяя метод доказательства леммы 1, доказать существование
и единственность классов А(<?) и тг(<?), содержащих систему множеств S.
21. Пусть si есть некоторая алгебра множеств, обладающая тем
свойством, что любая последовательность (Ап)п^\ непересекающихся
оо
множеств Ап 6 si такова, что |J Ап е si. Доказать, что тогда si является
Л=1
и-алгеброй.
22. Пусть (^л)л>1 есть возрастающая последовательность а-алгебр:
оо
С , n 1. Показать, что |J &п есть (вообще говоря, только лишь)
л=1
алгебра.
23. Пусть & есть алгебра (или а-алгебра) и некоторое множество
С не принадлежит Рассмотрим наименьшую алгебру (соответствен-
но а-алгебру), порожденную множествами из <^и{С}. Показать, что все
элементы этой алгебры (соответственно и-алгебры) состоят из множеств
вида (А П С) U (В П С), где А, В е
24. Пусть R = R U {-оо} U {оо} — расширенная числовая прямая. Бо-
релевская а-алгебра ^(R) может быть определена (ср. с определени-
ем в п. 2), как <т-алгебра, порожденная множествам [—оо, х], xeR, где
[—оо, х] = {-оо}и(—оо, х]. Показать, что эта а-алгебра ^(R) совпадает
также с любой из cr-алгебр, порожденных множествами
(а) [—оо, х), х € R, или
(Ь) (х, оо], х 6R, или
(с) всеми конечными интервалами и {—оо} и {оо}.
§ 3. Способы задания вероятностных мер
на измеримых пространствах
1. Измеримое пространство (R, S8(R)). Пусть Р = Р(Л) — вероят-
ностная мера, определенная на борелевских множествах А числовой пря-
мой. Возьмем А = (—оо, х] и положим
F(x) = Р(—оо, х], xeR. (1)
Так определенная функция обладает следующими свойствами:
1) F(x) — неубывающая функция;
2) Г(—оо) = 0, F(-I“oo) = 1, где
F(—оо) = lim F(x), Г(+оо)= lim F(x);
xj—оо xfoo
3) F(x) непрерывна справа и имеет пределы слева в каждой точке
xeR.
Первое свойство очевидно, последние два вытекают из свойства непре-
рывности вероятностной меры.
Определение 1. Всякая функция F = F(x), удовлетворяющая пере-
численным условиям 1)—3), называется функцией распределения (на
числовой прямой R).
Итак, каждой вероятностной мере Р на (R, S8(R)) соответствует (в си-
лу (1)) некоторая функция распределения. Оказывается, что имеет место
и обратное утверждение.
Теорема 1. Пусть F = F(x) — некоторая функция распределе-
ния на числовой прямой R. Тогда на (R, &(R)) существует и при-
том единственная вероятностная мера Р такая, что для любых
—оо а < b < оо
Р(а, b]=F(b)-F(a). (2)
Доказательство. Пусть л/ — алгебра множеств А из R, являющихся
конечными суммами непересекающихся интервалов вида (а, д]:
п
А = М-
k=\
Определим на этих множествах функцию множеств Ро, полагая
п
РоИ) = [F(bk) -F(ak)], A erf. (3)
fc=l
На алгебре si эта формула определяет по F, и, очевидно, однозначно,
конечно-аддитивную функцию множеств. Поэтому, если показать, что
на этой алгебре эта функция к тому же счетно-аддитивна, то существо-
вание и единственность требуемой меры Р на &(R) будет непосредственно
вытекать из следующего общего результата теории меры (приводимого
здесь без доказательства, по поводу которого см., например, [42], [70]).
Теорема Каратеодори. Пусть Q — некоторое пространство, si —
алгебра его подмножеств и SS = a(si) — наименьшая а-алгебра, со-
держащая si. Пусть ро — a-конечная мера (как а-аддитивная фун-
кция множеств) на (П, si). Тогда существует и притом единствен-
ная мера р на (Q, ЗВ), являющаяся продолжением ро, т. е. такая,
что
р(А) — ро(А), Aesi.
Итак, покажем, что функция Ро счетно-аддитивна (т. е. является ве-
роятностной мерой) на алгебре si. Согласно теореме из § 1, для этого
достаточно проверить непрерывность Ро в 0, т. е. проверить, что
РоИлЦО, Ап[0, Anesi.
Пусть Ai, Л2, ... — некоторая выбранная последовательность мно-
жеств из si со свойством Ап 10. Предположим сначала, что все множества
принадлежат некоторому замкнутому интервалу [-W,/V], N <оо.
Поскольку Ап состоят из конечного числа сумм интервалов вида (а, Ь]
и поскольку в силу непрерывности справа функций F(x)
Ро« b] = F(b) - F(a') F(b) - F(a) = Р0(а, b]
при а! I л, то для каждого Ап найдется множество такое, что его
замыкание [Вл] QAn и
Р0(Лл)-Р0(Вл)^е2“Л,
где е —некоторое заранее заданное число, большее нуля.
По предположению р| Лл = 0, а значит, и Q [Вл] = 0. Но множества
[Вл] замкнуты, поэтому найдется такое конечное п0 = п0(е), что
«о
П ш=0-
Л=1
(4)
(В самом деле, [—N, Af] — компакт, а система множеств {[-А/, А/] \ [В„]}„>i
образует открытое покрытие этого компакта. Тогда по лемме Гейне-
Бореля (см., например, [1], [33]) существует конечное подпокрытие:
По
U ([—Af, Af]\[B„]) = [-Af, N],
Л=1
«о
а значит, р| [Вл] = 0.)
Л=1
Учитывая (4) и то, что Ля,, С ЛЛо_ 1 С... С Л ь находим
Ро(ЛЛо) = Р0|ЛЛо\ Q Bk ) +Po(Q Bk ) =P0L4„0 \ P| Bk ]
\ ft=i / \*=i / \ k=i /
(По \ Пр no
U (Ak \ Bk) U 52 Ро(Л W < £ e2-k e.
k=\ / k=\ k=\
Поэтому РО(ЛЛ) 10, n -► oo.
Откажемся теперь от предположения, что все Ап С [—/V, AfJ для некото-
рого N, Зададим е > 0 и выберем такое Af, что Po[-Af, Af] > 1 - е/2. Тогда,
поскольку
Ап = Ап П [-Af, Af] + Ап П [-Af, Af],
то
Ро(Лл) = Р0(Лл Л [-Af, Af]) + Ро(Лл Л [-Af, Af]) < Р0(Лл Л [-Af, Af]) + е/2,
и, применяя предшествующие рассуждения (с заменой Лл на Лл Л [—Af, Af]),
получаем, что для достаточно больших п Ро(Лл Л [-Af, Af]) ^е/2. Тем самым
снова Р0(Л„) 10, п —> оо. □
~ 9727
Итак, между вероятностными мерами Р на (В, S8(R)) и функциями
распределения F на числовой прямой R существует взаимно однознач-
ное соответствие. Меру Р, построенную по функции F, принято называть
вероятностной мерой Лебега—Стилтьеса, отвечающей функции распре-
деления F.
Особо важен случай, когда
'о,
F(x) = х,
х<0,
O^x^l,
х> 1.
В этом случае соответствующую вероятностную меру (обозначим ее Л)
называют мерой Лебега на отрезке [0, 1]. Ясно, что А(а, b]=b — a, где
ОО К ! Иначе говоря, мера Лебега интервала (а, Ь] (а также любого
из интервалов (а, Ь), [а, Ь], [а, Ь)) равна просто его длине b -а.
Обозначим
^([0, 1]) = {Л П [0, 1]: AeS8(R)}
совокупность борелевских множеств отрезка [0, 1]. Наряду с этими мно-
жествами часто приходится рассматривать так называемые лебеговские
множества^трезка [0, 1]. Мы говорим, что множество А С [0, 1] относится
к системе <^([0, 1 ]), если можно найти такие борелевские множества Лив,
что А С А С В и А(В\Л) = 0. Нетрудно проверить, что система ^([0, 1])
является а-алгеброй. Именно ее и называют системой лебеговских мно-
жеств отрезка [0, 1]. Ясно, что ^([0, 1]) С <^([0, 1]).
Меру А, определенную пока лишь на множествах из ^([0, 1]), есте-
ственным образом можно продолжить и на систему лебеговских множеств
^([0, 1]). А именно, если Аб <^([0, 1]) и Л С АС В, где Л, В е^([0, 1]),
А(В\Л) = 0, тоположим А(А) = А(Л). Так определенная функция множеств
A = A(A), Ae<^([0, 1]), является, как нетрудно проверить, вероятностной
мерой на ([0, 1], <^([0, 1])). Ее называют лебеговской мерой (на системе
лебеговских множеств).
Замечание 1. Проведенная процедура пополнения (продолжения) ме-
ры применяется и оказывается полезной не только в рассмотренном слу-
чае. Например, пусть (Q, &, Р) — некоторое вероятностное пространство.
Обозначим через &р совокупность всех подмножеств А пространства Q,
для которых можно найти такие множества Л и В из /, что Л С А С В и
Р(В\Л) = 0. Естественным образом (с помощью равенства Р(А) = Р(В))
вероятностная мера определяется и для множеств Ае/Р. Полученное
таким образом новое вероятностное пространство (Q, , Р) называется
пополнением пространства (Q, Р) относительно меры Р.
Если вероятностная мера Р такова, что , то она называется
полной. а соответствующее пространство (П, &. Р) — полным вероят-
ностным пространством.
Замечание 2. Кратко остановимся на идее доказательства теоремы
Каратеодори, считая, что мо(О) = 1-
Пусть А — множество из Q и Аь Л2, ... — множества из «й/, накрыва-
оо
юшие множество А в том смысле, что А С |J Ап. Определим внешнюю
Л=1
меру р*(А) множества Л, полагая
оо
g*(4) = inf ДоИ„),
Л=1
где inf берется по всем указанным покрытиям (Ль А%, ...) множества А.
Внутренней мерой р.(А) множества А будем называть величину
д.(Д)=1-д’(Л).
Обозначим si совокупность тех множеств А из П, для которых
р*(А) = р.(А). Система л/ является, как нетрудно показать, а-алгеброй
(задача^ 12), и, следовательно, si С a(s/) С si. Припишем множествам
А из «меру» д(Л), полагая ее равной р,*(А) (=д,(Д)). Эта функция
множеств д(Д), А е si, действительно является мерой (задача 13), т. е. яв-
ляется счетно-аддитивной функцией множеств (при этом вероятностной,
поскольку д(П) = /z0(Q) = 1).
Устанавливаемое равенством Р(а, b] — F(b) - F(a) соответствие между
вероятностными мерами Р и функциями распределения F дает возмож-
ность конструирования разных веро-
ятностных мер с помощью задания
соответствующих функций распреде-
ления.
Дискретные меры. Так называ-
ют меры Р, для которых соответ-
ствующая функция F = F(x) являет-
ся кусочно постоянной, меняющей
свои значения в точках х\, х?, ...
(△F(x()>0, где △Л(х) = Л(х) - F(x—)) (рис. 25). В этом случае мера Р
сосредоточена в точках %i, *2> • ••:
F(х) ,
J
J AF(*i) Г‘____________,
Х| х2 *з X
Рис. 25.
Р({х*})=△/=•(%*)> о,
£Р({х*}) = 1.
k
Набор чисел (рь •••), где р* = Р({**}), называют дискретным рас-
пределением вероятностей, а соответствующую функцию распределе-
ния F = Г(х) — дискретной.
Приведем таблицу наиболее употребительных типов дискретных веро-
ятностных распределений с соответствующими наименованиями.
Таблица 2
Распределение Вероятности pk Параметры
Дискретное равномерное Бернуллиевское Биномиальное Пуассоновское Геометрическое Отрицательно-биномиальное (распределение Паскаля) pi=p, Po = q Ckpkqn~k, k = Q, 1 n *=«-' qk~lp, k=l, 2, ... C^Prqk~r, k = r, r + 1, ... О о О о Ад /А /Д •й тз а "о || /А /д И /А /д || У, .JO -О -С; Ю : II II : И II 1 1 1 1 33 З3
Абсолютно непрерывные меры. Так называются меры, для которых
соответствующая функция распределения F = F(x) такова, что для неко-
торой неотрицательной функции f = /(/), t eR, имеет место равенство
F(x)= $ f(t)dt, (5)
—оо
где под интегралом сейчас понимается интеграл в смысле Римана (а в
общем случае —в смысле Лебега (см. § 6)).
Функция f = Дх), хе/?, называется плотностью функции распреде-
ления F = F(x) (плотностью распределения вероятностей или просто плот-
ностью), а сама функция F = Г(х) — абсолютно непрерывной.
Понятно, что всякая неотрицательная функция / = Дх), интегрируемая
оо
по Риману и такая, что § f(x)dx = 1, определяет формулой (5) некото-
— оо
рую функцию распределения. В таблице 3 приведены особо важные для
теории вероятностей и математической статистики примеры разных типов
плотностей f = f(x) с указанием их наименований и параметров (плотность
Дх) считается равной нулю для не указанных в таблице значений х).
Сингулярные меры. Так называют меры, функции распределения /Дх)
которых непрерывны, но точки их роста (х — точка роста /Дх), если
Таблица 3
Тип распределения Плотность Параметры
Равномерное на [а, Нормальное, или гауссовское Гамма Бета Экспоненциальное (гамма-распределение са=1,/?=1/А) Двустороннее экспоненциальное Хи-квадрат, у2 (гамма-распределение с а = п/2, /3 = 2) с п степенями свободы Стьюдента, /-распределение с п степенями свободы ^-распределение Коши Qz О . о ш л\ V/ Л\ н н .ft w о н ас 4 ' ас н * * ° Л\ н Т t t, * «' * г _еЧс ‘М1* I Q * О 4 । К О — + га <1^ - £ -1 «1^ g|o. * > i «м + Н «_ Z—X - 4 1g 51 = 51м «- 5 V a, beR; a<b meR, <7>0 а>0, /3>0 а>0, /3>0 А>0 А>0, aeR п=1, 2, ... /г = 1, 2, ... /и, п = 1, 2, ... е>о
F(x + е) — F(x — е) > 0 для любого е > 0) образуют множество нулевой ме-
ры Лебега. Опуская подробности относительно структуры таких функций
(см., например, [70]), приведем лишь один «классический» пример.
Возьмем отрезок [0, 1 ] и построим функцию Г(х) с помощью следую-
щего приема, принадлежащего Г. Кантору.
Разделим отрезок [0, 1] на три равные части и положим (рис. 26)
(1/2,
F1 (х) = 0,
хе(1/3, 2/3),
х = 0,
х= 1,
доопределяя ее в остальных точках с помощью линейной интерполяции.
Далее, каждый из интервалов [0, 1/3] и [2/3, 1] снова делим на три
части и определяем функцию (рис. 27)
'1/2, 1/4, х е (1/3, 2/3), хе(1/9, 2/9),
F2(x) = < 3/4, хе(7/9, 8/9),
0, х = 0,
1, х= 1,
со значениями в остальных точках, полученными линейной интерполяцией.
Продолжая этот процесс, построим последовательность функций Fn(x),
п = 1, 2, ..., которые сходятся к некоторой неубывающей непрерывной
Рис. 26.
Рис. 27.
функции F(x) (называемой канторовой), точки роста которой образуют
множество лебеговской меры нуль. Действительно, из конструкции F(x)
видно, что общая длина интервалов (1/3, 2/3), (1/9, 2/9), (7/9, 8/9), ...,
на которых функция принимает постоянные значения, равна
1 + 2 + ±
3 9 27
= 1.
(6)
л=0
Обозначим через сЖ множество точек роста канторовой функции F(x).
Из (6) следует, что А(<Ж) = 0. В то же самое время, если /х — мера, соответ-
ствующая канторовой функции F(x), то = 1. (В этом случае говорят,
что мера сингулярна по отношению к лебеговской мере А.)
Не останавливаясь более на вопросе о возможных типах функций
распределения, ограничимся лишь замечанием о том, что на самом деле
указанными тремя типами исчерпываются все такие функции. Точнее,
произвольная функция распределения может быть представлена в виде
a\F\ +а2/?2 + ^з^з> где F\ — дискретная, F% — абсолютно непрерывная,
Гз — сингулярная функции распределения, а, — неотрицательные числа,
ai + Q2 + «з = 1 (задача 16).
2. Теорема 1 устанавливает взаимно однозначное соответствие между
вероятностными мерами на (/?, ^(/?)) и функциями распределения на R.
Анализ доказательства этой теоремы показывает, что на самом деле спра-
ведлив более общий результат, позволяющий, в частности, ввести так на-
зываемую меру Лебега на всей числовой прямой.
Пусть р — некоторая а-конечная мера на (Q, л/), где si — алгебра под-
множеств Q. Оказывается, что утверждение теоремы Каратеодори о про-
должении меры р с алгебры si на наименьшую а-алгебру а(л/) остается
справедливым и для а-конечных мер, что и дает возможность обобщения
теоремы 1.
Назовем мерой Лебега—Стилтьеса на (/?, S8(R)) всякую (счетно-
аддитивную) меру р такую, что для любого ограниченного интервала /
его мера p(J) < оо. Обобщенной функцией распределения на числовой
прямой R назовем всякую неубывающую непрерывную справа функцию
G = G(x) со значениями в (—оо, оо).
Теорема 1 допускает обобщение в том смысле, что формула
р(а, 6] = G(6)-G(a), a<b,
снова устанавливает взаимно однозначное соответствие между мерами
Лебега—Стилтьеса р и обобщенными функциями распределения G.
В самом деле, если G(+oo) - G(—оо) < оо, то доказательство, приме-
ненное в теореме 1, проходит без всяких изменений, поскольку этот случай
сводится к случаю, когда G(+oo) - G(-oo) = 1 и G(—оо) = 0.
Пусть теперь G(+oo) — G(—оо) = оо. Положим
fG(x),
Grt(x)= G(n),
kG(-n),
x>n,
x<-n.
Определим на алгебре si конечно-аддитивную меру ро так, что на
(а, Ь] значение pn(at b] = G(b) - G(a), и пусть рп — уже построенные (по
теореме 1) счетно-аддитивные меры, соответствующие функциям Gn(x).
Очевидно, что на si рп f pq. Пусть теперь Аь Аг, ... — непересекаю-
Щиеся множества из si и А = Ап е si. Тогда (задача 6 из § 1)
оо
Я)С4) > 52 ДоИл)-
Л=1
Ы °° °°
И если доИл) = оо, то /хоИ)= 12 ДоИл). Предположим теперь, что
Л=1 л=1
£ доИп) < ОО. Тогда
оо
доИ) = 1ип /х„(Д) = Нгп ^2 Hn(Ak\
k-\
Согласно сделанному предположению, 52 До(Лл)<оо. Поэтому
оо
о < до(Д) - $2
6=1
оо
52(ДлИ/г) “ До(Л*))
_£=1
ПОСКОЛЬКУ Дл До.
Итак, а-конечная конечно-аддитивная мера до является счетно-адди-
тивной на л/, и, значит (по теореме Каратеодори), она может быть про-
должена до счетно-аддитивной меры д на а(«с/).
Особо важен тот случай, когда G(x)=x. Отвечающая этой обобщенной
функции распределения мера А называется мерой Лебега на (/?, S8(R)),
Как и в случае отрезка [02 1], на числовой прямой R вводится систе-
ма лебеговских множеств S8(R) (Л е «£₽(/?), если существуют борелевские
множества Ли В такие, что Л С А С В, А(В \ Л) = 0), для которых опреде-
ляется также лебеговская мера А (А(А) = А(Л), если Л С АС В, Ле^(/?)
и А(В\Л) = 0).
3. Измеримое пространство (/?л, &(Rn)). Как и в случае действи-
тельной прямой, предположим, что Р — некоторая вероятностная мера на
(/?", S8(Rn)).
Обозначим
Frt(X|, ..., хл) = Р((-оо, Х1] х ... х (-оо, хл]),
или, в более компактной форме,
Вл(х) = Р(-оо, х],
где х = (Х1, ..., хл), (-оо, х] = (-оо, xj х ... х (-оо, хл].
Введем разностный оператор Rn —>R, действующий по формуле
(а.
^atbiFп(^1 ♦ • • • ♦ *п) — FпС^1 > • • • ♦ %1— 1 > h, Xf+i, ..., Хл)
-ГЛ(Х1, х/_1, ai, Х/+1, ...» хп).
Простой подсчет показывает, что
△^....△алАСх!, ...» Хл) = Р(а, Ь], (7)
где (a, b] = (ai, bi] х ... х (ал, Ьп]. Отсюда, в частности, видно, что, в отли-
чие от одномерного случая, вероятность Р(а, Ь], вообще говоря, не равна
разности Fn(b) -Fn(a).
Поскольку Р(а, Ь] ^0, то из (7) следует, что для любых а = (аь ал),
b == (Ь\, .. •, ^л)
△aid, • • • AanbnFn(%\> • • • ♦ %п) 0- (8)
Из непрерывности вероятности Р вытекает также, что Fn(x\, ..., хп)
непрерывна справа по совокупности переменных, т. е. если х^ | х, х^ =
= (x\k\ то
/=•„(/*>) k-^oo. (9)
Ясно также, что
Гл(+оо, ..., +оо) = 1 (10)
и
lim Fn(x\, .... х„) = 0, (11)
xly
если по крайней мере одна из координат у у принимает значение -оо.
Определение 2. Всякую функцию F = Fn(xi, ..., хл), удовлетворяю-
щую условиям (8)—(11), будем называть п-мерной функцией распреде-
ления (в пространстве /?л).
Используя те же самые рассуждения, что и в теореме 1, можно доказать
справедливость следующего результата.
Теорема 2. Пусть F = F(x\, ..., хп) — некоторая функция распре-
деления в Rn. Тогда на (Rn, SS(Rn)) существует и притом единствен-
ная вероятностная мера Р такая, что
Р(О, Ь] = Aaibi • • • &anbnFn(Xj, ..., Хп). (12)
Приведем некоторые примеры n-мерных функций распределения.
Пусть F1, ..., Fn — одномерные функции распределения (на R) и
Л>(Х1....xn) = Fl(xi)...Fn(xn).
Ясно, что эта функция непрерывна справа и удовлетворяет условиям
(10), (И). Нетрудно проверить также, что
△м.... ^a„b„Fn(xi,, Х„) = П [Fk(bk) - Fk(ak)] > 0.
Следовательно, Fn(xi, .... хп) — некоторая функция распределения.
Особо важен случай, когда
{0, Xk < 0,
xk, 0^х*^1,
1, Xk>\.
В этом случае для всех 0 Xk 1, k = 1, ..., п.
Fn{xx. .... хп) = хх...хп.
Соответствующую этой п-мерной функции распределения вероятностную
меру называют п-мерной мерой Лебега на [0, 1]л.
Большой запас n-мерных функций распределения получается в виде
х । хп
Fn(xi,хп)= ... $ Mi, .... tn)dti...dtn,
—оо —оо
где fn(/ь tn) — неотрицательные функции с
оо оо
$ ... $ Z„)d/I...^n = l,
—оо —оо
а интегралы понимаются в смысле Римана (и в более общем случае —
в смысле Лебега). Функции f = fn(ti. tn) называют плотностями
п-мерной функции распределения, п-мерной плотностью распреде-
ления вероятностей или просто п-мерными плотностями.
В случае п = 1 функция
1 (х-т)2
f(x) = -+=-e~2^. xeR.
угксг
с а > 0 есть плотность (невырожденного) гауссовского, или нормального,
распределения. Существуют естественные аналоги этой плотности и в
случае п > 1.
Пусть R = 11^11 — некоторая неотрицательно определенная симметри-
ческая матрица порядка п х п:
rijXiXj^O. Xi^R. i = l....,n.
гц = гп.
В том случае, когда R — положительно определенная матрица, ее де-
терминант |R| = det R > 0, и, следовательно, определена обратная матрица
А = \\aij ||. Тогда функция
Ml 1/2 ( 1 ч
fn(xi,.... хп) = ехр (13)
где mteR. i = \. .... п. обладает тем свойством, что интеграл (Римана)
от нее по всему пространству равен 1 (это будет доказано в § 13), и,
следовательно, в силу ее положительности она является плотностью.
Эта функция называется плотностью п-мерного (невырожденного)
гауссовского, или нормального, распределения (с вектором средних
значений т = (т\,..., тп) и матрицей ковариаций Ж = Л“1).
В случае п = 2 плотность f2(xi, *2) может быть приведена к виду
Рис. 28. Плотность двумерного нор-
мального распределения
Яхь«»=^7Г7“р{-2(Т^)х
х Г Ui -^р2 _ 2 (Xj -m1)(x2-m2) + (x2-ra2)2j j , j4)
L af P a\a2 a2 Jr 1 '
где ai >0, \p\ < 1. (Смысл параметров mt, at и p будет объяснен в § 8.)
Приводимый рис. 28 дает представление о виде двумерной гауссовской
плотности.
Замечание. Как и в случае п=1, теорема 2 допускает обобщение
на (аналогичным образом определяемые) меры Лебега—Стилтьеса в
(Rn, 0S(Rn)) и обобщенные функции распределения в Rn. В том случае,
когда обобщенная функция распре-
деления Gn(xi, ...,хп) равна х\ ...хп,
соответствующая мера называется
мерой Лебега на борелевских мно-
жествах пространства Rn. Ясно, что
для нее
А(а, 6] = {J (bi - а,),
1=1
т. е. мера Лебега «прямоугольника»
(a, Z>] = (ab 6П х... х (ап,
равна его «объему».
4. Измеримое пространство (/?°°, &(R°°)). В случае пространств Rn,
1, вероятностные меры строились по следующей схеме: сначала для
элементарных множеств — прямоугольников вида (а, Ь], затем естествен-
ным образом на множествах вида А = (аь ЭД и» наконец, с помощью
теоремы Каратеодори — на множествах из &(Rn).
Аналогичная схема построения вероятностных мер «работает» и в слу-
чае пространства (R°°, S8(R°°)).
Обозначим через
J^(B) = {xG/?°°: (хь ...,хл)е^}, BeSS(Rn),
цилиндрическое множество в пространстве /?°° с «основанием» В eSS(Rn).
Как мы сейчас увидим, именно цилиндрические множества естественно
считать теми элементарными множествами в /?°°, по значениям ве-
роятностей которых определяется вероятностная мера на множествах из
^(/?°°).
Пусть Р — некоторая вероятностная мера на (/?°°, ^(/?°°)). Обозначим
для /1=1,2, ...
РЛ(В) = Р(Л(В)), Be<8(Rn). (15)
Последовательность вероятностных мер Р\, ₽2» • • •»определенных соот-
ветственно на (/?, ^(/?)), (R2, ^(/?2)),..., обладает следующим очевидным
свойством согласованности: для любого п = 1, 2, ... и В €&(Rn)
Pn+i(B х R) = Pn(B). (16)
Весьма примечательно, что имеет место и обратный результат.
Теорема 3 (Колмогорова о продолжении мер в (/?°°, ^(/?°°))).
Пусть Рь ₽2> ••• — последовательность вероятностных мер на
(R, 3S(R)), (/?2, SB(R2)), ..., обладающих свойством согласованно-
сти (16). Тогда существует и притом единственная вероятностная
мера Р на (/?°°, ^(/?°°)) такая, что для каждого п = 1, 2, ...
Р(Л(В)) = Р«(В), Be#(Rn). (17)
Доказательство. Пусть Вп eS8(Rn) и ^п(Вп) — цилиндр с «основа-
нием» Вп. Припишем этому цилиндру меру Р(</Л(ВЛ)), полагая ее равной
Рп(Вп).
Покажем, что в силу условия согласованности такое определение яв-
ляется корректным, т. е. значение Р(</Л(ВЛ)) не зависит от способа пред-
ставления цилиндрического множества </л(Вл). В самом деле, пусть один
и тот же цилиндр представлен двумя способами:
Л(Вя) = Л+*(Вл+*).
Отсюда следует, что если (хь ..., хл+*)е/?л+\ то
(хь .... хл)еВ & (х\,xn+k)eBn+k, (18)
и, значит, в силу (16)
РЛ(ВЛ) = Р„+1((Х1, .... хл+1): (хь хп)еВп) = ...
... = Рл+*((х,, ...,хл+*): (хь ..., xn)eB) = Pn+k(Bn+k).
Обозначим л/(/?°°) совокупность всех цилиндрических множеств Вп =
= Jn(Bn), Bne&(Rn), п= 1, 2... Нетрудно видеть, что jz/(/?°°) — алгебра.
Пусть теперь Вк — непересекающиеся множества из л/(/?°°).
Без ограничения общности можно считать, что все они таковы, что для
некоторого п В, — <^п(В“), t = 1,..., Л, где В",В£ — непересекающиеся
множества из &(Rn). Тогда
(k \ / k \ / k \ k п
Е $ =р Е Е в" = Е W)=Е р^')>
t=l / \z = l / \i=l / t=l i=l
т.е. функция множеств Р — конечно-аддитивна на алгебре j2/(/?°°).
Покажем, что Р непрерывна в «нуле» (а, значит, и а-аддитивна на
см. теорему в § 1), т. е. если последовательность множеств Вп 10,
п —>оо, то Р(ВЛ) —>0, п —>оо.
Предположим противное, т.е. пусть lim Р(Вл) = <5>0. Без ограничения
общности можно считать, что последовательность {Вп} такова, что
Вп = {х: (хь..., хл) е Вл}, Вп € &(Rn).
Воспользуемся следующим свойством (см. задачу 9) вероятностных мер
Рп на (/?л, &(Rn)): если Bne&(Rn), то для заданного 5>0 можно найти
такой компакт Ап € S8(Rn), что Ап С Вп и Рп(Вп \ Ап) 5/2л+1. Поэтому,
если Лл = {х: (xi, ..., хл) е Дл}, то
Р(Вп\Ап) = Рп(Вп\Ап)^6/2п+'.
л
Образуем множество Сл = П Л*, и пусть Сп таковы, что
*=1
Ол = {х I (х 1, ..., хл) с Сл}.
Тогда, учитывая, что множества Вп убывают, находим
п п
Р (В„ \ С„К £ Р (В„ \ Л) < Е Р \ Л< */2-
*=1 *=1
Но по предположению lim Р(Вл) = 5>0, иг значит, lim Р(Сл)>5/2>0.
Покажем, что это противоречит тому, что Сл 10.
Действительно, выберем в множествах Сл по точке х(л) = (х}л), х% \ ...).
Тогда для каждого п 1 (х{л\ ..., х^л)) G Сп.
Пусть (и 1) —некоторая подпоследовательность последовательности (п)
такая, что x^-^xf, где х® — некоторая точка в Сь (Такая подпосле-
довательность существует, поскольку все х{л,)еСь a Ci — компакт.) Из
последовательности (п\) выберем подпоследовательность (иг) такую, что
, х^Л2)) —► (х^, х^) G Сг. Аналогичным образом пусть (х}л*\ ..., х^^) —>
-* (х^,..., х®) G Ck. Образуем, наконец, диагональную последовательность
(^л), где mk есть й-й член в последовательности (п*)- Тогда для любого
/ = 1,2, ... при т*—>оо, причем точка (ХрХ^, ...)бСл для
любого п=1, 2, ...» что, очевидно, противоречит предположению о том,
что Сп 10, п —> оо.
Итак, функция множеств Р на алгебре является а-аддитивной
и, значит, по теореме Каратеодори может быть продолжена до (вероят-
ностной) меры на (/?°°, SS(R°°)). □
Замечание. В рассмотренном сейчас случае пространство R°° есть
счетное произведение прямых, R°° = R х R х ... Естественно поставить
вопрос о том, а верна ли теорема 3 для случая, когда вместо (R°°, &(R°°))
берется прямое произведение измеримых пространств (Q,, #), i = 1, 2, ...
В приведенном выше доказательстве можно усмотреть, что единствен-
ное свойство числовой прямой топологического характера, которое было
существенно использовано, состояло в том, что в любом множестве из
&(Rn) можно найти компакт, вероятностная мера которого сколь угод-
но близка к вероятностной мере этого множества. Известно, однако, что
это свойство присуще не только пространствам (Rn, S8(Rn)), но и любым
полным сепарабельным метрическим пространствам с cr-алгебрами, поро-
жденными открытыми множествами.
Таким образом, теорема 3 остается справедливой, если считать, что
^1,^2» ••• — последовательность согласованных вероятностных мер на
(Пь &\), (Qi х Пг» «^1 ® <^2), •••> где (Q/, ^i) — полные сепарабельные
метрические пространства с а-алгебрами порожденными откры-
тыми множествами, а вместо (/?°°, ^(/?°°)) рассмотреть пространство
(fil X 0,2 х ..., 0^2 0 ...).
В § 9 (теорема 2) будет показано, что результат теоремы 3 также
остается справедливым и в случае произвольных измеримых пространств
(Оп, &п), если меры Рп, п^ 1, сконструированы некоторым специальным
образом. В общем же случае (без каких-либо предположений топологи-
ческого характера о структуре рассматриваемых измеримых пространств
или о структуре семейства мер {Рп}) теорема 3 может быть и неверна, что
показывает следующий пример.
Рассмотрим пространство Q = (0, 1], которое, очевидно, не является
полным, и построим в нем последовательность а-алгебр С Q • • * по
следующей схеме. Пусть для всех п = 1, 2, ...
1, 0<и<\/п,
0, \/п^и^\,
^п = {АеО\ Л = {^: Ч>п(и)еВ}, Be@(R)}
и ^п=а{^,..., — наименьшая и-алгебра, содержащая системы мно-
жеств ^,..., ^л. Ясно, что c?j С<?2 С ... Пусть & = a(U <^л) — наимень-
шая а-алгебра, содержащая все &п. Рассмотрим измеримое пространство
(fi, #п) и определим на нем вероятностную меру Рп следующим образом:
Рп{^'- (y’lM, <рп(ш))&Вп} =
если (1, .... \)еВп,
в противном случае,
где Вп 6 ^(/?л). Нетрудно убедиться в том, что семейство мер {Рп} является
согласованным: если А то Рл+1(Л) = Рл(Л). Можно, однако, утвер-
ждать, что на (Q, не существует вероятностной меры Р такой, чтобы
ее сужение Р|^л (т. е. мера Р, рассматриваемая лишь на множествах
из ^п) совпадало с Рп, п = 1, 2, ... В самом деле, допустим, что такая
вероятностная мера Р существует. Тогда
Р{о>: ^j(a;) = ...=^rt(a;)= \} = Рп{м: ^i(oj) =... = ^л(а>) = 1}= 1 (19)
для любого п = 1, 2, ... Но
{си: </?i(cj) = ... = ^л(си)= 1} = (0, 1/п)10,
что противоречит (19) и предположению о счетной аддитивности (а значит,
и непрерывности в «нуле» 0) функции множеств Р.
Приведем теперь пример вероятностной меры в (/?°°, ^(/?°°)). Пусть
Fi(x), /^(х), ••• — последовательность одномерных функций распределе-
ния. Определим функции Gi(x) = Fi(x), G2(xb X2) = /?i(xi)/:2(x2), • •• и со-
ответствующие им вероятностные меры на (/?, ^(/?)), (/?2, ^(/?2)), ... обо-
значим Рь ₽2, • •• Тогда из теоремы 3 следует, что в (/?°°, ^(/?°°)) суще-
ствует такая мера Р, что
Р{Х е R°°: (Х|,..., хл) е В} = РЛ(В), в е ^(/?л),
и, в частности,
Р{хе/?°°: X! ..., хл^ал} = Г1(а!)...Гл(ал).
Возьмем в качестве F/(x) —бернуллиевское распределение:
'О, х<0,
Л(*)=\<7, 0^Х<1,
J, х^1.
Тогда можно утверждать, что в пространстве SI всех числовых последо-
вательностей x = (xi,X2, ...), Х/ = 0, 1, с а-алгеброй ^(/?°°)ПП его бо-
релевских подмножеств существует вероятностная мера Р такая, что для
любого п 1
Р{х: xi=ab xn=an}-p^a‘qn E<Ii.
Заметим, что именно этого результата нам не хватало в первой главе, чтобы
сформулировать закон больших чисел в форме (8) § 5 гл. I.
5. Измеримые пространства (/?г, SS(RT)). Пусть Т — произвольное
множество индексов t с Т и Rt — числовая прямая, соответствующая ин-
дексу t. Рассмотрим произвольный конечный неупорядоченный набор
т= [/ь ..., tn\ различных индексов // е Г, п > 1, и пусть Рт — вероят-
ностная мера на (/?r, SS(RT)) с RT = Rti х ... х Rtn,
Будем говорить, что семейство вероятностных мер {Рг}, где т пробегает
множество всех конечных неупорядоченных наборов, является согласо-
ванным, если для любых наборов т=[/ь ..., tn] и ст = [$ь ...,$*] таких,
что а С т,
P<r{(XSl ♦ • • •» *sk) • (*s, ♦ • • • ♦ Xsk) £ В} =
= PT{(xtl...xtn): (xs.... xSk) € B} (20)
для любого В e &(Ra).
Теорема 4 (Колмогорова о продолжении мер в (RT, S8(RT))).
Пусть {Рт} — семейство согласованных вероятностных мер на
(RT, S8(RT)). Тогда существует и притом единственная вероят-
ностная мера Р на (RT, #(/?г)) такая, что
Р(Л(В)) = Рт(В)) (21)
для всех неупорядоченных наборов т= [/ь ..., tn] различных индексов
ti еТ, Be S8(RT) и ST(B) = {xeRT: (xh ,.„,xtn)e В},
Доказательство, Пусть множество BeS8(RT), Согласно теореме 3
из § 2, найдется не более чем счетное множество S = {$1, $2> •..} £ Т такое,
что В=={х: (xS1, xS2, ,..)еВ}, где В eSS(Rs), Rs =/?S1 х RS2 х ... Иначе го-
воря, В = — цилиндрическое множество с «основанием» В е &(RS).
На таких цилиндрических множествах B = ^s(B) определим функцию
множеств Р, полагая
Р(Л(В)) = ^(В), (22)
где Ps — та вероятностная мера, существование которой гарантируется
теоремой 3.
Мы утверждаем, что Р — именно та мера, о существовании которой
говорится в теореме. Чтобы установить это, надо, во-первых, проверить,
что^определение (22) корректно, т. е. приводит к одному и тому же значению
Р(В) при разных способах представления В, и, во-вторых, что эта функция
множеств счетно-аддитивна.
Итак, пусть В = J^S1(Bi) и В = <Х$2(В2). Ясно, что тогда В = <Х$1и$2(Вз)
с некоторым Вз е <^(/?S|US2), и поэтому достаточно лишь убедиться в том,
ЧТО если S сS' и В e^(Rs)t то Р$/(В') = Р$(В), где
В — {(xs',xs', ...): (xS1,x$2, ...) с В}
с $' = {$', s'2, ...}, S = {$i, s2, ...}♦
Но в силу условия согласованности (20) это равенство непосредственно
вытекает из теоремы 3, что и доказывает независимость значений Р(В) от
способа представления множества В.
Далее, для проверки свойства счетной аддитивности функции мно-
жеств Р предположим, что {Вп} — некоторая последовательность попар-
но непересекающихся множеств из &(RT). Тогда найдется такое не бо-
лее чем счетное множество SQT, что для любого п 1 Вп = ^s(Bn), где
Вп G &t(Rs). Поскольку Ps — вероятностная мера, то
р (X в»)=р х А*8-»)=ps (х ®")=
=Х ps<s")=X р(Л(в.»=Х
Наконец, свойство (21) непосредственно следует из самой конструкции
меры Р. □
Замечание 1. Подчеркнем, что Т — любое множество индексов. При
этом в силу замечания к теореме 3 настоящая теорема остается в силе, если
вместо числовых прямых Rt рассматривать любые полные сепарабельные
метрические пространства Q/ (с а-алгебрами, порожденными открытыми
множествами).
Замечание 2. Исходное семейство вероятностных мер {Рт} предпо-
лагалось заданным для всех неупорядоченных наборов т = [/|, ..., tn]
различных индексов. В этой связи важно подчеркнуть, что эти меры Рт как
функции от т= [/ь ..., tn] являются, в сущности, функциями множеств,
составленных из (разных) точек {/J, ..., {/л}. (Скажем, неупорядоченные
наборы [а, 6] и [6, а] надо рассматривать как тождественные, поскольку
они задают одно и то же множество, состоящее из точек {а} и {Ь}.) Иногда
же в качестве исходного берут семейство вероятностных мер {Рг}, где
т пробегает множество всех упорядоченных наборов r = (t\, ..., tn) раз-
личных индексов. (Тогда наборы (а, Ь) и (&, а), составленные из одних и тех
же точек, нужно рассматривать как разные, поскольку для упорядоченных
наборов важен порядок следования их элементов.) В этом случае для
справедливости теоремы 4 к условию (20) надо добавить еще одно условие
согласованности:
P(t../„)(>*/, х ••• X Л/л) = Р(/1../1Я)(Л61 X ... xAtln), (23)
где (/ь ..., in) — произвольная перестановка чисел (1, ..., и), Л/. (/?/,),
очевидность которого как необходимого условия существования вероят-
ностной меры Р следует из (21) (с заменой Рщ.на Р(/ь.(В)).
В дальнейшем мы всегда будем предполагать, что рассматриваемые
наборы т являются неупорядоченными. Если Т — множество на чи-
словой прямой (или некоторое вполне упорядоченное множество), то
без ограничения общности можно считать, что рассматриваемые наборы
т = [/ь ..., tn] таковы, что t\ <tz< (Если, скажем, множество т
состоит из числовых точек {«i}, {аг}, .., {ал}, то т всегда может быть
представлено в виде т = /2, ... Лл], где t\ < /2 <... < tn, при этом
t\ =min(ai, ..., ап), ..., tn = max(ai, ап).) Таким образом, все «ко-
нечномерные» вероятности в этом случае достаточно задавать лишь для
таких наборов т = [/ь ..., tn], у которых t\ < <... < tn.
Рассмотрим сейчас тот случай, когда Т = [0, оо). В этом случае RT есть
пространство всех действительных функций х = (*/)/>о. Важным примером
вероятностной меры на (/?l0’°°), ^(Z?!0’00))) является так называемая вине-
ровская мера, строящаяся следующим образом.
Рассмотрим семейство {щ(у |*)}/>о гауссовских плотностей (по у при
фиксированном х)
<Pt(У I%) = -/Гт е~(у~х)2/2‘, у g R,
v2nt
и определим для каждого набора т=i,..., /„], f i < /2 < • • • < tn, и множеств
В = /] х ... х ln, Ik = (a*, bk), меру РТ(В) по формуле
РТ(В) = РТ(/, х...х/„) =
= § ... $ ^/1(a1|0)^2_z,(a2|ai)...¥’/„-/„-i(a«|an-i)dai...da„ (24)
/1 /»
(интегрирование понимается в смысле Римана). Затем для каждого ци-
линдрического множества ....tn(/j х ... х ln) = {xeRT: xtiel[, ...,xtneln}
определим функцию множеств Р, полагая
Р(Л,...л(/1 Х...Х/„)) = />[,,.у(/|Х...х/„).
Наглядный смысл такого способа приписывания меры цилиндрическому
множеству У/,..(/> х... х /л) состоит в следующем.
Множество <//,../я(/1 х ... х /л) — это множество всех функций, прохо-
дящих в моменты ?i,..., tn через «окна» /ь ..., 1п (см. рис. 24, § 2). Будем
интерпретировать (ptk-tk_x (а* |а*_1) dak как вероятность того, что частица,
выходящая из точки а^-ь за время tk — tk-\ попадет в dak-окрестность
точки ak. Тогда то, что в (24) рассматривается произведение плотностей,
означает определенную независимость приращений смещений движущейся
«частицы» на интервалах времени [0, ZJ, [/>„ Z2], ..., Rn-i,
Так построенное семейство мер {Рт} является, как нетрудно проверить,
согласованным и, следовательно, может быть продолжено до меры на
^Z?10’00)))- Полученная таким образом мера играет важную роль
в теории вероятностей. Эта мера была введена Н. Винером и называется
винеровской мерой.
6. Задачи.
1. Пусть Г(х) = Р(-оо, х]. Показать справедливость следующих фор-
мул:
Р(а, b] = F(b) — F(a), Р(а, b) = F(b-) -F(a),
Р[а, b] = F(b)~ F(a—), Р[а, b) =F(b-)-F(a-),
P({x}) = F(x)-F(x-),
где F(x—) = lim F(y).
yU
2. Убедиться в справедливости формулы (7).
3. Провести доказательство теоремы 2.
4. Показать, что функция распределения /? = /?(х) на R имеет не более
чем счетное число точек разрыва. Что можно сказать о соответствующем
результате для функций распределения в Rn?
5. Показать, что каждая из функций
/1, х + #^0,
G(x, у) = Л Л
v 0, x + t/<0,
G(x, у) = [х + £/] — целая часть х + у,
является непрерывной справа, возрастающей по каждой переменной, но
не является (обобщенной) функцией распределения в /?2.
6. Пусть р — мера Лебега—Стилтьеса, отвечающая некоторой непре-
рывной обобщенной функции распределения. Показать, что если множес-
тво А не более чем счетно, то р(А) = 0.
7. Пусть с — мощность континуума. Показать, что мощность борелев-
ских множеств в Rn равна с, а а-алгебры лебеговских — 2е.
8. Пусть (Q, Р) — некоторое вероятностное пространство и si —
алгебра подмножеств Q такая, что а(л/) = Используя принцип под-
ходящих множеств, доказать, что для всякого е > 0 и В е & можно найти
такое множество А е si, что
Р(ЛАВ)^б.
9. Пусть Р — вероятностная мера на (Rn, S8(Rn)). Доказать, что для
всякого £>0 и Be&§(Rn) можно найти компактное множество Ai
и открытое Лг такие, что Д1СВСД2 и Р(Дг\Д1)Се. (Этот результат
используется в доказательстве теоремы 3.)
10. Проверить согласованность семейства мер {Рт}, построенных по
формуле Рт(В) = Р(с/т(В)), где Р — данная вероятностная мера (ср. с (21)).
И. Проверить, что приведенные в табл. 2 и 3 «распределения» дей-
ствительно являются распределениями вероятностей.
12. Показать, что система л/ из замечания 2 в п. 1 является а-алгеброй.
13. Показать, что функция множеств /х(Я), Л ел/, введенная в замеча-
нии 2 п. 1, является мерой.
14. Привести пример, показывающий, что если мера /хо является на
алгебре л/ конечно-аддитивной (но не счетно-аддитивной), то ее нельзя
продолжить до счетно-аддитивной меры на а(л/).
15. Показать, что всякая конечно-аддитивная вероятностная мера, за-
данная на алгебре л/ подмножеств П, может быть продолжена до конечно-
аддитивной вероятности на всех подмножествах из Q.
16. Пусть Р — вероятностная мера на а-алгебре & подмножеств
Q. Пусть множество С С Q, но С . Показать, что меру Р можно
продолжить (с сохранением свойства счетной аддитивности) на а-алгебру
a(^U{C}).
17. Показать, что носитель непрерывной функции распределения F
есть совершенное множество (т. е. носитель supp F есть замкнутое мно-
жество, обладающее тем свойством, что если х е supp F и е > 0, то найдется
у е supp F такое, что 0 < |х — у\ < е). Показать, что носитель (произволь-
ной) функции распределения является замкнутым множеством.
18. Доказать следующий фундаментальный результат (см. конец п. 1)
о структуре функций распределения: каждая функция есть выпуклая ком-
бинация
F = ai Fd + аг^аЬс + <*3FSC
дискретной (Fd), абсолютно непрерывной (Fabc) и сингулярной непрерыв-
ной (FSc) функций распределения; а/ J^O, aj +а2 + <*з = 1-
19. Показать, что для канторовской функции распределения F = F(x)
для каждой точки из канторова множества точек ее роста (совпада-
ющего с носителем supp F) имеет место представление х = ^2 , где
fc=i
оо
а*(х) = 0 или 2, и что для таких точек Г(х) = ^2
6=1
26(f)
26+1 ’
20. Пусть С — некоторое замкнутое множество на R. Построить функ-
цию распределения F, для которой носитель supp F = С.
21. Показать, что в биномиальном случае (п. 1 § 2) функция распреде-
ления
т
Вп(т; p) = Pn{i/^m} = ^2 Ckpkqn~k
л=о
может быть выражена через (неполную) бета-функцию:
р) = Н7~ГТ------7 \хт(\ -х)п~т~{ dx.
22. Показать, что пуассоновская функция распределения Г(и; Л) =
л e-xXk
— —м— выражается следующим образом через (неполную) гамма-
Л=0
функцию:
F(n\ А) = § хпе х dx.
23. При описании формы плотностей распределений f = f(x) помимо
среднего значения и дисперсии стандартными характеристиками являются
параметр «скошенности» (skewness)
и параметр «пикообразности» (peakedness, kurtosis)
где pk = $ (х “ A4)* f(x) dx. р — ^ xf(x) dx. а2 = р%.
Рассмотреть вопрос о значениях параметров аз и оц для распределе-
ний, приведенных в таблице на с. 197.
24. Показать, что для случайной величины X с гамма-распределением
(из таблицы на с. 197) с 0 = 1
Г(а)
В частности, EX = а, ЕХ2 = а(а+ 1) и, значит, DX = а.
Найти аналог этих формул, когда /3^1.
25. Показать, что для случайной величины X с бета-распределением
(из таблицы на с. 197)
р yk__ В(г + k. s)
B(r,s) *
26. При рассмотрении биномиального распределения фиксируется чис-
ло испытаний п и рассматривается вероятность Рл{р = г} того, что чис-
ло «успехов» в этих п испытаниях равно г. Эти вероятности Рп{и = г} =
== CnPrqn~r, 0 г ^п. где р — вероятность единичного «успеха», образу-
ют биномиальное распределение (п — задано). Отрицательно-бино-
миальное (или обратно-биномиальное) распределение возникает, когда
рассматривается вопрос о том, какова вероятность того, что г «успехов»
впервые появятся на (случайном) шаге r = fe (^г). Показать, что эта ве-
роятность Рг{т = k} задается формулой
Pr(T = k) = Crk~\prqk~r, & = r, r+ 1, ...,
с r = 1, 2, ... (р — вероятность единичного «успеха»). Набор этих вероят-
ностей Pr{r = k} для fe = r, r+ 1, ... (г —задано) образует отрицательно-
биномиальное распределение. Показать, что (для заданного г) Err = rq/p.
§ 4. Случайные величины. I
1. Пусть (Q, с^) — некоторое измеримое пространство и (/?, S8(R)) —
числовая прямая с системой борелевских множеств SS(R).
Определение 1. Действительная функция £ = ем, определенная на
(Q, cF), называется &-измеримой функцией или случайной величиной,
если для любого В е &(R)
{ш: £(u>)GB}G^, (1)
или, что то же самое, если прообраз е*”1 (В) = {ш: е В} является изме-
римым множеством в Q.
В том случае, когда (Q, ^) = (/?", <%(Rn)), ^(/?л)-измеримые функции
называют борелевскими.
Простейшим примером случайной величины является индикатор
Ia(w) любого (измеримого) множества Ае&.
Случайная величина £ = £(си), представимая в виде
оо
^) = ^х</л,М, (2)
где £ At=Sl, Ai ебудет называться дискретной. Если же в (2) сумма
конечна, то такая случайная величина будет называться простой.
Следуя той же интерпретации, что и в § 4 главы I, можно сказать, что
случайная величина есть некоторая числовая характеристика экспе-
римента, значения которой зависят от «случая» ш. При этом требование
измеримости (1) важно, и вот по какой причине: если на (Q, JP) задана
вероятностная мера Р, то тогда имеет смысл говорить о вероятности со-
бытия {tv: £(ш)еВ}, состоящего в том, что значения случайной величины
принадлежат некоторому борелевскому множеству В.
В этой связи дадим такое
Определение 2. Вероятностная мера на (/?, ^(/?)) с
Ре(В) = P{(v: емеВ}, BeЭД),
называется распределением вероятностей случайной величины £ на
(/?, <^(/?))«
Определение 3. Функция
Fe(x) = P{u>: £(cu) ^х}, хе/?,
называется функцией распределения случайной величины
Для дискретной случайной величины £ мера сосредоточена не
более чем в счетном числе точек и может быть представлена в виде
Р^В)= £ ?(**). (3)
где p(xk) = Р{£ = xk} = △Л5(х*)-
Очевидно, что верно и обратное: если Р$ представимо в виде (3), то
£ является дискретной случайной величиной.
Случайная величина £ называется непрерывной, если ее функция рас-
пределения /^(х) непрерывна по хе/?.
Случайная величина £ называется абсолютно непрерывной, если су-
ществует неотрицательная функция / = /^(х), называемая плотностью,
такая, что
Fe(x)= $ U(y)dy, xeR (4)
— ОО
(интеграл понимается в смысле Римана, а в более общем случае —в смыс-
ле Лебега; см. далее § 6).
2. Установление того, что некоторая функция £=£(о>) является случай-
ной величиной, требует проверки свойства (1) для всех множеств
Следующая лемма показывает, что класс таких «пробных» множеств мо-
жет быть сужен.
Лемма 1. Пусть S — некоторая система множеств такая, что
cr(£)=<g(R), Для того чтобы функция £ = £(си) была &-измеримой,
необходимо и достаточно, чтобы
{ш: (5)
для всех Е
Доказательство. Необходимость очевидна. Для доказательства до-
статочности опять воспользуемся принципом подходящих множеств
(§ 2).
Пусть & — система тех борелевских множеств D из S8(R), для кото-
рых £_1(D)6c^. Операция «взятия прообраза» сохраняет, как нетрудно
проверить, теоретико-множественные операции объединения, пересечения
и дополнения:
Г'(и Ba)=Ur'(Ba),
(6)
'а ' а
rW = r'(Sa).
Отсюда следует, что система & является а-алгеброй. Значит,
£C&C&(R)
и
а(^)Са(Я = ^С^(/?).
Но а(<?) = SS(R), следовательно, & = S8(R). □
Следствие. Для того чтобы функция £ = f(cu) была случайной ве-
личиной, необходимо и достаточно, чтобы для любых xeR
{си: £(си) <х}е&
или
{си: £(си)^х}е^.
Доказательство сразу следует из того, что каждая из систем множеств
S\ = {х: х < с, с е R},
<?2 = {*: х^с, ceR}
порождает а-алгебру ^(/?), т. е. а(<^) = а(^) = &(R) (см. § 2).
Приводимая ниже лемма дает возможность конструирования случай-
ных величин как функций от других случайных величин.
Лемма 2. Пусть р = <р(х) — борелевская функция, а £ = —
случайная величина. Тогда сложная функция г) = ро^, т.е. функция
т/(си) = <^(£(си)), также является случайной величиной.
Доказательство следует из того, что для В е S8(R)
{w: »?(«) € В} = {w: ^(w)) € В} = {w: <(w) G 4Г1 (В)} G (7)
поскольку ip~1 (B) G 0B(R). □
Таким образом, если £ — случайная величина, то такие функции, как,
скажем, £п, = тах(£, 0), £“ = — min(£, 0), |£| также являются случайны-
ми величинами, поскольку функции хп, х+, х~, |х| являются борелевскими
(задача 3).
3. Отправляясь от заданной системы случайных величин {£„}, можно
оо ___________________________________
строить новые функции, например, £ l€«l> lim €л. Дт и т. д. Заметим,
Л=1
что эти функции принимают свои значения, вообще говоря, уже в расши-
ренной числовой прямой 7? = [—оо, оо]. Поэтому целесообразно несколько
расширить класс ^-измеримых функций, допуская, чтобы они принимали
также значения ±оо.
Определение 4. Функция £ = £(о>), определенная на (Q, #) и прини-
мающая значения в /? = [—оо, оо], называется расширенной случайной
величиной, если для любого борелевского множества В е SS(R) (сг-алгебра
^(R) = a(S8(R), ±оо)) выполнено условие (1).
Следующая теорема, несмотря на ее простоту, является ключевой при
построении интеграла Лебега (§ 6).
Теорема 1. а) Для любой (в том числе и расширенной) случайной
величины £ = £(а>) найдется последовательность простых случайных
величин ... таких, что |£л|^|£| и £л(си)-»£(а>) при п-^оо для
всех си 6 Q.
Ь) Если к тому же o/gO, то найдется последователь-
ность простых случайных величин ••• таких, что £л(о/)Т£(а/),
п —>оо, для всех шЕИ.
Доказательство. Начнем с доказательства второго утверждения.
Положим для п=1,2, ...
fa _ 1
(w) = > , ~2Т" <€(w)< k.} М + «/{«(«»«} (w) •
Непосредственно проверяется, что построенная последовательность £л(си)
такова, что £л(а/)Т£(о/) для всех Из этого утверждения вытекает
также справедливость первого утверждения, если только заметить, что
£ может быть представлена в виде £ = £+-£”. □
Покажем теперь, что класс расширенных случайных величин замкнут
относительно поточечной сходимости. С этой целью заметим прежде всего,
что если £1, ... — последовательность расширенных случайных величин,
то функции sup £п, inf £п, lim £п и lim £п также являются случайными ве-
личинами (быть может, расширенными). Следует это непосредственно из
того, что
{w: sup<„>x} = |J {w: Сл>х}е^,
п
{w: inf £л <x} = [J {w: <х}€^
п
и lim = inf sup lim £n — sup inf £m.
n m^n n
Теорема 2. Пусть • •• — последовательность расширенных
случайных величин и £(o>) = lim £л(о>), ueQ. Тогда £ = f(cu) также яв-
ляется расширенной случайной величиной.
Доказательство сразу следует из сделанного выше замечания и того,
что
{о>: £(о>)<х} = {аг. lim £n(w) <х} =
= {cv: lim £п(ш) = lim £п(ш)} П {lim < х} =
= Q A {lim £л(а>) < х} = {lim £п(ш) < х} е
4. Остановимся еще на некоторых свойствах простейших функций от
случайных величин, рассматриваемых на измеримом пространстве (Q,
и принимающих, быть может, значения в расширенной числовой прямой
/? = [-оо, оо] *).
Если £ и т/ — две случайные величины, то £ + —ту, и С/7? также
являются случайными величинами (в предположении, что они определены,
„ оо а\
т. е. не возникает неопределенностей типа 00 —00, —,
В самом деле, пусть {£л} и {т/л} —последовательности случайных вели-
чин, сходящиеся к £ и ту (см. теорему 1). Тогда
£л ±?ул —>£±?у,
-----i----------<
“ Z{n»=0}M
Каждая из функций в левых частях этих соотношений является простой
случайной величиной. Поэтому в силу теоремы 2 предельные функции
£±ту, £ту и £/г) также являются случайными величинами.
5. Пусть £ = — случайная величина. Рассмотрим множества из &
вида {си: £(а>) е В}, В еОни образуют и-алгебру, называемую ст-ал-
геброй, порожденной случайной величиной £. Будем ее обозначать
или <?(£).
Если <р — некоторая борелевская функция, то из леммы 2 следует, что
функция т} = ро£ также является случайной величиной, причем «^-изме-
римой, т. е. такой, что {и: ту(си) е В} е В е ^(/?) (см. (7)). Оказывается,
что справедлив и обратный результат.
*) В дальнейшем принимаются обычные соглашения относительно арифметических опе-
раций в R: если a G R, то а ± оо = ±оо, -— = 0; а • оо = оо, если а > 0, и а • оо = —оо, если
±оо
а < 0; 0 • (±оо) = 0, 00 + 00 = 00, — оо — оо = —оо
Теорема 3. Пусть = — ^-измеримая случайная величина.
Тогда найдется такая борелевская функция </>, что = т. е.
для каждого w е Q.
Доказательство. Пусть Ф — класс всех «^-измеримых функций
^ = 77(си), а Ф$ — «^-измеримых функций, представимых в виде где
— некоторая борелевская функция. Ясно, что Ф^СФ^. Утверждение
теоремы состоит в том, что на самом деле Ф$ = Ф$.
Пусть А е и = 1а (о;). Покажем, что rj е Ф$. Действительно, если
А € , то найдется В е &(R) такое, что А = {си: е В}. Обозначим
J1, хеВ,
[О, х£В.
Тогда /д(^) = хв(^М)бФ^. Отсюда следует, что и любая простая с^-из-
п ~
меримая функция £ At также принадлежит классу Ф$.
/=1
Пусть теперь ту — произвольная «^-измеримая функция. По теоре-
ме 1 найдется последовательность {qn} простых «^-измеримых функций
таких, что >т?(си), n—>оо, cueQ. Как только что было
установлено, существуют такие борелевские функции ^л = ^л(х), что
77л(а;) = (рп(£(и)). При этом (рп(Л(&)) -> т/М, и оо, и е Q.
Обозначим В = {х еR: lim ipn(x) существует}. Это множество является
борелевским. Поэтому функция
lim <рл(х),
<^(х) =
хе в,
х ^в,
также является борелевской (см. задачу 6).
Но тогда, очевидно, = lim <^л(£(а>)) = <^(£(cu)) для всех и е Q. Сле-
довательно, Ф^ = Ф^. □
6. Рассмотрим измеримое пространство (Q, и некоторое конечное
или счетное разбиение 0 = {D\, D<^ ...} пространства Q: О, е £2 Dt =
Образуем алгебру «с/, содержащую пустое множество 0 и множества ви-
да 52 где слагаемые берутся в конечном или счетном числе. Очевидно,
а
что система si является монотонным классом, и поэтому, согласно лемме 2
§ 2, алгебра si является в то же самое время и а-алгеброй, обозначаемой
и называемой о-алгеброй, порожденной разбиением &. Ясно, что
а(^) с
Лемма 3. Пусть £ = £(си) является а(@)-измеримой случайной ве-
личиной. Тогда £ представима в виде
оо
= x*/Dt(w), (8)
k=\
где Xk^R, т.е. £(cu) принимает постоянные значения на эле-
ментах разбиения Dk, k^l.
Доказательство. Возьмем некоторое множество Dk и покажем, что
на нем <т(^)-измеримая функция £ принимает постоянное значение.
С этой целью обозначим
xfe = sup [с: £>*П{си: £(си)<с} = 0].
Поскольку {си: £(си) <x*} = |J {си: £(си) < г}, где объединение берется по
всем рациональным г < Xk, то Dk П {cu: £(си) < Xk} = 0.
Пусть теперь с > Xk- Тогда Dk П{си: £(си) < с} / 0 и так как множество
{си: £(си) <с} имеет вид ^2 где сумма берется по конечному или счет-
а
ному набору индексов, то
D^n{cu: £(w)<c} = Dk.
Отсюда вытекает, что для всех c>Xk
DkC\{uj: £(cu)^c} = 0
и поскольку {cu: £(cu)>Xfc} = |J {&' ^(cu)^r}, где объединение берется по
всем рациональным r>Xk, то
D*O{w: СМ>х*} = 0.
Таким образом, D*O{cu: £(cu)/x*} = 0 и, значит,
O^C{cu: £(си) = хД
что и требовалось доказать. □
7. Задачи.
1. Показать, что случайная величина £ непрерывна, если и только если
Р{€ = х} = 0 для всех хе/?.
2. Если |£| является ^"-измеримой, то верно ли, что £ также ^"-изме-
рима?
3. Доказать, что функции хл, х+ = тах(х, 0), х“ = —min(x, 0), |х| =
= х+ + х~ являются борелевскими.
4. Если £ и т? — ^“-измеримы, то {си: £(си) = т/(си)}есО
5. Пусть £ и ту —две случайные величины на (Q, и множество А
Тогда функция
+ту(а?)/д
также является случайной величиной.
6. Пусть Сь ...» Сл — случайные величины и <р(х\, хп) — борелев-
ская функция. Показать, что функция (си), ...» С«М) также является
случайной величиной.
7. Пусть £ и ту — две случайные величины, принимающие значе-
ния 1, 2, ..., N. Предположим, что = Показать, что существует
такая перестановка (и, *2> •••, */v) чисел (1, 2, ..., N), что для каждого
j = 1, 2, ..., N множества {си: £ = j} и {ш: ту = i + /} совпадают.
8. Привести пример случайной величины С, функция распределения
которой имеет плотность f(x) такую, что lim f(x) не существует и, следо-
вательно, f(x) на бесконечности не аннулируется.
9. Пусть С и ту — ограниченные случайные величины (|£| |ту|
Доказать, что если для всех /и, n > 1
Е^тул = ЕГ‘Етул,
то £ и ту независимы.
10. Пусть £ и ту —случайные величины и их функции распределения F$ и
F^ совпадают. Доказать, что если х е /? и {ш: £(си) =х} / 0, то существует
у е R такое, что {си: £(ш) = х} = {ш: ту (си) = у}.
11. Пусть £ — не более чем счетное подмножество /?, £ — отображение
П -► £. Доказать, что £ является случайной величиной на (Q, тогда и
только тогда, когда {аг. £(а>) = х} е & для каждого х е £.
§ 5. Случайные элементы
1. Наряду со случайными величинами в теории вероятностей и ее
приложениях рассматривают случайные объекты более общей природы,
например, случайные точки, векторы, функции, процессы, поля, множес-
тва, меры и т. д. В связи с этим желательно иметь понятие случайного
объекта произвольной природы.
Определение 1. Пусть (Q, и (£, <?)—два измеримых пространства.
Будем говорить, что функция X =Х(о>), определенная на Q и принимающая
значения в £, есть &/£-измеримая функция, или случайный элемент
(со значениями в £), если для любого BeS
{от: X(uj)eB}e^.
(1)
Иногда случайные элементы (со значениями в Е) называют также
Е-значными случайными величинами.
Рассмотрим частные случаи этого определения.
Если (Е, <?) = (/?, ^(/?)), то определение случайного элемента совпадает
с определением случайной величины (§ 4).
Пусть (Е, <?) = (/?л, <%(Rn)). Тогда случайный элемент Х(ш) есть «слу-
чайная точка» в Rn. Если irk — проекция Rn на k-ю координатную ось, то
Х(и>) можно представить в виде
хм=(е1м,...,елм), (2)
где & = тг*оХ.
Из условия (1) вытекает, что & — обычные случайные величины. Дей-
ствительно, для любого В е &(R)
{cj: ^(cv)eS} =
= {cv: £i(o>) €/?, ...» €R, € В, &+1(а>) 6 /?, ..., 6/?} =
= {o>: X(a>) G (/? x ... x R x В x R x ... x
поскольку множество Я x ... x Я x В x Я x ... x Я e SS(Rn).
Определение 2. Всякий упорядоченный набор случайных величин
(771 (lu), ..., т}п(и})) будем называть п-мерным случайным вектором.
В соответствии с этим определением всякий случайный элемент X(uj)
со значениями в Rn является n-мерным случайным вектором. Справед-
ливо и обратное: всякий случайный вектор Х(о>) = (£i(o>), ..., £л(о>)) есть
случайный элемент в Rn. Действительно, если B^G^(B), k= 1, ..., и, то
п
{иг. Х(и>) 6 (Bl X ... X В„)} = [pw: &(“>) G Bk} &
/г=1
Но наименьшая а-алгебра, содержащая множества Bj х... х Вл, совпадает
с SB{Rn}. Тогда из очевидного обобщения леммы 1 из § 4 сразу получаем,
что для любого В G&(Rn) множество {си: Х(си) G В} принадлежит
Пусть (Е, ) = (Z, ^(Z)), где Z — множество комплексных чисел
z — х + iy, х, у G /?, a ^(Z) — наименьшая а-алгебра, содержащая множе-
ства вида {z\ z=x + iy, а\<х^Ь\, а%<у ^Ьъ}. Из предыдущего рас-
смотрения следует, что комплекснозначная случайная величина Z(cv)
представляется в виде Z(o>) = X(a;) + /y(cu), где Х(и) и У(о>) — случайные
величины. Поэтому Z(o>) называют также комплексными случайными
величинами.
Пусть (Е, = ^(/?г)), где Т — некоторое подмножество числовой
прямой. В этом случае всякий случайный элемент X =Х(о>), представимый,
очевидно, в виде X = (^t)ter с & =717 оХ, называют случайной функцией
с временным интервалом Т.
Так же, как и для случайных векторов, устанавливается, что всякая
случайная функция является в то же самое время случайным процессом
в смысле следующего определения.
Определение 3. Пусть Т — некоторое подмножество числовой пря-
мой. Совокупность случайных величин X = (£t)teT называется случайным
(стохастическим) процессом с временным интервалом Т.
Если Г = {1,2, ...}, то Х = (£1,^2, ...) называют случайным процессом
с дискретным временем или случайной последовательностью.
Если 7 = [0, 1], (-оо, оо), [0, оо), ..., то X = (^t)ter называют случай-
ным процессом с непрерывным временем.
Используя структуру а-алгебр S8(RT) (§ 2), нетрудно показать, что вся-
кий случайный процесс X = (£t)teT (в смысле определения 3) является в то
же самое время случайной функцией (случайным элементом со значениями
в RT).
Определение 4. Пусть X = (^t)ter — случайный процесс. Для каждого
фиксированного cueQ функция (£t(u))teT называется реализацией или
траекторией процесса, соответствующей исходу си.
По аналогии с определением 2 § 4 естественно следующее
Определение 5. Пусть X = (&)ter — случайный процесс. Вероятност-
ная мера Рх на (/?г, &(RT)) с
РХ(В) = P{w: Х(ш) € В}, Be@(RT),
называется распределением вероятностей процесса X. Вероятности
Pt..ав) = р&: (6„...,6Л)6В}
с </2<...<tn, ti&T, называются конечномерными вероятностями
(или распределениями вероятностей}. Функции
Ft.....,x„)==P{cu:
c t\ < <... < tn, ti e 7, называются конечномерными функциями рас-
пределения процесса X = (С/)/€т-
Пусть (Е, £) = (С, <^о(С)), где С — пространство непрерывных функций
х==(х/)/€Г на 7 = [0, 1] с а-алгеброй S8$(C), порожденной открытыми мно-
жествами (§ 2). Покажем, что всякий случайный элемент X пространства
(С, ^о(С)) есть в то же самое время случайный процесс (с непрерывными
траекториями) в смысле определения 3.
В самом деле, согласно § 2, множество А = {х е С: X/ < а} есть открытое
множество в ^о(С). Поэтому
{си: & (си) < а} = {си: Х(си)€/4}е«^.
С другой стороны, пусть X = (£t (u))ter есть случайный процесс (в смыс-
ле определения 3), траектории которого при каждом tueQ являются
непрерывными функциями. В соответствии с (17) § 2
{х&С: xeSp(x°)} = P| {хеС: \xtt -х^|<р},
где tk — рациональные точки отрезка [0, 1]. Поэтому
{ш; = <р}е^,
tk
а значит, и {си: Х(ш) е В} G для любого В е «^o(Q-
Аналогичные рассуждения показывают также, что всякий случайный
элемент пространства (О, S8q{D)), введенного в § 2 (п. 7), может рассмат-
риваться как случайный процесс с траекториями из пространства функций
без разрывов второго рода, и наоборот.
2. Пусть (О, eF, Р) — вероятностное пространство и (£а, <fQ) — измери-
мые пространства, где индекс а принадлежит некоторому (произвольному)
множеству 21.
Определение 6. Будем говорить, что & -измеримые функции
(XQ(cu)), ае21, независимы (или независимы в совокупности), если
для любого конечного набора индексов ai,...,art случайные элементы
XQl, ..., Хап независимы, т. е.
Р{Ха, ева...., Ха„ eBaa} = P{XQt eBai}...P{Xan еВа„}, (3)
где В а е £а.
Пусть й = {1, 2, п}, £а —случайные величины, а ей, и
F€(xi, .... Хп) = Р{$1 ^хь ...,£п^хп}
—«-мерная функция распределения вектора £ = (£i,.... &,). Пусть Г^(х()
есть функция распределения случайной величины &, i = 1, ..., п.
Теорема 1. Для того чтобы случайные величины .... £л были
независимы, необходимо и достаточно, чтобы для всех векторов
(хь .... х„)еЯп
F€(xi ,..., хл) = ЛС1 (Xi)... F^ (хл). (4)
Доказательство. Необходимость очевидна. Для доказательства до-
статочности положим (а = (аь ..., ал), b — (Ь\,..., Ьп))
Р$(а, 6] = P{oi <6 С&1, .... ап<^^Ьп},
PSl(ai, = Р{а, <С, bt}.
Тогда в силу (7) § 3 и (4)
/’«(а. »] = П = П М
/—1 <=1
и, значит,
Р{€1 е/|,.... б,е/л}=П Pte €/,}, (5)
i=l
где Л = (аь bi].
Зафиксируем 4, ..., /я и покажем, что для любого В\ e@(R)
Р{6 e Bi, е2 е /2, • • •, е in}=PUi g Bi} f[ PU« g /,}. (6)
i=2
Пусть jit — совокупность множеств из <^(/?), для которых выполнено (6)
(«принцип подходящих множеств», § 2). В sit входит, очевидно, алге-
бра si множеств, состоящих из сумм непересекающихся интервалов вида
/, =(аь Поэтому si Q Л С S8(R). Из счетной аддитивности (а следова-
тельно, и непрерывности) вероятностной меры следует также, что система
Л является монотонным классом. Поэтому (см. п. 1 § 2)
М(^)С^С^(/?).
Но, согласно теореме 1 из § 2, n(si) = a(s/) = &(R). Поэтому sit = &(R).
Итак, (6) доказано. Фиксируя теперь В\, /3, ..., /л, тем же методом
доказываем справедливость (6) с заменой /2 на борелевское множество В%.
Продолжая этот процесс, очевидным образом приходим к требуемому ра-
венству
Р{беВ1,...,елеВл} = Р{е1еВ1}...Р{елеВл},
где СОД). □
3. Задачи.
1. Пусть £1, ...» — дискретные случайные величины. Показать, что
они независимы тогда и только тогда, когда для любых действительных
чисел Xi, ...,
Р{& = XI, ..., in = хп} = П Р{£, = Xi}.
2. Провести доказательство того, что всякая случайная функция
есть случайный процесс (в смысле определения 3), и
наоборот.
8 - 9727
3. Пусть Xj, ...» Хп — случайные элементы со значениями в (Ei, <?i),
(Еп, £п) соответственно. Пусть, далее, (Ef, ..., (Е', <?/) — изме-
римые пространства и gi, ..., gn являются ..., <?л/<?л'-измеримыми
функциями соответственно. Показать, что если Xj, ..., Хп независимы, то
независимы также и случайные элементы gi оХ|, ..., gn оХп.
4. Пусть Xi, Х2, ... — бесконечная последовательность перестановоч-
ных случайных величин (т. е. таких, что совместное распределение каждой
группы случайных величин, состоящей из k элементов с разными индек-
сами, скажем, Xfl, ..., Х^, зависит лишь от k и не зависит от конкретного
выбора значений i\...., ik, где q,..., ik попарно различны; ср. с определе-
нием в задаче 11 из § 1). Доказать, что если ЕХ2 < оо, и > 1, то ковариация
cov(Xi, Х2)^0.
5. Пусть — независимые случайные величины. Доказать, что
случайные величины £ + г) и <2 независимы.
6. Пусть ..., *7ь ...»*7Л — случайные величины. Образуем слу-
чайные векторы Х = (£ь ...» Ст) и У = (*?!, ...»*7Л). Предположим, что вы-
полнены следующие условия:
(i) случайные величины ..., £т независимы;
(ii) случайные величины т/ь ..., рп независимы;
(iii) случайные векторы X и У, рассматриваемые как случайные эле-
менты со значениями в Rm и Rn соответственно, независимы.
Доказать, что случайные величины 6, •••, €ш, *71, •••, *7л независимы.
7. Даны случайные векторы X = (£1,..., £т) и У = (t/i,..., г)п). Известно,
что случайные величины £1, ..., *71, •••, *7л независимы.
(i) Доказать, что случайные векторы X и У, рассматриваемые как слу-
чайные элементы, независимы (ср. с задачей 6).
(ii) Пусть f: Rm—*R, g: Rn —>R — борелевские функции. Доказать, что
случайные величины ..., £т) и g(7?i, ..., т?л) независимы.
§ 6. Интеграл Лебега. Математическое ожидание
1. В том случае, когда (П, Р) — конечное вероятностное прост-
ранство и £ = £(о>) —простая случайная величина,
п
£М = 5>а/л», (1)
6=1
понятие математического ожидания Е£ было определено в § 4 гл. I. Та же
самая конструкция математического ожидания Е£ от простых случайных
величин £ используется и в случае произвольного вероятностного прост-
ранства (Q, &\ Р). А именно, по определению полагается
п
Е£ = £х*Р(Д*). (2)
k=\
Это определение корректно (в том смысле, что значение Е£ не зависит от
способа представления £ в виде (1)), что показывается точно так же, как
и в случае конечных вероятностных пространств. Аналогичным образом
устанавливаются простейшие свойства математического ожидания (см. п. 5
§ 4 гл. I).
Цель этого параграфа — дать определение и изучить свойства мате-
матического ожидания Е£ произвольной случайной величины. С точки
зрения анализа математическое ожидание Е£ есть не что иное, как
интеграл Лебега от ^-измеримой функции £ = £(о>) по мере Р, для
которого (наряду с Е£) используются также следующие обозначения:
5 или $ С^Р.
q Q
2. Пусть £=£(ш) — неотрицательная случайная величина. Построим
последовательность простых неотрицательных случайных величин {£n}n>i
таких, что £п(&) Т £(о>), п —> оо, для каждого и е Q (см. теорему 1 в § 4).
Поскольку Е£п Е£л+1 (ср. со свойством 3) из п. 5 § 4 гл. I), то
существует lim Е£л, который может принимать и значение +оо.
Определение 1. Интегралом Лебега от неотрицательной случайной
величины £ = £(а>), или ее математическим ожиданием, называется ве-
личина
E^limE^. (3)
Чтобы это определение было корректным, надо показать, что значение
этого предела не зависит от выбора аппроксимирующей последовательно-
сти {6J- Иначе говоря, надо показать, что если ТС и т)т f£, где {г}т} —
последовательность простых неотрицательных функций, то
lim E£„ = lim (4)
Лемма 1. Пусть г) и £п — простые неотрицательные случайные
величины, п^ 1, причем
Тогда
lim Е£„ > Ет/. (5)
Доказательство. Пусть е > 0 и
Ясно, что Ап Т Q и
= Ua„ + £л/ля Ыап 0? - ^Уап .
Поэтому, используя свойства математических ожиданий от простых слу-
чайных величин, находим, что
Е£л Е(ту - е)1Ап = Ет?/дл - еР(Лл) =
= Е?7 — Ет7/дя - еР(Ап) Ет? - СР(Лл) - е,
где С = max rfcj). Отсюда в силу произвольности е > 0 вытекает требуемое
неравенство (5). □
Из этой леммы следует, что lim Е£л lim Ет/^, и, по симметрии,
lim Erjm lim Е£л, что и доказывает (4).
Часто оказывается полезным следующее
Замечание 1. Для математического ожидания Е£ от неотрицательной
случайной величины £ имеет место следующее представление:
Е£ = sup Es, (6)
{s€S:s^}
где S = {$} —множество простых неотрицательных случайных величин (за-
дача 1).
Итак, для неотрицательных случайных величин математическое
ожидание определено. Перейдем теперь к общему случаю.
Пусть £ — случайная величина и = тах(£, 0), £“ = - min(£, 0).
Определение 2. Говорят, что математическое ожидание Е£ случайной
величины £ существует, или определено, если по крайней мере одна из
величин Е£+ или Е£“ конечна:
min(Ef+, Е£“) <00.
В этом случае по определению полагают
Е£ = Ее+-ЕГ.
Математическое ожидание Е£ называют иначе интегралом Лебега
от функции £ по вероятностной мере Р. (По поводу других подходов к
определению интеграла Лебега см. замечание 2 п. 11.)
Определение 3. Говорят, что математическое ожидание случайной
величины £ конечно (или £ — интегрируема), если Е£+ <оо и Е£” <оо.
Поскольку |£| = £+ + £“, то конечность Е£ эквивалентна тому, что
Е|£| <оо. (В этом смысле интегрируемость по Лебегу носит «абсолютный»
характер.)
Замечание 2. Наряду с математическим ожиданием Е£ важными чи-
словыми характеристиками случайной величины £ являются величины Е£г
(если они определены) и Е|£|г, г > 0, называемые соответственно момен-
том r-го порядка (r-м моментом) и абсолютным моментом r-го по-
рядка (r-м абсолютным моментом) случайной величины
Замечание 3. В данном выше определении интеграла Лебега § £dP
Q
предполагалось, что мера Р является вероятностной (P(Q) = 1), а
^-измеримые функции (случайные величины) £ принимают значения
в R = (“Оо, оо). Предположим теперь, что р — произвольная мера,
заданная на измеримом пространстве (Q, ^) и принимающая, быть может,
значение +оо, а £ = £(а>) — «^-измеримая функция со значениями в
/? = [—оо, оо] (расширенная случайная величина). В этом случае интеграл
Лебега § p(duj) определяется тем же самым способом: сначала для
Q
неотрицательных простых £ (по формуле (2) с заменой Р на /х), затем для
произвольных неотрицательных (ив общем случае по формуле
5 CM n(dw) = § с+ д(<М - 5 С РОМ,
Q Q Q
если только не возникает неопределенности вида оо - оо.
Для математического анализа особо важен случай, когда (Q, =
= (/?, ^(/?)), а р — мера Лебега А. В этом случае интеграл § £(х) X(dx)
оо оо Я
обозначают ^£(x)dxt или § £(x)dx, или (L) § f(x)dx, чтобы под-
R —оо — оо
оо
черкнуть отличие этого интеграла от интеграла Римана (R) § £(x)dx.
—оо
Если же мера р (Лебега—Стилтьеса) соответствует некоторой обобщенной
функции распределения G = G(x), то интеграл § £(х) p(dx) называют также
/?
интегралом Лебега—Стилтьеса и обозначают (L—S) § £(х) G(dx),
я
чтобы отличить его от соответствующего интеграла Римана—Стилтьеса
(R—S) $ £(х) G(dx) (см. далее п. 11).
/?
Из дальнейшего (свойство D) станет ясно, что если Е£ определено,
то определены также математические ожидания Е(£/л) для любого А
Для Е(£/л), или, что то же, §£/л</Р, часто используются обозначения
Q
E(f; Л) и £dP. Интеграл § £dP принято называть интегралом Лебега
А А
от £ по мере Р на множестве А.
!
Аналогично и в случае произвольной меры /х вместо § £/д dp пи-
Q
шем ^£dp. В частности, если р — n-мерная мера Лебега—Стилтьеса,
а '
А = (аь Ь1] х ... х (ал, Ьп], то вместо § £dp используем запись '
h h А
5-.. €(xi, xn)p,(dxi,..., dxn).
ai ап
Если /z —мера Лебега, то вместо p(dx\,...» dxn) пишем просто dx\ ...dxn.
3. Свойства математического ожидания Ef случайных величин £. t
А. Пусть с —постоянная и Е£ существует. Тогда E(f£) также I
существует и
E(ce) = fEC.
В. Пусть £^т), тогда j
Е£ '
в том смысле, что
если - оо < Е£, то - оо < Ету и Е£ Е ту,
или
если Ег} < оо, то Е£ < оо и Е£ Егр
С. Если Е£ существует, то
|Е€|<Е|е|.
D. Если Е£ существует, то для каждого Ае^ Е(£/л) также
существует; если Е£ конечно, то Е(£1д) также конечно.
Е. Если £ и р — неотрицательные случайные величины или такие,
что Eiei < оо, Е|»/| < оо, то
Е(С + 7?) = ЕС + Е7?.
(По поводу обобщения этого свойства см. задачу 2.)
Приведем доказательство свойств А—Е.
А. Для простых случайных величин утверждение очевидно. Пусть £ > 0,
£я Т €- W €п — простые случайные величины, и с > 0. Тогда с£я Т с£ и, значит,
E(c£) = lim Е(с£я) = с lim Е£я = сЕ£.
п п
В общем случае надо рассмотреть представление £ = £+ - £_ и заме-
тить, что для с>0 (с£)+=с£+, (с£)~ = с£~, а для с<0 (с£)+ = —
Н)-=-с€+.
В. Если 0^£^т/, то Е£ и Ет/ определены и неравенство Е£Ет/ сразу
следует из формулы (6). Пусть теперь Е£ > —оо, тогда Е£“ < оо. Если
£ < т], то £+ т/+ и Г т/-. Поэтому Ет/“ Е£“ < оо, следовательно, Ет/
определено и Е£ = Е£+ - Е£“ Ет/+ — Ет/“ = Ет/. Аналогичным образом
рассматривается случай, когда Ет/ < оо.
С. Поскольку -|£| ^£|£Ь то из свойств А и В
-Eiei<Ee<Eia
т.е. |Е£|^Е|£|.
D. Следует из В и того, что
Ш+=£+1а^+,
Е. Пусть £>0, т/>0, и пусть {£„} и {»?„} — последовательности про-
стых функций таких, что £„f£, %!’)• Тогда Е(Сл+»/л) = Е^л-|-Е»)л и
Е(€л+%)ТЕ(е + т?), Е^Л|Е<, Е^яТЕт/ и, значит, Е(£ + »/) = Е£ + Е»7.
Случай, когда Е|£|<оо, ЕИ<оо, сводится к рассмотренному, если
воспользоваться тем, что С = €+_€-> = £+ С1С1» €” |€| и
П+ М, Т < И-
Следующая группа утверждений относительно математических ожида-
ний связана с понятием «Р-почти наверное». Будем говорить, что неко-
торое свойство выполнено «Р-почти наверное», если существует
множество с P(t/K) = 0 такое, что это свойство выполнено
для каждой точки Вместо слов «P-почти наверное» (Р-п. н.)
часто говорят «P-почти всюду» (Р-п. в.) или просто «почти наверное»
(п. н.), «почти всюду» (п. в.).
F. Если £ = 0 (и. н.), то Е£ = 0.
В самом деле, если £ —простая случайная величина, £ = £ xklAk(w) и
Xk / 0, то по условию Р(А^) = 0, а значит, Е£ = 0. Если же£^ОиОО<£,
где s — простая случайная величина, то s = 0 (п. н.), а следовательно, Es = 0
и Е£ = sup Es = 0. Общий случай сводится к рассмотренному обычным
переходом к представлению £ = £+-£ с учетом того, что £+ |£|, £ |£|
и |<| = 0 (п.н.).
G. Если £ = (п. я.) и Е |£| < оо, то ЕН < оо и Е£ = Ег) (см. также
задачу 3).
В самом деле, пусть «Ж = {ш: £ / у}. Тогда Р(<Ж) = 0 и £ = + £/j?,
У = + По свойствам Е и F Е( = Е^ + Е£/= Е£/j? — EtjIj?.
Но Ет?/^ — 0, поэтому по свойству Е Е£ = Ет)1+ Eyljv = Er).
Н. Пусть £ > 0 « Е£ = 0. Тогда = 0 (л.«.).
Для доказательства обозначим A = {аг. £(си) >0}, Ап = > 1/и}.
Ясно, что Ап Т Л и ^£/4. Поэтому по свойству В
0^Е£/Лл ^ЕС = О.
Следовательно,
0 = Ее/ля>1р(Л„)
и, значит, Р(Лп) = 0 для всех 1. Но Р(Л) = Пт Р(ЛП) и, следовательно,
Р(Д) = 0.
I. Пусть С и г) таковы, что Е|£|<оо, Е|т/|<оо и для всех
Е(£/л) Е(т}1а). Тогда £^т)(п. н.).
В самом деле, пусть В = {ш: £(w) > Тогда Е(т?/в) Е(£/в) Е(гДв)
и, значит, Е(£/в) = Е(т7/в). В силу свойства Е E((£-7j)/e) = 0 и по свой-
ству Н (£ - т))1в = 0 (п. н.), откуда Р(В) = 0.
J. Пусть % —расширенная случайная величина и Е|£|<оо. Тогда
|<| < 00 (я.н.).
Действительно, пусть А = {ш: |£(cv)| = оо} и Р(Л)>0. Тогда Е|£|^
Е(|£|/д) = оо-Р(Л) = оо, что противоречит предположению Е|£|<оо.
(См. также задачу 4.)
4. В этом пункте будут рассмотрены основные теоремы о предельном
переходе под знаком математического ожидания (интеграла Лебега).
Теорема 1 (о монотонной сходимости). Пусть ... —
случайные величины.
а) Если для всех п 1, Е 77 > —оо и £п f £, то
E&m.
Ь) Если для всех п 1, Ет? < оо и £„ |£, то
Доказательство, а) Предположим сначала, что т?>0. Пусть для
каждого k 1 {Сд,п)}я^1 — последовательность простых функций таких, что
d”* Т п—>оо. Обозначим С<л) = max £[п). Тогда
• я
= тах £<л>^ тах ^k = ^n.
Пусть £ = lim £(л). Поскольку для 1 k n
е<л)^с<л)^е„,
то, переходя к пределу при п —> оо, получим, что для любого k 1
а значит, С = С
Случайные величины простые и С(л) f <. Поэтому
Е£ — ЕС = lim Е£(л) lim Е£п.
С другой стороны, очевидно, что поскольку £п Сл+i €, то
lim Е£л ЕС.
Тем самым lim Е£п = Е£.
Пусть теперь ту — произвольная случайная величина с Ету > -оо.
Если Ет? = оо, то в силу В Е£л = Е£ = оо и утверждение доказано. Пусть
Ет/<оо. Тогда, учитывая сделанное предположение Ет?>-оо, получаем,
что Е|т/| <оо. Ясно, что — ^7 Т С — 'П Для всех 6П. Поэтому, согласно
доказанному, Е(СЛ — ту) Т Е(£ — т?) и, значит (по свойству Е и задаче 2),
ECrt - Ет? J ЕС - Ет).
Но Е |т/| < оо, поэтому ЕС« Т ЕС, п 00•
Доказательство утверждения Ь) следует из а), если вместо исходных
величин рассмотреть величины со знаком минус. □
Следствие. Пусть {т)п}п>\ — последовательность неотрицатель-
ных случайных величин. Тогда
оо оо
Е 12^=12Е^-
Л=1 Л=1
Доказательство следует из свойства Е (см. также задачу 2), теоремы
k оо
о монотонной сходимости и того замечания, что 52 Лп Т 12 tyn k^oo. □
л=1 Л=1
Теорема 2 (лемма Фату). Пусть ту, £i, £2, ... — случайные вели-
чины.
а) Если (,п^г) для всех n > 1 и Ет/ > —оо, то
Е lim £„ lim Е£л.
Ь) Если для всех и > 1 и Ег) < оо, то
lim Е£„ Е lim £п.
с) Если |£л| г) для всех n > 1 и Ет? < оо, то
Е lim €л 11Ш Е£л lim Е£„ < Е lim £л.
(7)
Доказательство, а) Пусть Qn = inf тогда
т^п
lim £„ = lim inf ^m = limC„.
n m^n n
Ясно, что Qn f lim £n и Qn 77 для всех n 1. Тогда из теоремы 1
E lim = E lim = lim E<rt = lim E<rt lim E£rt,
n n n
что и доказывает утверждение а). Второе утверждение следует из первого.
Третье — есть следствие первых двух. □
Теорема 3 (теорема Лебега о мажорируемой сходимости). Пусть
случайные величины таковы, что Ет/Соо и£п—>£ (п.н.). Тогда
Е|£| < оо и
Е^п -> Е£, п -> оо, (8)
и
л-юо. (9)
Доказательство. По предположению lim = lim = f (п. н.). По-
этому в силу свойства G и леммы Фату (утверждение с))
Е£ = Е lim £» lim E£rt = lim Е£л = Е lim = Е£,
что и доказывает (8). Ясно также, что |£| ^77. Поэтому Е|£| <оо.
Утверждение (9) доказывается так же, если только заметить, что
1^-€1^277. □
Следствие. Пусть 77, £, fi, &> • • • — случайные величины такие, что
|£л| 61 —(п-н ) и <о° для некоторого р > 0. Тогда Е|£|р <оо
и Е|£ - £п\р -4 0, л —> оо.
Для доказательства достаточно заметить, что |£| 77 и |£-£л|р^
^(1€1 + 1€л|)^(2т7)^
Условие «|£л| <77, Ет7<оо», входящее в лемму Фату и теорему о ма-
жорируемой сходимости и обеспечивающее выполнение формул (7)—(9),
можно несколько ослабить. Для формулировки соответствующего резуль-
тата (теорема 4) введем
Определение 4. Семейство случайных величин {£л}л^1 называется
равномерно интегрируемым (по мере Р), если
SUP $ |СЛ| P(rfcu)—>0, с -юо, (10)
п {ie»l>^>
или (в других обозначениях)
Ясно, что если случайные величины £л, п^1, таковы, что |£л|^т?,
Er? <оо, т° семейство будет равномерно интегрируемым.
Теорема 4. Пусть {£л}л^1 — семейство равномерно интегрируе-
мых случайных величин.
а) Тогда
Е lim lim Е£л lim Е£л Е lim £п.
Ь) Если к тому же (п- «), гио случайная величина £ инте-
грируема и
Е£л —► Е£, п оо,
E|^-€hO, п-4оо.
Доказательство, а) Для всякого с > О
= Е£л/{£„<-<?} 4- Е£л/{^_ф (12)
В силу равномерной интегрируемости для всякого е > 0 можно выбрать с
столь большим, что
sup |Еел/{€„<_с>|<£. (13)
п
В силу леммы Фату
11Ш Е£л/{€я>_с} Е lim
Но поэтому
lim Е£п1{^_С} Е Пщ £л. (14)
Из (12)—(14) находим, что
lim Е£л Е lim £„ - g.
В силу произвольности g > 0 отсюда следует, что lim Е£л >Е lim £п.
Аналогичным образом доказывается, что lim Е£л Е lim £п.
Что же касается утверждений Ь), то они доказываются так же, как
соответствующие утверждения в теореме 3. □
Наиболее полно значение понятия равномерной интегрируемости рас-
крывается в следующей теореме, дающей необходимое и достаточное усло-
вие для предельного перехода под знаком математического ожидания.
Теорема 5. Пусть 0£л —и Е£л <оо. Тогда Е£л Е£ < оо тогда
и только тогда, когда семейство случайных величин {£л}л^1 равно-
мерно интегрируемо.
Доказательство. Достаточность следует из утверждения Ь) теоре-
мы 4. Для доказательства необходимости рассмотрим (не более чем счет-
ное) множество А = {а: Р{£ = а} > 0}. Тогда %п1{£п<а} —*&{£<а} Для каждого
а^Л, причем семейство величин {£п1{£п<а}}п^\ будет равномерно интегри-
руемым. Поэтому в силу «достаточности» Е^п1^п<а} —> Е£1^<а}, а^Л, а
значит,
Е^Аел>0)-♦ Е$/{е>а), а^А> я-»00- (15)
Зафиксируем оО и выберем сначала ао^Л столь большим, что
Е£/{^ао} < б/2» а затем No таким, что для всех О /Vo
и, значит, Е£„/{£я^ао} б. Выберем, наконец, а\ ^ао столь большим, что
для всех п No E£nI{^ai} е. Тогда
sup
п
что и доказывает равномерную интегрируемость семейства случайных ве-
ЛИЧИН {C„}n^l. □
5. Остановимся на некоторых критериях равномерной интегрируемо-
сти.
Прежде всего заметим, что если {£л}л^1 — семейство равномерно инте-
грируемых случайных величин, то
sup Е|£л|<оо. (16)
п
В самом деле, для фиксированного е > 0 и достаточно больших с > О
sup E|<„| = sup [Е|<„|/{|$л|>с} + Е|^п|Ак„|<с}] <
п п
^sup E|£„|/{|e„|>c} + sup Е|е„|/(Кл|<с) sje + c,
п п
что и доказывает (16).
Оказывается, что условие (16) вместе с так называемым условием
«равномерной непрерывности» является необходимым и достаточным для
равномерной интегрируемости.
Лемма 2. Для того чтобы семейство случайных величин {£л}л^1
было равномерно интегрируемо, необходимо и достаточно, чтобы
Е|^л|, и > 1, были равномерно ограничены (т. е. было выполнено усло-
вие (16)) и чтобы Е{|^л|/л}, 1, были равномерно непрерывны (т.е.
sup Е{|£л|/л} -> 0, когда Р(Л)—>0).
п
Доказательство. Необходимость. Условие (16) было проверено
выше. Далее,
Е{|€«|/л} = Е{|е„|/лп{|е„|м} + Е{|€п|/яп{кя|<с}}^Е{|ея|/{Кл|>4}+сР(Л). (17)
Выберем с столь большим, что sup Е{|£п|/(|«„|>с}} <е/2- Тогда если Р(Л)
п
^.е/Ъс, то из (17)
sup Е{|е„|/д}^£,
п
что и доказывает равномерную непрерывность.
Достаточность, Пусть е > 0 и 6 > 0 таково, что из условия Р(Л) < 5
следует, что равномерно по п Е(|£л\1д) Поскольку для всякого с >0
Е|€я|>Е|е„|/{|е„|>с)>сР{|Сл|>с}
(ср. с неравенством Чебышева), то
sup P{|Cn|^c}< i sup E|$,|-»0, c —»oo,
n c
а значит, для достаточно больших с в качестве множества А можно взять
любое из множеств {|£л| с}, 1. Поэтому sup Е(|^л|/{^я|^С}) что и
доказывает равномерную интегрируемость. □
В следующем предложении дается удобное достаточное условие рав-
номерной интегрируемости.
Лемма 3. Пусть £i, £2, ••• — последовательность интегрируемых
случайных величин и G = G(t) — неотрицательная возрастающая
функция, определенная для t^O, такая, что
,lim ^^=оо, (18)
sup EG(|£rt|)<oo. (19)
п
Тогда семейство случайных величин {£л}л^1 является равномерно
интегрируемым.
М
Доказательство. Пусть е>0, М = sup EG(|£rt|), а = —. Выберем с
п е
столь большим, что > а для / > с. Тогда
ЕЦ&1 Wd < l-Е[О(Ы)/{Кл|М] < £ =в
равномерно по всем п 1. □
6. Если £ и г] — независимые простые случайные величины, то, как и
в п. 5 § 4 гл. I, доказывается, что Е£т/ = Е£ • Ет/. Установим теперь справед-
ливость аналогичного утверждения в общем случае (см. также задачу 6).
Теорема 6. Пусть £ и tj — независимые случайные величины с
Е |£| < оо, ЕМ < оо. Тогда Е |£т/| < оо и
Доказательство. Пусть сначала £ 0, т? 0. Положим
00 k °° k
k=0 п > k=0 ь >
Тогда |&1-£|^1/л и ‘Пп^'П, |т?л -т?|^ \/п. Поскольку Е£<оо,
Ет?<оо, то по теореме Лебега о мажорируемой сходимости
lim Е£л = Е£, lim Ет?л = Ет/.
Далее, в силу независимости £ и ту
Е5л =,5» Е'{я«<^}'{1<’<£?} =
Заметим теперь, что
|E^-Een%|^E|^-^„|CE^|77-7/„|] + E[7?„|e-^„|]
<; lEc£ + lE(,,-i) -о. «-оо.
Поэтому Е£ту = lim E£nr}n = lim Е£л • lim Ет/л = Е£ • Е 77, причем Е£т/ < 00.
Общий случай сводится к рассмотренному, если воспользоваться пред-
ставлениями £ = £+ — £“, ^ = ту+-т/“, “ €-г/+— €+г?~ +
□
7. Приводимые в этом пункте неравенства для математических ожи-
даний (многие уже рассматривались в элементарной теории вероятностей;
§§ 4 и 5 в гл. I) систематически применяются и в теории вероятностей, и
в математическом анализе.
Неравенство Чебышева. Пусть £ — неотрицательная случайная
величина, тогда для всякого е>0
(21)
Доказательство сразу следует из того, что
ЕС > е Е/И>е} = е Р{^ е}.
Из (21) получаем следующие разновидности неравенства Чебышева: если
% —произвольная случайная величина, то
(22)
U
Р{|£-Е£|^К^, (23)
где Df = Е(£ - Е£)2 — дисперсия случайной величины £.
Неравенство Коши—Буняковского. Пусть случайные величины £
и г] таковы, что Е£2 < оо, Ет?2 < оо. Тогда Е\fy\ < оо и
(Е|^|)ЧЕ£2.ЕтЛ (24)
Доказательство. Будем предполагать, что Е£2 > 0, Ет?2 > 0. Тогда,
обозначая £ = , т) = , находим, что поскольку 2|£т/| £2 + т)2, то
уЕ£2 уЕт?2
2Е|^|^Ее2 + Ет)2 = 2,
т.е.Е|Ш1,что и доказывает (24).
Если же, скажем, Ef2=0, то тогда по свойству 1 £ = 0 (п. н.) и по
свойству F Е£т? = 0, т. е. (24) также выполнено. □
Неравенство Йенсена. Пусть g = g(x) — выпуклая книзу борелев-
ская функция и Е|£| <оо. Тогда
g(E£KEg(O. (25)
Доказательство. Если функция g = g(x) выпукла книзу, то для каж-
дого xqеR найдется число А(хо) такое, что для всех xeR
gW > g(*o) + (х - Хо)А(хо). (26)
Полагая х = £ и Хо = Е£, из (26) находим, что
g(£)^g(EO + (£-E£)A(E£)
и, следовательно, Eg(£) > g(Ef). □
Из неравенства Йенсена выводится целая серия полезных неравенств.
Получим, к примеру,
Неравенство Ляпунова. Если 0 < s < t, то
(Е|еГ),А <(E|€|')1/Z. (27)
Для доказательства обозначим г = t/s. Тогда, полагая 7? = |£|5 и приме-
няя неравенство Йенсена к функции g(x) = |х|г, находим, что |Er}\r Е\г}\г,
т. е.
(E|£|V/s^E|£|',
что и доказывает (27).
Из неравенства Ляпунова вытекает следующая цепочка неравенств
между абсолютными моментами'.
E|€|^(E|e|2),/4...^(Em*/". (28)
Неравенство Гёль дер а. Пусть 1<р<оо, 1<р<оои — + -==1. Если
Е|£|р < оо, Е\r)\q < оо, то Е\£т)\ < оо и
(29)
Доказательство. Если Е|£|р =0 или Е\r]\q =0, то (29) следует немед-
ленно, так же как и в случае неравенства Коши—Буняковского (являю-
щегося частным случаем неравенства Гёльдера при p = q = 2).
Пусть теперь Е|£|р > 0, Е\т]\я > 0. Положим
!£!.. . ы
? (Е|е|Р)'/Р’ 1 (ЕНН'А-
Воспользуемся неравенством
xayb ах + by, (30)
справедливым для положительных х, у, a, b, a + b = 1, и вытекающим непо-
средственно из свойства выпуклости кверху логарифмической функции:
In [ах + by] a In х + b In у = In хауь.
Тогда, полагая х = £р, у =fjq, а— —, Ь = -, находим, что
Р Q
откуда
E£t)< - Её + 1 Е^ = 1 1 = 1,
Р Я Р Я
что и доказывает (29). □
Неравенство Минковского. Если Е|£|р <оо, Е|т/|р <оо, 1^р<оо,
то Е|£ + т?|р <оо и
(E\^ + T]\p)l/p < (Efc|'),/p + (ЕМО,/₽. (31)
Доказательство. Установим прежде всего следующее неравенство:
если а, b >0 и р > 1, то
(а + Ь)р^2р~1(ар+Ьр). (32)
В самом деле, рассмотрим функцию F(x) = (a+x)p-2р~'(ар+ хр).
Тогда
F'(x) = р(а + х)р~1 -2₽-1 рхр~1.
и поскольку р > 1, то F'(a) = 0, F'(x) > 0 для х < а и F'(x) < 0 для х > а.
Поэтому
F(b) < max F(x) = F(a) = О,
что и дает неравенство (32).
В соответствии с этим неравенством
к+^1₽ (kl + М)₽ 2р~1 (klp + К) (33)
и, значит, если Е|£|р < оо, Е\г}\р < оо, то Ек+»?Г < сю.
Если р = 1, то неравенство (31) следует из (33).
Будем теперь предполагать, что р>\. Возьмем q>\ таким, что
1.1 IT
- + - = 1. Тогда
Р Я
k + п\р = и + ’ll • к + kl • к + ’?lp_| + М • к + • (34)
Заметим, что (р — l)q = р. Поэтому
Е(к + ^_,)’ = Ек + ^<оо.
и, значит, в силу неравенства Гёльдера
E(ki-k+»7r,)<(Ekip)1//’(Ek+^i</”1)<,),/<?=(Ekip),//’(Ek+’?ip),/’-
Точно так же и
Е(м • к+ч\р~') (Ею*/"(Е|е+
Поэтому в силу (34)
е к+ч\р < (Е к+ri\p)i/4 [(е ki₽)l/p+(Е m'/q. (35>
Если Е|^ + 7/|р = 0, то требуемое неравенство (31) очевидно. Пусть те-
перь E|£ + j7|p >0. Тогда из (35) находим
(Е|е+лк)'-17’ < (Е ki₽)l/p+(Em17",
что и дает требуемое неравенство (31), поскольку 1 - i = —. □
8. Пусть £ — случайная величина, для которой определено матема-
тическое ожидание Е£. Тогда, согласно свойству D, определена функция
множеств
Q(4) = §£dP, Ае&. (36)
А
Покажем, что эта функция является счетно-аддитивной.
Предположим сначала, что £ — неотрицательная случайная величи-
на. Если Ль Лг, ... — попарно непересекающиеся множества из & и
Л = £2 Лл, то в силу следствия к теореме 1
Q(4) = Е(£/л) = Е(£/Е л„) = Е(£ £/л,) = £ E(€U) = L Q^)-
Если же £ — произвольная случайная величина, для которой Е£ определе-
но, то счетная аддитивность О(Л) следует из представления
О(Л) = О+(Л)-О“(Л), (37)
где
Q+0) = £+ dP, СГ(Л) = $ £“ JP,
А А
установленной счетной аддитивности для неотрицательных случайных ве-
личин и того факта, что min(Q+(Q), Q“(Q)) <оо.
Итак, если Е£ определено, то функция множеств О = О(Л) является
мерой со знаком — счетно-аддитивной функцией множеств, представимой
в виде Q = Qi — Q2, где по крайней мере одна из мер Qi или Q2 конечна.
Покажем, что функция множеств Q = О(Л) обладает следующим важ-
ным свойством абсолютной непрерывности относительно меры Р:
если Р(Л) = 0, то О(Л) = 0 (Ле
(это свойство кратко записывают в виде: Q <С Р).
Для доказательства достаточно рассмотреть случай неотрицательных
п
случайных величин. Если £ = £ xk^Ak — простая неотрицательная случай-
k=\
ная величина и Р(Л) = 0, то
п
О(Л) = Е(е/д) = 22 хкР(Ак л А) = 0.
6=1
Если же {£п}п^ 1 — последовательность неотрицательных простых функций
таких, что £п f £ 0, то по теореме о монотонной сходимости
О(Л) = Е(£/л) = ПтЕ(£л/д) = 0,
поскольку Е(£„/д) = 0 для любого п 1 и Л такого, что Р(Л) = 0.
Итак, интеграл Лебега Q0) = §£dP, рассматриваемый как функция
А
множеств Л е является мерой со знаком, абсолютно непрерывной от-
носительно меры Р (Q<^P). Весьма замечательно, что имеет место и
обратный результат.
Теорема Радона—Никодима. Пусть (Q, ^) — измеримое прост-
ранство, р — a-конечная мера и Л — мера со знаком (т.е. А = А! — А2,
где по крайней мере одна из мер Ai или А2 конечна), являющаяся
абсолютно непрерывной относительно р. Тогда существует ^-из-
меримая функция f = f(u>), принимающая значения в /? = [-00,00],
такая, что
А(Л) = /М А е (38)
А
С точностью до множеств р-меры нуль функция f(w) единствен-
на: если h —h(w) — другая ^-измеримая функция такая, что А(Л) =
= § h(yj) p(duj), А е &, то р{ш: f(yj) / h(uj)} = 0.
А
Если Х — мера, то f = /(cj) принимает значения в /?+ = [0, оо].
Функция f = f(v) в представлении (38) называется производной
Радона—Никодима или плотностью меры А относительно меры р и
d A d A z ч
обозначается -т- или (tf).
dp dp
Ряд важных свойств этих производных изложен в лемме п. 8 следую-
щего § 7. Особо отметим сейчас частный случай приводимой там форму-
лы (35), часто используемый при пересчете математических ожиданий при
замене меры.
Именно, пусть Р и Р — две вероятностные меры, Е и Ё — соответству-
ющие математические ожидания. Предположим, что мера Р абсолютно
непрерывна относительно меры Р (обозначение: Р<сР). Тогда для вся-
кой неотрицательной случайной величины f = £(cu) справедлива следующая
«формула пересчета математических ожиданий»:
ё^=е[с^]. (39)
Эта формула остается справедливой и без предположения о неотрица-
тельности £ в следующей формулировке: случайная величина £ интегрируе-
д ^dP
ма по мере Р в том и только том случае, когда величина интегрируема
по мере Р; при этом справедливо равенство (39).
Доказательство формулы (39) весьма несложно: для простых функций
с Л e dP
5 она непосредственно следует из определения производной а для
неотрицательных £ надо воспользоваться теоремой 1 Ь) § 4, утверждаю-
щей существование простых функций Т £, п —> оо, и затем теоремой 1 а)
о монотонной сходимости. Если же £ — произвольная случайная величина,
то, согласно (39)), Ё|£| = Е|£|^. Отсюда следует, что интегрируемость £
по мере Р равносильна интегрируемости по мере Р. Сама же форму-
ла (39) вытекает из рассмотрения представления £ = £+-£“.
Теорема Радона—Никодима, приводимая здесь без доказательства (по
поводу ее доказательства см., например, [70]), будет играть ключевую роль
в конструкции условных математических ожиданий (§ 7).
п
9. Если 4= 52 xi^Ai — простая случайная величина, А, = {ш: £=х(}, то
/ = 1
= S £(х«)рИ<) = $2
Иначе говоря, для подсчета математического ожидания функции от (про-
стой) случайной величины £ нет надобности знать всю вероятностную ме-
ру Р, а достаточно знать лишь распределение вероятностей Р$ или, что
эквивалентно, функцию распределения случайной величины
Следующая важная теорема обобщает это свойство.
Теорема 7 (о замене переменных в интеграле Лебега). Пусть
(Q, &) и (Е, S) — два измеримых пространства, X = Х(о>) — &/§-из-
меримая функция со значениями в Е. Пусть Р — вероятностная
мера на (О, #) и Рх — вероятностная мера на (Е, S), индуцируемая
Х=Х(ш):
Рх(А) = Р{ш: ВДеЛ}, Ае£. (40)
Тогда для всякой ^-измеримой функции g = g(x), хеЕ,
\g(x)Px(dx) = g(XM)P(du;), (41)
А Х~'(А)
(в том смысле, что если существует один из интегралов, то опре-
делен и второй, и они совпадают).
Доказательство. Пусть множество А её и £(х) = /в(х), где
Тогда искомое соотношение (41) превращается в равенство
Рх(ЛВ) = Р(Х-1(Л)ПХ-‘(В)), (42)
справедливость которого следует из (40) и замечания, что Х-1(Д)П
ПХ-'(В) = Х-|(ЛПВ).
Из (42) вытекает, что (41) справедливо для неотрицательных простых
функций g = g(x), а значит, в силу теоремы о монотонной сходимости (41)
справедливо и для произвольных неотрицательных ^-измеримых функций.
В общем же случае надо представить функцию g в виде g+ - g~ и
заметить, что, поскольку для функций g+ и g~ равенство (41) справедливо
и если, например, § g+(x)Px(dx) <оо, то и § g+(X(a>))P(da>) <оо, а
А Х-'(Л)
значит, из существования § g(x)P%(dx) следует существование интеграла
А
$ g(XM)P(da;). □
Х-’(Л)
Следствие. Пусть (Е, £) — (R, и £ = £(о;) — случайная вели-
чина с распределением вероятностей Р$. Тогда, если g = g(x)-6o-
релевская функция и существует любой из интегралов § g(x)P$(dx)
А
или $ g(€M) Р(йМ, то
е-'И)
^g(x)P^dx)= g(C(w)) P(dw).
д е'М)
В частности, при A=R получаем, что
Eg(€M) = $ g(£M)P(<M = $ g(x)P^dx). (43)
Q R
Мера P$ однозначно восстанавливается по функции распределения F$
(теорема 1 в § 3). Поэтому интегралы Лебега § g(x)P$(dx) часто обознача-
R
ют g(x)F$(dx) или gdF$ и называют интегралами Лебега—Стил-
R R
тьеса (по мере, соответствующей функции распределения F$(x)).
Рассмотрим случай, когда функция распределения F$(x) имеет плот-
ность f$(x), т. е. пусть
W = $ №)dy, (44)
—оо
где = f^(x) — неотрицательная борелевская функция, а интеграл пони-
мается как интеграл Лебега по лебеговской мере на множестве (—оо, х]
(см. замечание 3 в п. 2). В предположении (44) формула (43) принимает
следующий вид:
Eg(€M)= g{x)U(x)dx, (45)
— оо
где интеграл понимается как интеграл Лебега от функции g(x)f$(x) по
лебеговской мере. В самом деле, если g(x)=/B(x), Be£B(R), то требуемая
формула превращается в равенство
РС(В) = $ /€(х) dx, В € &(R), (46)
В
справедливость которого следует из теоремы 1 § 3 и формулы
ь
F^b)-F^a) = ^U(x)dx.
а
В общем случае доказательство то же, что и в теореме 7.
10. Рассмотрим специальный случай измеримых пространств (Q,
с мерой /х, где Q = Qi х ^ = ^1 0^2» а мера /z = /zi х /х2 есты прямое
произведение конечных мер р\ и /х2, т. е. такая мера на что
Mi хМгИ х В) = //1(Л)/х2(В), В е
(существование такой меры будет следовать из доказательства теоремы 8).
Приводимая далее теорема играет ту же самую роль, что и известная
теорема из анализа о сведении двойного интеграла Римана к повтор-
ному.
Теорема 8 (Фубини). Пусть £ = ® ^-измеримая
функция, интегрируемая по мере р\ х р2 •
$ |€(^ь ^2)1 rf(Mi х М2) < 00. (47)
Qi xQ2
Тогда интегралы $ £(u>i, uj2)p\(div\) и § С(^ь cv2)/x2(da?2)
Qi Q2
1) определены для р2-почти всех а>2 и р\-почти всех сиь
2) являются <F2- и ^-измеримыми функциями, соответственно,
М2{^: 5 W2)lMi(^i) = °°}=0,
, Пс 1 (48)
Mijwi: “>2)|/X2(rfw2) = ooJ = 0
Qi
u 3)
5 £(a>l, W2)d(/i! X Д2)= §
Qi xQ2 Qi
$ £(^1, W2)/i2(do>2) ^l(dlVi) =
«2
£(o>i, cu2)/Xj(rfcui) P2(dcv2).
(49)
q2
Доказательство. Покажем прежде всего, что для любого фиксиро-
ванного е Qi функция (о>2) = £(о>1, о>2) является ^-измеримой по uj2.
Пусть F и £(о>1, о>2) = //r(a>i, си2). Обозначим через =
= {ш2е^12: (ш\, u;2)eF} — сечение множества F в точке cui, и пусть
= {F С е <^2}. Надо показать, что для любого cui
Если F = А х В, А Е , В с F2, то
[0, еслио>1£Л.
Поэтому прямоугольники с измеримыми сторонами принадлежат • Да-
лее, если Fe<F, то (F)ui=F^ а если {Fn}n^i — множества из то
(U = U Отсюда следует, что = cF.
Пусть теперь $(cui,a^)>0. Тогда, поскольку для каждого cuj функ-
ция £^(0,2) =€(^ь ^2) является ^-измеримой, то определен интеграл
$ £(о>1, 0,2)//2(^2). Покажем, что этот интеграл является eFi-измеримой
п2
функцией и
5 § £(wi, w2)M2(dw2) Mi(dwi)= 5 <(W1. ^2)X д2). (50)
Qi .Q2
□ i хП2
Предположим, что £(o>i, o>2)=1д хв (Ш1 > w2), Л e/|, B€ <F2. Тогда, посколь-
ку /дхв(^1, w2) = /^(wi)/B(o;2), то
$ /дхв(^1, w2)M2(dw2) = /^(wi) ^s(w2)M2(^w2) (51)
Q2 П2
и, следовательно, интеграл в левой части (51) является ^-измеримой
функцией.
Пусть теперь £(u>i, u>2) = Mwi, w2). FG& = &\ ®<F2. Покажем, что
интеграл /(tuj) = $ /f(wi, W2)p-2(dw2) является ^-измеримым. С этой це-
п2
лью обозначим ={F е &: f(u>\) — «Fj -измерима}. Согласно доказанному,
множества А х В принадлежат # (А е «Fi, В е «^2), а значит, и алгебра л/,
образованная из конечных сумм непересекающихся множеств такого вида,
также принадлежит Из теоремы о монотонной сходимости следует, что
система является монотонным классом, ^=/z(^). Поэтому в силу вклю-
чений si С <€ С & и теоремы 1 из § 2 & — a (si) = д(«я/) С /х(^) = Ч> С <F,
т. е. # =
Наконец, если £(<*-4, ^2) — произвольная неотрицательная ^-измери-
мая функция, то eFi-измеримость интеграла § следует
п2
из теоремы о монотонной сходимости и теоремы 2 § 4.
Покажем сейчас, что мера /z = /zi х определенная на cF = cFi 0^2 и
обладающая свойством х /х2И х В) = ц\(Л)/Х2(В), А € <Fi, В е <F2, дей-
ствительно существует и единственна.
Положим для F е &
kdf) = S S И) M2(d^2) Mi (dui).
Q1 _Q2
Как было показано, внутренний интеграл является ^-измеримой функ-
цией, и, следовательно, функция множеств //(/*) действительно определена
для Fe&. Ясно, что если В = ДхВ, то /х(Л х В) = //1(Л)/х2(В). Пусть
теперь {Fn} — непересекающиеся множества в Тогда
Ае r«)W1(^2) —
= $ Е S (^2)М2(^) ni(du>i) =
Qi п
_Q2
= Е S S ^з/^мг^г) /xi(dwi) = ^2 д(Гя),
п Hi [П2
п
т. е. /х является мерой (и-конечной) на
Из теоремы Каратеодори следует, что эта мера /х является единственной
мерой со свойством /х(Д х В) = /х1(Д)/х2(В).
Установим теперь формулу (50). Если си2) = /дхв(^ь о>2), Л е «^1,
В с J^2, то
5 /лхв(^1, ^2)rf(Mi х^2) = М1 х/х2(Л X В), (52)
П1 xQ2
и так как /дхв(^1, u?2) = /^(wi)/b(w2), то
/лхв(о>1, W2)/i2(dw2) Mi(dwi) =
Qi
= $ /д(^1) ^s(w2)m2(^w2) д1(^о>1) = д1(Д)д2(В). (53)
Qi _ Q2
Но по определению меры х д2
Mi х д2(Л х В) = ^1(Л)д2(В).
Поэтому из (52) и (53) следует справедливость (50) для ^(wi,w2) =
= ^xb(wi, w2)-
Пусть теперь w2) = /р(о>], w2), F €<F. Функция множеств
A(F)= /f(wb iv2)d(/xi х д2), Fe^,
Qi xQ2
является, очевидно, a-конечной мерой. Нетрудно проверить также, что
таковой же является функция множеств
^(0= $ S М“>1, Щг)д2(</ш2) /xi(dwj).
Q i £1%
Как было установлено выше, Аир совпадают на множествах вида
Л = ЛхВ, а значит, и на алгебре л/. Отсюда по теореме Каратеодори
следует, что Аир совпадают для всех F е
Перейдем теперь к доказательству собственно утверждений теоремы
фубини. В силу (47)
C+(^i, х/х2) <оо, х д2)<оо.
QixQ2 Q|XQ2
Согласно доказанному, интеграл § £+(o>i, <^2)^2(^<^2) является ^-изме-
п2
римой функцией от и
5 $ €+(wi,w2)p2(dw2) ^i(dwi)= ?+(wi, W2)d(^i х д2) <00.
Q1 ,П2 . Q i x Q2
Поэтому в силу задачи 4 (см. также свойство J в п. 3)
5 €+(^ь tv2)/22(dcv2) <00
q2
(Д1-П. н.).
Точно так же и
€ (W1 > W2) Д2(^^2) < ОО (Д1 -п. н.),
п2
а значит,
$ l€(“>i, w2)| /x2(dw2) < 00
q2
(Д1-П.Н.).
Ясно, что за исключением некоторого множества имеющего /xi-меру
нуль,
5 £(w1( w2)/x2(do/2)= C+(^1, w2)^2(do?2)- 5 € (W|, w2)/x2(dw2). (54)
^2 Q2 Q2
Полагая входящие сюда интегралы равными нулю для о>1 € ЛЛ можем
считать, что (54) выполнено для всех wj eflj. Тогда, интегрируя (54) по
мере pi и учитывая (50), получим, что
$ 5 £(wb w2)M2(^W2) М1(^1)=$ $ €+(^1, W2)M2(rf^2) Ml(^l) “
Qi
Qi L^2
(wi, w2)дг(^2) Pi(dwi)= 5 f+(wi, w2)d(pi X д2)-
Ql . Qj XQ2
- 5 C(wl> хД2> = 5 ^W|’ w2)d(/xl X №)•
Q1XQ2 Q|XQ2
Аналогичным образом устанавливается первое соотношение в (48) и
равенство
$ €(^ь ^г)^(д1 х д2)= § £(о>1, шг)я(^1) д2(</о>2). □
Qi xQ2
Г^2 _Г2|
Следствие. Если § § |£(ич,‘‘>г)|д2(</а>2) /zi(da>i)<oo, то утвер-
Qi П2
ждения теоремы Фубини также выполнены.
Действительно, при сформулированном условии из (50) следует (47),
а значит, справедливы и все утверждения теоремы Фубини.
Пример. Пусть (f, rj) — пара случайных величин, распределение кото-
рых имеет двумерную плотность /$л(х, у), т. е.
Р{(£, 7)) € В} = $ f^(x, у) dx dy, В € W2),
В
где /^(х, у) — неотрицательная ^(/?2)-измеримая функция, а интеграл
понимается как интеграл Лебега по двумерной лебеговской мере.
Покажем, что тогда одномерные распределения для £ и rj также имеют
плотности fe(x) и fnty), причем
оо оо
/«(*)= s fm(x,y)dy и М/) = $ k.r){x, y)dx.
—оо —оо
(55)
В самом деле, если A то по теореме Фубини
Р{£ €»} = ₽{(£, T])eA xR} = 5 k.r){x, y)dxdy = ^ ^f^(x,y)dy dx,
AxR
A L*
что и доказывает как наличие плотности распределения вероятностей у £,
так и первую формулу (55). Аналогично доказывается вторая формула.
Согласно теореме из § 5, для того чтобы случайные величины £ и ту
были независимы, необходимо и достаточно, чтобы
F^(x, у) = F^(x)Fri(y), (х, у) е R2.
Покажем, что в случае наличия двумерной плотности /^(х, у) величины
£ и ту независимы тогда и только тогда, когда
кМЧМШ (56)
(равенство понимается почти наверное относительно двумерной лебегов-
ской меры).
В самом деле, если выполнено (56), то по теореме Фубини
(х, у) = $ f^(u,v)dudv = $ (и)(и) du dv =
(—оо,х] х(—oo,z/] (—оо,х] х(—oo,z/]
= $ h{u)du( $ fr)(v)dv\ =Fi(x)Fri(y)
(-oo.x] \(-oo,y] /
и, следовательно, £ и ту независимы.
Обратно, если они независимы и имеют плотность /$,п(х, у), то опять-
таки по теореме Фубини
$ v)dudv— ( k(u)d“\{ $ fn(v)dv
(—оо,х] х (—oo,z/] \(-oo,x] /
= $ f^ujf^vydudv.
(—oo,x]x (-OO.Z/J
Отсюда следует, что для любого В е «^(/?2)
$ fn.T)(x, y)dxdy = \ f^x)f„(y)dxdy,
В в
и из свойства I легко вывести, что выполнено (56).
11. В этом пункте будет рассмотрен вопрос о разных определениях
интегралов Лебега и Римана и соотношениях между ними.
Прежде всего отметим, что конструкция интеграла Лебега не зависит
от того, на каком измеримом пространстве (Q, заданы подлежащие
интегрированию функции. В то же время интеграл Римана для абстракт-
ных пространств не определяется вовсе, а для случая пространств Q = Rn
он определяется последовательным образом: сначала для Z?1, а затем с
соответствующими изменениями переносится на случай п> 1.
Подчеркнем, что в основу построения интегралов Римана и Лебега
положены разные идеи. Первый шаг в конструкции Римана состоит в том,
что точки хе/?1 группируются по признаку их близости на оси х. В кон-
струкции же Лебега (для Q = R{) точки хе/?1 группируются по другому
признаку — по близости значений подлежащих интегрированию функций.
Следствием этих разных подходов является то, что соответствующие ин-
тегральные суммы Римана будут иметь предел лишь для не «слишком»
разрывных функций, в то время как лебеговские интегральные суммы будут
сходиться к предельным значениям для более широкого класса функций.
Напомним определение интеграла Римана—Стилтьеса. Пусть G(x) —
некоторая обобщенная функция распределения на У?1 (см. п. 2 § 3), /х —
соответствующая ей мера Лебега—Стилтьеса, и пусть g = g(x) — ограни-
ченная функция, обращающаяся в нуль вне отрезка [а, Ь].
Рассмотрим разбиение = •••»
a = xo<xi < ...<хп = Ь,
отрезка [а, 6] и составим верхние и нижние суммы
п_______________________п
£ = £ g.[G(xi+1)-G(x()], L = S£'IC(x'+')-G(*i)l.
&__________________________________i=\ i=l
где
g,= sup g(y), gi= inf g(y).
Определим простые функции g&>(x) и g^»(x), полагая на x(_i <х ^х,
g&(x) = gh gg>(x) = gi
и определяя g&(a) = g&(a) = g(a). Ясно, что тогда в соответствии с кон-
струкцией интеграла Лебега—Стилтьеса (см. замечание 3 в п. 2)
___ ь
£ = (L-S) $ g^(x)G(dx)
& а
И
b
£ = (L-S)$gHx)G(dx).
& а
Пусть теперь {^} — последовательность разбиений таких, что С
С^+ь причем = {Xq^, ..., х^} таковы, что ^тах |х)*\ — х^| —>0,
й->оо. Тогда g&x ^g&2>..-^g^..-^g&2^g&^ и если |g(x)| С, то
по теореме о мажорируемой сходимости
___ ь
lim ^ = (L-S)$g(x)G(dx),
*-°° х
(57)
lim £ = (L-S) $ g(x)G(dx),
k—юо t—** --
a
где g(x) = lim gg»k(x), g(x) = lim g<pt(x).
k - К ------
Если пределы lim $2 и lim J2 конечны, совпадают и их общее
k k
значение не зависит от выбора последовательности разбиений
{^}, то говорят, что функция g = g(x) интегрируема по Риману—
Стилтьесу, а соответствующее общее значение пределов обозначается
ъ ь
(R—S) g(x) G(dx) или (R—S) $ g(x)dG(x). (58)
а а
В том случае, когда G(x) = x, этот интеграл называется интегралом Ри-
мана и обозначается
ь
(R) $ £(*) dx.
а
b
Пусть теперь (L—S) § g(x) G(dx) — соответствующий интеграл Лебе-
а
га—Стилтьеса (см. замечание 3 в п. 2).
Теорема 9. Если функция g = g(x) непрерывна на [а, Ь], то она
интегрируема по Риману—Стилтьесу и
ь ь
(R—S) $ g(x) G(dx) = (L-S) $ g(x) G(dx). (59)
a a
Доказательство. Так как функция g(x) непрерывна, то g(x) = g(x) =
= g(x). Поэтому в силу (57) lim £ = lim Таким образом, непре-
k—>oo <pk k—>(X)
рывная функция g = g(x) интегрируема по Риману—Стилтьесу и, бо-
лее того, ее интеграл совпадает (опять-таки в силу (57)) с интегралом
Лебега—Стилтьеса. □
Рассмотрим несколько подробнее вопрос о соотношении между инте-
гралами Римана и Лебега в случае лебеговской меры на прямой R.
Теорема 10. Пусть g = g(x) — ограниченная функция на [а, Ь].
а) Функция g = g(x) интегрируема по Риману на [а, Ь] тогда и
только тогда, когда она непрерывна почти всюду (относительно
меры Лебега А на &([а, д])).
Ь) Если g = g(x) интегрируема по Риману, то она интегрируема
по Лебегу и
ь ь _
(R)$g(x)dx = (L)$g(x)A(dx). (60)
а а
Доказательство, а) Пусть функция g = g(x) интегрируема по Рима-
ну. Тогда, согласно (57),
ь ь _
(L)$f(x)A(dx) = (L)$g(x)A(dx).
а а
Но g(x) g(x) g(x), поэтому в силу свойства Н
gw = g(x) = g(x) (А-П.н.), (61)
откуда нетрудно вывести, что функция g(x) непрерывна почти всюду (от-
носительно меры А).
Обратно, пусть функция g = g(x) непрерывна почти всюду (относи-
тельно меры А). В этом случае выполнено (61) и, следовательно, g(x)
отличается от измеримой (по Борелю) функции g(x) лишь на множестве
еЖ с А(с/К) = 0. Но тогда
{х: g(x)^c} = {x: g(x)^c}nЛ + {х: g(x)$c}fU =
= {х: £(х)^с}ПеЖ + {х: §(х)^г}ПсЖ.
Ясно, что {х: g(x) с} П Л 6 <^([а, Ь]), а множество {х: g(x) с} П с/К
является подмножеством множества <Ж, имеющего лебеговскую меру А,
равную нулю, и, следовательно, также принадлежащего <£?([а, 6]). Тем
самым g(x) <£?([а, 6])-измерима и как ограниченная функция интегрируема
по Лебегу. Поэтому по свойству G
ь _ ь _ ь _
(L) $ g(x) A(dx) = (L) $ g(x) A(dx) = (L) $ g(x) A(dx),
a a a
что и завершает доказательство утверждения а).
Ь) Если функция g = g(x) интегрируема по Риману, то, согласно а), она
непрерывна (А-п. н.). Выше было показано, что тогда g(x) интегрируема
по Лебегу и ее интегралы Римана и Лебега совпадают. □
Замечание 1. Пусть /х некоторая мера Лебега—Стилтьеса на ^([а, Ь]).
Обозначим ^д([а, Ь]) систему подмножеств А С [а, Ь], для которых
найдутся множества Л и В из «^([а, 6]) такие, что Л СДСВ и д(В \ Л) = 0.
Пусть Д — продолжение меры р на &^([а, Ь]) (Д(А)=/х(Л) для А таких,
что Л СДСВ и /х(В\Л) = 0). Тогда утверждение теоремы останется в
силе, если вместо лебеговской меры А рассмотреть меру Д, а вместо
интегралов Римана и Лебега рассмотреть соответствующие интегралы
Римана—Стилтьеса и Лебега—Стилтьеса по мере Д.
Замечание 2. Определение интеграла Лебега (см. определения 1 и 2
и формулы (3) и (6) в п. 1) и концептуально, и «чисто внешне» отличает-
ся от определений интегралов Римана и Римана—Стилтьеса, требующих
обращения к верхним и нижним суммам (см. (57)).
Остановимся более подробно на сопоставлении этих определений.
Пусть (Q, р) — некоторое измеримое пространство с мерой р.
Для всякой «^-измеримой неотрицательной функции f = f(cu) опреде-
лим два интеграла (нижний и верхний) L*f и £*/ (обозначаемые также
$ fdpu^ f dp), полагая по определению
LJ = sup£2 (jnj. /М)д(А),
i
L*/ = infJ2 (sup /М)д(Л).
где sup и inf берутся по всем конечным разбиениям (Ль Л2,...» Ап) прост-
/ п \
ранства Q на ^“-измеримые множества Ль Л2,...» Ап I 5Z Д/ = Q ), /г1.
\i=l /
Можно показать, что L*f ^L* f и если функция f ограничена, а мера р
конечна, то £*/ = £*/ (задача 20).
Один из подходов (Дарбу—Юнг) к определению интеграла Lf от функ-
ции f по мере р состоит в том, чтобы говорить, что функция f является
р-интегрируемой, если L*f = f, и в этом случае полагать Lf = L*f
(=£*/)•
Если теперь обратиться к определению интеграла Лебега Е/, данному
в п. 1 (определение 1), то можно убедиться (задача 21), что
Тем самым, можно сказать, что для ограниченных неотрицательных
функций f = f(uj) подходы Лебега и Дарбу—Юнга приводят к одному и
тому же результату (Ef = Lf = L* f = L*f).
Отличия же в этих подходах к интегрированию проявляются тогда,
когда рассматриваются неограниченные функции или когда мера р может
быть бесконечной.
Например, с точки зрения интегрирования в смысле Лебега интегралы
S "Л72 и S “7 определены и совпадают с L*f для f(x) = х“1/<2/(0, 1]
(0,1) Х (1,оо) х
и f(x) = х“2/(1, оо) соответственно. Однако здесь L* f = 00.
Таким образом, L*f <L* f, и, значит, рассмотренные функции не инте-
грируемы в смысле Дарбу—Юнга, но интегрируемы в смысле Лебега.
В рамках изложенного подхода, оперирующего с нижним интегралом
L*f и верхним интегралом L*f, обратимся к интегрированию в смысле
Римана.
Будем считать, что Q = (0, 1], &=8В (борелевская а-алгебра) и /х = А —
мера Лебега. Пусть f = f(x), х е П, — некоторая ограниченная функция
(условие ее измеримости пока не налагается).
По аналогии с L*f и £*/ введем нижние и верхние римановские
интегралы R*f и R* f, полагая
/?»/ = sup ^2 (jnf М)а(В,),
i
= (S“P /М)Л(В<),
где (Вь В2, ..., Вл) образуют конечное разбиение Q = (0, 1], причем В,
имеют вид (а/, bi] (в отличие от множеств At в определении L*f и L*f,
которые были произвольными «^“-измеримыми множествами).
Из приведенных определений очевидно, что
R.f^LJ^L'f^R'f.
Приведенные в теоремах 9 и 10 свойства интегрируемости по Риману
могут быть переформулированы и дополнены с привлечением следующих
условий:
(a) R*f = R*F\
(b) лебеговская мера множества Df точек разрыва функции f равна
нулю (A(D;) = 0);
(с) существует константа R(f) такая, что для всякого е>0 найдется
6 > 0 такое, что
Е <е
i
для всякой конечной системы непересекающихся интервалов (а/, bi]
с £ (аь Ь] = (0, 1] такой, что А((ах-, bi]) <6, щ е (а/, bi].
Воспользовавшись аргументами теорем 9 и 10, можно доказать (зада-
ча 22), что если функция f ограничена, то
(А) условия (а), (Ь), (с) эквивалентны и
(В) при выполнении любого из условий (а), (Ь), (с)
/?(/) = /?*/ = /?*А
12. В этом пункте мы приведем полезную теорему об интегрировании
по частям в интеграле Лебега—Стилтьеса.
Пусть на (/?, BB(R)) заданы две обобщенные функции распределения
F = F(x) и G = G(x).
Теорема 11. Для любых действительных а и Ь, а <Ь, справедлива
следующая формула интегрирования по частям:
ь ь
F(b)G(b) - F(a)G(a) = $ F(s-) dG(s) + § G(s) dF(s),
a a
(62)
или, что эквивалентно.
F(b)G(b)-F(a)G(a) =
ь b
= ^F(s-)dG(s) + ^G(s-)dF(s) + &F(s)£G(s), (63)
a a a<s^b
где
F(s-) = lim F(0, &F(s) = - F(s-).
ZTs
Замечание 1. Символически формулу (62) можно записать в следую-
щей «дифференциальной» форме:
d(FG) = F_dG + GdF.
Замечание 2. Утверждение теоремы сохраняет свою силу для функций
F и G ограниченной (на [а, 6]) вариации. (Каждая такая непрерывная
справа и имеющая пределы слева функция представима в виде разности
двух монотонно неубывающих функций.)
Доказательство, Напомним прежде всего, что в соответствии с
ъ
соглашениями п. 2 под интегралом § понимается интеграл $ . Поэтому
а (а,Ь]
(см. формулу (2) в § 3)
ь ь
(F(b) - F(a))(G(b) - G(a)) = $ dF(s) $ dG(t).
a a
Отсюда по теореме Фубини (F x G — обозначает прямое произведение мер,
отвечающих F и G) находим, что
(F(b) - F(a))(G(b) - G(a)) = $ d(F x G)(s, t) =
(a,6]x(a,6]
= $ I{s>t}(s,f)d(FxG)(s, t)+ $ l{s<t}(s, t)d(F xG)(s, t) =
(a,d]x(a,b] (a,b]x(a,6]
= $ (G(s)-G(a))dF(s) + \ (F(t-)-F(a))dG(t) =
(a,ft) (a,ft)
9 - 9727
b b
= $ G(s) dF(s) + $ F(s-) dG(s) - G(a)(F(b) - ^)) - F(a)(G(b) - 0(a)),
a a
(65)
где I a — индикатор множества A.
Из формулы (65) непосредственно следует (62). В свою очередь
(63) вытекает из (62), если только заметить, что
ь
§(G(s)-G(s-))dF(s) = △G(5)AF(s). (66)
а a<s^.b D
Следствие 1. Если F(x) и G(x) — функции распределения, то
F(x)G(x) = 5 F(s-)dG(s) + $ G(s)dF(s). (67)
— ОО —оо
Если к тому же функция распределения
F(x) = (j f(s) ds,
—оо
то
F(x)G(x) = § F(s)dG(s) + § G(s)/(s)ds. (68)
—oo —oo
Следствие 2. Пусть £ — случайная величина с функцией распре-
деления F=F(x) и Е|£|п <оо. Тогда
§ х” dF(x) = л x>t~' П — (69)
о о
О оо
5 \x\ndF(x) = n $ xn~xF(—x)dx (70)
—оо 0
U
Е|£|я = <§ |хГ dF(x) = п J хп~1 [ 1 - F(x) + F(-x)] dx. (71)
—оо о
Для доказательства (69) заметим, что
ь ь
5 хп dF(x) = - § хл d(l - F(x)) =
О о
ь
= -bn(\- F(b)) + п хп~' (1 - F(x)) dx. (72)
о
Покажем, что в силу предположения Е|£|" <оо
bn(\- F(b) — F(—b)) ОЯР{|£|Х>}- 0, Ь—>оо. (73)
Действительно,
ОО k
е|£|л=Е S мя<ад<оо
Л=1 л-1
и, значит,
k
$ \х\п dF(x)-+0, b—>oo.
Л>Ь+1 Л-1
Но
k
£ $ ия^т*яР{К|>я
л^ь+l л-1
что и доказывает (73).
Переходя в (72) к пределу при Ь —>оо, получаем требуемую форму-
лу (69). Формула (70) доказывается аналогично.
Формула же (71) следует из (69) и (70).
13. Пусть A = A(t), 0, — непрерывная справа и имеющая преде-
лы слева функция локально ограниченной вариации (т. е. имеющая огра-
ниченную вариацию на каждом конечном интервале [а, Ь]). Рассмотрим
уравнение
t
Zt = \+\Zs_dA(s\ (74)
о
которое в дифференциальной форме записывают в виде
dZt = Zt_dA(t\ Z0=l. (75)
Доказанная выше формула интегрирования по частям позволяет
(в классе локально ограниченных функций) найти явный вид решения
уравнения (74).
Введем функцию (называемую стохастической экспонентой; [87])
^(Д) = е»(0->1(0) (1+Д4(5))е-ДЛ(5), (76)
0<s^t
где △/!($) =/l(s)-Л($-) при s >0 и ДЛ(0) = 0.
Функция Л($), имеет ограниченную вариацию и, следова-
тельно, допускает самое большее счетное число точек разрыва, а ряд
52 |ДЛ (s)| сходится. Отсюда вытекает, что функция
0<s^/
П (l+AA(s))e-A?,(s), />0,
0<sC/
является функцией локально ограниченной вариации.
Если обозначить Ac(t)=A(t)- 52 △Л(з) непрерывную составляю-
0<s^f
щую функции Я(/), то (76) можно переписать в следующей форме:
^(Д) = елС(0--4с(0) (1+ДД($)). (77)
0<s^t
Обозначим
F(t) = eACW~A‘<®, G(t)= JJ (1+ДЛ(5)), G(0) = 1.
0<s^/
Тогда в силу (62)
t t
St (Л) = F(0G(O =1+$ F(s) dG(s) + 5 G(s-) dF(s} =
0 0
t t
= 1+22 ^(s)G(s-)A4(s) + $ G(s—)F(s)dAc(s) = 1 + § <£_(Л)dA(s).
0<s^t 0 0
Таким образом, <%(A), t >0, является (локально ограниченным) решени-
ем уравнения (74).
Покажем, что в классе локально ограниченных решений это решение
единственное.
Предположим, что есть два локально ограниченных решения и Y = У(/),
/ > 0, — их разность. Тогда
t
= \ Y(s-)dA(s).
о
Положим
r = inf{Z >0: Г(П/0},
считая Т = оо, если Y(t) = 0 для всех t 0.
Поскольку Л(/), t ^0, является функцией локально ограниченной ва-
риации, то найдутся такие две обобщенные функции распределения А > (/)
и Лг(О» что A(t) = A\(t) — A2(t). Если предположить, что Г <оо, то можно
найти такое конечное 7' > 7, что
[Л! (Г)+Л2(Г')] - [Л! (Т)+Л2(7)] i
Тогда из уравнения
t
Y(t) = ^ Y(s—)dA(s), t^T,
т
следует, что
sup |У(/)| | sup |У(0|,
и поскольку sup |У(/)| <оо, то У(/) = 0 для T<t^T', что противоречит
t^T'
предположению 7 < оо.
Итак, доказана следующая
Теорема 12. В классе локально ограниченных функций уравне-
ние (74) имеет и притом единственное решение, задаваемое фор-
мулой (76).
14. Задачи.
1. Доказать представление (6).
2. Показать, что справедливо следующее обобщение свойства Е. Пусть
£ и ту —случайные величины, для которых определены Е£ и Ет? и выражение
Е£ + Ет? имеет смысл (не имеет вида оо —оо или — оо + оо). Тогда
3. Обобщить свойство G, показав, что если £ = т? (п. н.) и Е£ существует,
то Ет? также существует и Ет? = Е£.
4. Пусть £ — расширенная случайная величина, р — и-конечная мера,
|£| dp <оо. Показать, что тогда |£| < оо (р-п. н.). (Ср. со свойством J.)
Q
5. Пусть р — a-конечная мера, £ и т? — расширенные случайные ве-
личины, для которых ^£dp и §T?d/z определены. Тогда, если для всех
Ае^ ^£dp^ rjdp, то £^т? (р-п. н.). (Ср. со свойством I.)
А А
6. Пусть £ и т? — независимые неотрицательные случайные величины.
Показать, что тогда Е£т? = Е£ ♦ Ет?.
7. Используя лемму Фату, показать, что
Pflim Ап) ^lim Р(Лл), P(lim Ап) lim Р(Лл).
8. Привести пример, показывающий, что в теореме о мажорируемой
сходимости условие «|£я|^т?, Ет?<оо» не может быть, вообще говоря,
ослаблено.
9. Привести пример, показывающий, что в лемме Фату условие «£л ^т?,
Ет? > —оо» не может быть, вообще говоря, отброшено.
10. Доказать справедливость следующего варианта леммы Фату. Пусть
семейство случайных величин {£п}п>\ равномерно интегрируемо. Тогда
lim Е£п Е lim £п.
11. Функция Дирихле
1» х “ иррациональное,
|0, х — рациональное,
определенная на [0, 1], интегрируема по Лебегу, но не интегрируема по
Риману. Почему?
12. Привести пример последовательности интегрируемых по Риману
функций {/л}л>1, заданных на [0, 1] и таких, что \ fn\< 1, fn —> f почти всюду
по мере Лебега, но f не интегрируема по Риману.
13. Пусть (aij\ i, / > 1}) — последовательность действительных чисел
таких, что £ \aij \ < Вывести из теоремы Фубини, что
ij
L a‘i = Е (X a‘i) = Е Xа//)• (78)
(*./) i I / i
14. Привести пример последовательности (a,/; i, j1), для которой
22 |^/| = оо и равенства в (78) не справедливы,
ч
15. Отправляясь от простых функций и используя теоремы о пре-
дельных переходах под знаком интеграла Лебега, доказать справедливость
следующего результата об интегрировании с помощью подстановки.
Пусть h = h(y) — неубывающая непрерывно дифференцируемая функ-
ция на интервале [a, b], a f(x) — интегрируемая (по мере Лебега) функ-
ция на интервале [й(а), й(Ь)]. Тогда функция f(h(y))hf(y) интегрируема на
[а, Ь] и
h(b) b
5 f(x)dx = ^ f(h(y))h'(y)dy.
h(a) а
16. Доказать формулу (70).
17. Пусть £, £i,&, ••• — неотрицательные интегрируемые случай-
ные величины такие, что Е£п —> Е£ и для всякого е > 0 вероятность
Р(1€ — | > е) —► 0. Показать, что тогда Е|£л - £| —> 0, п —> оо.
18. Пусть £ —интегрируемая случайная величина (Е|£|<оо). Дока-
зать, что для всякого е > 0 существует 6 > 0 такое, что для любого А е &
с Р(Л)<5 выполнено свойство Е/д|£| < е («свойство абсолютной непре-
рывности интеграла Лебега»).
19. Пусть т/, С и Сь О L — случайные величины такие, что *)
Сл ► £> Цп Сп * С,
Е<л -> ЕС, Ет/л -+ Ет/,
и математические ожидания ЕС, Ет/, ЕС конечны. Показать, что тогда
справедлива лемма Пратта: Е£л —► ЕС и если к тому же т/л 0 £л, то
Е|Сл-£Н0.
Вывести отсюда, что если Е|СЛ|->Е|С| и Е|С|<оо, то
Е|Сл-€Н0.
Привести пример, показывающий, что в условиях леммы Пратта, во-
обще говоря, Е|Сл - Cl ~h О-
20. Доказать, что L*f^L*f и если функция f ограничена и мера р
конечна, то L*f = L*f (см. замечание 2 в п. 11).
21. Доказать, что для ограниченных функций f математическое ожида-
ние Ef = L*/ (см. замечание 2 в п. И).
22. Доказать заключительное утверждение в замечании 2 п. 11.
23. Пусть Г(х) — функция распределения случайной величины X. По-
казать, что
°? j
ЕХ+ < оо о In 7-— dx < оо для некоторого а.
а ' '
24. Показать, что если р>0 и lim хрР{|С| >х} = 0, то Е|С|Г <оо для
всех г< р. Привести пример, показывающий, что при г = р может ока-
заться, что Е|С|Р =оо.
25. Дать пример плотности Дх), не являющейся четной функцией, у
оо
которой, тем не менее, все нечетные моменты § xk f(x) dx = 0, k = 1,3, ...
—оо
26. Привести пример случайных величин £л, л > 1, таких, что
оо оо
У? / 52
л=1 Л=1
27. Пусть случайная величина X такова, что для любого а > 1
*) Сходимость £п —называемая сходимостью по вероятности, означает, что для вся-
кого е > 0 вероятность Р{|£я — £| > е} —► 0, л —► оо. Подробнее см. § 10.
Доказать, что тогда у X существуют все моменты. Указание: воспользо-
ваться формулой
EIX^ =N
О
28. Пусть X — случайная величина, принимающая значения & = 0, 1,
оо
2, ... с вероятностями р*. Функция F(s)=J2 PkSk> |s| 1, называется
fc=0
производящей функцией случайной величины X. Установить следующие
формулы:
(i) если X — пуассоновская случайная величина, т.е. p^ = e“AA^/fe!, где
А>0, & = 0, 1, 2, ..., то
F(s) = e"A(i“s), |s| 1;
(ii) если случайная величина X имеет геометрическое распределение,
т.е. pk = pqk, где 0< р< 1, q = 1 - р, £ = 0, 1, 2, ..., то
№) = Т^. но.
29. Наряду с производящей функцией F(s) полезно рассматривать про-
изводящую функцию моментов: Af(s) = EesX (в предположении, что s
таковы, что EesA <оо).
(а) Показать, что если производящая функция моментов Af(s) опре-
делена для всех s из некоторой окрестности нуля (s G [-а, а), а>0), то
существуют производные M^(s) при s = 0 для всех k = 1, 2, ... и
М(*>(0) = ЕХ*
(это свойство и оправдывает название для Af(s)).
(b) Привести пример случайной величины, для которой Af(s) = oo при
всех s > 0.
(с) Показать, что для пуассоновской случайной величины X с А > 0
функция A4(s) = e-A(I-£’S) для всех seR.
30. Пусть 0 < г < оо, Хп е Lr, Хп Д X. Тогда следующие условия равно-
сильны:
(i) семейство {|ХЛ|Г, п^ 1} равномерно интегрируемо;
(п)Хп->Х в Lr;
(iii) Е|ХЛ|Г —> Е|Х|Г < оо.
31. Тождество Спицера. Пусть Х<±, ... — независимые одинаково
распределенные случайные величины с P{Xi 1}= 1, и пусть Sn =Х[ + ...
... + ХЛ. Тогда для |u|, |/|< 1
ln£rE(u^„) = f}lE(uS„+),
л=0 п=1
где Мп = тах(0, Хь Х2, .... Х„), S+ = max(0, S„).
32. Пусть So = O, Sn =Х\ + ... + Хл, п 1, —простое симметричное слу-
чайное блуждание и т = min {п > 0: Sn 0}. Показать, что
Е min(r, 2m) = 2Е |Stm I = 4mP{S2m =0}, m 0.
33. Пусть £ — стандартная гауссовская случайная величина
(£~«Ж(0, 1)). Используя интегрирование по частям, показать, что Е£* =
= (£- 1)Е£*“2. Вывести отсюда формулы
Е^-*=0 и Е£2* = ЬЗ-...(2й-3)(2й-1) (= (2k - 1)!!).
34. Показать, что функция х~* sin х, хе/?, интегрируема по Риману,
но не интегрируема по Лебегу (с лебеговой мерой на (/?, S8(R))).
35. Показать, что функция
<(шь W2) = e-u',W2-2e-2“lu'2, w, efii = [1, оо), о/2еП2 = (0, 1),
такова, что (по мере Лебега)
(а) для каждого ш2 она интегрируема по wi G Пь
(Ь) для каждого она интегрируема по о>2 е П2, но теорема Фубини
не имеет места.
36. Доказать теорему Беппо Леви: Пусть случайные величины
£1, интегрируемы (Е|£„| <оо для всех 1), sup Е£„ <оо и £n J£;
п
тогда случайная величина £ интегрируема и Е£ЛТЕ£ (ср. с теоремой 1а).
37. Доказать следующую разновидность леммы Фату: если 0 £л —> £
(Р-п. н.) и Е£л <оо, 1, то £ интегрируема и Е£ А.
38. (О связи интегрирования по Лебегу и по Риману.) Пусть бо-
релевская функция f = f(x) интегрируема по мере Лебега: § \f(x)\dx < оо.
R
Доказать, что для всякого е > 0 найдутся:
п
(а) ступенчатая функция /е(х) = £ ///дМ с ограниченными интерва-
i=I
лами Ai такая, что § \f(x) — fe(x)\dx<e\
R
(b) интегрируемая непрерывная функция g£(x) с ограниченным носи-
телем такая, что § | f(x) — ge(x)| dx<e.
R
39. Показать, что если £ есть интегрируемая случайная величина, то
оо О
Е£= § P{£>x}dx- P{£<x}dx.
О —оо
40. Пусть £ и т/ — интегрируемые случайные величины. Показать, что
E£-Ej? = $ [Р{7?<х<£}-Р{е<хdx.
—оо
41. Пусть £ —неотрицательная случайная величина (ОО) с преобра-
зованием Лапласа <р$(А) = Ее-А?, А>0.
(а) Показать, что для всякого 0 < г < 1
per г <С1-^(А)/М
ЕС =йт^) S -v#-dA-
Указание: воспользоваться тем, что для s > 0, 0 < г < 1
1 °? i-e-sA
(Ь) Показать, что для всякого г > 0
1 00
v' о
Указание: воспользоваться тем, что для s 0, г > 0
S = гГП/г) Т exP<-(W}dA.
§ 7. Условные вероятности и условные
математические ожидания относительно а-алгебр
1. Пусть (Q, cF, Р) — вероятностное пространство и событие А е#
таково, что Р(Л) >0. Как и в случае конечных вероятностных пространств,
условной вероятностью А (обозначение: Р(В |Л)) будем называть вели-
чину Р(ВЛ)/Р(Л), а условной вероятностью события В относитель-
но конечного или счетного разбиения $ = {Db ...} с Р(О,)>0,
i^\ (обозначение: Р(В|^), Р(В|^)(о>)) назовем случайную величину,
равную Р(В \Dj) для o?eDf, f > 1:
Р(В|^)М=52 Р(В|о,)/о,м.
Аналогичным образом, если £ —случайная величина, для которой опре-
делено Е£, то условным математическим ожиданием £ относительно
события А с Р(А)>0 (обозначение: Е(£|А)) будем называть величину
(ср. с (10) § 8 гл. I).
Р(Л) '
Случайная величина Р(В|0) является, очевидно, измеримой относи-
тельно а-алгебры = в связи с чем ее обозначают также Р(В|$?)
(см. § 8 гл. I).
В теории вероятностей приходится, однако, сталкиваться с необходи-
мостью рассмотрения условных вероятностей относительно событий, име-
ющих нулевую вероятность.
Рассмотрим, например, следующий эксперимент. Пусть £ — случайная
величина, равномерно распределенная на [0, 1]. Если £ = х, то подбра-
сывается монета, у которой вероятность появления «герба» равна х, а
«решетки» — (1 — х). Пусть у — число появлений «герба» при п незави-
симых подбрасываниях такой монеты. Спрашивается, чему равна «услов-
ная вероятность P(i/ = fe|£ = x)»? Поскольку Р{£ = х} = 0, то интересую-
щая нас «условная вероятность Р(^ = k |£ = х)» пока не определена, хотя
интуитивно понятно, что эта «вероятность должна была бы быть равна
Cknxk(\-x)n~k».
Дадим теперь общее определение условного математического ожидания
(и, в частности, условной вероятности) относительно а-алгебр # С
и сравним его с определением, данным в § 8 гл. I для случая конечных
вероятностных пространств.
2. Пусть (Q, Р) — вероятностное пространство, # — некото-
рая а-алгебра, (^ — о-подалгебра и £ = £(о>) — случайная
величина. Напомним, что, согласно § 6, математическое ожидание Е£
определялось в два этапа: сначала для неотрицательных случайных вели-
чин £, а затем в общем случае с помощью равенства
Е£ = ЕС-ЕГ
и только (чтобы избежать неопределенности вида оо - оо) в предположе-
нии, что
min(E£-, Е£+)<оо.
Подобная двухэтапная конструкция применяется и при определении услов-
ных математических ожиданий Е(£|#).
Определение 1. 1) Условным математическим ожиданием неот-
рицательной случайной величины £ относительно а-алгебры & назы-
вается неотрицательная (расширенная) случайная величина, обозначаемая
Е(€|#) или Е(£|$?)(о>), такая, что
а) Е(£|^) является ^-измеримой;
Ь) для любого А е У
^dP=\E(^)dP. (1)
А А
2) Условное математическое ожидание Е(£|#), или Е(£|#)(си),
произвольной случайной величины £ относительно а-алгебры У счи-
тается определенным, если Р-п. н.
min(E(e+|n Е(Г|У))<оо,
и задается формулой
Е(е|ю=Еи+|^)-Е(г1п
причем на множестве (нулевой вероятности) тех элементарных событий,
для которых Е (£+1 У) = Е (£“ | ) = оо, разность Е (£+1 #) - Е (£“ | #) опре-
деляется произвольно, например, полагается равной нулю.
Прежде всего покажем, что для неотрицательных случайных величин
Е(£|#) действительно существует. Согласно п. 8 § 6, функция множеств
Q0) = $£dP, Ае&, (2)
А
является мерой на (Q, £?), которая абсолютно непрерывна относитель-
но меры Р (рассматриваемой на (О, #), # С #). Поэтому (по теореме
Радона—Никодима) существует такая неотрицательная ^-измеримая рас-
ширенная случайная величина Е(£ |$f), что
О(Л) = $Е»Р. (3)
А
Из (2) и (3) следует соотношение (1).
Замечание 1. В соответствии с теоремой Радона—Никодима услов-
ное математическое ожидание Е(£|#) определяется однозначно лишь с
точностью до множеств P-меры нуль. Иначе говоря, в качестве Е(£ |#)(о>)
можно взять любую ^-измеримую функцию f(cu), называемую вариан-
том условного математического ожидания, для которой Q(A) = § f(w) dP,
А
A eV.
Отметим также, что, согласно замечанию к теореме Радона—Никодима,
Е(е|^)=^м, (4)
т. е. условное математическое ожидание есть не что иное, как про-
изводная Радона—Никодима меры Q относительно меры Р (рассмат-
риваемых на (Q, $?)).
Полезно заметить, что если неотрицательная случайная величина £ та-
кова, что Е£ < оо, то E(£|£f) < оо (Р-п. н.), что непосредственно вытекает
из (1). Аналогично, если и Е£> -оо, то Е(£|^) > -оо (Р-п. н.).
Замечание 2. В связи с соотношением (1) отметим, что мы не можем,
вообще говоря, положить E(£|£f) = £, поскольку случайная величина £ не
обязана быть ^-измеримой.
Замечание 3. Предположим, что случайная величина £ такова, что для
нее существует Е£. Тогда Е(£|#) можно было бы определить как такую
^-измеримую функцию, для которой справедливо (1). Обычно именно так
и поступают. Приводимое нами определение E(£|£f) = Е(£+1#) - Е(£“ |#)
обладает тем преимуществом, что в случае тривиальной а-алгебры =
= {0,0} оно превращается в определение Е£ и при этом оно не предполага-
ет существования Е£. (Например, если £ — случайная величина с Е£+ = оо,
Е£-=оо, а£? = ^, тоЕ£ не определено, но в смысле определения 1 Е(£|$?)
существует и есть просто £ = £+—£“.)
Замечание 4. Пусть условное математическое ожидание Е(£ опре-
делено. Условной дисперсией D(£|#) случайной величины £ относительно
а-алгебры % называется случайная величина
D№ = E[((-E(?|0))2|$?]
(ср. с определением D(£| относительно разбиения 0, данным в задаче 2
§ 8 гл. I, и с определением дисперсии в § 8).
Определение 2. Пусть В е &. Условное математическое ожидание
E(/fi |#) обозначается Р(В |$?) или Р(В |#)(о>) и называется условной ве-
роятностью события В относительно а-алгебры У, % Q&.
Из определений 1 и 2 следует, что для каждого фиксированного В
условная вероятность Р(В |#) есть такая случайная величина, что:
а) Р(В |^) является ^-измеримой,
Ь) для любого А е W
Р(АОВ) = § P(B|$OdP. (5)
А
Определение 3. Пусть £ — случайная величина и — а-алгебра,
порожденная некоторым случайным элементом у. Тогда Е(£|$^), если оно
определено, обозначается Е(£|?7) или Е(£|7/)(си) и называется условным
математическим ожиданием £ относительно ту.
Условная вероятность Р(В|5^) обозначается Р(В\rf) или Р(В|7/)(а>), и
называется условной вероятностью события В относительно г).
3. Покажем, что данное здесь определение Е(£ |#) согласуется с опре-
делением условного математического ожидания § 8 гл. 1.
Пусть ^ = {ОЬ О2» ...} —некоторое конечное или счетное разбиение с
атомами Di (£} Di = Q) такими, что P(Dt) > 0, i 1.
i
Теорема 1. Если У = а(0) и £ —случайная величина, для которой
Е£ определено, то
E(€|^) = E(e|Dz) (Р-п. я. на Di) (6)
или, что то же,
E(W = ^ (Р-п.н.наО,).
(Запись «£ = 7? (Р-п. я. на А)» или «£ = 7} (Л; Р-п. я.)» означает, что
Р(Лп {£///}) = ().)
Доказательство. Согласно лемме 3 из § 4, на D, Е(£| #) = /(/, где
Ki —- постоянная. Но
$ £dP=$ E(e|^)dP = K<P(D/),
Dj Di
откуда
*-fffi)!'iP-W=Eelw D
Таким образом, введенное в гл. I понятие условного математическо-
го ожидания Е(£|0) относительно конечного разбиения 0 = {Di, ..., Dn}
является частным случаем понятия условного математического ожидания
относительно а-алгебры = &(!%).
4. Свойства условных математических ожиданий. Будем предпола-
гать, что для всех рассматриваемых случайных величин £, г} математиче-
ские ожидания определены и а-алгебра С
А*. Если С — постоянная и £ = С (п. н.), то Е(£ |#) = С (п. я.).
В* Если (п. я.), то E(£|$f) Е(т/|£О (п.я.).
с*. |Emi^E(ien$o (п.н.).
D*. Если а, b — постоянные и аЕ£ + ЬЕр определено, то
Е(а^ + Ьг1\^) = аЕ(^) + ЬЕ(т}\^) (п.н.).
Е*. Пусть = {0, Q} — тривиальная а-алгебра. Тогда
Е«|^.) = Ее (п.н.).
f* E(ei^)=e(rt.H.).
G*. E(E(e|Sf)) = Ee.
Н*. Если С#2. гпо справедливо (первое) «телескопическое свой-
ство»:
Е[Е(£|%)|$М = Е(£|<Я) (п.н.).
1*. Если то справедливо (второе) «телескопическое свой-
ство»:
E[E(£|«f2)|^i] = E(£|$>) (п.н.).
J*. Пусть случайная величина £, для которой Е£ определено, не
зависит от a-алгебры W (т.е. не зависит от 1в, В etf). Тогда
Е«|^) = Ее (п.н.).
К*. Пусть р — ^-измеримая случайная величина, Е|£|<оо и
Е < оо. Тогда
(п.н.).
Приведем доказательства этих свойств.
А*. Функция, равная постоянной, измерима относительно У. Поэтому
остается лишь проверить равенство
= § CdP,
А А
Но в силу предположения £ = С (п. н.) и свойства G из § 6 это равенство
выполнено очевидным образом.
В*. Если £ т? (п. н.), то по свойству В из § 6
^dP^rjdP, А^,
А А
а значит,
5 E(e|$?)dP<$ E(T?|^)dP, А&З.
А А
Тогда требуемое неравенство следует из свойства 1 (§ 6).
С*. Это свойство вытекает из предыдущего, если учесть, что -|£|^
D*. Если множество А е то, согласно задаче 2 из § 6,
\(a£ + bii)dP = \ a£dP + \ bpdP =
А А А
= $aE(e|^)dP + $dE(77|«f)dP = $[aE(^|«f) + 6E(7/|^)]dP,
AAA
что и доказывает свойство D*.
Е*. Это свойство следует из замечания, что Е£ является ^-измеримой
функцией, и того факта, что если A = S2 или А = 0, то очевидным образом
$е</р=$Е^р.
А А
F*. Поскольку £ — ^-измерима и
$£dP = § E(e|^)dP, АеР,
А А
тоЕ(^) = £(п.н.).
G*. Это свойство вытекает из Е* и Н*, если взять 01 = {0, 0} и % =0
Н*. Пусть А €0. Тогда
SE(£|WP = $£dP.
А А
Так как то А 6% и, значит,
$E[E(e|^2)|^i]dP = $E(e|^2)dP = $^P.
А А А
Следовательно, для А е
$E(ei^)dP=$E[E(ei%)i^]dP
А А
и, рассуждая также, как и при доказательстве свойства I § 6 (см. также
задачу 5 § 6), получаем, что
Е(^|^1) = Е[Е(е|^2)|^1] (П.Н.).
I*. Если А е 01, то по определению Е[Е(£\0?) \0i ]
$Е[Ет)|^ир=$Етмр.
А А
Функция Е(£|%) является ^-измеримой, и поскольку то и ^-из-
меримой. Отсюда следует, что Е(^|^) есть один из вариантов условного
математического ожидания Е[Е(£|$^) l^iL что и доказывает свойство 1*.
J*. Поскольку Е£ является ^-измеримой функцией, то остается про-
верить, что для любого В е У
= $ E£dP,
в в
т. е. что Е[£/в] = Е£ • Е/д. Если Е|£| <оо, то это сразу следует из теоре-
мы 6 § 6. В общем случае вместо теоремы 6 § 6 надо воспользоваться
результатами задачи 6 из того же параграфа.
Доказательство свойства К*, опирающееся на утверждение а) следую-
щей далее теоремы 2, будет дано несколько позднее.
Теорема 2 (о сходимости под знаком условных математических
ожиданий). Пусть {£л}л>1 — последовательность (расширенных) слу-
чайных величин.
J
а) Если |е„| д, Ед < оо « £ («• «•). то
E(£n|S?)^EK|<?) (п.н.)
и
Е(16>-£11*0^0 (п.н.).
Ь) Если 61 >»?. Ед > -оо и 6i Т £ (п- н)> то
Е(е„|^)?Е(е|^) (п.н.).
с) Если 6: < д, Ед < оо и 6i I £ (п- н)> то
Е(6>1*01Е(£1*0 (п.н.).
d) Если 6i > д, Ед > —оо, то
E(lim 6»|*0^11П1 E(6il*0 (п.н.).
е) Если £п д, Ед < оо, то
Пт Е(6,|#КЕ(Пт 6>|*0 (п.н.).
f) Если £П 0, то
Е (Еб,1*)=ЕЕ(б»1*о (»•«•)•
Доказательство, а) Пусть Qn = sup |£т — £л|. Поскольку £л (п. н.),
т^п
то 610 (п. н.). Математические ожидания E6i и Е£ конечны, поэтому в
силу свойств D* и С* (п. н.)
|Е(6> 1*0 - Е(€ |*0| = |Е(6, - С |*01 < Е(|6, - £| m Е(6.|*0-
Поскольку E(6i+i |$0<E(6i|$0 (п. н.), то (п. н.) существует предел й =
= lim Е«я|^). Тогда
0^5 E(6>l^)dP = S CndP-»°, n —оо,
ft ft ft
где последнее утверждение следует из теоремы о мажорируемой сходимо-
сти, поскольку 0 Сл 2т/, Ет/ < оо. Следовательно, §йб/Р = Оипо свой-
ft
ству Н h = 0 (п. н.).
Ь) Пусть сначала т/ = 0. Поскольку Е(£л |$f) Е(£л+11^) (п. н.), то су-
ществует (п.н.) предел C(a>) = lirn Е(£л|$?). Тогда из равенства
$6.dP = $E(6>l*0dP.
А А
и теоремы о монотонной сходимости
= § E(£|#)dP = §CdP,
А А А
Следовательно, по свойству, аналогичному свойству 1, и задаче 5, £ =
= < (п.н.).
Для доказательства в общем случае заметим, что Т£+, и по
доказанному
E(€n+|^)TE(e+|Sf) (п.н.). (7)
НоО«я-^Г. ЕГ< оо, поэтому в силу а)
Е(С|^)^Е(Г1П
что вместе с (7) доказывает Ь).
Утверждение с) вытекает из Ь).
d) Пусть G> = ^nf Cm, тогда СпК, где lim £п. Согласно Ь), Е«„ |$?)f
Т Е(С|ё?) (п. н.). Поэтому (п. н.)
E(limCn|$f) = E(C|^) = lim Е(С„|^) = Пш E(C„|^)^ljm Е(С„|^).
п
Утверждение е) вытекает из d).
f) Если Сл > 0, то по свойству D*
(п \ п
£&И=£Е(&1^) (п н).
6=1 / 6=1
что вместе с Ь) и доказывает требуемый результат. □
Приведем теперь доказательство свойства К*. Пусть т] — 1в, ВеФ.
Тогда для всякого А е
\&dP = $ £dP = $ E(C|^)dP = $/sE(C|^)dP = $7?E(C|^)dP.
А АГ\В АпВ А А
В силу аддитивности интеграла Лебега равенство
$С»7</Р = $ »?Е(да4Р, Aetf, (8)
А А
п
останется справедливым и для простых случайных величин т]= £ Ук1вк>
k=\
BkE^. Поэтому по свойству I (§ 6) для таких случайных величин
Е(ет7|^) = 7/Е(е|^) (п.н.).
(9)
Пусть теперь ту — произвольная ^-измеримая случайная величина и
{г)п}п^\ —’ последовательность простых -измеримых случайных величин
таких, что \т)п\ \т)\ и T]n->ri. Тогда в силу (9)
Е(£тул|^) = тулЕт (п.н.).
Ясно, что |£тул| IC7?!, где Е|£ту| < оо. Поэтому по свойству а) теоремы 2
Е«)->Е(^) (п.н.).
Далее, так как Е|£| <оо, то Е(£|£?) конечно (п. н.) (см. свойство С*, свой-
ство J (§ 6)). Поэтому тулЕ(£|£Г) —>туЕ(£|#) (п. н.). (Предположение о ко-
нечности почти наверное E(£|£f) существенно, поскольку, согласно сноске
на с. 218, 0-оо = 0, но если т]п = \/п, ту = О, то -оо/»0-оо = 0.)
Замечание. Свойство К* сохраняет свою силу, если выполнены лишь
следующие условия: ту является ^-измеримой и Е(£|#) определено.
5. Рассмотрим подробнее структуру условных математических ожида-
ний Е(£ |$^,), обозначаемых, как было условлено выше, также через Е(£ |ту).
Поскольку Е(£ | ту) является ^-измеримой функцией, то, согласно те-
ореме 3 из § 4 (точнее — очевидной ее модификации для расширенных
случайных величин), найдется такая борелевская функция т = т(у), опре-
деленная на R и со значениями в /?, что для всех си е П
т(ту(си)) = Е(е|ту)(си). (10)
Эту функцию т(у) будем обозначать через Е(£|ту = 1/) и называть услов-
ным математическим ожиданием £ относительно события {rj = у}
или условным математическим ожиданием £ при условии, что rj — y.
В соответствии с определением
Je^P = $E(Ch)dP = $/n(7/)dP, (11)
А А А
Поэтому по теореме 7 § 6 (о замене переменных под знаком интеграла
Лебега)
5 m(n)dP = \m(y)P4(dy), (12)
{w.tjGB} В
где — распределение вероятностей ту. Следовательно, т = т(у) есть
борелевская функция такая, что для всякого В е £8(R)
$ tdP = $m(y)Pn(dy). (13)
{ш:г)ЕВ} В
Это замечание подсказывает, что к определению условного математи-
ческого ожидания Е(£|ту = £/) можно прийти и иначе.
Определение 4. Пусть £ и ту — случайные величины (быть может, и
расширенные) и Е£ определено. Условным математическим ожида-
нием случайной величины £ при условии, что г] — у, назовем всякую
^(Я)-измеримую функцию т = т(у), для которой
$ $dP = ^m(y)P4(dy), Be&(R). (14)
{ш:т)ЕВ} В
Тот факт, что такая функция существует, следует опять же из теоремы
Радона—Никодима, если заметить, что функция множеств
Q(B)= $
{ut.tjEB}
является мерой со знаком, которая абсолютно непрерывна относительно
меры Рп.
Предположим теперь, что т(у) есть условное математическое ожи-
дание в смысле определения 4. Тогда, применяя снова теорему о замене
переменных под знаком интеграла Лебега, находим, что
$ £dP = \m(y)P„(dy) = $ m(T))dP, Be0(R).
{ut.tjEB} В {ш:т)ЕВ}
Функция m(rj) является ^-измеримой, и множествами {и: tjeB},
В исчерпываются все множества из 5^.
Отсюда вытекает, что m(rj) есть математическое ожидание Е(£ |т?). Тем
самым, зная Е(£| г}=у), можно восстановить Е(£ | ту), и, наоборот, по Е(£ | ту)
можно найти E(£|t? = i/).
С интуитивной точки зрения условное математическое ожидание т(у) =
= E(£|?? = i/) является более простым и понятным объектом, нежели
Е(£|ту). Однако математическое ожидание Е(£|т?), рассматриваемое как
^-измеримая случайная величина, более удобно в работе.
Отметим, что приведенные выше свойства А*—К* и утверждения
теоремы 2 легко переносятся на условные математические ожидания
Е(£\г} = у) (с заменой «почти наверное» на «Р^-почти наверное»). Так,
например, свойство К* переформулируется следующим образом: если
Е|£|<оо,Е |^)|< оо, где f = f(y) — ^(Р)-измеримая функция, то
Е 0*1) I Ч — у) = f(y) Е(£|/? = «/) (Рп-п.н.). (15)
Далее (ср. со свойством J*), если £ и ту независимы, то
E(eh = i/) = E£ (Р,-п.н.).
Отметим также, что если В € &(R2) и £ и г/ независимы, то
E[/a(£,77)|77 = id = E/B(e,i/) (/>„-п.н.), (16)
и если <р = <р(х, у) — ^(/?2)-измеримая функция такая, что г})\ <оо,
»7)|»7=0] = еМ£. (/\-п-н.).
Для доказательства (16) заметим следующее. Если В = В| х В2, то для
справедливости (16) надо лишь проверить, что
$ /S1xB2(€. »?)P(rfw)= 5 Е/е,хВ2(€,
{си:?7€Л} (увЛ)
Но левая часть есть Р{£ е Вi, tj е А П В2}, а правая — Р{£ е Вi} Р{т} е А П В2},
и их равенство следует из независимости £ и г). В общем случае доказа-
тельство проводится с применением теоремы 1 из § 2 о монотонных классах
(ср. с соответствующим местом в доказательстве теоремы Фубини).
Определение 5. Условной вероятностью события Ае# при усло-
вии, что г) = у (обозначение: Р(Л \т) = у)), будем называть Е(/л |/? = */).
Понятно, что Р(Л|т7 = £/) можно было бы определять как такую
^(^)-измеримую функцию, что
Р(Дп{>7ев}) = $Р(Л|77=^Рп(^), веад. (17)
В
6. Приведем некоторые примеры вычисления условных вероятностей
и условных математических ожиданий.
Пример 1. Пусть т) — дискретная случайная величина с Р{т? = > О,
Е = №}=!• Тогда
*=1
P(4h = ^)=p<y^t}), *>1.
Для У${у\, У2> •} условную вероятность Р(Л \т} = у) можно определить
произвольным образом, например, положить равной нулю.
Если £ — случайная величина, для которой существует Е£, то
Е(£|’=’‘)=ргёд,£^
Условное математическое ожидание Е(£|т/ = у) для у${у\, уъ, ...} опре-
деляется произвольно (например, полагается равным нулю).
Пример 2. Пусть (£, ту) — пара случайных величин, распределение
которых обладает плотностью /^(х, у):
Р{«, 7/) € В} - $ /е.„(х, у) dx dy, в е ^(/?2).
в
Пусть /$(х) и frj(y) — плотности распределения вероятностей случайных
величин £ и т) (см. (46), (55), (56) § 6).
Обозначим
f Л-1-Л k^x,y}
полагая ^\ч(х\у) = 0, если ^(у) = 0.
Тогда
P^&C\r1 = y) = ^f^ri(x\y)dx, Cea(R),
С
(18)
(19)
т.е. f£\rj(x\y) есть плотность условного распределения вероятностей.
В самом деле, для доказательства (19) достаточно убедиться в спра-
ведливости формулы (17) для В е^(/?), А = {£е С}. В силу (43), (45) § 6
и теоремы Фубини
S S fan(xly)dx Pr)(dy) = S S
в Lc J в Lc
fan(x\y)dx fn(y)dy =
= S k\n(x\y)fr)(y)dxdy= $ k.r){x, y)dxdy =
CxB
CxB
= p {(£, v) e С X В} = P ({£ e С} n {ту e B}),
что и доказывает (17).
Аналогичным образом устанавливается следующий результат: если Е£
существует, то
сю
E(£h = fO= $ xf^(x\y)dx.
—со
(20)
Пример 3. Пусть длительность работы некоторого прибора описыва-
ется неотрицательной случайной величиной 77 = 77(0;), функция распределе-
ния которой Frj(y) имеет плотность f^y) (естественно, что Fr)(y) = ^(у) = 0
для у < 0). Найдем условное математическое ожидание Е (77 - а 177 а), т. е.
среднее время, которое прибор еще проработает в предположении, что он
уже проработал время а.
Пусть Р{т7^а}>0. Тогда, согласно определению (см. п. 1) и (45) § 6,
Е(т7 —а|т7^а) =
С1, п 1 ^-a)l{ri>a}P(du)
Е[(??-а)/{^а)] п
Р{г?>а) Р(п^а)
СО
S(y~a)My)dy
а____________
оо
§ fn(y)dy
Интересно отметить, что если случайная величина т) экспоненциально
распределена, т. е.
Хе~х\
О,
i/>0,
У<®,
(21)
то Е»? = Е(7/|7/^0)= 1/А и для любого а>0 Е^-а^^а) — 1/А. Иначе
говоря, в этом случае среднее время, которое прибор еще проработает, в
предположении, что он уже проработал время а, не зависит от значения а
и совпадает просто со средним временем Erf.
В предположении (21) найдем условное распределение P(i)—a^x\i)^
~^а).
Имеем
Р(г?-а^х|»7^а) =
P{g<q<a+x) _ Fr)(а + х) -Fn(а) + Р{т? = а}
Pfo>a) “ 1-F4(a) + Pfo = a}
= [1 -е-А<а+х>]_[1 -е~Ха] = е~Ао[1 -е^] =
1—[1—е~Аа] е-Аа “ е
Таким образом, условное распределение Р(т/--а ^х|т?^а) совпада-
ет с безусловным распределением Р{т/^х}. Это замечательное свойство
экспоненциального распределения является ха-
рактеристическим: не существует других распре-
делений с плотностями, обладающих свойством
Р(77-а^х|77^а) = Р{7?^х}, а^О, 0^х<оо.
Пример 4 (игла Бюффона). Пусть на «ко-
ридор» бесконечной длины и единичной ширины
(рис. 29) на плоскости «случайным» образом броса-
ется игла единичной длины. Спрашивается, какова
вероятность того, что игла пересечет (по крайней Рис. 29.
мере одну) стенку коридора?
Чтобы решить эту задачу (на геометрические вероятности), опре-
делим прежде всего, что означает, что игла бросается «случайным» обра-
зом. Пусть £ — расстояние от центра иглы до левой стенки. Будем пред-
полагать, что £ равномерно распределено на отрезке [0, 1], а (см. рис. 29)
угол 0 равномерно (Po(da) = da) распределен на [—тг/2, тг/2]. Кроме того,
будем предполагать £ и в независимыми.
Пусть А — событие, состоящее в том, что игла пересечет стенку кори-
дора. Легко видеть, что если
В = {(а, х): |а| х € [о, | cos а] U [1 - | cos а, 1
то А ={о>: (0, £) еВ}, и, значит, интересующая нас вероятность
р(Д)=е/дм=е/в(0м, ем).
В силу свойства G* и формулы (16)
E/B(0(w), £M) = E(E[/fi(0M, №))|М1) =
%/2
= $E[/B(0M,e(w))|0(w)]P(dw)= $ E[/B^(w),^))|^)=a]PB(da) =
Я -ir/2
1 V2 1
= 1 j E/B(a,e(w))da = i
К -K/2 W
T Я 2
\ cosada=-,
-tt/2
где мы воспользовались также тем, что
Е/в(а, €(^)) = Р|€^ [о, | cos a]u[l — cos a]|=cos a.
Итак, вероятность того, что «случайным» образом брошенная на кори-
дор игла пересечет его стенки, равна 2/тг. Этот результат может быть поло-
жен в основу экспериментального определения значения числа тг. В самом
деле, пусть игла бросается независимым образом N раз. Определим
равным 1, если при /-м бросании игла пересекает коридор, и равным 0 в
противном случае. Тогда в силу закона больших чисел (см., например, (6)
§ 5 гл. I) для всякого е > 0
р _р(Д)|>£}_>о, /V-+oo.
В этом смысле частота
4~.»• 4~ р / л \_
N
и, значит,
2W
т +...+w ~
Именно эта формула и послужила основой для статистического опреде-
ления значения числа тг. В 1850 г. Р. Вольф (Цюрих) бросал иглу 5000 раз
и получил для тг значение 3,1596. По-видимому, этот способ был одним из
первых методов (известных теперь под названием «метода Монте-Карло»)
использования вероятностно-статистических закономерностей в числен-
ном анализе.
Замечание. Рассмотренный пример 4 (задача Бюффона) является
типичным примером задач на геометрические вероятности. Весьма
часто в таких задачах из простых геометрических соображений, типа
«симметрии», видно, как задавать вероятности «элементарных событий».
(Ср. с пп. 3 и 4 в § 1 главы I и § 3 настоящей главы.) Формулируемые
далее задачи 9—12 являются задачами на геометрические вероятности.
7. Если {Сл}л^1 — последовательность неотрицательных случайных ве-
личин, то, согласно утверждению f) теоремы 2,
В частности, если Вь 82, ... — последовательность попарно непересе-
кающихся множеств, то
<пн-)- (22)
Важно подчеркнуть, что это равенство выполнено лишь почти навер-
ное и, следовательно, условную вероятность Р(В |$f)(cv) нельзя рассматри-
вать при фиксированном ш как меру по В. Можно было бы подумать, что,
за исключением некоторого множества <Ж меры нуль, Р(-|#)(си) является
все же мерой для cv е «Ж, где «Ж — некоторое множество меры нуль. Однако
это, вообще говоря, не так в силу следующего обстоятельства. Обозна-
чим Ж(В1, В2, ...) то множество исходов о/, где для заданных Si, S2, ...
не выполнено свойство счетной аддитивности (22). Тогда исключительное
множество «Ж есть
= ...), (23)
где объединение берется по всем непересекающимся В\, 82, ... из Хотя
P-мера каждого множества <Ж(В1, 82, ...) равна нулю, P-мера множест-
ва Ж может оказаться (в силу несчетности объединения в (23)) ненулевой.
(Вспомним, что лебеговская мера отдельной точки равна нулю, а мера
множества <Ж = [0, 1), являющегося несчетной суммой одноточечных мно-
жеств {*}, 0 х < 1, равна единице.)
В то же время было бы удобно, чтобы условная вероятность Р(- |#)(о>)
являлась мерой для каждого w G П, поскольку тогда, например, подсчет
условных математических ожиданий Е(£|^)(си) можно было бы осуще-
ствлять (см. далее теорему 3) просто с помощью усреднения по мере
Р(‘1Ш
Е(€|^)(о;) = $^)Р(^|^)М (п.н.)
Q
(ср. с (10) § 8 гл. I).
Введем такое
Определение 6. Функцию 8(ог, В), определенную для всех
и В е назовем регулярной условной вероятностью относительно
<т-алгебры С . если:
а) для каждого •) есть вероятностная мера на
Ь) для каждого Р(ш\ В) как функция от си есть один из ва-
риантов условной вероятности P(B|$f)(cu), т.е. Р(си; В) = Р(В |#)(си)
(п.н.).
Теорема 3. Пусть P(uj\ В) — регулярная условная вероятность
относительно и £ — интегрируемая случайная величина. Тогда
Е(£|#)(си) = $ £(£)du) (п. н.). (24)
Q
Доказательство. Если £ = /#, В е &, то требуемая формула (24) пре-
вращается в равенство
P(B|#)(<u) = P(<u;B) (п.н.),
выполнимое в силу определения 6 Ь). Следовательно, (24) выполнено для
простых функций.
Пусть теперь и £л f £, где £л — простые функции. Тогда по свой-
ству Ь) теоремы 2 Е(£|#)(си) = Нгп Е(£л|#)(си) (п. н.). Но поскольку для
каждого cueQ P(cu; •) есть мера, то по теореме о монотонной сходимости
lim Е(£„ |#)М = lim § <л(сй) P(w; dw) = § f(w) P(w; du>).
Tl П U J
Q Q
Общий случай сводится к рассмотренному с помощью представления
<=€+-Г- □
Следствие. Пусть Угде г) — случайная величина, причем
пара (£, rf) имеет плотность распределения вероятностей f^x, у).
Пусть E|g(£)|<oo. Тогда
E(g(£№l = y)= 8(х}!^п(х\у)йх,
— ОО
где f^^(x\у) — плотность условного распределения (см. (18)).
Чтобы сформулировать основной результат о существовании регу-
лярных условных вероятностей, нам понадобятся следующие определения.
Определение 7. Пусть (Е, ^) — измеримое пространство, X = Х(си) —
случайный элемент со значениями в £ и - ^--подалгебра &. Функция
Q(cu; В), определенная для cueQ и В называется регулярным услов-
ным распределением X относительно а-алгебры если:
а) для каждого си е П (?(си; В) есть вероятностная мера на (Е, £)\
b) для каждого Bz£ Q(u\ В) как функция от си есть один из вари-
антов условной вероятности Р(Х е В |£f)(cu), т. е.
Q(cu; В) = Р(ХеВ|^)(си) (п.н.).
Определение 8. Пусть £ —случайная величина. Функция F = F(yj\ х),
cuGfi, xeR, называется регулярной функцией распределения для £
относительно а-алгебры если:
а) для каждого uj е Q F(uj; х) есть функция распределения на /?;
Ь) для каждого xeR F(yj\ х) = Р(£^х|^)М (п.н.).
Теорема 4. Всегда существуют регулярная функция распреде-
ления и регулярное условное распределение случайной величины £
относительно а-алгебры С .
Доказательство. Для каждого рационального г eR положим Fr(cu) =
= P(£^r|£f)(cu), где Р(^ г|^)(cv) = E(/{^r}|$f)(a?) —какой-нибудь вари-
ант условной вероятности события {£^г} относительно Пусть {г,} —
множество всех рациональных чисел на R. Если rt <rj, то в силу свой-
ства В* Р(£^ G Р(С^ г; I&) (п. н.) и, значит, если 4Z/- = {о>: Frj(uj) <
<Fri(yj)}, Я=и Aij. то Р(Д) = 0. Иначе говоря, множество тех и, где у
функций распределений Fr(u>), r€{rf}, нарушается монотонность, имеет
меру нуль.
оо
Пусть теперь В/ = {о>: lim Fr/+i/rt(cv) //>(о>)}, В= |J Ясно, что
n-оо /=1
и—>оо. Поэтому, согласно утверждению а) теоремы 2,
ГГ/+1/л(ш)—>Frt(u>) (п.н.) и, значит, множество В, где нарушается непре-
рывность справа (по рациональным числам), также имеет меру нуль,
Р(В) = 0.
Далее, пусть С = {а>: lim Fn(uj)^ l}U{cv: lim Вл(си)/0}. Тогда, по-
rt—»оо л—>—оо
скольку {£ п} j Q, п -»оо, а {£ < п} j 0, п -»• -оо, то Р(С) = 0.
Положим теперь
lim />(w),
F(w; х) = rlx
(G(x),
ш £ A U В U C,
иеАивиС,
где G(x) — произвольная функция распределения на R, и покажем, что
функция F(u; х) удовлетворяет определению 8.
Пусть cu^AuBuC. Тогда ясно, что F(w; х) является неубываю-
щей функцией от х. Если х<х'^г, то F(w; х) С F(w; х') < F(w; г) =
= Fr(u) I F(u)\ х), когда г|х. Поэтому F(u>; х) непрерывна справа. Ана-
логично lim F(w; х) = 1, lim F(a>; х) = 0. Поскольку для w е А и В U С
X—>ОО х—>—оо
х) = G(x), то для каждого шеО, F(a>\ х) является функцией распреде-
ления на /?, т. е. выполнено условие а) в определении 6.
Согласно конструкции, Р(^^г|$?)(о;) = Вг(а;) = В(си; г). Если г|х, то
г) | F(uj; х) для всех ш е Q в силу установленной непрерывности справа.
Но из утверждения а) теоремы 2 Р(С^^|^)(^)-^Р(€<^|^)(^) (п.н.).
Поэтому х) = Р(£ <х |£?)(а>) (п. н.), что и доказывает свойство Ь) опре-
деления 8.
Обратимся теперь к доказательству существования регулярного услов-
ного распределения £ относительно <3.
Пусть E(cj; х) — построенная выше функция. Положим
Q(w; В) = F(w; dx),
В
где интеграл понимается как интеграл Лебега—Стилтьеса, из свойств ко-
торого (см. п. 8 § 6) вытекает, что В) является мерой по В для
каждого фиксированного о; 6 Q. Для установления того, что Q(cu; В) есть
вариант условной вероятности Р(£ е В |#)(си), воспользуемся принципом
подходящих множеств.
Пусть — совокупность множеств В из ^(/?), для которых Q(cu; В) =
= Р(£е5 |#)(о>) (п.н.). Поскольку Е(о>; x) = P(^x|^)(cu) (п.н.), то в
систему ¥ входят множества В вида В = (—оо, х], х 6 R. Значит, в входят
также все интервалы вида (а, д] и алгебра «с/, состоящая из конечных сумм
непересекающихся множеств вида (а, &]. Тогда из свойства непрерывности
меры Q(art В) — фиксировано) и утверждения Ь) теоремы 2 следует,
что является монотонным классом, и поскольку л/ С^С^(/?), то из
теоремы 1 § 2
^(/?) = а(^) с = м(^) = С ^(/?),
откуда ¥ = «^(/?). □
С помощью несложных топологических рассмотрений утверждение те-
оремы 4 о существовании регулярного условного распределения можно
распространить на случайные элементы со значениями в так называемых
борелевских пространствах. Дадим соответствующее
Определение 9. Измеримое пространство (Е, 8} называется боре-
левским пространством, если оно борелевски эквивалентно некоторому
борелевскому подмножеству числовой прямой, т. е. существует взаимно
однозначное отображение <р = <^(е): (Е, <?)-+(/?, SS(R)) такое, что:
1) у?(Е) = {^(е): ебЕ} есть некоторое множество из SS(R)\
2) <£-<?-измеримо (<^“1(Л)е<?, Л е^(Е)П^(/?));
3) ^-1 _ ^(/?)/^-измеримо (<р(В) е<р(Е)П«^(/?), В €^).
Теорема 5. Пусть X = Х(о>) — случайный элемент со значениями
в борелевском пространстве (Е, 8). Тогда существует регулярное
условное распределение X относительно а-алгебры
Доказательство. Пусть = <р(е) — функция из определения 9. В си-
лу 2) из этого определения <р(Х(ад) является случайной величиной. Поэто-
му по теореме 4 определено условное распределение Q(ur, Л) случайной
величины <р(Х(о>)) относительно Л е<р(Е)П^(/?).
Введем функцию В) = Q(cv; </>(В)), В В силу 3) определения 9
<^(В) &p(E)r\S8(R) и, следовательно, Q(cu; В) определено. Понятно, что при
каждом ш Q(w; В) является мерой по В Зафиксируем теперь В
В силу взаимной однозначности отображения <р = <р(е)
Q&- В) = Q(u>; <^(В)) = Р(^(Х) е <р(В) |^)(ол) = Р(Х е В |^)(cv) (п. н.).
Таким образом, Q(cu; В) является регулярным условным распределени-
ем X относительно □
Следствие. Пусть X =Х(а>) — случайный элемент со значения-
ми в полном сепарабельном метрическом пространстве (Е, То-
гда существует регулярное условное распределение X относитель-
но У. В частности, такое распределение существует в случае про-
странств (Rn, SS(Rn)), (/?°°, ^(/?°°)).
Доказательство следует из теоремы 5 и известного результата из топо-
логии о том, что такие пространства являются борелевскими.
8. Развитая выше теория условных математических ожиданий позво-
ляет дать обобщение теоремы Байеса, находящей применения в статистике.
Напомним, что если & = {А\,..., Я „} —некоторое разбиение простран-
ства Q с Р(Л) >0, то теорема Байеса (9) § 3 гл. I утверждает, что для
всякого В с Р(В) >0
Р (Л,1 В) = . (25)
Е Р(Д7)Р(В|Д;)
/=1
п
Поэтому, если 0= £2 ai^Ai — дискретная случайная величина, то, согласно
i=l
формуле (10) из § 8 гл. I,
Е §(а/)Р(Л/),Р(В|Л1)
E[g(0) | В] = , (2б)
12 РИрр^Му)
/=1
или
У g(a)P(B\0=a)Pe(da)
E[g(*)|B] = ^_-------------------, (27)
$ P(B|0 = a)P0(da)
—оо
где Рв(А) = Р{веА}.
Основываясь на приведенном в этом параграфе определении E[g(0)|B],
нетрудно установить, что формула (27) остается справедливой для любого
события В с Р(В)>0, случайных величин 0 = 0(щ) и функций g = g(a) с
E|g(6»)|<oo.
Рассмотрим теперь аналог формулы (27) для условных математических
ожиданий E[g(0) относительно некоторой а-алгебры
Пусть
Q(B) = g(0(u)) P(do>), В e<3, (28)
в
Тогда в силу (4)
Ete(WJM = ^M. (29)
Наряду с а-алгеброй У рассмотрим а-алгебру %. Тогда, согласно (5),
Р(В) = $ P(S|%)dP, (30)
Q
или, по формуле замены переменных под знаком интеграла Лебега,
Р(В) = $ P(B|0 = a)/>e(da). (31)
— ОО
Поскольку
Q(B) = E[g(0)/s] = E[g(0) Е(/в |<%)],
ТО
Q(B) = $ g(a)P(B|0 = a)Pe(da). (32)
—оо
Предположим теперь, что условные вероятности Р(В|0 = а) являются
регулярными и допускают представление
Р(В 16» = а) = 5 p(w; a) A(dw), (33)
в
где р=р(ш; а) — неотрицательная измеримая по паре переменных функция,
а А — некоторая ст-конечная мера на (Q, #).
Пусть Е|g(0)| < оо. Покажем, что (Р-п. н.)
5 g(a) р(ш; a) Pe(da)
Е [Я(0)|*] М = --------------- (34)
р(ш; a) Pe(da)
—оо
(обобщенная теорема Байеса).
Для доказательства (34) нам понадобится следующая лемма.
Лемма. Пусть (Q, — некоторое измеримое пространство.
а) Пусть ри X — a-конечные меры, р<^Хи f = f(u) — ^-измеримая
функция. Тогда
^fdp^f^dX (35)
у у а а
(в том смысле, что если существует один из интегралов, то суще-
ствует и второй, и они совпадают).
Ь) Если и —мера со знаком и р, Х-а-конечные меры, и<^р, р<^Х,
то
dv dv dp . . /ос.
dX dp 'dX (36)
u
dv _ dv I dp
dp dX / dX
(p-n. H.).
(37)
Доказательство, а) Поскольку
А4(Д) = 5 Atf,
у \a л /
to (35) очевидным образом выполнено для всякой простой функции
/ = 52 fi^Ar Общий случай следует из представления f = /+ — f~ и теоремы
о монотонной сходимости (ср. с доказательством (39) в § 6).
Ь) Из утверждения а) с f = находим
dX.
Тогда и <с А и, значит,
ИЛ) = § %-dx,
откуда в силу произвольности множества А и свойства I (§ 6) следует (36).
Свойство (37) вытекает из (36) и того замечания, что
"{":5Х=°}= 5 л" = °
(на множестве ^=о| правую часть в (37) можно определить про-
извольно, например, положить равной нулю). □
Для доказательства (34) заметим, что в силу теоремы Фубини и пред-
положения (33)
Q(B) = S
в
g(a)p(w; a)Pe(da) X(du),
р(в)=5
в
p(w\ a) Pe(da) X(da>).
(38)
(39)
Тогда в силу леммы
dQ dQ/dX ,о .
что с учетом (38), (39) и (29) дает формулу (34).
Замечание. Формула (34) остается справедливой, если вместо случай-
ной величины в рассмотреть случайный элемент со значениями в некотором
измеримом пространстве (£, <?) (с заменой интеграла по R интегралом
по £).
Остановимся на некоторых частных случаях формулы (34).
Пусть а-алгебра порождается случайной величиной £, # = а(£).
Предположим, что
P(^64|0 = a) = 5<7(x;a)A(dx), Ae^(R),
А
(40)
где q = q(x\ а) — некоторая неотрицательная измеримая по паре перемен-
ных функция, а А — некоторая ст-конечная мера на (R, &(R)). Тогда из
формулы замены переменных под знаком интеграла Лебега и (34) находим,
что
$ g(a)q(x;a)Pe(da)
^[ёШ = х] = ^-------------------. (41)
$ q(x; a)Pe(da)
—оо
Пусть, в частности, (0, £) — пара дискретных случайных величин,
# = 52 € = 12 х,1вг Тогда, выбирая в качестве А считающую меру
(А({х,})= 1,1= 1, 2, ...), из (40) получим
Eg(a.)P(€ = x/l# = a,)P{# = a/}
E[g(0)К=*/] = ‘ ^Р^ = х.\в=а.)Р{в=а.}
(42)
(Ср. с (26).)
Пусть теперь (О, £) — пара абсолютно непрерывных величин с плотно-
стью х^- Тогда в силу (19) представление (40) выполнено с q(x; а) =
= /$|в(х1а) и меР°й Лебега А. Поэтому
$ g(a) f$\e(x\a) fo(a)da
Е [g(0) | €=x] = . (43)
$ fi\e(x\a) fe(a)da
—oo
9. Приведем еще одну версию обобщенной теоремы Байеса (см. (34)),
формулировка которой (даваемая ниже) особенно удобна в вопросах, свя-
занных с заменой вероятностных мер.
Теорема 6. Пусть Р и Р — две вероятностные меры на измери-
мом пространстве (П, ^), мера Р абсолютно непрерывна по мере Р
(обозначение: РсР) и — производная Радона—Никодима меры
Р по мере Р. Пусть У-под-а-алгебра & (# С^) и E(|$f) и Ё(-|#) —
условные математические ожидания относительно по мерам Р
и Р соответственно. Пусть £ — неотрицательная (&-измеримая)
случайная величина. Тогда имеет место следующая «формула пере-
счета в условных математических ожиданиях»:
е(«-£|у)
.р, ; (p-п н-). (44)
E(dP W
Формула (44) справедлива и для всякой случайной величины £, для
которой условное математическое ожидание Ё(£ |#) определено.
Доказательство. Прежде всего, заметим, что P-мера (а также и
P-мера) события =о| равна нулю. Действительно, если
множество А е <0, то
jE(^|y)dP = $gdR = $dP = P(A),
и, значит, множество A = |w: |#) =о) имеет P-меру нуль.
Пусть £>0. По определению условного математического ожидания,
^(€|^) — это есть такая ^-измеримая случайная величина, что для вся-
кого А е У
е[/ле(£1<?)]=е[/ла
(45)
Ю - 9727
Поэтому для доказательства формулы (44) надо лишь убедиться в том, что
(^-измеримая) случайная величина, стоящая в правой части (44), удовле-
творяет следующему равенству:
(46)
Пользуясь свойствами условных математических ожиданий и форму-
лой (39) из § 6, находим:
=Екж;Е({^1*)Е(^1*) -
L -I
что и доказывает формулу (45) для неотрицательных величин £. Переход
к общему случаю аналогичен доказательству утверждения (39) в § 6 для
произвольных интегрируемых случайных величин £. □
10. Приведенная выше обобщенная теорема Байеса (формулы (34),
(41) и (43)), являющаяся одним из основных средств при «байесовском
подходе» в математической статистике, дает ответ на вопрос о том, как
перераспределяется наше знание о распределении случайной величины в
в зависимости от результатов наблюдений над статистически с ней связан-
ной случайной величиной £.
Ниже будет рассматриваться еще одно применение понятия условного
математического ожидания в задачах оценивания неизвестного пара-
метра 0 по результатам наблюдений. (Подчеркнем, что, в отличие от
рассмотренного выше случая, где в — случайная величина, сейчас в бу-
дет просто некоторым параметром из a priori данного параметрического
множества © (ср. с § 7 гл. I).
В сущности, речь будет идти об одном важном понятии в математиче-
ской статистике —понятии достаточной под-а-алгебры (говорят также:
сг-подалгебры).
Пусть (П, ^) — некоторое измеримое пространство, на котором задано
семейство ^ = {Р0, 0е0) вероятностных мер Р#, зависящих от парамет-
ра 0, принадлежащего параметрическому множеству ©. Часто говорят
(ср. с § 7 гл. I), что набор <? = (Q, ^) задает вероятностно-ста-
мистическую модель (или вероятностно-статистический экспери-
мент).
Для пояснения приводимого ниже определения 10 предположим, что
у нас имеется некотороая ^“-измеримая функция (статистика) от исходов и
и =a(T(uj)) — а-алгебра, порожденная этой функцией Т = Т(щ). Ясно, что
и, вообще говоря, в & могут входить события, и не принадлежащие
(т. е. & «богаче», нежели $f). Но вполне может оказаться, что с точки
зрения определения того, какой «действует» параметр 0, никакой больше
«информации», кроме знания Т = Т(ш), и не надо иметь. В этом смысле
статистику Т естественно было бы назвать достаточной.
Замечание 1. В случае T(uj)—uj. т.е. когда известными становятся са-
ми исходы (а не функции от них), можно выделить следующие два крайних
случая.
Один —когда все вероятности P# совпадают при всех 0е©. Понятно,
что в этом случае никакой исходи нам информации о значениях параметра
0 не даст.
Другой случай — это когда носители всех мер Р$, 0 6 О, «сидят» на
разных подмножествах & (т. е. для любых двух параметров 0[ и 02 меры
Р01 и Р#2 являются сингулярными: существуют два множества (носите-
ля) ГЦ и ГЦ такие, что Р0| (Q \ Пв|) = 0, Р02(П\ГЦ) = О и ГЦ ПГЦ = 0).
В этом случае по полученному исходу си значение 0 восстанавливается
«однозначно».
Оба эти случая мало интересны. Интерес же представляют случаи, ко-
гда, скажем, все меры P# являются эквивалентными (и тогда их носители
не различаются).
Будем сейчас трактовать а-алгебру tf = o(T(yj)) и, более общим обра-
зом, любую под-а-алгебру как «информацию», получаемую в ре-
зультате эксперимента, исходами которого являются ш € Q.
Имея такую информацию естественно поинтересоваться (как и
в случае формулы Байеса), во что перейдут вероятности Р#, т. е. каковы
соответствующие условные вероятности Р^(• |^)(си). При этом (по
аналогии с первым случаем из замечания) понятно, что если все эти
вероятности при всех ш не зависят от 0, то обращение ко всякой «большей
информации» ничего нового о параметре 0 (по сравнению с тем, что
можно получить, основываясь на «информации» $f) не даст.
В этом смысле, «информацию» & можно назвать исчерпывающей или,
как обычно принято говорить, достаточной.
Следующее определение формализует эти рассуждения.
Определение 10. Пусть (П, &, &) — вероятностно-статистическая
модель, <Р = {Р0, 0е©} и & есть под-а-алгебра & Q&). Говорят, что
под-а-алгебра является достаточной для семейства если суще-
ствуют версии условных вероятностей ₽#(• |#)(а>), 0е©, которые
не зависят от значений в, т. е. существует такая функция Р(Л; ш), Л
uj е Q, что для всех А е & и в е ©
Р0(Д|^)М = Р(Л;а/) (Ра-п.н.),
(47)
т. е. Р(А; есть версия Р^(Л |#)(о>) при всех 0е 0.
Если ^ = а(7'(о/)), то статистика Т = Т(ш) называется достаточной
статистикой для семейства
Замечание 2. Интерес к отысканию в статистических исследованиях
достаточных статистик обусловлен стремлением находить такие функ-
ции Т = Г(си) от исходов о/, которые редуцируют данные с сохранением
информации (о значениях параметра 0). Например, представим себе, что
cj = (xi, Х2, хл), где Xi еР и п очень велико. Тогда построение «хоро-
ших» оценок параметра 0 (как, скажем, в § 7 гл. I) может оказаться весь-
ма трудной задачей по причине высокой размерности имеющихся данных
*1, *2, ...» хп. Однако вполне может случиться (и это мы наблюдали в § 7
гл. I), что для построения «хороших» оценок вполне достаточно знания
не индивидуальных значений Хь Х2, ..., хл, а лишь значения суммарной
статистики T(uj) = х\ + х% +... + хп.
Понятно, что такая статистика действительно приводит к существенной
редукции данных (и вычислительной работы), будучи в то же самое время
достаточной для построения «хороших» оценок параметра 0.
Приводимая ниже факторизационная теорема дает условия, обес-
печивающие достаточность cr-алгебры для семейства
Теорема 7. Пусть & = {Р#, 0 е ©} — доминируемое семейство, т. е.
существует такая а-конечная мера А на (Q, <F), что меры P# аб-
солютно непрерывны относительно A (P# <С А) при всех 0е©.
Пусть g<A)(cu) = ^у(о>) — производная Радона—Никодима меры
P# относительно меры А.
Для того чтобы под-а-алгебра & была достаточной для се-
мейства &, необходимо и достаточно, чтобы функции
допускали факторизацию: нашлись такие неотрицательные функ-
ции g^(uj) и й(о>), что -измеримы, h(u) — ^-измерима и
для всех 0 е ©
g^) = g^(cu)/i(a,) (Х-п.н.). (48)
Если в качестве меры А может быть взята мера Р^о, где 0о —
некоторый параметр из ©, то для достаточности а-алгебры У
необходимо и достаточно, чтобы сама производная g^o)(^)==
была ^-измеримой.
dP0
dP#o
Доказательство. Достаточность. По предположению доминиру-
ющая мера А является и-конечной. Это означает, что найдутся такие
^-измеримые непересекающиеся множества Q*, 1, что П= 52 и
k^\
0< A(Q^) <оо, 1.
Образуем меру
АП = 'V 1 A(Qfc n •)
k^\
Эта мера конечна, A(Q)<oo, и A(Q)>0. Без ограничения общности ее
можно считать вероятностной, A(Q) = 1.
Тогда из формулы (44) пересчета условных математических ожиданий
находим, что для всякой «^-измеримой ограниченной случайной величи-
ны X =Х(ш)
Ед Лу I
Е,(Х|У)- * 7 (Р,-п.н.). (49)
Согласно формуле (48),
(А) _ dPe _ dPg dX _ <x)dX _ лху. dX
8e -~d\~~dx'd\~ee dX~8e hd\- (50)
Поэтому формула (49) принимает такой вид:
Е»(Х|У) = / а. А| 4 (Р»-п.Н->- (51)
Но - ^-измеримы и
Еа(хл7т1^)
E*(W) =------, Л ; (Pe-п.н.). (52)
Правая часть здесь не зависит от 0, и, следовательно, имеет место
свойство (47). Тем самым, согласно определению 10, а-алгебра является
достаточной.
Необходимость будет доказываться лишь при дополнительном пред-
положении, что семейство & = {Р#, 0 6 0} не только доминируется некото-
рой и-конечной мерой А, но также существует некоторое 0о из 0 такое, что
все меры Р^^сР^, т.е. при любом 0е0 мера P# абсолютно непрерывна
относительно меры Р^о. (В общем случае доказательство становится более
сложным; см. теорему 34.6 в [106].)
Итак, пусть —достаточная а-алгебра, т.е. выполнено свойство (47).
Покажем, что в предположении P# <С Р^о, 0 е ©, производная g^o) =
а ’0о
является ^-измеримой функцией при каждом 0 6 0.
Пусть А 6 &. Тогда для любого 06 0, пользуясь свойствами условных
- ( (0о) dPg \
математических ожидании, находим, что (^с ge
Ре(А) = Ев1А = ЕвЕв(1А I&) = ЕвЕво(/А \<f) = Ево 1^о)Ево(/л&)] =
= ЕвоЕво(ё^Ево(/А |$?) |$Г) = Е9оЦЕ^»» |$Г)] • [Е9о(/Л |<7)]) =
= Е^Д/дЕ^» 1W) = Ево/ЛЕ9о(^> |$Г) = $ E^g™ |<?) dPeo.
А
Следовательно, вариантом производной g^o) = является tf-изме-
Оо
римая функция E0o(g^o) |#).
Тем самым, в том случае, когда A = P^0, из достаточности а-алгебры
вытекает факторизационное свойство (48) с и h = 1.
В общем же случае (опять же при дополнительном предположении
P# < Pflo, 0 € ©) находим, что
(А) = dPe = dPe dPBo = (0Q)dPeQ
dX dPeQ ‘ dX dX ’
Обозначая
*(0о) _ CT(0o) h _ dPOo
go -go >
получаем требуемое факторизационное представление (48). □
Замечание 3. Полезно подчеркнуть, что для всякого семейства =
= {Ря, 0€©} заведомо существует (и без всяких предположений типа до-
минируемости) достаточная а-алгебра. В качестве таковой можно взять
самую «богатую» а-алгебру .
Действительно, в этом случае Е#(Х 1<^) = Х (Р^-п. н.) для всякой ин-
тегрируемой случайной величины X и, следовательно, свойство (47) будет
выполнено.
Понятно, что такая достаточная а-алгебра не представляет большо-
го интереса, поскольку в этом случае не происходит никакой «редукции
данных». Реальный интерес представляет отыскание минимальной доста-
точной а-алгебры т. е. а-алгебры, являющейся пересечением всех
достаточных под-а-алгебр (ср. с доказательством леммы 1 в § 2, из кото-
рого следует, что минимальная а-алгебра существует). Но, к сожалению,
явные построения таких а-алгебр, как правило, довольно-таки непросты
(см., впрочем, §§ 13—15 гл. 2 в [107]).
Замечание 4. Предположим, что ^ = {Р0, 0е 0} —доминируемое се-
мейство (Ря <С А, 0G 0, А есть и-конечная мера) и плотность М
представляется для всех 0 6 О в виде
^А)м = G<A)(7-(w)) ЙМ (А-п. н.), (53)
Где Т = Т(ш) — некоторая функция (случайный элемент; см. § 5), прини-
мающая значения в множестве Е (с выделенной на нем а-алгеброй &)
и являющаяся ^/^-измеримой. Функции G^\t). teE, и A(cv), cueQ,
предполагаются неотрицательными и S- и «^-измеримыми соответственно.
Из сопоставления (48) и (53) видим, что а-алгебра & = а(Т(и:)) являет-
ся достаточной, а сама функция Т = Т(ш) является достаточной статистикой
(в смысле определения 10).
Заметим, что в доминируемых случаях обычно именно выполнение фак-
торизационного представления (53) принимают как определение достаточ-
ности статистики Т = Т(ш), входящей в (53).
Пример 5 (экспоненциальное семейство). Предположим, что
П = /?л, «^ = ^(/?л) и мера Ре образована следующим образом: если
cj = (%i, ..., хл), то
PHdcv) = P0(t/x1)...PHdxn), (54)
где мера Pe(dx), х е /?, имеет следующую структуру:
Рв (dx) = а(0) e0Ws(x}y(x) X(dx). (55)
Здесь s = s(x) — некоторая ^-измеримая функция и а(0), /3(0), у(х), X(dx)
имеют очевидный смысл. (Семейство мер Р#, 0 е 0, является простейшим
примером так называемых экспоненциальных семейств.) Из (54) и (55)
находим, что
Pe(dw) = an(^)eW)|s(x')+-+s(x")4(xi)...7(x„)rfxi ...dxn. (56)
Сопоставляя (56) с (53), видим, что статистика Т(ш) = s(Xj) +... + s(xrt),
lj = (xi, ...,хл), является (в рассматриваемом случае экспоненциального
семейства) достаточной статистикой.
Если для о? = (Х1,..., хп) обозначить Xi(cu) = xi,..., Хл(си) = хл, то мож-
но сказать, что структура мер P# (образованных по принципу прямого
произведения мер) такова, что относительно них Х\, ..., Хп является по-
следовательностью независимых одинаково распределенных случайных
величин.
Таким образом, статистика Т(а>) = s(Xi (cv)) +... + s(Xn(о;)) будет доста-
точной статистикой, построенной по последовательности Xi(o>), •••»
(В задаче 20 предлагается установить, является ли эта статистика мини-
мальной достаточной статистикой.)
Пример 6. Пусть Q = /?rt, & = 3§(Rn), параметр 0>О и для =
= (xi, ..., хп) плотность (по мере Лебега А)
если 0 Xi в, i = 1,
в других случаях.
., и,
Если
T(uj)= max X/,
{1, если все х, >0, i = 1, ..., п,
л
0 в других случаях,
еслнО^в,
10 в других случаях,
то находим, что
(57)
Тем самым, статистика Т(ш) = max X/ является достаточной.
11. Предположим, что © есть некоторое подмножество на числовой
прямой и S = (Q, & = {Р0, в 6 ©}) — вероятностно-статистическая мо-
дель. Рассматриваемый сейчас вопрос состоит в построении «хороших»
оценок параметра 0.
Под оценкой будем понимать любую случайную величину 0 = 0(щ) (ср.
с § 7 в гл. I).
Приводимая ниже теорема показывает, как понятие достаточной а-ал-
гебры позволяет улучшить «качество» оценки, измеряемое ее среднеквад-
ратическим отклонением от истинного значения параметра 0. Более точно,
будем говорить, что оценка 0 параметра 0 является несмещенной, если
Ев|0| < оо и E# 0 = 0 для всех 06© (ср. со свойством (2) в § 7 гл. I).
Теорема 8 (Рао и Блэкуэлл). Пусть У является достаточной
а-алгеброй для семейства & и 0 = 0(о>) — некоторая оценка.
а) Если 0 является несмещенной оценкой, то оценка
Т = ЕН0|^) (58)
также будет несмещенной.
Ь) Оценка Т «лучше» оценки в в том смысле, что
Ев(Т-в)2^Ев(ё-е)2, 0€е. (59)
Доказательство. Свойство а) следует из того, что
Е0Т = Е0Е^|^) = Е^ = е.
Для доказательства же Ь) надо лишь заметить, что, согласно неравен-
ству Йенсена (см. задачу 5, в которой надо взять g(x) = (х - 0)2),
(Ее(ё\&)-0)2^Ев[(ё-9)2\&].
Беря в обеих частях математическое ожидание Е^(-), приходим к тре-
буемому неравенству (59). □
12. Задачи.
1. Пусть £ и г] — независимые одинаково распределенные случайные
величины и Е£ определено. Показать, что
ЕК|£ + 7/) = Е(7?|£ + 77) = ф (П.н.).
2. Пусть ••• — независимые одинаково распределенные случай-
ные величины с Е|£, | <оо. Показать, что
E(6|S„,S„+1, ...) = ^ (п.н.),
где S„=£i+ ...+£„.
3. Предположим, что случайные элементы (X, У) таковы, что существу-
ет регулярное распределение PX(B) = P(Y еВ\Х = х). Показать, что если
E|g(X, У)| < оо, то Рх-п. н.
E[g(X, У)|Х=х] = $£(х, y)Px(dy).
4. Пусть £ — случайная величина с функцией распределения F^(x).
Показать, что
^xdF^x)
Е{^а<^Ь)= F^-F^a)
(предполагается, что F$(b) — F$(a) > 0).
5. Пусть g = g(x) — выпуклая книзу борелевская функция, E|g(£)| < оо.
Показать, что для условных математических ожиданий справедливо
(п. н.) неравенство Йенсена
g(EmKE(g(oin
6. Показать, что случайная величина £ и а-алгебра независимы (т. е.
для любого случайные величины £ и /в(и>) независимы) тогда и
только тогда, когда E(g(£)= Eg(f) для каждой борелевской функции
g(x) такой, что Е|g(£)l <°°-
7. Пусть £ — неотрицательная случайная величина и У — и-алгебра,
Показать, что E(£|£f)<oo (п. н.) тогда и только тогда, когда ме-
ра Q, определенная на множествах А равенством Q(/l) = § f dP, яв-
А
ляется ст-конечной.
8. Показать, что условные вероятности Р(Л|В) «непрерывны» в том
смысле, что если НтЛл=Л, НтВл = В, Р(Вл)>0, Р{В)>0, то
п п
ПтР(4я|Вп) = Р(Д|В).
9. Пусть Q = (0, 1), «^ = ^((0, 1)) и Р — мера Лебега. Пусть Х(ш) и
У(о>) — две независимые случайные величины, равномерно распределенные
на (0, 1). Рассмотрим третью величину Z(w) = |Х(о>) — У(о>)| — расстояние
между «точками» Х(ш) и Y(w). Доказать, что распределение //(z) имеет
плотность fz(z) и /z(z) = 2(l — z), O^z^l. (Отсюда, конечно, следует,
что EZ = 1/3.)
10. На окружности радиуса R ({(х, у): х2 + у2 ^/?2}) «случайным
образом» выбираются две точки At и Дг. т. е. эти точки выбираются
независимым образом с вероятностями для них (в полярных координатах,
Д- = (М<).< = 1.2)
P(Pi е dr, Oi е d0) = Г-^-, i = 1, 2.
Доказать, что расстояние p между точками А\ и А2 имеет плотность рас-
пределения fp(r) и
Ыг) = [2 arccos(^) - £\Z1-(^)2] ’
где 0 < г < 2R,
11. На единичном квадрате (с вершинами (0, 0), (0, 1), (1, 1), (1, 0))
«случайным образом» (поясните!) выбирается точка Р = (х, у). Найти ве-
роятность того, что эта Р точка будет ближе к точке (1, 1), нежели к точ-
ке (1/2, 1/2).
12. Два человека А и В договорились о встрече между 7 и 8 часами
вечера. Но оба забыли точное время встречи и приходят между 7 и 8 часами
«случайным образом» и ждут не более 10 минут. Показать, что вероятность
их встречи равна 11/36.
13. Пусть Х|, %2> • • • — последовательность независимых случайных Be-
rt
личин, Sn = 22 Показать, что Si и S3 условно независимы относительно
/=1
«7-алгебры <7(52), порожденной величиной S2.
14. Будем говорить, что а-алгебры <S\ и условно независимы отно-
сительно а-алгебры %, если
Р(Л 1Л21%) = РИ11%) Р(Л21%) Для всех А i = 1, 2.
Показать, что условная независимость и % относительно % равно-
сильна выполнению (Р-п. н.) любого из следующих условий:
(а) Р(Л 1 |а(^2и%)) = РИ11%) Для всех А\
(b) P(B|a($f2U%)) = P(B |%) для любого множества В из системы
подмножеств образующих тг-систему такую, что =a(«^i);
(с) Р(В1В2|а(^2и^з)) = Р(В1 |%)Р(В2|#з) Для любых множеств В\
и В2 из тг-систем и ^2 соответственно таких, что #i=cr(^i) и
% = ^2);
(d) Е(Х |а(#2С1#з)) = Е(Х |%) для любой а(#2и%)-измеримой случай-
ной величины X с определенным (см. определение 2 в § 6) математическим
ожиданием ЕХ.
15. Доказать следующую расширенную версию леммы Фату для
условных математических ожиданий (ср. с (d) в теореме 2).
Пусть (П, с^, Р) — вероятностное пространство и (£л)л^1 — последова-
тельность случайных величин таких, что определены математические ожи-
дания Е£л, О 1, и Е lim £л (которые могут принимать и значения ±оо; см.
определение 2 в § 6).
Предположим, что есть под-а-алгебра событий из & и
sup (Р-п.н.), а—»оо.
Тогда
E(lim C^Klim Е(£л|#) (Р-п.н.).
16. Пусть, как и в предыдущей задаче, (£л)л^1 — последовательность
случайных величин, для которых определены математические ожидания
Е£л, п 1, и У — под-а-алгебра событий из & такая, что
sup lim Е(|£л|/(|£л| >£)|^) = 0 (Р-п.н.). (60)
п Л—оо
Тогда если £л (Р-п. н.) и Е£ определено, то
E(£rt|gO —Е(£|4У) (Р-п.н.).
17. Пусть в условиях предыдущей задачи вместо (60) выполнено усло-
вие sup Е(|£л|а|£f)<оо (Р-п.н.) для некоторого а> 1. Тогда
п
Е(£„|<?)->Е(£|<?) (Р-п.н.).
18. Пусть £п для некоторого р 1. Показать, что тогда Е(£л |$f)
19. (а) Пусть О(Х|У) = Е[(Х — Е(Х|У))2|У]. Показать, что DX =
= ED(X | У) + DE(X | У).
(b) Показать, что cov(X, y) = cov(X, Е(У |X)).
20. Выясните, является ли в примере 5 достаточная статистика Т(ш) =
= $(Х> (си)) +... + $(ХяМ) минимальной.
21. Докажите справедливость факторизационного представления (57).
22. В примере 2 п. 10 покажите, что Е^(Х/17) = Г, где А/(си) = х{
для си = (х 1, ..., хп), z = 1, ..., п.
§ 8. Случайные величины. II
1. В первой главе были введены такие характеристики простых случай-
ных величин, как дисперсия, ковариация и коэффициент корреляции. Со-
ответствующим образом эти понятия вводятся и в общем случае. А именно,
пусть (П, Р) — вероятностное пространство и £ = £(си) — случайная ве-
личина, для которой определено математическое ожидание Е£.
Дисперсией случайной величины £ называется величина
D£ = E(£-E£)2.
Величина a = +у/О£ называется стандартным отклонением £.
Если £ — случайная величина с гауссовской (нормальной) плотностью
/е(х) =-7=1=-е“(х“т)2/2<т2, <7>0, -oo<m<oo, (1)
у2тг<т
то смысл параметров тиа, входящих в (1), оказывается очень простым:
т = Е£, а2 = D£.
Таким образом, распределение вероятностей этой случайной величи-
ны £, называемой гауссовской, или нормально распределенной, полно-
стью определяется ее средним значением т и дисперсией а2. (В этой связи
понятна часто используемая для этого запись: ^^(т, а2).)
Пусть теперь (£, ту) — пара случайных величин. Их ковариацией на-
зывается величина
cov(e, т?) = Е(е-Е^)(77-Е77) (2)
(предполагается, что математические ожидания определены).
Если cov(£, т]) = 0, то говорят, что случайные величины £ и ту не кор-
релированы.
Если 0 < D£ < оо, 0 < D»? < оо, то величина
Р(С. Л) =
cov«, 7?)
\/D£ Dr)
(3)
называется коэффициентом корреляции случайных величин £ и г].
Свойства дисперсии, ковариации и коэффициента корреляции для про-
стых случайных величин были изложены в § 4 гл. I. В общем случае эти
свойства формулируются совершенно аналогичным образом.
Пусть £ = (£1,..., £л) — случайный вектор, компоненты которого имеют
конечный второй момент. Назовем матрицей ковариаций (ковариа-
ционной матрицей) вектора £ матрицу (порядка п х п) R= где
Rij= cov(&, £j). Ясно, что матрица R является симметрической. Кроме
того, она неотрицательно определена, т. е.
п
для любых А/ 6 /?,/== 1, п, поскольку
^0.
Следующая лемма показывает, что справедлив и обратный результат.
Лемма. Для того чтобы матрица R порядка пхп была ковариа-
ционной матрицей некоторого вектора £ = (£],..., £л), необходимо и
достаточно, чтобы эта матрица была симметрической и неотри-
цательно определенной или, что эквивалентно, существовала бы
матрица А (порядка пх k, 1 k п) такая, что
Й = ДД*,
где * — символ транспонирования.
Доказательство. Как показано выше, всякая ковариационная мат-
рица является симметрической и неотрицательно определенной.
Обратно, пусть R —такая матрица. Из теории матриц известно, что для
всякой симметрической неотрицательно определенной матрицы R можно
найти такую ортогональную матрицу б (т. е. бб* —Е — единичная матри-
ца), что
^*R^ = D,
где
— диагональная матрица с неотрицательными элементами di, I = 1, ..., п.
Отсюда следует, что
1R = ^D^* = (^B)(B*^*),
где В — диагональная матрица с элементами bt = +\/di, i = 1, ..., п. По-
этому, если положить А = то для матрицы К получим требуемое пред-
ставление К = ЛЛ*.
Ясно, что всякая матрица АА* является симметрической и неотрица-
тельно определенной. Поэтому осталось лишь показать, что К является
ковариационной матрицей некоторого случайного вектора.
Пусть 771, туг,..., Tjn — последовательность независимых нормально рас-
пределенных случайных величин, <Ж(0, 1). (Существование такой после-
довательности вытекает, например, из следствия 1 к теореме 1 § 9 и, в
сущности, может быть легко выведено из теоремы 2 § 3.) Тогда случайный
вектор £ = Аг} (векторы рассматриваются как векторы-столбцы) обладает
требуемым свойством. Действительно,
Е&* = Е(Лту)(Лту)* = А * Етуту* Л* =ЛЕЛ* = ЛЛ*.
(Если £= ||С/1| — матрица, элементами которой являются случайные вели-
чины, то под Е£ понимается матрица ||ЕС/1|.) О
Обратимся теперь к двумерной гауссовской (нормальной) плотности
г / \ 1 Г 1 Г(х~ш1)2
fe-(x'л ----------------------------------------
_ 2р + (У-"»2)211 /4х
<Т1<Т2 J J ’
характеризуемой пятью параметрами т\, т?, сг\, сг? и р (ср. с (14) § 3),
где |тj | < оо, |тИ21 < оо, сг\ > 0, >0, |р| < 1 • (См. рис. 28 в § 3.) Простой
подсчет раскрывает смысл этих параметров:
ГП1=Е£, af = D£,
m2 — Ет/, <?2 = Оту,
В § 4 гл. I было объяснено, что если величины £ и ту не корелированы
(р(€> ^) = 0), то отсюда еще не вытекает, что они независимы. Однако если
пара (£, ту) — гауссовская, то из некоррелированности £ и ту следует, что
они независимы.
В самом деле, если в (4) р = 0, то
’^Х- ’>=2^
Но в силу (55) § 6 и (4)
fM ~ I/ел(х' ”dx = 7^ ехр{- }
Поэтому
ft.T)(X, У) =
откуда следует, что величины £ и rj независимы (см. конец п. 9 § 6).
2. Убедительной иллюстрацией полезности введенного выше в § 7
понятия условного математического ожидания является его применение
к решению следующей задачи, относящейся к теории оценивания (ср. с
п. 8 § 4 гл. I).
Пусть (£, ту) — пара случайных величин, из которых £ наблюдаема, a г]
наблюдению не подлежит. Спрашивается, как по значениям наблюдений
над £ «оценить» ненаблюдаемую компоненту ту?
Чтобы сделать эту задачу более определенной, введем понятие оценки.
Пусть <р = <р(х) — борелевская функция. Случайную величину будем
называть оценкой г} по £, а величину Е[ту — </?(£)]2 (среднеквадратиче-
ской) ошибкой этой оценки. Оценку <£*(£) назовем оптимальной (в сред-
неквадратическом смысле), если
△ = Eh-^(O]2 = inf Efo-^)]2, (5)
где inf берется по классу всех борелевских функций <^ = <р(х).
Теорема 1. Пусть Ет?2<оо. Тогда оптимальная оценка
существует и в качестве (р*(х) может быть взята функция
<р*(х) = Е(г)\^=х). (6)
Доказательство. Без ограничения общности можно рассматривать
только те оценки </>(£), для которых Е</>2(£) < оо. Тогда, если <р(£) — такая
оценка, а <^*(£) = Е(т?|£), то
ЕЬ - ¥>Ю]2 = Е [(77 - ¥>*(<)) + (¥>’(€) - ^Ю)]2 = Е [77 - (С)]2 +
+ Efcp‘(0 - <р(О]2 + 2Е [(77 - - У’Ю)] > Е [77 - ^(£)]2,
поскольку Е [</>*(£) — ¥?(£)]2^0 и по свойствам условных математических
ожиданий
Е [(77 - - ¥>(£))] = Е{Е [(77 - у>*(£))(^(£) - ?(£)) к]} =
= Е{(^(£) - <р(£))Е(», - К)} = 0. □
Замечание 1. Из доказательства теоремы видно, что ее утверждение
справедливо и в том случае, когда £ не случайная величина, а произволь-
ный случайный элемент со значениями в некотором измеримом простран-
стве (Е, <?). Под оценками </? = <^(х) тогда следует понимать (?/<^(/?)-изме-
римые функции.
Рассмотрим структуру функции </>*(х) в предположении, что (£, rj) —
гауссовская пара с плотностью, задаваемой формулой (4).
Из (I), (4) и (18) § 7 находим, что плотность /^(у\х) условного рас-
пределения вероятностей задается формулой
(7>
где
m(x) = m2 + -р-(х-т\). (8)
Тогда из следствия к теореме 3 § 7
E(7j|^ = x)= yf^((ylx)dy = m(x) (9)
—оо
И
D(7/ie=x)=E[(j?-E(7?ie=x))2ie=x]=
= (y-m(x))2ft,^(y\x)dy = al(\-p2). (10)
—оо
Заметим, что условная дисперсия D(ij|£=x) не зависит от х, и, значит,
△ = ЕЬ)-Е(^ = х)]2 = а2(1-Л (И)
Формулы (9), (11) получены в предположении D£>0, Dr/>0. Если же
Df >0, a Dt? = O, то они выполняются очевидным образом.
Итак, справедлив следующий результат (ср. с (16), (17) § 4 гл. I).
Теорема 2 (теорема о нормальной корреляции). Пусть (Я,?]) —
гауссовский вектор с D£ > 0. Оптимальная оценка ц по £ есть
= (12)
а ее ошибка
A = Eh-E(7?|e)]2 = D/?-5^|^. (13)
Замечание 2. Кривая £/(х) = Е(т?|£ = х) называется кривой регрессии
т) на £ или rj по отношению к £. В гауссовском случае Е(г]\£=х) = а + Ьх
и, следовательно, регрессия ту на £ является линейной. Поэтому нет ничего
удивительного в том, что правые части формул (12) и (13) совпадают с
соответствующими частями формул (16) и (17) § 4 гл. I для оптимальной
линейной оценки и ее ошибки.
Следствие. Пусть и 62 — независимые гауссовские случайные
величины с нулевым средним и единичной дисперсией и
£ = CL\£\ + #2^2» Л = + ^2^2*
Тогда Е^ = Ету = О, Df = + а|, Drf — b^ + b^ cov(f, rfi^aibi +a%b2 и если
a\ + > 0» то
E(>?|O=a|f,‘+a*\, (14)
a । + a%
3. Рассмотрим вопросы отыскания функций распределения для слу-
чайных величин, являющихся функциями от других случайных величин.
Пусть £ — случайная величина с функцией распределения F$(x) (и плот-
ностью /$(*), если таковая существует), <р = <р(х) — некоторая борелевская
функция и т) = <р(£). Обозначая ly = (-оо, z/], находим
^) = P{^i/) = PH)€/}} = PR€'/1(g= $ F^dx), (16)
что дает выражение для функции распределения Fn(y) через функцию рас-
пределения F$(x) и функцию 9?.
Так, если г) — а£ + Ь, а > 0, то
<|7>
Если tj = £2, то, очевидно, F^y) = 0 для у < 0, а для у 0
^(у) = Р{£2 С у} = P{-Jy <KJy} =
=Шу)-Ъ(-у/у) + Р{£ = -у/у}. (18)
Обратимся теперь к вопросу отыскания плотности fqtyY
Предположим, что область значений случайной величины £ есть (конеч-
ный или бесконечный) открытый интервал / = (а, Ь), а функция <^ = <^(х),
определенная для хе/, является непрерывно дифференцируемой и либо
строго возрастающей, либо строго убывающей. Будем предполагать также,
что <//(х)/0, хе/.
Обозначим h(y) = <p и предположим для определенности, что <р(х)
строго возрастает. Тогда для у 6{(р(х): хе/}
F„(y) = Pto О) = РИ) С у} = р{£ < ч>-'{у)} =
h(y}
= P{^h(y)}= $ U(x)dx. (19)
— ОО
Согласно задаче 15 из § 6,
h(y) у
$ f^x)dx = 5 (2°)
—оо —оо
и, значит,
(21)
Аналогично, если функция <р(х) является строго убывающей, то
fn(y) =
Таким образом, в обоих случаях
/,(?) = /dW(4 (22)
Например, если т? = а£ + Ь, а/0, то/z(i/) = и Цу) =
Если £ ~<Ж(/п, ст2), a ri = e^, то из (22) находим, что
fr)(y) = \/2тгст«/
1д
<4^
(23)
где М = ет.
Распределение вероятностей с плотностью (23) называется логариф-
мически нормальным.
Если функция <£ = <р(х) не является строго возрастающей или строго
убывающей, то формула (22) для неприменима. Однако для многих
приложений вполне достаточно следующее ее обобщение.
п
Пусть функция <р=(р(х) определена на множестве £ lak. bk], причем на
k=\
каждом открытом интервале /* = (a*, bk) является непрерывно дифферен-
цируемой и либо строго возрастающей, либо строго убывающей, (р'(х)^0
при х е Л. Пусть hk = hk(y) — обратная функция к х е /*. Тогда имеет
место следующее обобщение формулы (22):
п
Му) = Е, fi(^(y))\h'k(yWDt(y^
А=1
(24)
где Dk — область определения функции hk(y).
Так, например, если т? = £2, то, беря /| =(—оо, 0), /г = (0, оо), находим,
что h\(у) = -y/у, h2(y) = у/у, и, значит,
(25)
Заметим, что этот результат следует также из (18), поскольку Р{£=—у/у} —
= 0. В частности, если £~<Ж(0, 1), то
(-yL_e ?/2, у>0,
fe(y)={V^y (26)
(О, у^О.
Несложный подсчет показывает также, что
^-{о, 1/<0, (27)
f (и}-12У^<У2) + ^-У2)), у>0, ,28,
^0. (28)
4. Обратимся теперь к функциям от многих случайных величин.
Если £ и г} — случайные величины с совместным распределением
У)»а ¥>=<?(*, у) — некоторая борелевская функция, то для £ = <р(£, т/)
сразу получаем, что
F<(z)= $ dF^(x,y). (29)
{х,у\ф(х,у)^г}
Например, если <р(х, t/)=x + i/, а £ и ту независимы (и, значит, F^(x, t/) =
= F^(x)Fr?(i/)), то, применяя теорему Фубини, получим
Fi(z) = $ dFz(х) dFn(y) = 5 l{x+y^z}(x, у) dF^x) dF^y) =
{x,y:x+y^z} R2
и аналогично
Fc(z) = $ F^z-y)dFr)(y).
—oo
F^z - x) dF^x)
(30)
(31)
Если F и G — две функции распределения, то функцию
//(z)= F(z-x)dG(x)
—ОО
принято обозначать F *G и называть сверткой F п G.
Таким образом, функция распределения F^ суммы двух независи-
мых случайных величин £ит] есть свертка их функций распределения
и
Ясно при этом, что = Fn * F^.
Предположим теперь, что независимые случайные величины £ и т? име-
ют плотности и fy. Тогда из (31), снова применяя теорему Фубини,
найдем, что
z-y
= S S №№ M>dy =
-OO
oo
= $ $ f((u-y)du fn(y)dy = $ $ fi(u-y)fv(y)dy du,
откуда
Z<(2) = s f^z~y)fr){y)dy,
(32)
и аналогично
M2) = § fr)(z-x)fi{x)dx.
(33)
Рассмотрим несколько примеров на применение этих формул.
Пусть , &> • • •, — последовательность независимых одинаково рас-
пределенных случайных величин с равномерной на [— 1, 1] плотностью
Тогда из (32) находим
и вообще (по индукции)
I 1 [*F]
/€l+...+e,(x)=l 2«(л- 1)! Ео (-1)*Сл(«+^-2Л)л-*, |х|^п,
10, |х|>п.
Пусть теперь £~</K(mi, а2), cty- Если обозначить
^ = 7^'
и из (32) получаем, что
и+ч(х) =
1
Х-(Ш[ +т2)\
л/(т?+а| '
Таким образом, сумма двух независимых гауссовских случайных ве-
личин снова есть гауссовская случайная величина со средним т\ +mz
и дисперсией erf + af.
Пусть $|, ..., — независимые случайные величины, каждая из кото-
рых нормально распределена с нулевым средним и единичной дисперсией.
Тогда, используя (26), нетрудно (по индукции) найти, что
1
2л/2Г(п/2)
х(л/2)-1е-х/2( х>0,
0,
хСО.
(34)
Обычно величина £2 +... + £2 обозначается %2, а ее распределение
(с плотностью (32)) называется ^-распределением (хи-квадрат распре-
делением) с п степенями свободы (ср. с табл. 3 в § 3).
Если обозначить Хп = то из (28) и (34) следует, что
2хл 1е *2/2
fM={ 2^Цп/2) ’
.0.
х>0,
х <0.
(35)
Распределение вероятностей с такой плотностью принято называть х~Ра<>
пределением (хи-распределением) с п степенями свободы.
Пусть снова £ и т/ — независимые случайные величины с плотностями
fen Тогда
^(z) = SS k W Ш dx dy,
{x,y\xy^z}
Ft/ri(z)= SS fi(x)fr,(y)dxdy.
{xty:x/y^z}
Отсюда нетрудно получить, что
ОО J оо ,
'й(г) = 1 (36)
и
Ш2) = Т fdzMri(y)\y\dy- (37)
If 2 । ~। л2
Полагая в (37) £ = £0 и т? = у ———-, где £о, • • •» £п — независи-
мые гауссовские случайные величины с нулевыми средними и дисперсиями
а2 > 0, и используя (35), найдем, что
(38)
Величина £о/у “(€? + ••• + €«) обычно обозначается через /, а ее распреде-
ление называется t -распределением или распределением Стьюдента с
п степенями свободы (ср. с табл. 3 в § 3). Заметим, что это распределение
не зависит от а,
5. Задачи.
1. Проверить справедливость формул (9), (10), (24), (27), (28),
(34)—(38).
2. Пусть ...,£л, п2, — независимые одинаково распределенные
случайные величины с функцией распределения F(x) (и плотностью J(x),
если таковая существует) и £ = max(£i,..., £л), f = min(£i,..., £л), р = £-£.
Показать, что
г /„ ШУ-(F(y)-F(x))\ у>х,
у^х.
fa(y, X) =
n(n — l)[F(y) — F(x)]"~2f(x)f(y),
О,
У>х,
У<:Х,
„ , . \п [F(y) - F(y - x)]n lf(y)dy, x>0,
FP(x)=l 4,
fP(x) = <
(О, х<0
«(« - 1) [F(y) - F(y - х)]п~2 f(y - х) f(y) dy,
—оо
О,
3. Пусть и & — независимые пуассоновские случайные
величины с
параметрами Ai и Аг соответственно. Показать, что £i+& также имеет
пуассоновское распределение с параметром Aj +Аг.
4. Пусть в (4) mi =/И2 = 0. Показать, что
ff/ м=____w/EZ_________.
71 — 2pai (T22 + erf)
5. Величина p*(£, 77) = sup p(u(£), где супремум берется по всем
u,v
борелевским функциям u = u(x) и v = u(x), для которых коэффициент кор-
реляции р (u(£), v(r})) определен, называется максимальным коэффици-
ентом корреляции £ и tj. Показать, что случайные величины С и ту неза-
висимы тогда и только тогда, когда р*(£, ту) = 0.
6. Пусть л, тг, ..., Tk — независимые неотрицательные одинаково рас-
пределенные случайные величины с экспоненциальной плотностью рас-
пределения
f(t) = Xe~xt, t>0.
Показать, что распределение случайной величины т\+... + тк имеет плот-
ность
Хк(к~'е~х‘
(Л-1)! ’
и
k—[
P(ti + ... + t*>/) = £2 e~xt^-.
i=0
7. Пусть ст2). Показать, что для всякого р > 1
Eiei^CpCT",
где
оо
и Г($)= § e~xxs~x dx — гамма-функция Эйлера. В частности, для любого
о
целого п 1
ЕС2л = (2п - 1)!!<т2л.
8. Пусть £ и ту — независимые случайные величины такие, что распре-
деление £ + т? совпадают с распределением £. Доказать, что т? = 0 п. н.
9. Пусть (X, У) имеют равномерное распределение на единичном круге
{(х, у): х2 + у2 1I} и W = X2 + Y2. Положим
и=х
2 !п W / 2 In W
W ’ ’
Показать, что X и У являются независимыми <Ж(0, 1 ^распределенными
случайными величинами.
10. Пусть U и V — независимые равномерно распределенные на (0, 1)
случайные величины. Определим
X = V- In V cos(2tt(/), Y = V- In V sin(27r(/)-
Показать, что X и У независимы и <Ж(0, 1)-распределены.
11. Привести пример гауссовских величин £ и ту, сумма которых £+ ту
имеет негауссовское распределение.
12. Пусть Х1,...,ХЛ — независимые одинаково распределенные
случайные величины с плотностью распределения f = /(х). Пусть =
= тах(Хь ..., Xrt)-min(Xi, ..., Хя) — «размах» выборки (Хь...,Хл).
Показать, что плотность fj?„(x), х>0, величины задается формулой
/л, (X) = п(п - 1) [F(y) - F(y - x)]n~2f(y)f(y - х) dx,
— ОО
У
где F(y) = f(z) dz, В частности, для случайных величин Xj,..., Хл, име-
—оо
ющих равномерное распределение на [0, 1],
fa„{x) = *
п(п - 1)хл-2(1 — х),
0,
0^х< 1,
X < 0 ИЛИ X > 1.
13. Пусть F(x) — функция распределения. Показать, что для всякого
а > 0 следующие функции также являются функциями распределения:
] х+а « х+а
G.(x) = i $ F(u) du, G2(x) = ^ $ F(u)du.
x x—a
14. Пусть случайная величина X имеет экспоненциальное распреде-
ление с параметром А>0 (fx(x) = Хе~Хх, х>0). Найти плотность рас-
пределения (называемого распределением Вейбулла) случайной величины
у=Х1/о\ а>0.
Пусть А=1. Найти плотность распределения случайной величины
У = In X (соответствующее распределение называется двойным экспо-
ненциальным),
15. Пусть случайные величины X и У имеют совместную плотность
распределения f(x, у) вида f(x, у) = g(\/x2 + y2).
Найти совместную плотность распределения случайных величин р =
= х/Х2 + У2 и 0==tg“1(y/X). Показать, что р и О независимы.
Пусть U = (cos а)Х 4- (sin а)У и V = (— sin а)Х + (cos а)У. Показать,
что совместная плотность распределения величин U и V совпадает
с /(х, у). (Это отражает факт инвариантности распределения величин
(X, У) относительно «вращения».)
16. Пусть Xi,..., Хл — независимые одинаково распределенные случай-
ные величины с функцией распределения F = F(x) и плотностью f = f(x).
Обозначим (ср. с задачей 12) Х(1) = min(Xi, ..., Хп) наименьшую из
величин Xi, ..., Хл, Х(2) — вторую наименьшую величину, и т. д., Х(л) =
= max(Xi, ..., Хп) — наибольшую из величин Х\, ..., Хп (так определенные
величины Х(1),..., Х(л) называют порядковыми статистиками величин
Х1,...,Хп).
Показать, что: (а) плотность распределения вероятностей величины Х^
задается формулой
(Ь) совместная плотность /(х1...хп) величин Х(1),Х(я) задается
формулой
/(х1 хя) = /л!Лх1)"-Лх''), если х1 с...<хп,
1 0 в других случаях.
17. Пусть Xj, ..., Хп — независимые одинаково распределенные слу-
чайные величины, еЖ(/х, а2). Величина
52 = -1т^(Х,-Х)!, и>1. Х=;£Х,
1=1 1=1
носит название выборочной дисперсии. Показать, что:
(a) ES2 = <t2;
(b) выборочное среднее X и выборочная дисперсия S2 независимы;
(с) а1 2/п), а (я- l)S2/a2 имеет распределение х2 с (и - 1)
степенью свободы.
18. Пусть Х\, .... Хп — независимые одинаково распределенные слу-
чайные величины, N — случайная величина, не зависящая от Х|, ...,Хп
(N = 1, 2, ...), с E/V <оо, D/V <оо. Показать, что (S/v =Х\ + ... + X/v)
DS^DXiEAf-t-(EXi)2DAf, ^ = ^+ех,^.
td/v tAj t/V
19. Пусть Af(/) = EezX — производящая функция случайной величины
X. Показать, что Р(Х > 0) M(t) для всякого t > 0.
20. Пусть X, Х\,..., Хп — независимые одинаково распределенные слу-
п _ _
чайные величины, Sn = £ So = O, Мп = max S;, Al = sup Sn. Показать,
i=l ОС/Ся л^о
что («£ = ту» означает, что распределения £ и ту совпадают)
(a) Mn^(Mn-i + %)+,«> 1;
(Ь) если Sn—>оо (Р-п.н.), то М^(М +Х)+;
(с) если —оо < ЕХ < 0 и ЕХ2 < оо, то
ел-4_рх-Р($+хг
-2ЕХ
21. В предположениях предыдущей задачи пусть M(e) = sup(Srt -пе)
для е > 0. Показать, что lim еМ(е) = (РХ)/2.
§ 9. Построение процесса с заданными
конечномерными распределениями
1. Пусть £ = £(о>) — случайная величина, заданная на вероятностном
пространстве (О, Р) и
Fe(x) = P{<v: £(^х}
— ее функция распределения. Понятно, что F$(x) является функцией рас-
пределения на числовой прямой в смысле определения 1 § 3.
Поставим сейчас следующий вопрос. Пусть F = F(x) — некоторая
функция распределения на /?. Спрашивается, существует ли случайная
величина, имеющая функцию F(x) своей функцией распределения?
Одна из причин, оправдывающих эту постановку вопроса, состоит в
следующем. Многие утверждения теории вероятностей начинаются слова-
ми: «Пусть £ — случайная величина с функцией распределения F(x),
тогда...». Поэтому, чтобы утверждения подобного типа были содержа-
тельными, надо иметь уверенность, что рассматриваемый объект действи-
тельно существует. Поскольку для задания случайной величины нужно
прежде всего задать область ее определения (Q, <^), а для того, чтобы
говорить о ее распределении, надо иметь вероятностную меру Р на (Q, ^),
то правильная постановка вопроса о существовании случайной величины
с заданной функцией распределения F(x) такова:
Существуют ли вероятностное пространство (Q, Р) и слу-
чайная величина £ = £(си) на нем такие, что
P{u>: e(cj)^x} = F(x)?
Покажем, что ответ на этот вопрос положительный и, в сущности, он
содержится в теореме 1 § 3.
Действительно, положим
П = /?, ^ =<£(/?).
Тогда из теоремы 1 § 3 следует, что на (/?, &8(R)) существует (и притом
единственная) вероятностная мера Р, для которой Р(а, b] = F(b)- F(a).
a<b.
Положим £(a;) = cu. Тогда
P{cu: £(о>) ^х} = Р{о>: cu^x} = P(—оо, x] = F(x).
Таким образом, требуемое вероятностное пространство и искомая случай-
ная величина построены.
2. Поставим теперь аналогичный вопрос для случайных процессов.
Пусть X = — случайный процесс (в смысле определения 3 § 5),
заданный на вероятностном пространстве (Q, Р) для t еТ CR.
С физической точки зрения наиболее важной вероятностной харак-
теристикой случайного процесса является набор {Г/,./я(хь ...,хл)} его
конечномерных функций распределения
Ft../„(*1. •••. x„) = P{w: ^xi, .... (1)
заданных для всех наборов t\, ..., tn с t\ < t? <... < tn-
Из (1) видно, что для каждого набора ..., tn с t\ <t2<...<tn
функции Ftl.tn(x\. ...,хп) являются и-мерными функциями распределения
(в смысле определения 2 § 3) и что набор {Ftl.tn (*i,..., xrt)} удовлетворяет
следующим условиям согласованности (ср. с (20) из § 3):
Ft..t„.tAx\. •••> 0°. •••, Х„) =
— Ft}।,/»+i 6i(xi, •••» Xh—\, Xft+i, xn). (2)
Естественно теперь поставить такой вопрос: при каких условиях семей-
ство {F/,.tn(*!,•••, хп)} функций распределения Ft[.tn(xi,..., хп) (в смыс-
ле определения 2 § 3) может быть семейством конечномерных функций
распределения некоторого случайного процесса? Весьма примечательно,
что все такие дополнительные условия исчерпываются условиями согла-
сованности (2).
Теорема 1 (Колмогорова о существовании процесса). Пусть
{Ftx...., хл)}, где ti е Г С/?, < /2 <... < tn, п \, —заданное се-
мейство конечномерных функций распределения, удовлетворяющих
условиям согласованности (2). Тогда существуют вероятностное
пространство (Q, &, Р) и случайный процесс X = (£t)ter такие, что
Р{ц>: ^xn} = Ft..,„(Х|, хп). (3)
Доказательство. Положим
П = /?г, =
т. е. возьмем в качестве пространства Q пространство действительных
функций cj = (cu/)/€T с а-алгеброй, порожденной цилиндрическими мно-
жествами.
Пусть г = j,..., tn],t\ < /2 < • • • < Тогда, согласно теореме 2 из § 3,
в пространстве (/?л, S8(Rn)) можно построить (и притом единственную)
вероятностную меру Рт такую, что
Pr{(^t....W/J: uh^xi, ...,ut„^xn} = Fh../л(Х1, .... хп). (4)
Из условий согласованности (2) вытекает, что семейство {Рт} также явля-
ется согласованным (см. (20) § 3). Согласно теореме 4 из § 3, на прост-
ранстве (RT, SS(RT)) существует вероятностная мера Р такая, что
Р{о>: (^,...,и;/я)€В} = Рг(В)
для всякого набора т = [/1, ..., /л], t\ <... < tn.
Отсюда следует также, что выполнено условие (4). Таким образом, в
качестве искомого случайного процесса X = (£/(си))/ег можно взять про-
цесс, определенный следующим образом:
/ет. (5)
□
Замечание 1. Построенное вероятностное пространство (RT, &(Rr), Р)
часто называют каноническим, а задание случайного процесса равен-
ством (5) — координатным способом построения процесса.
Замечание 2. Пусть (EQ, — полные сепарабельные метрические
пространства, а принадлежит произвольному множеству индексов 2L
Пусть {Рт} — набор согласованных конечномерных функций распре-
деления Рт, т= [аъ ..., ал], на (EQ| х ... х Еап, 0... ®&Qn). Тогда
существуют вероятностное пространство (П, &, Р) и семейство ^/^-из-
меримых функций (XQ(a;))Q€2i такие, что
Р{(ХЛ1,...Лая)еВ}=Рг(В)
для любых т= [аь ..., ал] и В eSax ®
Этот результат, обобщающий утверждение теоремы 1, следует из тео-
ремы 4 § 3, если положить П = П = Н и Ха(ш) =ша для каждого
CV=(^a), а ей.
Следствие 1. Пусть F[(x), Fz(x), ... -последовательность одно-
мерных функций распределения. Тогда существуют вероятностное
пространство (Q, Р) и последовательность независимых случай-
ных величин £i, ... такие, что
Р{а>: &(а>)О} = Л(х). (6)
В частности, существует вероятностное пространство (О, &, Р),
на котором определена бесконечная последовательность бернулли-
евских случайных величин (в этой связи см. п. 2 § 5 гл. I). В качестве
Q можно здесь взять пространство
П = {а>: cu = (ai, аг, ...), а£ =0или1}
(ср. также с теоремой 2).
Для доказательства следствия достаточно положить F\.п(х\,..., хп) =
— F\(x\)...Fn(xn) и применить теорему 1.
Следствие 2. Пусть Т = [0, оо) и {P(s, х\ t, В)} — семейство неотри-
цательных функций, определенных для s, t еТ, t > s, х eR, В е SS(R)
и удовлетворяющих следующим условиям'.
a) P(s, х\ t, В) является при фиксированных s,x и t вероятностной
мерой по В',
Ь) при фиксированных s, t и В P(s, х; t, В) является борелевской
функцией по х\
с) для всех ОО <t <т и В еS8(R) выполняется уравнение Колмо-
горова— Чепмена
P(s, х; г, В) = 5 P(S, х; /, dy) P(t, у; т, В). (7)
я
Пусть, кроме того, тг = %(•) — вероятностная мера на (R, SB(R)).
Тогда существуют вероятностное пространство (Q, &, Р) и
случайный процесс X = (С/)/^о ял я&и такие, что для О = /о<Л < ...
Р{&о<*о, ^х„} =
Хо XI Хп
= $ тг(^1/о) $ Р(0, t/0; Л, dy\)... P(tn-\,yn-\,tn,dyn). (8)
— сю —оо —оо
Так построенный процесс X называется марковским процессом с
начальным распределением л и системой переходных вероятностей
{P(s, х\ t, В)}.
Следствие 3. Пусть Г = {0, 1, 2, ...} и {Pk(x; В)} — семейство
неотрицательных функций, определенных для k^\, xeR, Be^(R)
и таких, что функция Рь(х', В) есть вероятностная мера по В (при
фиксированных k и х) и измерима по х (при фиксированных k и В).
Пусть, кроме того, л = тг(-) — вероятностная мера на (R, «^(/?)).
Тогда можно построить вероятностное пространство (Q, &, Р)
с семейством случайных величин X = {£о, • • } ял нем таких, что
Р{€о *0, £1 > •••♦&! С %п} 25
Xq Х[ Хп
= $ тг(^о) $ Pi(y0; dyt)... Рп(Уп-Г, dyn).
—оо —оо —оо
3. В соответствии со следствием 1 существует последовательность
независимых случайных величин &, &> •••» одномерные функции распре-
деления которых есть соответственно F\, F%, ...
Пусть теперь (Е\, £\) , (£2, ^2), ...— полные сепарабельные метриче-
ские пространства и Р\, Ръ, ... — вероятностные меры на них. Тогда из за-
мечания 2 следует, что существуют вероятностное пространство (Q, Р)
и последовательность независимых элементов Xi, Х2, ... такие, что Хп —
& /£п-измеримы и Р{ХЛ eB} = Prt(B), В eSn.
Оказывается, что этот результат остается справедливым и в том слу-
чае, когда пространства (Еп, £п) являются произвольными измеримыми
пространствами.
Теорема 2 (Ионеску Тулчи о продолжении меры и существова-
нии случайной последовательности). Пусть (Qn, &п), п = 1, 2, ...,—
произвольные измеримые пространства и П = П^л» =
Предположим, что на (Q|,^i) задана вероятностная мера Р\ и
для каждого набора (о>1, ..., vn) e Qi х ... х Qrt, п 1, на (Qrt+i, «^+1)
заданы вероятностные меры Р(щ\, ...,сил; •). Будем предполагать,
что Р(и^\, ..., ujn, В) для каждого Ве&п+\ являются измеримыми
функциями от (wi.....о>„), и пусть
РлИ1 х ••• х^п)= $ P\(du>\) d^2)... 5 /’(wj, wn-i;
A I ^2 Ап
Ait Я, n>\. (9)
Тогда на (Q, существуют единственная вероятностная мера
Р такая, что для любого п 1
Р{о>: о>1 Е/li, ..., ЕАп} = Рп(А\ х ... х Ап), (10)
и случайная последовательность X = (Xi(o>), •••) такая, что
Р{а>: Х{(ш)еА{, ...,Хп(ш)еАп} = Рп(А{ х...хДД (11)
где AiE^.
Доказательство. Первый шаг в доказательстве состоит в установ-
лении того, что для каждого п>\ функцию множеств Рп, заданную на
прямоугольниках Aj х ... х Ап с помощью равенства (9), можно продол-
жить на а-алгебру 0... 0 с^л.
С этой целью для каждого О 2 и В е 0... 0 положим
Рп(В)= Pj(dujj) § Р(Щ\\ duj2)... • ’ ^-2; da>n_[)x
Qi П2 Оя— 1
X 5 wn)P(wj, cvrt_i; dwn). (12)
Qn
Нетрудно видеть, что для В = A i х ... х Ап правая часть в (12) совпадает
с правой частью в (9). Кроме того, для п = 2 так же, как и в теореме 8
§ 6, показывается, что Р2 является мерой. Отсюда по индукции легко
устанавливается, что Рп являются мерами для произвольного п 2.
Следующий шаг в доказательстве такой же, как и в теореме Колмо-
горова о продолжении меры в (/?°°, ^(/?°°)) (теорема 3 § 3). А именно,
для всякого цилиндрического множества /rt(B) = {a>eQ: (cui, ...,cvrt)eB},
Ве&\ определим функцию множеств Р с помощью равенства
Р(/Л(В)) = РЛ(В). (13)
Используя (12) и то обстоятельство, что Р(ш\, ..., •) являются мерами,
нетрудно установить, что определение (13) корректно в том смысле, что
значение Р(/Л(В)) не зависит от способа представления цилиндрического
множества.
Отсюда вытекает, что функция множеств Р, определенная в (13) для
цилиндрических множеств и, очевидным образом, на алгебре, содержа-
щей все цилиндрические множества, является на этой алгебре конечно-
аддитивной мерой. Остается проверить ее счетную аддитивность на этой
алгебре и затем воспользоваться теоремой Каратеодори.
В теореме 3 § 3 осуществление указанной проверки основывалось на
том свойстве пространств (Rn, S8(Rn)), что для каждого борелевского мно-
жества В можно найти компакт А С В, вероятностная мера которого сколь
угодно близка к мере множества В, В рассматриваемом случае этот момент
доказательства видоизменяется следующим образом.
Пусть, как и в теореме 3 § 3, {Вп}п^ \ — последовательность цилиндри-
ческих множеств
= {о>: (o>i, ..., шп)еВп},
убывающих к пустому множеству 0, но
lim Р(Вл)>0. (14)
Л—*ОО
Из (12) для п> 1
Р(В„)= $
Qi
где
/л1)(^1)= $ da)2) ••• $ ..., divn).
Q2 Г2Я
Поскольку Bn+i СВп, то Вл+1 С Вп х П„+1 и, значит, /в„+1 (ш\,..., wn+i)
..., wn)/Qn+1(wn+i). Поэтому последовательность функций
является убывающей. Пусть ) = lim fn\u>i). Тогда по
теореме о мажорируемой сходимости
lim P(B„) = lim $ ^1>(a;1)P1(dW1)= P((dW1).
П П Qi Qi
По предположению lim Р(Вл)>0. Отсюда следует, что найдется такое
что /(1)(^)>0, поскольку если точка o>i ^Bi, то fn\wi) = 0 для
всех л > 1.
Далее, для п > 2
/Р("2)М;^), (15)
где
/л2)(^)= $ P(w°,W2;dw3)... 5 /e„(w?,W2, ...,w„)P(w°,W2, ...,wn_i;dwfl).
П3 пл
Как и в случае последовательности {fn4&\)}, устанавливается, что
последовательность {/л2)(о^)} является убывающей. Пусть f№(wz) =
= lim /л2)(с^2)- Тогда из (15) следует, что
л—>оо
0</(1>(и;?)= $ /(2’(си2)М;^2).
и найдется такая точка что При этом (ojJ, o£)gB2.
Продолжая указанный процесс, получим, что для любого п найдется точка
(cv®,..., е Вп. Следовательно, точка (^,..., ...) е П Вл, но в то же
время, по предположению, (") Вп — 0. Полученное противоречие показы-
вает, что lim Р(ВЛ) = О.
Итак, утверждение теоремы в части, касающейся существования веро-
ятностной меры Р, доказано. Заключительная часть очевидным образом
следует из предыдущей, если положить Хп(а>) = шп, п 1. □
Следствие 4. Пусть (Еп, £п)п>\ — произвольные измеримые про-
странства и (Рп)п>\ ~ вероятностные меры на них. Тогда суще-
ствуют вероятностное пространство (Q, Р) и семейство неза-
висимых случайных элементов Xi, ••• со значениями в измеримых
пространствах (Еь £\), (Ег, <%), • •• соответственно, такие, что
Р{ш. хп(и)еВ} = Рп(В), Ве#п, п>\.
Следствие 5. Пусть Е = {1, 2, {р^(х, у)}, 1, х, уеЕ,— семей-
ство неотрицательных функций таких, что 22 £*(*,//)=!, хеЕ,
у^е
k^\. Пусть, кроме того, 7г = тг(-) — распределение вероятностей
на Е (тг(х)^О, 22 тг(х) = 1).
хЕЕ
Тогда существуют вероятностное пространство (О, &, Р) и се-
мейство случайных величин X = {£о, ...} на нем такие, что
Р{€о=хо, 6 = хь ...» €л=хл} = 7г(х0)Р1(х0, xi)...pn(xn_i,xn) (16)
(ср. с (4) § 12 гл. I) для всех XieE и п^\. В качестве Q можно взять
пространство
Q—{cu: си = (хо, Х\, ...), XiEE}.
Последовательность X = {£о» •••} случайных величин, удовлетворя-
ющих условию (16), называют марковской цепью со счетным множеством
состояний Е, с матрицами переходных вероятностей {pk(x, у)} и начальным
распределением вероятностей тг. (Ср. с определением в § 12 гл. I и с
определениями в § 1 гл. VIII.)
Н - 9727
4. Теорема Колмогорова (теорема 1) утверждает существование про-
цесса с заданной системой согласованных конечномерных функций рас-
пределения. При этом ее доказательство требует обращения к канониче-
скому вероятностному пространству, а сами процессы строятся коорди-
натным образом, что само по себе говорит о сложности устройства их
траекторий.
С этой точки зрения значительный интерес представляют случаи кон-
структивного построения случайных процессов с заданными свойства-
ми, при этом с минимальным использованием «вероятностных структур».
Для демонстрации таких возможностей обратимся к так называемым
процессам восстановления. (Их частный случай — процесс Пуассона; см.
§ 10 гл. II.)
Пусть (аь аг, ...) —последовательность независимых одинаково рас-
пределенных положительных случайных величин с функцией распреде-
ления F = F(x). (Существование такой последовательности гарантируется
следствием 1 к теореме 1.)
По последовательности (ai,<J2, ...) образуем новую последователь-
ность (То, Л, ...) с 7о = О и
Тп = o’i + ... + ал, п^\.
Для наглядности будем интерпретировать момент Тп как момент появле-
ния n-го, скажем, вызова (например, телефонного). Тогда ап описывает
длительность времени между (п- 1)-м и п-м вызовами.
Процессом восстановления принято называть случайный процесс
W = (^)/^о с (конструктивно заданными) величинами
оо
^=^/(7’лС0- (17)
Л=1
Понятно, что Nt можно было бы определить и так:
Nt = max{n: Тп < /}, (18)
т. е. Nt —- это число вызовов, поступивших на интервале (0, /]; при этом
очевидно, что
{Nt>n} = {Tn^t}. (19)
Эта простая формула весьма полезна, поскольку она позволяет сводить
рассмотрения о вероятностных свойствах процесса N = (Nt)t^ к изучению
свойств величин Тп = ст\ + ... + ал, являющихся суммами независимых слу-
чайных величин аь ..., ал, /г> 1 (см. п. 4 § 3 гл. IV и п. 4 § 2 гл. VII).
Из формулы (17) сразу вытекает, что функция восстановления m(t) =
= ENt, определяется по функциям распределения Fn(t) = P(Tn^t)
следующим образом:
m(t) = Y,Fn(t). (20)
Л=1
5. Задачи.
1. Пусть Q = [0, 1], & — класс борелевских множеств на [0, 1 ], Р —
мера Лебега на [0, 1]. Показать, что пространство (Q, Р) является
универсальным в том смысле, что для любой функции распределения Е(х)
на (Q, &, Р) можно так определить случайную величину £ = £(а;), что ее
функция распределения Р$(х) = Р{£^х} совпадает с функцией Е(х). (Ука-
зание: ^(cj) = F“1(cv), где F“1(cj) = sup{x: F(x)<cv}, 0 < cu < 1, a f(0), £(1)
могут быть взяты произвольными.)
2. Проверить согласованность семейств распределений в следствиях к
теоремам 1 и 2.
3. Вывести утверждение следствия 2 к теореме 2 из теоремы 1.
4. Пусть Fn — функции распределения величин Тп, п^\ (из п. 4).
t
Показать, что Ел+|(/) = $ Fn(t -s)dF(s), п 1, где F[ = F.
о
5. Показать, что P{Nt — n} — Fn(t) - Frt+i(0 (см. О7))-
6. Показать, что введенная выше в п. 4 функция восстановления m(t)
удовлетворяет уравнению восстановления
t
m(t) = F(f) + x) dF(x). (21)
0
7. Показать, что в классе функций, ограниченных на конечных интер-
валах, единственным решением уравнения (21) является функция, опреде-
ляемая формулой (20).
8. Пусть Т — произвольное множество.
(i) Предположим, что для каждого t е Т задано некоторое вероятност-
ное пространство (Q,, РД Положим Q= П П/, «^= Н Доказать,
ter ter
что на (Q, <F) существует и единственна вероятностная мера Р такая, что
Р(П В')=П р<в')-
\/€Т / tET
где В/ е/ е 7, и В/ =П/ для всех индексов /, за исключением конечного
числа. (Указание. Задать Р на подходящей алгебре и воспользоваться
методом доказательства в теореме Ионеску Тулчи.)
(ii) Пусть для каждого t 6 Т заданы измеримое пространство (Е/, и
вероятностная мера Р/ на нем. Доказать, что существуют вероятностное
пространство (Q, Р) и независимые случайные элементы (Х/)/ет такие,
что Xt являются & /St-измеримыми и Р{А7 еВ} = РДВ), Ве<^.
§ 10. Разные виды сходимости последовательностей
случайных величин
1. Как и в математическом анализе, в теории вероятностей приходится
иметь дело с разными видами сходимости случайных величин. Ниже будут
рассмотрены следующие основные виды сходимости: по вероятности,
с вероятностью единица, в среднем порядка р, по распределению.
Начнем с определений. Пусть £4г, ••• — случайные величины, за-
данные на некотором вероятностном пространстве (Q, &, Р).
Определение 1. Последовательность случайных величин Ci, •
(обозначаемая также {£п}, {£л}л>1 или (£п), (£л)л^1) называется сходя-
р
щейся по вероятности к случайной величине £ (обозначение: £л-4)»
если
Р{|€«-£| >£}-0, л-юо (1)
для любого е > 0.
С этим видом сходимости мы уже встречались в связи с законом боль-
ших чисел в схеме Бернулли, утверждающим, что
р{|~ — р| “►О’ я—юо
(см. обозначения в § 5 гл. I). В анализе этот вид сходимости принято
называть сходимостью по мере.
Определение 2. Последовательность случайных величин Ci, €2,
называется сходящейся с вероятностью единица (почти наверное,
почти всюду) к случайной величине 6 если
Р{ог. 6,41 = 0, (2)
т. е. если множество исходов и>, для которых 6,М не сходятся к £(uj),
имеет нулевую вероятность.
Этот вид сходимости обозначают по-разному:
6i-4 (Р-п.н.), или £л 4 (п. н.), или 6,-^6 или 6,-^4
Определение 3. Последовательность случайных величин 6» €2» •••
называется сходящейся в среднем порядка р, 0<р<оо, к случайной
величине 6 если
Е|6п-€1р~>0, л->оо. (3)
В анализе этот вид сходимости называют сходимостью в смысле Lp.
Lp
В этой связи (3) обычно записывают в виде 6, -4 - В частном случае р = 2
эту сходимость называют также сходимостью в среднем квадратическом
и пишут £ = Li.m. £п (1. кт.— сокращение от limit in mean — сходимость в
среднем).
Определение 4. Последовательность случайных величин f i, • • • на-
зывается сходящейся по распределению к случайной величине £ (обозна-
чение: С £п £; d — от distribution — распределение, law — закон),
если для любой ограниченной непрерывной функции f = f(x)
ЕШ-Е/К), л-юо. (4)
Наименование этого вида сходимости объясняется тем, что, как будет по-
казано в § 1 гл. III, условие (4) эквивалентно сходимости функций распре-
деления F^n(x) к функции распределения F$(x) в каждой точке %, где функ-
ция F$(x) непрерывна (сходимость в основном; обозначение: F^n =^F^).
Подчеркнем, что сходимость по распределению случайных величин
определяется только в терминах сходимости их функций распределения.
Поэтому об этом виде сходимости имеет смысл говорить и тогда, когда
случайные величины заданы на разных вероятностных пространствах.
Этот вид сходимости будет подробно изучаться в гл. III, где, в частности,
будет объяснено, почему в определении сходимости F$n => F$ требуется
сходимость лишь в точках непрерывности функции F$(x), а не для всех х.
2. В математическом анализе для решения вопроса о сходимости
(в том или ином смысле) заданной последовательности функций ока-
зывается полезным понятие фундаментальной последовательности, или
последовательности Коши. Введем аналогичные понятия для первых
трех рассмотренных видов сходимости последовательностей случайных
величин.
Будем говорить, что последовательность случайных величин {£л}л>1
(или просто {£л}) фундаментальна по вероятности, с вероятностью
единица или в среднем порядка р, 0<р<оо, если выполнены соот-
ветственно следующие условия: для любого е>0 Р{|£л — £ш| >0,
п,т—*оо; последовательность {£л(о>)}л^1 фундаментальна для почти
всех о/eQ; последовательность функций {£л(о;)}л->1 фундаментальна в
смысле Lp, т.е. Е|£л — £т\р —► 0, п, т—>оо.
3. Теорема 1. а) Для того чтобы (Р-п. н.), необходимо и
достаточно, чтобы для любого г>0
p{sup поо. (5)
b) Последовательность {£л}л> i фундаментальна с вероятностью
единица тогда и только тогда, когда для любого е > 0
Р{ sup |&-£/|^Д->0, п—*оо, (6)
или, что эквивалентно,
P(sup |£л+*-£л|^Л->0, м —* оо. (7)
Доказательство, а) Пусть = |£л- £|^е}, Д£ = НтД^ =
= П U Ak- Тогда
л=1 k^n
U ле=и А'/т-
£>0 т=1
Но
Р(/И) = НгпР(и
П \k^n J
поэтому утверждение а) является результатом следующей цепочки импли-
каций:
Р{<*>: &/Ч} = 0 <=► Pf U 4е) =° <=> Р f U л1/т) =0
\£>0 / \/И=1 /
«ф. Р(Л1/т) = 0, т^ \ & Р(Ле) = 0, £>0 о
р( Il -*0, я~*оо, е>0 pfsup /г—»оо, е>0.
\l&n J J
b) Обозначим Bfa = {u>: |& - £ | > г}, В£ = Q |J В£,. Тогда {о,: {$, (w)}
n=l k^n
l^n
не фундаментальна}— |J В£, и так же, как в а), показывается, что
е>0
Р{^’ нефундаментальна} = 0 4^ (6). Эквивалентность же утвер-
ждений (6) и (7) следует из очевидных неравенств
sup К„+* - | sup |<„+* - £n+i I с 2 sup I&+* - I. □
Следствие. Поскольку
р {sup & - ei > Л=р (U - si > Е p<ie* - ei >
J \k^n J
то выполнение для каждого e > 0 условия
EP{|e*-CI>e}<00 (8)
£=!
достаточно для сходимости (Р-п. н.).
В связи с условием (8) уместно сейчас отметить, что положенные при
его выводе рассуждения позволяют установить следующий простой, но
важный результат, являющийся основным средством при исследовании
свойств, выполняющихся с вероятностью единица.
Пусть Д], Д2, • •• — некоторая последовательность событий из &. На-
помним (см. табл. 1 в § 1), что через {Дл б. ч.} обозначается событие lim Дл,
состоящее в том, что произойдет бесконечное число событий из Д i, Д2, ...
Лемма 1 (Бореля—Кантелли), а) Если 22 Р(Дл)<оо, то вероят-
ность Р{ДЛ б. ч.} = 0.
Ь) Если 22 Р(Дл) = оо и события Дь Дг, • • независимы, то веро-
ятность Р{ДЛ б. ч.}= 1.
Доказательство, а) По определению
оо
{A, 6.4.} = iim4„=Q |J Ak.
п=1 k^>n
Поэтому
P{A б. ч.} = Р ( П U Л* j = lim Р ( U А Л < lim £ Р(Л *),
\л=1 k^n / \ k^n / k^n
откуда и следует утверждение а).
Ь) Если события Дь Дг, ... независимы, то таковыми же будут и
события Дь Д2, ... Тогда для любого N
(N \ N
П^)»П
k—n / £=л
откуда нетрудно вывести, что
(оо \ оо
Грл)=При*)- о)
k=n / k—n
В силу неравенства ln( 1 — х) —х, 0 х < 1,
оо оо оо
Ш п П - ри*)1=£>[!- ри*)1 < - Е р<л*>=-°°-
k—n k=n k=n
Следовательно, для любого п
р(п л*)=°
и, значит, Р{Лл б. ч.} = 1.
□
Следствие 1. Если Аеп = {и: |£л - £| е}, то условие (8) означает,
оо
что РИл) <оо, £>0, и по лемме Бореля—Кантелли Р(Ае) = 0, е>0,
Л=1 __
где Ае = lim Ае„ (= {Л* б. ч.}). Тем самым
£Р{|О-0>е}<оо, е>0 => Р(Д£) = 0, е>0 Р{а>:О/>О = 0,
6=1
что уже отмечалось выше.
Следствие 2. Пусть {еп}п^\ — последовательность положитель-
ных чисел таких, что еп 10, п —> оо. Тогда, если
£р{|О-0>^}<оо, (Ю)
Л=1
U. П.Н. U.
—► £.
В самом деле, пусть Ап = {|£л — CI ^^л}« Тогда по лемме Бореля—Кан-
телли Р{Лл б. ч.} = 0. А это означает, что для почти каждого исхода ujeQ
найдется такое W = /V(o>), что для п^И(щ) |СлМ“£М1 Но еп 10,
поэтому СлМ —►СМ ДЛЯ почти всех wеQ.
4. Теорема 2. Имеют место следующие импликации:
о^Ч => о-^о (И)
О^£ => О-Ч. р>0, (12)
О-Ч =* ОЧ- (13)
Доказательство. Утверждение (И) следует из сравнения определе-
ния сходимости по вероятности с критерием (5), а импликация (12) —из
неравенства Чебышева.
Докажем теперь импликацию (13). Пусть f(x) — непрерывная функ-
ция, \f(x)\ ^с, е>0 и N таково, что Р{|£| >А/}^е/(4с). Выберем 6 та-
ким, чтобы для всех |х| N и было выполнено неравенство
|Дх) - f(y)\^е/2. Тогда (ср. с «вероятностным» доказательством теоремы
Вейерштрасса в п. 5 § 5 гл. 1)
Е|/(О) - /(01 = Е(|/(О) - /(01; 10 - 0 <5.10 < М +
+ Е(|/(О) - /(01; 10 -0 3, Ю > м + Е(|/(О) - /(01; 10 -0 >О С
е/2 + е/2 + 2сР{|0 - 0 > О = £ + 2сР{|О - 0 > <*}•
Но Р{|0 ~0 поэтому для достаточно больших п E\f(£n) - /(01
2е, что в силу произвольности г > 0 доказывает импликацию (13). □
Приведем ряд примеров, показывающих, в частности, что в (11), (12)
обратные импликации, вообще говоря, несправедливы.
пример 1 иЛе л еЛе л пусть п=[о, ц,
jr = ^([0, 1]), Р —мера Лебега. Положим
4« = PiM]’ ' = 1.2,-.л; п^\.
Тогда последовательность случайных величин
{€1';€М22;<из2,£з3; • ••}
сходится и по вероятности, и в среднем порядка р > 0, но не сходится ни
в одной точке cvC [0, 1].
Пример 2 4= р>0). Снова пусть П =
= [0, 1], с^ = ^([0, 1]), Р —мера Лебега и
Ш = <
ел,
0,
\/п,
О) > \/п.
Тогда последовательность {£„} сходится с вероятностью единица (и, сле-
довательно, по вероятности) к нулю, однако для любого р > 0
рпр
Е|€«|/’ = — -ЮО, л-юо.
Пример 3 И" Пусть {£„} — последовательность
независимых случайных величин с
Р{& = 1} = рл, Р{€« = 0}= 1 - рп.
Тогда нетрудно установить, что
бЛо 4> рл->о, п—>ОО, (14)
О оо п —>оо, (15)
4> 52 рп< Л=1 :оо. (16)
LP п.н.
В частности, при рп = \/п £п —> 0 для любого р > 0, но -/-> 0.
В следующей теореме выделяется один интересный случай, когда из
сходимости почти наверное следует сходимость в смысле L1.
Теорема 3. Пусть {£п}п>\ — последовательность неотрицатель-
ных случайных величин таких, что и Е£л —> Е£ < оо. Тогда
ЕКл-СНО, n->oo. (17)
Доказательство. Для достаточно больших п Е£л < оо, поэтому для
них
Е|£ - £„| = Е(£ - + Е(е„ - £)/{е„>е} = 2Е« - £л)/(^л) + Е(е„ - О.
Но 0 (£ - ^nV{^n} С €• Тогда по теореме о мажорируемой сходимости
lim Е(£ -£л)/{^я) =0, что вместе с предположением Е£л —*Е£ доказыва-
ет (17). □
Замечание. Теорема о мажорируемой сходимости (теорема 3 § 6)
справедлива и тогда, когда в ней сходимость почти наверное заменяется на
сходимость по вероятности (см. задачу 1). Поэтому в теореме 3 сходимость
«£л —>£» можно заменить на сходимость «£л —>£».
5. Из математического анализа известно, что всякая фундаментальная
числовая последовательность {хл}, хп 6R, является сходящейся (критерий
Коши). Приведем аналогичные результаты для сходимости последователь-
ности случайных величин.
Теорема 4 (критерий Коши сходимости почти наверное). Для то-
го чтобы последовательность случайных величин {£л} была сходя-
щейся с вероятностью единица (к некоторой случайной величине £),
необходимо и достаточно, чтобы она была фундаментальна с ве-
роятностью единица.
Доказательство. Если £л £, то
sup [£*—Czi^sup iefc-ei+suP i^-ei,
k^nj^n k^n Г^п
откуда (см. теорему 1) вытекает необходимость условия теоремы.
Пусть теперь последовательность {£л} фундаментальна с вероятностью
единица. Обозначим = {£л(о>)} не фундаментальная}. Тогда для
всех числовая последовательность {&№)} является фундамен-
тальной и, согласно критерию Коши для числовых последовательностей,
существует lim £л(си). Положим
Нт £л(о>),
0,
Е Q \ е/К,
cv 6 «/К.
(18)
Так определенная функция является случайной величиной и, очевидно,
□
Прежде чем переходить к случаю сходимости по вероятности, устано-
вим следующий полезный результат.
Теорема 5. Если последовательность {£л} фундаментальна (схо-
дится) по вероятности, то из нее можно извлечь подпоследова-
тельность {£ЛД фундаментальную (сходящуюся) с вероятностью
единица.
Доказательство. Пусть последовательность {£п} фундаментальна по
вероятности. В силу теоремы 4 достаточно доказать, что из нее можно
извлечь подпоследовательность, сходящуюся почти наверное.
Положим п\ = 1 и по индукции определим rik как то наименьшее
п > для которого при всех s^n, t^n
Р{|£/-&|>2-*}<2-*.
Тогда
£P{|^+1-UI>2-*}<£2-*<oo
k
и по лемме Бореля—Кантелли
P{|U+1-Ul>2-ft б. ч.} = 0.
Поэтому с вероятностью единица
У? 1€л*+1 “ 6и1 < °°-
k=\
Пусть сЖ = {и;: £ 1€л*+| “6J = оо}. Тогда, если положить
{оо
6>. М + £ М - М). ы € Q \ Л,
0, w € Л
то получим £Пк —>
Если же исходная последовательность сходится по вероятности, то она
и фундаментальна по вероятности (см. далее (19)) и, следовательно, этот
случай сводится к уже разобранному. □
Теорема 6 (критерий Коши сходимости по вероятности). Для то-
го чтобы последовательность случайных величин {£„} была сходя-
щейся по вероятности, необходимо и достаточно, чтобы она была
фундаментальна по вероятности.
р
Доказательство. Если —>£, то
Р {1€л - €т| > е} С Р{|£„ - £| > е/2} + Р {|<т е/2} (19)
и, значит, последовательность {£л} фундаментальна по вероятности.
Обратно, если {£п} фундаментальна по вероятности, то тогда, согласно
теореме 5, найдутся подпоследовательность {£nk} и случайная величина £
л. П.Н. Т I
такие, что . Но тогда
р{& - €| > е} < Р{|€л - UI > е/2} + Р{|^ - €1 > е/2},
р
откуда ясно, что —> £. □
В связи со сходимостью в среднем порядка р >0 сделаем прежде всего
несколько замечаний о пространствах Lp.
Будем обозначать через LP = LP(Q. &. Р) — пространство случайных
величин f = £(cu) с E|f|p = § |£|р dP < оо. Предположим, что 1 и поло-
Q
жим
Н11р = (Е|€1р)1/₽.
Ясно, что
11€11р>0, (20)
Н1Ь = |с| 11€11р. с — постоянная, (21)
и в силу неравенства Минковского (31) § 6
lie+^<lkll, + lhU (22)
Таким образом, в соответствии с известными определениями функцио-
нального анализа функция || • ||р, определенная на Lp и удовлетворяющая
условиям (20)—(22), является (для р 1) полунормой.
Чтобы она была и нормой, нужно еще выполнение свойства
1Кц,=о е=о, (23)
которое, конечно, вообще говоря, не выполнено, поскольку, согласно свой-
ству Н (§ 6), можно утверждать лишь, что £ = 0 не тождественно, а только
почти наверное.
Это обстоятельство приводит к несколько иному взгляду на простран-
ство Lp. Именно, свяжем с каждой случайной величиной £eLp класс [£]
эквивалентных ей случайных величин из Lp (£ и tj эквивалентны, если
£ = почти наверное). Нетрудно убедиться, что свойство эквивалентности
рефлексивно, симметрично и транзитивно, а значит, линейное пространство
Lp можно разбить на взаимно непересекающиеся классы эквивалентных
между собой случайных величин. Если теперь под [£р] понимать сово-
купность всех таких классов [£] эквивалентных между собой случайных
величин £ 6 Lp и положить по определению
[£] + hl = [€ + »?],
а[£] = [а£], а — константа,
то [Lp ] становится линейным нормированным пространством.
В функциональном анализе об элементах пространства обычно
принято говорить не как о классах эквивалентных функций, а просто как
о функциях. В этом смысле мы не будем вводить нового обозначения [Lp]
и впредь под Lp будем понимать именно множество классов эквивалент-
ных функций, по-прежнему называя их просто элементами, функциями,
случайными величинами...
Один из важных результатов функционального анализа состоит в до-
казательстве того, что пространства Lp, 1, являются полными, т. е.
всякая фундаментальная последовательность является сходящейся. Сфор-
мулируем и докажем этот результат на вероятностном языке.
Теорема 7 (критерий Коши сходимости в среднем порядка 1).
Для того чтобы последовательность случайных величин {£„} из Lp
сходилась в среднем порядка р^\к случайной величине, принадле-
жащей Lp, необходимо и достаточно, чтобы эта последователь-
ность была фундаментальной в среднем порядка р.
Доказательство. Необходимость следует из неравенства Минков-
ского. Пусть {£л} — фундаментальна (||£л - 6и||р —>0, п, т—>оо). Как и
в доказательстве теоремы 5, выберем подпоследовательность {£Пк} такую,
что ^nk где £ — некоторая случайная величина с ||£||р < оо.
Положим П\ — \ и по индукции выберем п* как то наименьшее п > nk-1,
для которого при всех s > п, t^n
||6-&||,<2-2*.
Обозначим
Ak = {^. |U+I-U|^2-*}.
Тогда в силу неравенства Чебышева
р/д \ Е|£л*+1 — 2 2kp cj-kp < Q-k
Так же, как в теореме 5, отсюда выводится, что существует такая случайная
величина £, что £nk
Выведем отсюда, что ||£л — £||р —>0, п —>оо. С этой целью зафиксируем
£>0 и выберем N =N(e) таким, что ||£л -£т||р <е для всех n^N, m^N.
Тогда для любого фиксированного п N в силу леммы Фату (§ 6)
E|e„-€lp = е{ lim K„-^r} = E{ lim
lim E|cn-cnJ₽= lim
л*—>oo л*—>oo
Следовательно, Е|£л -£|р —>0, и-*оо. Ясно также, что поскольку £ =
= (€ ~€л) + 6п то в силу неравенства Минковского Е|£|р < оо. □
Замечание 1. В соответствии с терминологией функционального ана-
лиза полные нормированные линейные пространства называются банахо-
выми пространствами. Таким образом, пространства Lp, 1, являются
банаховыми.
Замечание 2. Если 0<р<1, то ||£||р = (Е|^|р)!/р не удовлетворяет
неравенству треугольника (22) и, следовательно, не является нормой. Тем
не менее пространства (классов эквивалентности) Lp, 0< р < 1, являются
полными относительно метрики d(£, rj) = Е|£- т/|р.
Замечание 3. Обозначим L°° = L°°(Q, Р) пространство (классов
эквивалентности) случайных величин £ = £(а>), для которых Ц^Цоо <оо, где
величина ||$||оо» называемая существенным супремумом определяется
формулой
ll€ II оо = ess sup |£| = inf{0 с оо: Р(|£| > с) = 0}.
Функция || • Цоо является нормой, и относительно этой нормы простран-
ство £°° является полным.
6. Задачи.
1. Используя теорему 5, показать, что в теоремах 3 и 4 из § 6 сходи-
мость почти наверное может быть заменена сходимостью по вероятности.
2. Доказать, что пространство £°° полно.
3. Показать, что если и втоже время £п -^>77, то £ и г) эквива-
лентны (в том смысле, что Р{£ / rj} = 0).
4. Пусть rjn^Tj и случайные величины £ и 77 эквивалентны.
Показать, что для любого е > 0
P{|6i-tyi|^}->0, л-юо.
5. Пусть т)п Показать, что если <р = <р(х, у) — непрерывная
функция, то (р(£п, 77) (лемма Слуцкого).
6. Пусть (£п — £)2 Д 0. Показать, что £2 £2.
7. Показать, что если С, где С — постоянная, то имеет место и
сходимость по вероятности:
$Лс => $п^с.
8. Пусть последовательность {£л}л>1 такова, что для некоторого р >0
оо
Е|£л|р <оо. Показать, что —>0 (Р-п. н.).
Л=1
9. Пусть {Сл}л^1 — последовательность одинаково распределенных слу-
чайных величин.
Доказать, что
оо
Е|<1|<оо <=> P{|€i|>en}<oo, е>0
Л=1
4» f р{|^|>4<оо, £>о (Р-п н.).
Л=1
10. Пусть {Cibi^i — некоторая последовательность случайных величин.
Предположим, что существуют случайная величина £ и подпоследователь-
ность {nk} такие, что -> £ (Р-п. н.) и max |£/ - | -4 0 (Р-п. н.)
при k —>оо. Показать, что тогда £л —(Р-п. н.).
11. Определим «d-метрику» в множестве случайных величин, полагая
и отождествляя случайные величины, совпадающие почти наверное. По-
казать, что d = d(£, т/) действительно задает метрику и сходимость по ве-
роятности эквивалентна сходимости в этой метрике.
12. Показать, что не существует метрики в множестве случайных вели-
чин такой, что сходимость в ней эквивалентна сходимости почти наверное.
13. Пусть Xi ^Хг^ ... и Хп —-* X. Показать, что Хп —>Х (Р-п.н.).
14. Пусть Хл—>Х (Р-п.н.). Тогда и п~х Xk~+X (Р-п.н.) (сумми-
k=\
рование по Чезаро). Показать на примере, что сходимость Р-п.н. нельзя
заменить на сходимость по вероятности.
15. Пусть (Q, Р) — вероятностное пространство и Хп —>Х. Пока-
зать, что если мера Р является атомической, то Хл—>Х также и с веро-
ятностью единица. (Множество Ле^ называется Р-атомом, если для
всякого Ве^ или Р(ВПЛ) = Р(Л), или Р(ВПЛ) = 0. Мера Р называется
атомической, если существует счетное семейство {Лл} непересекающихся
/ оо \
Р-атомов таких, что РI |J Ап 1 = 1.)
\п=1 /
оо
16. Согласно (первой) лемме Бореля—Кантелли, если Р(1€л| >е) <
Л=1
<оо для е > 0, то последовательность £л —>0 (Р-п. н.). Дать пример, по-
казывающий, что сходимость Сл—>0 (Р-п. н.) может иметь место и при
условии £ Р(|£л | > е) = оо, б>0.
п=1
17. (Ко второй лемме Бореля—Кантелли.) Пусть П = (0, 1), =
= £?((0, 1)), Р — лебегова мера. Рассмотрим события Ап = (0, 1/п). Пока-
зать, что 52 Р(Лл) = оо, но каждое ы из (0, 1) может принадлежать только
конечному числу множеств Ль Лцдф т. е. Р{ЛП б. ч.} = 0.
18. Привести пример последовательности случайных величин такой, что
с вероятностью единица lim sup ^л=оо, lim inf £п = —оо, но тем не менее
. Р
существует случайная величина ту такая, что —*ту.
19. Пусть Q есть не более чем счетное множество. Доказать, что если
то (Р-п. н.).
оо
20. Пусть Ль Л2, ... — независимые события и 52 Р(Лл)<оо. Дока-
Л=1
п
зать, что для Sn = 52 /Ил) справедливо усиление «второй леммы Бореля—
л=1
Кантелли»:
lim^- = l (Р-п. н.).
п Ьол
21. Пусть (Хл)л>1 и (Ул)л^1 — две последовательности случайных ве-
личин, у которых совпадают все конечномерные распределения (Fxb.„x =
= Fy1..уя, л>1). Пусть Хп^-*Х. Доказать, что тогда имеет место сходи-
р
мость Yn —> Y к некоторой случайной величине У, распределение которой
совпадает с распределением X.
22. Пусть (Хл)л>1 — последовательность независимых случайных вели-
р
чин таких, что Хп —для некоторой случайной величины X. Доказать, что
X является вырожденной случайной величиной.
23. Показать, что для каждой последовательности случайных величин
€2» ••• можно найти такую последовательность констант ai, аг>
что^л/а„->0 (Р-п. н.).
24. Пусть £1, £2, ••• — последовательность случайных величин и Sn =
= £1 + • • • + я 1 • Показать, что множество {Sn —>}, т. е. множество тех
где ряд 52 &М сходится, может быть представлено в следующем
k^\
виде:
{5„-}=Г| U Q {suplSf-S^AT1}.
т^\ k^m
Соответственно, множество где ряд 52 &М расходится, пред-
k^\
ставимо в виде
{Sn74=U П U {sup |S/-SA|>/V-'}.
/V>1 k^m l^k
25. Доказать следующий вариант второй леммы Бореля—Кантелли
(утверждение Ь) в лемме 1): пусть Ait А2, ... — произвольные (не обяза-
тельно независимые) события такие, что
оо S Р(Л<пЛЛ)
У'Р(Лл) = оо и lim inf 4^--------1;
п Е Р(Л*)12
J
тогда Р(Лл б. ч.) = 1.
26. Показать, что во второй лемме Бореля—Кантелли вместо неза-
висимости событий Д1, Л2, ... достаточно требовать лишь их попарную
независимость.
27. Доказать следующий вариант закона нуля или единицы (ср. с за-
конами нуля или единицы в § 1 гл. IV): если события Ль Л2, ... попарно
независимы, то
р(л 6. ,.)=(?г “
1, если 23 Р(Л„) = оо.
28. Пусть Ль Л2, ... — произвольная последовательность событий
таких, что ПтР(Лл) = 0 и £ Р(ЛлпЛл+1) <оо. Доказать, что тогда
п п
Р{Лл б.ч.} = 0.
29. Доказать, что если £ Р{|€л|>я}<оо,тоПтзир(|^л|/п)^ 1 (Р-п.н.).
п п
30. Пусть £„ (Р-п. н.), Е|£„| < оо, п 1, и inf Е£л > -оо. Показать,
п
что тогда £п Л i, т. е. Е|£л - 0.
31. В связи с леммой Бореля—Кантелли показать, что Р{Лл б. ч.}= 1,
если и только если £ Р(Л П Лл) = оо для каждого множества А с Р(Д) > 0.
п
32. Пусть события Ль Лг, ... независимы и Р(Лл)< 1 для всех 1.
Тогда Р{Лл б. ч.} = 1, если и только если Р(U Лд) — 1 •
33. Пусть Хь Хг, — независимые случайные величины с Р{Х„ = 0} =
= 1/л и Р{Х„ = 1}= 1 - \/п. Пусть Еп = {Хп =0}. Показать, что ^2 Р(£л) =
Л=1
оо _
= оо, 52 Р(£я) = оо. Заключить отсюда, что lim Хп не существует (Р-п. н.).
л=1 п
34. Пусть Х\, %2> ••• — последовательность случайных величин. Пока-
зать, что Хп Д 0 тогда и только тогда, когда Е
Е > 0 для некоторого г > 0.
В частности, если S„ =Xi + ... + Хп, то
-п-~-п До & Е 2(Sn..~ES")g2.2 0.
п п2 + (Sn - ESn)2
Показать, что для произвольной последовательности Х\, Хг, • ••
max |ХА|До — До.
\<k£n ’ ’ п
35. Пусть Хь %2» • • • — независимые одинаково распределенные бернул-
л V
лиевские величины: Р{Х* = ±1}= 1/2. Пусть Un = ^2 1- Показать,
6=1 2
что Un—*U (Р-п.н.), где U — случайная величина, равномерно распреде-
ленная на (—1, +1).
§ 11. Гильбертово пространство случайных величин
с конечным вторым моментом
1. Среди банаховских пространств Lp, 1, рассмотренных выше,
особо важную роль играет пространство L2 = L2(Q, Р) — пространство
(классов эквивалентных) случайных величин с конечным вторым момен-
том.
Если £, т/ е L2, то положим
= (1)
Ясно, что для £, т/, £ е L2
(а^ + бт/, <) = а(£, <) + 6(т7, £), а, бе/?,
(О €)>0
и
(0 0=0 =* €=0.
Тем самым (£, т/) является скалярным произведением. Относительно
нормы
Н<11 = (€. €)1/2. (2)
индуцируемой этим скалярным произведением, пространство L2 (как было
показано в § 10) является полным. Поэтому в соответствии с термино-
логией функционального анализа пространство с введенным скалярным
произведением (1) является гильбертовым пространством случайных
величин (с конечным вторым моментом).
Методы гильбертова пространства широко используются в теории ве-
роятностей при исследовании свойств, определяемых лишь первыми двумя
моментами рассматриваемых случайных величин («£2-теория»). В этой
связи остановимся на основных понятиях и фактах, необходимых для из-
ложения £2-теории (гл. VI).
2. Две случайные величины £ и т} из L2 будем называть ортогональными
(£±г/), если их скалярное произведение (£, 7?) = Е£77 = О. Согласно § 8,
величины £ и т/ называются некоррелированными, если cov(£, 77) = 0, т. е.
если
Е^=Е^-Ег).
Отсюда следует, что для случайных величин с нулевыми средними понятия
их ортогональности и некоррелированности совпадают.
Система М С L2 будет называться системой ортогональных случай-
ных величин, если £ ± т/ для любых £, г] е М (£ / л)-
Если к тому же для всех £еА4 их норма ||£|| = 1, то М называется
ортонормированной системой случайных величин.
3. Пусть М = {г}\, ..., rin} — ортонормированная система и £ — какая-
п
то случайная величина из L2. В классе линейных оценок вида а^
/=1
найдем наилучшую (в среднеквадратическом смысле) оценку случайной
величины £ (ср. с п. 2 § 8).
Простой подсчет показывает, что
2
п п
=иск2 - 2 52 а‘ & +Е $=
i=l i=l
п п п
=1ки2 - Е i«, >I2+Е ia« - & > 1ки2 - L itf> ^i2’
/=1 1=1 /=1
где мы воспользовались тем, что
а? - 2а,(е, т») = |а, - (£, т?<)|2 -|(£, тц)|2.
Отсюда ясно, что инфимум Е
п
< - Е a -^i
/ = 1
..., ап достигается при а/ = (£, ty), i = 1, ...,
по всем действительным
п.
Таким образом, оптимальной (в среднеквадратическом смысле) ли-
нейной оценкой £ по т/2, •••, tyi является оценка
п
€=52(€. tyhi- (4)
1=1
При этом
△ = inf Е п £-^2 а,/?,- /=1 2 = Е|£-£ТЧ£112-521(^)12 i=l (5)
(ср. с (17) §4 гл. I и (13) §8).
Из (3) вытекает также следующее неравенство Бесселя, если М =
= {771, 772, ...} — некоторая ортонормированная система и £е£2, то
El(^/)l2<lkll2; (6)
/ = 1
при этом равенство достигается тогда и только тогда, когда
п
£=,ьт-52(<. ю
П i=l
Оценку £, являющуюся оптимальной линейной оценкой, часто обо-
значают Е(£|?7i, ...» т}п) и называют условным математическим ожи-
данием (£ относительно 771, ..., т/л) в широком смысле.
Это название объясняется следующим. Если рассматривать всевоз-
можные оценки <£ = <^(?7i, ...»?7л) случайной величины £ по тц,...,т)п
(<р — борелевская функция), то оптимальной оценкой будет оценка <р* =
= Е(£|т?1, ..., туп), т.е. условное математическое ожидание £ относительно
771,..., 77л (ср. с теоремой 1 § 8). Поэтому оптимальную линейную
оценку по аналогии обозначают E(£|t7i, ..., т}п) и называют условным
математическим ожиданием в широком смысле. В этой связи отметим,
что если случайные величины 771, ...,77л образуют гауссовскую систему
(см. далее § 13), то E(£|t7i, ..., rjn) и Ё(£1771, ..., 77л) совпадают.
Остановимся на геометрическом смысле оценки £ = Ё(£|771, ..., 77л).
Обозначим через = &(т)\, ..., г}п) линейное многообразие, поро-
жденное ортонормированной системой случайных величин 771, ..., 77л (т.е.
п
совокупность случайных величин вида £ ai €#)•
/=1
Тогда из вышеизложенного вытекает, что £ допускает «ортогональное
разложение»
€=е+(е-а
(8)
где a в том смысле, что £ = £±А для любого AeJS?.
Естественно поэтому £ назвать проекцией £ на Jzf («ближайшим» к £
элементом из J2f), а £ - £ — перпендикуляром к <£.
4. Предположение ортонормированности случайных величин т)\,..., т)п
позволило просто найти оптимальную линейную оценку (проекцию) $ для
£ по z/i, ...»'Рп- Сложнее обстоит дело, если отказаться от предположе-
ния ортонормированности. Однако случай произвольных величин т/i,..., т)п
в определенном смысле может быть, как будет ниже показано, сведен
к уже рассмотренному случаю ортонормированных величин. Для просто-
ты дальнейшего изложения будем предполагать, что все рассматриваемые
случайные величины имеют нулевые средние.
Будем говорить, что случайные величины т/ь ..., т]п линейно незави-
симы, если равенство
52 аМ = ° (р-п-н«)
/=1
выполнено лишь тогда, когда все а, равны нулю.
Рассмотрим матрицу ковариаций
R = Е7777*
вектора 77 = (771, т]п), рассматриваемого как вектор-столбец. Она явля-
ется симметрической и неотрицательно определенной и, как отмечалось
в § 8, найдется ортогональная матрица приводящая ее к диагональному
виду
tf*R^ = D,
где
/rfi 0\
0 =
\0 dnJ
— матрица с неотрицательными элементами dt, являющимися характе-
ристическими числами матрицы R, т. е. корнями А характеристического
уравнения det(R — ХЕ) = 0, где Е — единичная матрица.
Если величины 771, ..., т)п линейно независимы, то детерминант Грама
(т. е. det R) не равен нулю и, значит, все di > 0. Пусть
/х/З? О \
\ о VdnJ
и
Тогда матрица ковариаций вектора /3
Е/З/З* = = =£,
и, следовательно, вектор /3 = (/3j, ..., /Зп) состоит из некоррелированных
случайных величин. Ясно также, что
7? = (^В)/3. (Ю)
Таким образом, если 771, ..., rjn линейно независимы, то найдется такая
ортонормированная система /Зь ...,/Зл, что выполнены соотношения (9)
и (10). При этом
....=
Изложенный способ получения ортонормированной системы /Зь ..., /Зл
в ряде задач оказывается не очень удобным. Дело в том, что если тракто-
вать ту как значение случайной последовательности (z/i, ..., г}п) в момент
времени z, то построенное выше значение fa оказывается зависящим не
только от «прошлого» (771, ..., r}i), но и от «будущего» (77/4-1,..., г]п). При-
водимый ниже процесс ортогонализации Грама—Шмидта не страдает
этим недостатком, более того, он обладает тем преимуществом, что мо-
жет быть применен к бесконечным последовательностям линейно неза-
висимых случайных величин (т. е. последовательностям, у которых любое
конечное число величин являются линейно независимыми).
Пусть 771, т/2, ... — последовательность линейно независимых случай-
ных величин из L2. Построим по индукции последовательность е\, ...
следующим образом. Пусть ei = 771/Ц7711|. Если еь ..., ert-i уже выбраны
так, что они ортонормированы, то положим
где т)л есть проекция т/л на линейное многообразие JSf(ei, ..., £л-1), поро-
жденное величинами 771, ...,
п-1
nn = ^(r)n,€k)£k- (12)
А=1
Поскольку величины 771, ..., т}п линейно независимы и ^(771, ..., 7/n_i) =
= .$f(ei, ..., ел-1), то ||т7л — 7)л|| >0 и, следовательно, еп определено.
По построению ||ел || = 1, п 1, и ясно, что (ел, еГ) = 0, k < п. Тем самым
последовательность61, 62, ... является ортонормированной. При этом, со-
гласно (11),
Лп — т)л + bneni
где Ьп = ||т7л - f}nII, а т)л определяется формулой (12).
Пусть теперь 771, .... т)п — произвольная система случайных величин
(не обязательно линейно независимых). Пусть det R = 0, где R = ||rz/-|| —
матрица ковариаций вектора (771, ..., т]п), и пусть
rang R = г < и.
Тогда, как известно из алгебры, для квадратичной формы
<?(а) = 52 r‘ia‘ab a = (alt ап),
м='
существует ровно п — г линейно независимых векторов а(1>,..., а(п~г^ таких,
что <?(а(,)) = 0, i = l, .... п-г.
Но
(п \ 2
52 a^k) •
k=l /
Следовательно, с вероятностью единица
п
52 = 0, i = 1,..., n-r.
k=\
Иначе говоря, существует ровно п — г линейных соотношений между ве-
личинами т/i,..., Поэтому, если, скажем, т/i,..., линейно независимы,
то все остальные величины 7/r+i, ...,Tjn линейно через них выражают-
ся и, значит, ..., T}n) = Sf\T}i, ..., т}г). Отсюда ясно, что с помощью
процесса ортогонализации можно найти г ортонормированных случайных
величин 61, ..., ег таких, что все 771, ..., т]п линейно через них выражаются
..., 77п)=^(б1, ег).
5. Пусть т/i, т/2, ••• — последовательность случайных величин из L2.
Будем обозначать через = 25?(т/1,772, ...) линейное многообразие, по-
рожденное величинами 771,772, ..., т. е. совокупность случайных величин
вида az77z, 1, az е/?. Через J?=J^(t7i, 772, ...) обозначим замкну-
тое линейное многообразие, порожденное 771,772, ..., т. е. совокупность
случайных величин из J2? и их пределов в среднеквадратическом смысле.
Говорят, что система случайных величин 771,772, ... образует счетный
ортонормированный базис (иначе — полную ортонормированную си-
стему) в L2, если:
a) 772, ... — ортонормированная система,
Ь) ^(771,772, ...) = /А
Гильбертово пространство со счетным ортонормированным базисом
называют сепарабельным.
В силу условия Ь) для любого f е L2 и заданного е > 0 найдутся такие
О|, что
a,rii
1=1
Тогда, согласно (3),
п
1=1
£
и, следовательно, для сепарабельных гильбертовых пространств L2 любой
элемент £ представим в виде
£=£(£. (13)
1=1
точнее,
£ = 1Ллп. 22тц)тц.
1=1
Отсюда и из (3) тогда заключаем, что имеет место следующее равен-
ство Парсеваля-.
И€112=Еке^)12, (и)
1=1
Нетрудно доказать, что верно и обратное: если 771,772, ••• — некоторая
ортонормированная система и выполнено любое из условий (13) или (14),
то эта система является базисом.
Приведем примеры сепарабельных гильбертовых пространств и их ба-
зисов.
Пример 1. Пусть Q = /?, «^ = ^(7?) и Р — гауссовская мера,
Р(-оо, а] = <^(х) dx, tp(x) = -^=е“х2/2.
Обозначим D = и введем функции
Нетрудно найти, что
D<p(x) = -х<р(х),
D2<p(x) = (x2- 1)^(х),
D3<p(x) = (Зх — х3)<р(х),
(16)
Отсюда следует, что Нп(х) являются полиномами (называемыми полино-
мами Эрмита). Из (15), (16) находим, что
Я0(х) = 1,
Нх(х)=х,
Hi(x) — x2- 1,
Н3(х) = х3 -Зх,
Простой подсчет показывает, что
{Нт,Нп)= $ Hm(x)Hn(x)P(dx) — J Hm(x)Hn(x)<p(x)dx = n'.6nm,
—оо —оо
где Snm — символ Кронекера (0, если /и/и, и 1, если m = n). Поэтому, если
положить
й„(х) = ^В,
Vnl
то система этих нормированных полиномов Эрмита {йл(х)}л^о будет
ортонормированной системой. Из функционального анализа известно (см.,
например, [33, гл. VII, § 3]), что если
lim Г ec|x|P(dx)<oo, (17)
то система функций {1, х, х2, ...} является полной в L2, т. е. любая функция
п
£=£(х) из L2 может быть представлена или в виде 52 ^tj/(x), где ть(х)=х1,
i=l
или в виде пределов (в среднеквадратическом смысле) этих сумм. Если
применить процесс ортогонализации Грама—Шмидта к последовательно-
сти функций ?71 (х), т]2(х), ... с ty(x)=x', то полученная ортонормированная
система будет в точности совпадать с системой нормированный полиномов
Эрмита. В рассматриваемом нами случае условие (17) выполнено. Следо-
вательно, полиномы {йл(х)}л^о образуют базис и, значит, любая случайная
величина £ = £(%) на рассматриваемом вероятностном пространстве пред-
ставима в виде
е(х) = 1.кт.У(е,й/)й1(х). (18)
п •
Пример 2. Пусть Q = {О, 1,2, ...} и Р = {РЬ Р2, —пуассоновское
распределение:
Рх = ?—± х = 0, 1, ...; А>0.
х!
Положим ДДх) = f(x) — f(x — 1) (f(x) = 0, х < 0) и по аналогии с (15) опре-
делим полиномы Пуассона—Шарлье
П„(х)= я>1, п0=1. (19)
*Х
Поскольку
(Пт, Пл) = Пт(х) Пл(х) Рх = сп6тп,
х=0
где сп — положительные константы, то система нормированных полино-
мов Пуассона—Шарлье {тгл(х)}л^о, тгл(х) = Пл(х)/А/с^, есть ортонорми-
рованная система, которая в силу выполнимости условия (17) является
базисом.
Пример 3. Приводимые в этом примере ортонормированные системы
функций Радемахера и Хаара интересны как для теории функций, так и
для теории вероятностей.
Пусть Q = [0, 1), ^ = ^([0, 1)) и Р —мера Лебега. Как упоминалось
в § 1, каждое число х е [0, 1) может быть однозначно разложено в двоич-
ную дробь
* 2 22
где Х/ = 0 или 1. (Для однозначности разложения мы уславливаемся рас-
сматривать только те разложения, которые содержат бесконечное число
нулей. Так, из двух разложений
1 = 1+о. + 2 + =2 + 1 + 1 +
2 2 22 22 2 22 23
мы берем первое.)
Образуем случайные величины £i(x), &(*)» ...» положив
c„(x) = x„.
Тогда для любых а/, принимающих значения 0 или 1,
р{х: €i=ai. Сп=ап} =
= р{х: ^- + ^ + ... + g^x<^- + g + ... + g + ^} =
= р{х; х6[^- + ... + |£, ^. + ...+ |2 + 1)} = 1.
Отсюда непосредственно следует, что ••• образует последователь-
ность независимых бернуллиевских случайных величин (рис. 30 пока-
зывает, как устроены =6(х) и & = &(*))•
Если теперь положить /?л(х) = 1 - 2£л(х), n > 1, то нетрудно проверить,
что система {/?«} (функций Радемахера, рис. 31) является ортонорми-
рованной:
1
ERnRm ~ Рп(х)Рт(х) dx = 5пт-
О
Заметим, что (1,/?Л) = Е/?Л = 0. Отсюда следует, что эта система не
является полной.
Kito
/?2(Х)
Рис. 31. Функции Радемахера
Рис. 30. Бернуллиевские величины
Однако систему Радемахера можно использовать для построения так
называемой системы Хаара. которая и проще устроена, и к тому же
является как ортонормированной. так и полной.
Снова пусть Q = [0, 1), & = ^([0, 1)). Положим
W2(x) = /?i(x),
р/2/?/+1(х),
/ш=<
[°
если ^х< п = 2> + k,
/>1,
в остальных случаях.
Нетрудно проверить, что Нп(х), п^З, можно записать и в таком виде:
0^х<2“("1+1\
2“(ш+1^х<2“/”,
в других случаях,
//2m+l
'2m/2,
(X) = -2т/2,
.0
/ = 1, ...» 2т,
/и= 1, 2, ...
На рис. 32 приведены графики первых восьми функций, дающих пред-
ставление о структуре образования и поведении функций Хаара.
/7|(х)
1
Н2(х)
2!/2
Н3(х)
21/2
-21/2 -
2
Н7(х)
2
Н8(х)
2
Н5(х}
2 Н
о
0
-L— X
1 о
1 0
Рис. 32. Функции Хаара /Л(х), ..., Н^(х)
Система функций Хаара является, как нетрудно проверить, ортонор-
мированной. Более того, она полна и в А1, и в L2, т. е. если функция
f = f(x) е Lp для р = 1 или р = 2, то
1
о
п
k=\
р
dx—>0, псо,
и обладает к тому же тем свойством, что с вероятностью единица (по
лебеговской мере)
п
^U,Hk)Hk(x)^f(x), п^оо.
k=[
Мы докажем эти факты в § 4 гл. VII, выведя их из общих теорем о сходи-
мости мартингалов, что, в частности, будет служить хорошей иллюстрацией
применения мартингальных методов в теории функций.
6. Если т/i, ..., Tjn — некоторая конечная ортонормированная система,
то, как было показано выше, для всякой случайной величины £eL2 в
линейном многообразии ..., т}п) можно найти случайную вели-
чину £ (проекцию £ на J2?) такую, что
ll<-€ll = inf{|k-Cl|: ....%)}•
п
При этом £= 52(£, Этот результат допускает естественное обобще-
i=l
ние на тот случай, когда 771,772, ••• — счетная ортонормированная система
(не обязательно являющаяся базисом). А именно, справедлив следующий
результат.
Теорема. Пусть т}\,т}2> ... —ортонормированная система случай-
ных величин, = 772, ...) — замкнутое линейное многообразие,
порожденное ими. Тогда существует и притом единственный эле-
мент такой, что
||e-eil = inf{|H-C||: Се^}. (20)
При этом
п
£ = l.i.m. ^(£, (21)
i=\
Доказательство. Обозначим d = inf{||£- £||: £ и выберем по-
следовательность Сь ... так, что ||£ —Ci|| -*d. Покажем, что эта пос-
ледовательность является фундаментальной. Простой подсчет показывает,
что
не - си2=2ц<„ - ец2+2|к„ - ен2 - 4|| +<m) - е||2.
Ясно, что + поэтому ||+<т) -<|| >d2 и, следовательно,
НСл - Gnll2 ->о, п,т-*оо.
Пространство L2 является полным (теорема 7 § 10). Поэтому найдет-
ся такой элемент £, что ||Сл — ё11 ~Множество & замкнуто, поэтому
£G-5f. Далее, |Кл-£||—следовательно, ||£-£||=rf, что и доказывает
существование требуемого элемента.
Покажем, что £ — единственный элемент в & с требуемым свойством.
Пусть и
ne-eii=ne-eW
Тогда (в силу задачи 3)
ll4+e'-2€ii2+iie-^2=2|i<-€ii2+2|ie-eii2=4d2.
Но
lle + €-2^||2 = 4||l(e + O-^|S4d2.
Следовательно, ||£ —£||2 = 0, что и доказывает единственность «ближай-
шего» к £ элемента из %.
Докажем теперь, что £ — £ ± £, £ е J2?. В силу (20) для любого се/?
Но
не - 4 - сен2=не - ен2+леи2 - 2(е - е,
Поэтому
с2|кн2>2(е-е,сс). (22)
Возьмем с = А(£-£, <), AGR. Тогда из (22) получим, что
(е-е, с)2[а2нсн2-2А] >о.
При достаточно малых положительных А справедливо неравенство
А2 ПСП2 - 2А < 0. Поэтому (С -1 С) = 0, С е
Осталось доказатЬ-Представление (21).
Множество j^ = j^(t?i, 772, ...) является замкнутым подпространством
в L2 и, значит, само является гильбертовым пространством (с тем же
самым скалярным произведением). Для этого гильбертова пространства
& система 771,772, ••• является базисом и, следовательно,
< = l.i.m. V(C, %)%. (23)
п
6=1
Но k^\, а значит, (£, = (С 77Д что вместе с (23)
доказывает (21). л □
Замечание. Как и в конечномерном случае, £ будем называть проек-
цией С на J^ = J^(7?i, 772, • ••)>£ — £ — перпендикуляром, а представление
— ортогональным разложением.
Величину £ обозначают (ср. с Ё(£|щ, ..., rjn) из п. 3) Ё(£1771,772, ...) и
называют условным математическим ожиданием в широком смысле
(£ относительно 771,772, ...). С точки зрения оценивания £ по 771,772, ...
величина £ является оптимальной линейной оценкой, ошибка которой
△ ее Ек - ер ее не - ец2=цен2 - f; не, т^2,
/=1
что следует из (5) и (23).
7. Задачи.
1. Показать, что если £ = l.i.m. £л, то ||£л || —> ||£||.
2. Показать, что если £ = l.i.m. £л и 77 = l.i.m. г}п, то (£л, 77л)—►(£, 77).
3. Показать, что норма || • || удовлетворяет свойству «параллелограмма»
ii€+^ii2+iie-<=2(iieii2+iM2).
4. Пусть {£1, ..., £л} — семейство ортогональных случайных величин.
Показать, что для них справедлива «теорема Пифагора»:
п 2 п
=£1й»2-
/=1 1 = 1
5. Пусть ••• — последовательность ортогональных случайных ве-
оо
личин, S„ = e. + ... + е«. Показать, что если £ Ее2<оо, то найдется та-
П=1
кая случайная величина S с ES2<oo, что l.i.m. S«=S, т.е. ||5Л — S||2 =
= E|Srt — S|2—>0, n —>00.
6. Показать, что функции Радемахера Rn могут быть определены сле-
дующим образом:
Rn(x) = sign(sin 2л7гх), O^x^l, я = 1,2, ...
7. Доказать, что
нен>1|Е(е|*он для е е l2(^),
причем равенство имеет место тогда и только тогда, когда £ = Е(£ |£f) п. н.
8. Доказать, что если Е(^|т?)=т/, Е(т/|£) = £, то £ = »; п. н.
9. Даны три последовательности ($^(1)), (%(2)) и (#Р) под-а-алгебр
£ — ограниченная случайная величина. Известно, что для каждого п
с^2)с^<з>, Дту, Е(е।<^<3>)Дг/.
Доказать, что Е(£|#Р) -^*77.
§ 12. Характеристические функции
1. Метод характеристических функций является одним из основ-
ных средств аналитического аппарата теории вероятностей. Наиболее ярко
это будет продемонстрировано в гл. III при доказательстве предельных те-
орем и, в частности, при доказательстве центральной предельной теоремы,
обобщающей теорему Муавра—Лапласа. Здесь же мы ограничимся опре-
делениями и изложением основных свойств характеристических функций.
Прежде йсего сделаем одно замечание общего характера.
Наряду со случайными величинами (принимающими действительные
значения) теория характеристических функций требует привлечения ком-
плекснозначных случайных величин (см. п. 1 § 5).
Многие из определений и свойств, относящихся к случайным величи-
нам, легко переносятся и на комплексный случай. Так, математическое
ожидание Е£ комплекснозначной случайной величины £ = £ + /77 считается
определенным, если определены математические ожидания Е£ и Е77. В этом
случае по определению полагаем Е£ = Е£ + /Ет7. Из определения 6 (§ 5)
независимости случайных элементов нетрудно вывести, что комплексно-
значные величины С1=£1+/т71, ^ = €2 + ^ независимы тогда и только
тогда, когда независимы пары случайных величин (£ь 771) и ($2, ^72) или,
что то же самое, независимы и-алгебры и ^2^2-
Наряду с пространством L2 действительных случайных величин с ко-
нечным вторым моментом можно ввести в рассмотрение гильбертово про-
странство комплекснозначных случайных величин £ = £ + /77 с Е|£|2 < оо,
где К|2 = £2 + т72, и скалярным произведением (Ci, С2) = ЕС1С2, где <2—
комплексно-сопряженная случайная величина. В дальнейшем как действи-
тельнозначные, так и комплекснозначные случайные величины будем на-
зывать просто случайными величинами, отмечая, если это необходимо,
о каком конкретно случае идет речь.
Условимся также о следующих обозначениях. При алгебраических опе-
рациях векторы aeRn будут рассматриваться как вектор-столбцы,
Л*1\
а =
а а* — каквектор-строка, а* = (сц, ...,ап). Если a, beRn, то под их ска-
п
лярным произведением (а, Ь) будет пониматься величина £ аД-. Ясно,
/=1
что (а, Ь) = а*Ь.
Если а е Rn и К= Цг/уЦ — матрица порядка п х п, то
(Ка, а) = а*Ка= airijaj. (1)
М=1
2. Определение 1. Пусть F = F(x) — и-мерная функция распределе-
ния в (Rn, 3S(Rn)), x = (xi, ...» хп). Ее характеристической функцией
называется функция
9?(0= $ ei{t'x} dF(x), teRn, (2)
Rn
Определение 2. Если £ = (£ь ...» £rt) — случайный вектор, определен-
ный на вероятностном пространстве (Q, Р) и принимающей значения
в Rn, то его характеристической функцией называется функция
5 ei(t^dF^x), teRn, (3)
Rn
где F^ = F^(x) — функция распределения вектора £ = (£ь ..., £л), х =
= (хь ..., хп).
Если функция F(x) имеет плотность f = Дх), то тогда
<?(/) = $ el{ttX} f(x) dx,
Rn
Иначе говоря, в этом случае характеристическая функция <p(t) есть не
что иное, как преобразование Фурье функции Дх).
Из (3) и теоремы 7 § 6 (о замене переменных под знаком интеграла Ле-
бега) вытекает, что характеристическую функцию случайного вектора
можно определить также равенством
¥=е(/) = Ее‘(л«)) (4)
Приведем теперь основные свойства характеристических функций,
формулируя и доказывая их лишь в случае п = 1. Некоторые наиболее
важные результаты, относящиеся к общему случаю, даются в виде задач.
Пусть £ = £(о>) — случайная величина, F^—F^(x) — ее функция распре-
деления и
— характеристическая функция.
Сразу отметим, что если т) = а£ + Ь, то
= Eeitr> = Eei/(a«+6) = eltb Eeia^.
Поэтому
<p4(t) = eitb<p€(at). (5)
Далее, если ...» & — независимые случайные величины и Sn =
= 6+ то
<Р5л(0 = П
/=1
В самом деле,
^5я(/) = Еех/^,+”+^) = Ее//^1 ...еа^п = Ее//^1 ...Ее^" = JJ ¥></(0»
/=1
где мы воспользовались тем, что математическое ожидание произведения
независимых (ограниченных) случайных величин (как действительных, так
и комплексных, см. теорему 6 в § 6 и задачу 1) равно произведению их
математических ожиданий.
Свойство (6) является ключевым при доказательстве предельных те-
орем для сумм независимых случайных величин методом характеристиче-
ских функций (см. § 3 гл. III). В этой связи отметим, что функция распреде-
ления Fsn выражается через функции распределения отдельных слагаемых
уже значительно более сложным образом, а именно, Fsn = F^ *... * F$n, где
знак * означает свертку распределений (см. п. 4 § 8).
Приведем примеры характеристических функций.
Пример 1. Пусть £ —бернуллиевская случайная величина с Р{£= 1} =
= Р, Р{£ = 0} = р, р + <7 = 1, 1 > р > 0, тогда
<ре(/) = реп+<7.
Если ..., — независимые одинаково распределенные (как £) слу-
u _ Sn-np
чайные величины, то для Тп = —-==- находим, что
VT^ = Vsa-np/Vnrq(t) = + <?]” =
= + (7)
Заметим, что при п —> оо отсюда следует, что
Пример 2. Пусть £~<Ж(т, а2), \т\ <оо, а2>0. Покажем, что
^(0 = e'"”-nr. (9)
Положим т? = Тогда т?~^К(0, 1) и так как в силу (5)
9?€(0 = е‘/т^(ст0,
то достаточно лишь показать, что
^(0 = е-'2/2. (Ю)
Следующая цепочка соотношений доказывает эту формулу (10):
И,ОТ = Ее"’ = -^
VZ7T
ОО
$ е“хе~х dx =
1
>/2^
ОО ОО
-оо л=о
00" 1
п!
§ хпе x*/2dx =
™ 1И\2п ~
=еШй-1,!=£
л=0 л=0
(<о2я (2я)! = V'f- — Vl=p-'2/2
(2п)! 2«п! 2 ) п\
л=0
где мы воспользовались тем (см. задачу 7 в § 8), что
I ОО
~7= х2пе~х dx = Е?72л = (2п - 1)!!
-So
Пример 3. Пусть £ —пуассоновская случайная величина,
e~xXk
Р{€ = й} = £-7г-, * = 0,1,...
Тогда
Ее1* = e,tk —= е~х 52 = ехр{А(е‘/ - 1)}. (11)
Л=0 ‘ £=0
3. Как отмечалось в п. 1 § 9, с каждой функцией распределения в
(/?, ^(R)) можно связать случайную величину, имеющую эту функцию в
качестве своей функции распределения. Поэтому при изложении свойств
характеристических функций (в смысле как определения 1, так и опреде-
ления 2) можно ограничиться рассмотрением характеристических функций
<р(/) = ^(/) случайных величин £ = £(а>).
Теорема 1. Пусть £ — случайная величина с функцией распреде-
ления F = F(x) и
ip(t) = Eelt^
— ее характеристическая функция.
Имеют место следующие свойства:
1) к(01^(0) = 1;
2) <p(t) равномерно непрерывна по t е /?;
4) <p(t) является действительнозначной функцией тогда и толь-
ко тогда, когда распределение F симметрично К dF(x) = $ dF(x),
Об -в
5) если для некоторого п^ 1 Е|£|л<оо, то при всех г^п суще-
ствуют производные и
<p^(t) = \(ix)rei,xdF(x), (12)
R
ег=^, (13)
^(0=Е ^гЕ<г + ^гп(0. (14)
г=0
где |е„(/)|СЗЕ|е|я и £„(/)->0, /-»0;
6) если существует и является конечной <^<2л)(0), то Е£2л < оо;
7) если Е |£|л < оо для всех n > 1 и
тг- (Е|£Г)‘/Л 1
lim — = -= < оо,
п п Т
то при всех |/| < Т
оо • п
^(/)=£^-Еея. (is)
л=0
Доказательство. Свойства 1) и 3) очевидны. Свойство 2) следует из
оценки
м/ + й) - </>(/)! = |Ее‘'«(е,л« - 1)1 < Е|е'А« - 11
и теоремы о мажорируемой сходимости, согласно которой Е|е,А€- 1|—>0
при h —>0.
Свойство 4). Пусть F симметрична. Тогда, если g(x) — ограничен-
ная борелевская нечетная функция, то § g(x) dF(x) = 0 (заметим, что для
/?
простых нечетных функций это следует сразу из определения симметрич-
ности F). Поэтому sin txdF(x) = 0 и, значит,
R
= Е cos t£.
Обратно, пусть является действительной функцией. Тогда в си-
лу 3)
= ^(-0 = ^(0 = ^(0, t € R.
Отсюда (как это будет доказано ниже в теореме 2) следует, что функции
распределения F_$ и F$ случайных величин -£ и £ совпадают, а значит
(по теореме 1 § 3),
Р{£сВ} = Р{-£еВ} = Р{£е-в}
для любого В е SS(R).
Свойство 5). Если Е|£|л <оо, то в силу неравенств Ляпунова (28) § 6
Е|£|г<оо, г^п.
Рассмотрим отношение
Поскольку
|-J- l«W
и Е|£| < оо, то по теореме о мажорируемой сходимости существует
г с itt ( 1 \
пт Ее1Ч(—;— ,
Л—оо \ h /
равный
/ _ 1 \ °?
Ее1^ Птд——j=uE(£e^) = z § xeltx dF(x). (16)
—оо
Поэтому существует производная и
— = i § xe‘tx dF(x).
—оо
Существование производных </?(г)(/), 1 <гСл, и справедливость фор-
мул (12) устанавливаются по индукции.
Формулы (13) следуют непосредственно из (12). Установим справедли-
вость представления (14).
Поскольку для действительных у
е'у = cos у + i sin
у = 52 lcos в'У +1 sin 02^1>
л=о
где |0i| 1, |02| 1, то
eit( = 52 + ^lc°s + ' sin 02MZC] (17)
6=0
и
Ее'7€=£^Е^+^-^я+е«^’ <18>
л=о
где
6rt(0 = E[£rt(cos 0\(u>)t£ + i sin Ob
Ясно, что |ел(/)| ЗЕ|£Л|, причем по теореме о мажорируемой сходимости
бл(/)^0Л^0.
Свойство 6). Доказательство будем вести по индукции. Предположим
сначала, что производная «//'(О) существует и конечна. Покажем, что тогда
Е£2 < оо. По правилу Лопиталя и лемме Фату
= Й 2v'<2h,-^-2h> = lim JL |v(2ft) _ 2V(O) + <₽(-2Л)] =
Г Т (ethX ~e~,hX\2AC) \ 1- Т /SinAxX2 2 Jr./
= й’о S ( 2h ) dF^ = ~ ™0 S (—) Х dF(X)<
— ОО —оо
ОО . . , ч 9 ОО
<- $ x2dF(x) = - $ x2dF(x).
—оо —оо
Поэтому
х2 dF(x) —</'(0) < оо.
ОО
Пусть теперь у/2*+2)(0) существует, конечна и § x2k dF(x) < оо. Если
—оо
оо оо
x2k dF(x) = 0, то и § x2k+2 dF(x) = 0. Так что будем предполагать, что
—оо —оо
$ x2kdF(x) > 0. Тогда, согласно свойству 5),
$ (ix)2keltx dF(x)
—оо
и, значит,
j" eitx dG(x),
— OO
Гдеб(х) = $ u2kdF(u).
—oo
Следовательно, функция (-l)k<pt2k\t)G~[(oo) является характеристи-
ческой функцией вероятностного распределения G(x) - G~{(po) и по дока-
занному
оо
G-1(oo) $ х2 dG(x) <оо.
—оо
Но G 1 (оо) > 0, значит,
§ x2k+2 dF(x) = х2 dG(x) <оо.
—оо
—оо
Свойство 7). Пусть 0 < to < Т. Тогда, используя формулу Стирлинга
(формула (6) в § 2 гл. I), находим, что
п /о п \ П1 /
Следовательно, по признаку Коши ряд сходится, а значит,
оо
сходится И ряд
г=0
ШУ
^-д-Е£г для любого |/| /о- Но в силу (14)
у>(/) = £ + /?„(/).
г=0
где |/?я(/)| 3^-Е|£|Л. Поэтому для всех |/1 < Т
„W = f <^Е«'.
г=0
□
Замечание 1. Аналогично доказательству (14) устанавливается, что
если для некоторого п 1 Е |£|л < оо, то
^(0 = Z S xkeisxdF(x) + s)"en(t - s), (19)
/г=0 * -оо
где \en(t-s)\^3E\C\ иел(/-$)^0, t-s^O.
Замечание 2. По поводу условия, фигурирующего в свойстве 7),
см. также далее п. 9, посвященный вопросу о «единственности проблемы
моментов».
4. Следующая теорема показывает, что характеристическая функция
однозначно определяет функцию распределения.
Теорема 2 (единственности). Пусть F и G — две функции рас-
пределения, имеющие одну и ту же характеристическую функцию,
т. е. для всех t eR
5 e“xdF(x) = $ е“х dG(x).
(20)
—оо
Тогда F(x) = G(x).
Доказательство. Зафиксируем a, beR, г>0 и рассмотрим функцию
/£ = fs(x), изображенную на рис. 33. Покажем, что
/е(х)
ОО
оо
$ F(x)dF(x)= $ fe(x)dG(x). (21)
—оо —оо
О а а+е
b Ь+е
Рис. 33.
чениями в концевых точках,
Пусть я > 0 таково, что [a, b + е] С
С [—п, п], и последовательность {£л} такая,
что 1 > 8п 10, п —► оо. Как всякая непрерыв-
ная на [-п, п] функция с равными зна-
функция /€ = /€(х) может быть равномерно
аппроксимирована (теорема Вейерштрасса—Стоуна) тригонометрически-
ми полиномами, т. е. существует конечная сумма
ак exp(/,rxJ)
k
такая, что
sup |/е(х)- fn(x)\^Sn
—п^х^п
(22)
(23)
Продолжим периодически функцию f*(x) для всех xeR и заметим, что
sup |/£(х)|^2.
X
Тогда, поскольку в силу (20)
5 f£n(x)dF(x)= $
— оо —оо
f'(x)dG(x),
fe(x)dF(x)- $ fe(x)dG(x)
— ОО
п п
$ /£ dF - fsdG
—п —п
п п
$ f'dF- $ PndG
—п —п
+ 2<5„^
ОО оо
$ f'dF- $ f'dG
+ 2<5„ + 2F([—n, я]) + 2G([-п, п]), (24)
—оо
где F(A) = dF(x), О(Л) = $ dG(x). При п —»оо правая часть в (24) стре-
А А
мится к нулю, что и доказывает равенство (21).
При е—>0 функции fe(x)—>/(aj,](x). Поэтому по теореме о мажориру-
емой сходимости из (21) следует, что
ha,b](x)dF(x)= l(aj>](x)dG(x),
— оо —оо
т. е. F(b) - F(a) = G(b) - G(a)t откуда в силу произвольности а и b следует,
что F(x) = G(x) для всех хе/?. □
5. Предыдущая теорема говорит о том, что функция распределения
F = F(x) однозначно восстанавливается по своей характеристической
функции — Следующая теорема дает явное представление функции
F через <р.
Теорема 3 (формула обращения). Пусть F — F(x) — функция рас-
пределения и
(p(t) = e'tx dF(x)
— оо
— ее характеристическая функция.
а) Для любых двух точек а, Ь (а<Ь), где функция F = F(x) непре-
рывна,
F(b)-F(a) = lim ± $ е--------------^dt. (25)
С—>ОО Z7T ° И
ОО
Ь) Если $ \<p(t)\dt <оо, то функция распределения F(x) имеет
—оо
плотность f(x),
F(x)= f(y)dy.
u
(26)
S e “'vMdl-
Z7T
(27)
Доказательство. Прежде всего отметим, что если функция F(x) име-
ет плотность Дх), то
оо
</>(/) = § e‘txf(x)dx,
(28)
и поэтому формула (27) есть не что иное, как преобразование Фурье от
(интегрируемой) функции <p(t). Интегрируя левую и правую части (27) и
применяя теорему Фубини, получим
b . b ' oo
F(*)-F(a) = $f(x)dx = ^-$ $
J Z7T J J
OO
e ,tx<p(t) dt dx =
a L—oo
oo Г b
<p(t) e~,tx dx dt =
1 °? -ita -itb
—oo
a
1
— 2тг
a
После этих рассмотрений, объясняющих до некоторой степени форму-
лу (25), перейдем к ее доказательству.
а) Имеем
Z7T
г e-ita_e-itb
it
<pV)dt = ±- $
Z7T u
e~itb
it
e'txdF(x) dt =
где мы положили
и воспользовались
e-ita _ e-itb
it
eitx dt dF(x) = Vc(x)dF(x), (29)
—OO
e~ita - e~itb
-----—e,tx dt
it
—с
теоремой Фубини, справедливость которой в данном
случае следует из того, что
-иа_е-ИЬ .
I и е Г
e~“a - e~“b
it
i 00
4 s
c
а
Далее,
sin t(x — a)— sin t(x — b)
c oo
§ § (b - a) dF(x) dt C 2c(d - a) < oo.
—c —OO
dt =
1 C{\sin v , 1
27Г J V V 2?T
—c(x—a)
c(x-b)
-c(x—b)
Sin U j /па\
du. (30)
t
Функция
t .
z .. с sin v ,
g(s, 0 = i — dv
s
равномерно непрерывна no s и t и
g(s, 0^ (31)
при s | —оо и t f оо. Поэтому существует такая константа С, что для всех
с и х |ФС(х)| < С < оо. Кроме того, из (30) и (31) следует, что
Фс(х) —>Ф(х), с—юо,
где
о,
Ф(х) = / 1/2,
1,
x<a или x > b,
x — a или x — b,
a<x <b.
Пусть д — мера на (/?, ^(/?)) такая, что д(а, b] = F(b)- F(a). Тогда,
применяя теорему о мажорируемой сходимости и пользуясь формулами
задачи 1 в § 3, находим, что при с —> оо
Фс= 4tc(x)dF(x)-> 9(x)dF(x)=n(a, Ь) + ^ц{а}+^р{Ь} =
—оо —оо
= F(b~) - F(a) + ± [F(a) - F(a~) + F(b) - F(b-)] =
= F(b}-F(b-)_F{a) + F{a-)=F(b)_F(a)
где последнее равенство справедливо для любых точек а и ft, являющихся
точками непрерывности функции Г(х).
Итак, формула (25) доказана.
оо
Ь) Пусть !</?(/) | dt < оо. Обозначим
—оо
= i $ e~“x<p(t)dt.
Z7T J
— оо
Из теоремы о мажорируемой сходимости следует, что эта функция непре-
рывна по х и, значит, она интегрируема на интервале [а, Ь], Поэтому, снова
применяя теорему Фубини, находим, что
a
1
~ 2vr
a
oo
§ e ,tx<p(f) dt j dx =
oo /
Г* 1
\ е ltx dx dt = lim
J J c—>oo
—oo
. c ~b
5 <?(0 $e~i,xdx dt =
27Г J u
—c
e~ita _ e^itb
2тг it
a
4>(t) dt=F(b)-F(a)
a
c
1
—c
для всех точек а и b, являющихся точками непрерывности функции F(x).
Отсюда вытекает, что
F(x) = f{y)dy, x&R,
— ОО
а так как f(x) — непрерывная, a F(x) — неубывающая функции, то f(x) есть
плотность Г(х). □
Замечание. Формула обращения (25) дает другое доказательство
утверждения теоремы 2.
Теорема 4. Для того чтобы компоненты случайного вектора
€ = (€ь •••♦€«) были независимы, необходимо и достаточно, чтобы
его характеристическая функция была произведением характери-
стических функций компонент:
Eel(/,«1+...+w„) = JJ Ееи^, (Л...../„) 6 Rn.
k=\
Доказательство, Необходимость следует из утверждения задачи 1.
Для доказательства достаточности обозначим F = F(x\, ...,хп) — функцию
распределения вектора £ = (£ь ...» $л) и Fk(x) — функцию распределения
&, 1 ^k^n. Положим G = G(xi,..., хп)=F\(x\)..,Fn(xn). Тогда по теореме
фубини для всех (/ь ..., tn) е Rn
n
$ eUhxl+-+t„xn)dG^Xi.....x„) = Jj 5 e^dF^Xk) =
Rn
ft=l R
= JJ Eeitk^k = Ee/(/,^,+ = $ ef’(/,x,+ -+tnXn)dF(x\, ..., хл).
Rn
Поэтому по теореме 2 (точнее, по ее многомерному аналогу; см. задачу 3)
F — G, и, следовательно, согласно теореме из § 5, величины ...,£л
независимы. □
6. В теореме 1 сформулированы некоторые необходимые условия, ко-
торым удовлетворяет характеристическая функция. Таким образом, если
для функции = не выполняется, скажем, одно из первых трех утвер-
ждений этой теоремы, то это означает, что рассматриваемая функция не
является характеристической.
Сложнее обстоит дело с проверкой того, является ли интересующая
нас функция = характеристической. Сформулируем (без доказа-
тельств) ряд результатов в этом направлении.
Теорема (Бохнера—Хинчи на). Пусть <p(t) — непрерывная функ-
ция, teR, и </>(()) = 1. Для того чтобы <p(t) была характеристиче-
ской, необходимо и достаточно, чтобы она была неотрицательно
определенной, т. е, для любых действительных t\, ..., tn и любых
комплексных чисел Ль ..., Хп, п= 1, 2, ...,
п
£>(/,•-/^>0. (32)
<./=1
Необходимость условия (32) очевидна, поскольку если
ip(t) = § ettx dF(x),
—оо
ТО
52 ^(^’ ^/)Л/Ау— $
Л/=1 “°°
52 x^itkX
k=i
2
dF(x)>0.
Труднее доказывается достаточность условия (32). (См. [69, т. 2, XIX.2].)
Теорема (Пойа). Пусть непрерывная, четная и выпуклая книзу
на (—оо, 0) (а значит, и на (0, оо)) функция (p(t) такова, что (p(t)^O,
<£(0) = 1, ip(t) 0 при t—>oo. Тогда (p(t) является характеристической
Функцией ([69, т. 2, XV.2]).
Эта теорема дает весьма удобный способ конструирования функций,
являющихся характеристическими. Таковыми будут, например, функции
Таковой будет и функция <^з(/), изображенная на рис. 34. На интервале
[-а, а] функция </>з(/) совпадает с функцией Однако отвечающие им
функции распределения F% и F3, очевидно, различны. Этот пример пока-
зывает, что для совпадения функций распределения недостаточно, вообще
говоря, совпадения их характеристических функций на конечном интер-
вале.
Рис. 34.
Теорема (Марцинкевича). Если характеристическая функция
<p(t) имеет вид ехр .£?(/), где &(t) — полином, то степень этого
полинома не может быть больше двух [135, 7.3].
Из этой теоремы вытекает, например, что функция ехр(—t4) не является
характеристической функцией.
7. Следующая теорема является примером результата, показывающе-
го, как по свойствам характеристической функции случайной величины
могут быть сделаны нетривиальные заключения о структуре этой величины.
Теорема 5. Пусть ^(0 — характеристическая функция случай-
ной величины £.
а) Если |^(/0)| = 1 для некоторого /q/О, то случайная величина
£ является решетчатой с шагом h =
2тг
, т. е.
52 Р{€ = а + пЛ}=1,
(33)
л=—ОО
где а — некоторая константа.
Ь) Если |^(0l = l^e(Q0l = 1 для двух различных точек t и at, где
а — иррациональное число, то случайная величина £ является выро-
жденной:
Р{£ = а}= 1,
где а — некоторая константа.
с) Если |^(/)| = 1, то случайная величина £ вырождена.
Доказательство, а) Если |^(/о)| = 1, /о/О, то найдется число а та-
кое, что для этого /о </>(*о) = еи°а. Тогда
е/70а = $ е^х 1 = $ е^0(х-а) £р(х}
—оо —оо
оо оо
=> 1 = cos to(x — a)dF(x) => § [1 -cos to(x — a)]dF(x) — 0.
—OO —oo
Поскольку 1 —cos to(x - a)^0, то из свойства H (п. 2 § 6) следует, что
(Р-п. н.)
1 = cos to(^ — a),
что эквивалентно соотношению (33).
Ь) Из предположения |^(/)| = |^(a/)l = 1 и (33) следует, что
f р{е=«+^}= f р{«=» + >} = 1.
п=—оо т=—оо
Если £ не является вырожденной, то тогда в множествах
+ и = 0, ±1, ...} и {б + ^т, т = 0, ±1, ...}
найдутся по крайней мере две совпадающие точки:
, 2тг , 2тг , 2тг , , 2тг
а + — п\ =Ь + —ГП1, а + —П2 = Ь + —т2,
t at t at
откуда
2тг, . 2тг ,
— (ni-n2)=^(mi-m2),
что противоречит предположению об иррациональности числа а. Утвер-
ждение с) следует из Ь). □
8. Пусть £ = (£i, ...,&) — случайный вектор,
<М0 = Ee'uo, t = (ti, ..., tk),
— его характеристическая функция. Будем предполагать, что для некото-
рого п 1 Е |& |л < оо, i = 1,..., k. Из неравенства Гёльдера (29) § 6 и нера-
венства Ляпунова (27) § 6 следует, что существуют (смешанные) моменты
•••££*) всех неотрицательных v\, ...,Vk таких, что щ +... + Vk и.
Как и в теореме 1, из этого выводится существование и непрерывность
частных производных
dt? ...dtp ^(Z1’ •••’ /а)
для v\ + ... + vk ^.п. Тогда, разлагая ^(А, tk) в ряд Тейлора, найдем,
что
^(Л,./"1-"^+0(|/|Л)’ (34)
где |/| = |Л| + ... + |/*| и
т("......................=
— (сметанный) момент порядка p = (pi, ...» щ)-
Функция v%(t\, ..., tk) непрерывна, <^(0, ..., 0)= 1, и поэтому в неко-
торой окрестности нуля (|/| < S) она не обращается в нуль. В этой окрест-
ности существуют и являются непрерывными частные производные
dt? ...dtp 1п <Ре(/1,
где под In z понимается главное значение логарифма (если г = ге^,
—7г < 0 7г, то In z полагается равным In г + /0).
Поэтому In ^(Л,..., tk) может быть представлен по формуле Тейлора
...tk)= £ .-'Г+0(10 (35)
Р1+...+1^Л
где коэффициенты sp.называют (смешанными) семиинвариантами
или кумулянтами порядка р = (рь ..., вектора £ = (£i, ...» &).
Заметим, что если £ и т? — два независимых вектора, то
In <pi+ri(t) = In + In (36)
и поэтому
= s*"'.(37)
(Именно это свойство и оправдывает название «семиинвариант».)
Чтобы упростить запись и придать формулам (34), (35) «одномерный»
вид, введем следующие обозначения.
Если и = (pi, ..., Vk) — вектор с неотрицательными целочисленными
компонентами, то положим
Пусть также =s|l/|.Ук\ = пг^....
Тогда представления (34), (35) примут следующий вид:
^)= £ ^т«/)г+°(|/|л)’ (38>
in^(o= S ^$<tv+o(m. (39)
Следующая теорема и ее следствия дают формулы связи моментов и
семиинвариантов.
Теорема 6. Пусть £ = (£i, ...,&)“ случайный вектор с Е |£ |л < оо,
z = 1,..., й, n > 1. Тогда для всех и = (pi , ..., Vk) с |р| п
(40)
(41)
где означает суммирование по всем упорядоченным на-
AW+.-.+X^i/
борам целых неотрицательных векторов |А(р)| >0, дающих в
сумме вектор и.
Доказательство. Поскольку
<ре(0 = ехр(1п <р€(0),
то, разлагая ехр по формуле Тейлора и учитывая (39), получим
п 1 / -1А| \ ?
52 тг’Г’П +»<1'П.
<7=1 4 \1<|А|^л /
(42)
Сравнивая члены при tx в правых частях (38) и (42) и учитывая, что
|А(|>| +... + = |А(1) +... + А(<?)|, получаем формулу (40).
Далее,
(43)
При малых z справедливо разложение
1П( 1 + 2) = —--------Z4 + 0(2П).
<7=1 q
Применяя это разложение к (43) и сравнивая затем коэффициенты при tx
с соответствующими коэффициентами в правой части (38), получим фор-
мулу (41). □
Следствие 1. Справедливы следующие формулы, связывающие мо-
менты и семиинварианты:
^'= Е П КГ <«)
{Г|А(,)+...+гхАЮ=1/} 7 7 /=1
<?(0= V' 1)!_________ul________ ТТ rw(X(/>)10
* ri!...rx! (А<1>!)г‘...(А(х)!)г' -I *
{rlA(‘>+...+rxAW=i/} V 7 V 7 /=1
(45)
где £ означает суммирование no всем неупорядочен-
{r1A<,>+...+rxAW=i/}
ным наборам различных целых неотрицательных векторов А(/\
|А(/)| >0, и по всем упорядоченным наборам целых положительных
чисел Г} таким, что г\ А(1) +... + rxА(х) = v.
Для доказательства (44) предположим, что среди векторов А(1),..., А^,
участвующих в формуле (40), г\ векторов равны А(/,), ..., гх векторов
равны Xм (г; >0, п +... + гх = <7), причем все векторы A(ts) различны.
Ф
Существует ровно
f\l...rxl
различных наборов векторов, совпадающих
с точностью до порядка снабором {А(1), ..., Х^}. Но если два набора,
скажем, {А(|), ..., №} и {А(1), ..., А(<7)}, отличаются лишь порядком, то
$£(Р>)= f] Поэтому, отождествляя наборы, совпадающие с
p=i p=i
точностью до порядка, из (40) получаем (44).
Аналогичным образом из (41) выводится формула (45).
Следствие 2. Рассмотрим частный случай, когда i/ = (l,..., 1). В этом
случае моменты т^ = Е£\ ...£k и соответствующие семиинварианты будем
называть простыми.
Формулы связи простых моментов и семиинвариантов получаются из
приведенных формул. Однако их удобнее записать по-другому.
Для этого введем следующие обозначения.
Пусть /$ = {1, 2, ..., k} — множество индексов компонент вектора £ =
= (£ь ..., &)• Если / то через £/ будем обозначать вектор, состоящий
из тех компонент вектора £, индексы которых принадлежат /. Пусть х(/) —
вектор {хь ...» Хп}, У которого xi = L если / €/, и Xi = 0, если Эти
векторы находятся во взаимно однозначном соответствии с множествами
/ С /^. Поэтому обозначим
т$(1) = т^\ s^fj) = s|x(Z)).
Иначе говоря, т$(Г) и $$(/) являются простыми моментами и семиин-
вариантами подвектора & вектора
Далее, в соответствии с определением, данным на с. 29, назовем разби-
ением множества / неупорядоченный набор непересекающихся непустых
множеств 1Р такой, что 1р = 1.
р
С учетом этих обозначений имеют место формулы
««(/) = Е IPeCM. (46)
5 р=1
Е /,=/
Р=1
q
= Е П (47)
5 р=1
Е /д=/
Р=1
где £ означает суммирование по всевозможным разбиениям
Е /₽=/
Р=1
множества /, 1 < q /V(/), /V(/) — число элементов множества 1.
Для доказательства представления (46) обратимся к формуле (44). Ес-
ли и = х(Г) и Л(|) + ...-|-А(<7) = 1/, то А(р)=х(/р), Л>С/, все различны,
А<^! = р!= 1 и каждому неупорядоченному набору {х(Л)> •••, взаимно
ч
однозначно соответствует разбиение / = 1р- Следовательно, формула
p=i
(46) вытекает из (44).
Аналогичным образом из (45) выводится справедливость представле-
ния (47).
Пример 4. Пусть £ — случайная величина (й=1) и тп = т(^ = Е£л,
sn = s^. Тогда из (40) и (41) получаем следующие формулы:
ГП\ =51,
/П2 = 52 +
тз = 5з + 35|52 + 5?, (48)
/П4 = 54 -I- 3s$ + 45153 + 6sfs2 + sf,
I
I
$1 =/И1 = Е£,
S2 = m2 - т\ = D£,
s3 == m3 — Зт 1 m2 + 2гп\, (49)
$4 = ГП4 — 3/^2 - 4аИ1/Пз + 12АП1/И2 - 6mf,
Пример 5. Пусть £~сЖ(т, а2). Поскольку, согласно (9),
/2 2
In — ---
то в силу (39) $1 = т, S2 = a2 и все семиинварианты, начиная с третьего,
равны нулю, т. е. $л = О, О 3.
Заметим, что в силу теоремы Марцинкевича функция вида ехр *?(/), где
&(t) — полином, может быть характеристической только в том случае, ко-
гда степень этого полинома не больше двух. Отсюда, в частности, вытекает,
что гауссовское распределение является единственным распределением,
обладающим тем свойством, что все его семиинварианты начиная с
некоторого номера 0 3, обращаются в нуль.
Пример 6. Если £ —пуассоновская случайная величина с параметром
А>0, то, согласно (11),
1п^(0 = А(е«-1).
Отсюда следует, что для всех п 1
s„ = A. (50)
Пример 7. Пусть С = (€1, ...,&) — случайный вектор. Тогда
теа)=м’).
me(l,2)=sc(l,2)+se(l)se(2),
mc(l, 2, 3)=s€(l, 2, 3) + s€(l, 2)5€(3) + s€(1, 3)s€(2)+ (51)
+ s€(2,3)$e(l) + s€(l)s€(2)s€(3),
Эти формулы показывают, что простые моменты выражаются через
простые семиинварианты весьма симметричным образом. Если положить
£1 = £2 = ... = £*, то из (51) получатся, конечно, формулы (48).
Из (51) становится понятным «групповое» происхождение коэффици-
ентов в формулах (48). Из (51) следует также, что
sc(l, 2) = me(l, 2)-mc(l)m€(2) = E£1£2-E£IE£2, (52)
т. е. s$(l, 2) есть не что иное, как ковариация случайных величин £ь £2-
9. Пусть £ — случайная величина с функцией распределения F(x) и
характеристической функцией </>(/). Предположим, что существуют все мо-
менты тп = Е£Л, О 1.
Из теоремы 2 следует, что характеристическая функция однозначно
определяет распределение вероятностей. Поставим сейчас следующий во-
прос (единственность проблемы моментов): однозначно ли определяют
моменты {тп}п^i распределение вероятностей?
Точнее, пусть F и G — две функции распределения, у которых все
моменты совпадают, т. е. для всех целых п О
xndF(x) — xndG(x).
(53)
— ОО
Спрашивается, вытекает ли отсюда совпадение функций F и G?
Вообще говоря, ответ на этот вопрос отрицательный. Чтобы в этом
убедиться, рассмотрим распределение F с плотностью
ч (ke~ax\ х>0,
,«0.
где а > 0, 0 < А < 1/2, а константа k выбрана из соображений нормировки
Дх) dx = 1.
о
Обозначим /3 = a tg Атг, и пусть g(x) = 0 для х 0 и
g(x) = ke~axX[ \ sin(/?xA)J, |е|<1, х>0.
Ясно, что g(x) > 0. Покажем, что при всех целых О 0
°° х
§ xne~QX sin/3xAdx = 0. (54)
о
Известно, что для р > 0 и комплексных q с Re q > 0
Т tp~le~qtdt =
Положим здесь р = (л + 1 )/А, q = а +г/3, t = хх. Тогда
хА(£^~1)е-<“+'^лАхА-1 dx = X xne~{a+i^dx =
О о
= А S хпе ахХ cos (3xadx — IX § хпе ахХ sm/3xxdx =
о о
n-Н п-Ц
а А (1 + i tg Атг) А
(55)
Но
(1 + i tg Атг) а = (cos Атг + / sin Атг) a (cos Атг) а =
= ei7r(n+i)^cos =cos тг(п+ 1)• (cos Атг)”,
поскольку sin тг(п +1) = 0.
Тем самым правая часть в (55) является действительной и, значит, при
всех целых ОО справедлива формула (54). Возьмем теперь в качестве
G(x) функцию распределения с плотностью g(x). Тогда из (54) следует,
что у функций распределения F и G все моменты совпадают, т. е. для всех
целых ОО справедливы равенства (53).
Приведем теперь некоторые достаточные условия, обеспечивающие
единственность проблемы моментов.
Теорема 7. Пусть F = F(x) — функция распределения и для п^ 1
дя= s”
—оо
Если
___ \/п
lim < оо, (56)
п—>оо п
ОО
то моменты {тп}п^1, где тп= § х" dF(x), однозначно определяют
—оо
функцию распределения F = F(x).
Доказательство. Из (56) и утверждения 7) теоремы 1 следует, что
найдется такое /о>О, что для всех |/|^/о характеристическая функция
оо
</?(/) = eitx dF(x) представима в виде
—оо
и, следовательно, моменты {mn}n^i однозначно определяют значение ха-
рактеристической функции <р(1) для всех |/| ^ /о-
Возьмем точку s с |$| ^ /о/2. Тогда из (56), так же как и при доказа-
тельстве (15), выводится, что для всех |/ -s| С /о
00 \k
6=0
где
<^>($) — ik
ОО
§ xhe‘sxdF(x)
—оо
однозначно определяется по моментам {тп}п^[. Следовательно, эти мо-
3
менты определяют однозначно ip(t) для всех |/| Продолжая этот
процесс, убеждаемся в том, что {тл}л^1 определяют однозначно <p(t) при
всех /, а значит, и функцию распределения F(x). □
Следствие 1. Моменты однозначно определяют распределение
вероятностей, сосредоточенное на конечном интервале.
Следствие 2. Для единственности проблемы моментов доста-
точно, чтобы
lim
п—>оо
(^2»)1/2П <
2п <0°
(57)
Для доказательства нужно лишь заметить, что нечетные моменты оце-
ниваются по четным, и затем воспользоваться условием (56).
Пример. Пусть F(x) — функция нормального распределения,
F(x) =
_ t2
е 2о* dt.
Тогда т2Л+1=0, тяп^^-^а2” и из (57) следует, что эти моменты
являются моментами только нормального распределения.
Приведем в заключение (без доказательства)
Критерий Карлемана (единственности проблемы моментов);
[69, т. 2, VII.3].
а) Пусть {тп}п^\ — моменты некоторого распределения вероят-
ностей, причем
1
52 (/и2„)1/2л -о°’
л=и
Тогда они определяют распределение вероятностей однозначно.
Ь) Если {тп}п^\ — моменты распределения, сосредоточенного на
[О, оо), то для однозначности достаточно потребовать, чтобы
00 1
W^=o°-
л=0
10. Пусть F = F(x) и G = G(x) — функции распределения с характе-
ристическими функциями f = f(t) и g = g(t) соответственно. Следующая
теорема, которую мы приводим без доказательства, показывает, как можно
оценить близость F и G (в равномерной метрике) в терминах близости
f и g. (По поводу применений этой теоремы см. § 11 гл. III.)
Теорема (неравенство Эссеена). Пусть G(x) имеет производную
G'(x) с sup |G'(x)| С. Тогда для каждого Г >0
X
Т
sup |F(x) - G(x)| < J j I ~ \dt + sup |G'(x)|.
x * 51 * । л/ x
11. На следующей странице приведены две таблицы характеристиче-
ских функций <p(t) некоторых часто встречающихся распределений веро-
ятностей; см. таблицы распределений (вместе с их параметрами) на с. 196
и 197.
12. Задачи.
1. Пусть £ и г) — независимые случайные величины, /(х) = fi (х)+i fz(x),
g{x) = gi (x) + ig2(x), где fk{x), gk(x) — борелевские функции, k = 1, 2. По-
казать, что если Е|/(£)| < оо, Е | g(£) | < оо, то
Е|/(£)ёГ07>| < оо
Ef(£)g(»?) = Ef(O-Egto).
2. Пусть £ = и Е||<||п < оо, где ||£|| = ^/Е €? Показать, что
п -k
= a*4-e„(0|kir.
k=0
где / = (Л, ..., tn) и бл(/)->0, /-+0.
3. Доказать теорему 2 для n-мерных функций распределения F =
= Fn(x\, ..., хп) и G = Grt(xi.хп).
4. Пусть F = F(x\, ..., хп) — n-мерная функция распределения, р —
= ..., tn) — ее характеристическая функция. Используя обозначе-
ние (12) § 3, установить справедливость формулы обращения
1г г А е~“*ак - е~“*Ьк
р<“’',|=М(2^ S SIP—«Г—**..................
С с ^=1
Таблица 4
Дискретные распределения Характеристические функции
Дискретное равномерное Бернуллиевское Биномиальное Пуассоновское Геометрическое Отрицательно-биномиальное X _ — Z ‘ 1 "i. । 7 > + + % ~ •g 4s 'V Тз тз ~ Ч. , *4.. <ъ “ •* О 3
Таблица 5
Распределения, имеющие плотность Характеристические функции
Равномерное на [а, 6] Нормальное, или гауссовское Гамма Бета Экспоненциальное Двустороннее экспоненциальное Хи-квадрат Стьюдента, или /-распределение Коши еиь _ gita it(b - а) (а2/2! exp|z<m-—j (1-й/Г Г(а + /3) (»)*Г(а+Л) Г(а) £о *' Па + 0 + k) Г( 1 + k) А X — it Х2е“а /2 + >2 (1 -2it)~n/2 у^гГ((яЧ~1)/2) ехр{—г»2Л /п Г(«/2) 22<-0(m-l)! Е(2Л)!Ся_1+Н2^|И) п+ 1 если т = — целое число е-^1
(В приведенной выше формуле обращения (а, Ь] является интервалом
непрерывности функции Р(а, 6], т. е. при всех Л = 1, ..., п точки a*, bk
являются точками непрерывности маргинальных функций распределения
Fk(Xk\ полученных из Г(х], ...,хл), если положить все переменные, за
исключением х*, равными +оо.)
5. Пусть 1, —характеристические функции, а неотрицатель-
ные числа A*, k 1, таковы, что £ А* = 1. Показать, что функция ^2
является характеристической.
6. Если <р(0 — характеристическая функция, то будут ли Re <p(t) и
Im ip(t) характеристическими функциями?
7. Пусть <^з —характеристические функции и <^1^2 = <^1^3- Сле-
дует ли отсюда, что <р2 = <^з?
8. Доказать справедливость формул, приведенных для характеристиче-
ских функций в табл. 4 и 5.
9. Пусть £ — целочисленная случайная величина и — ее характе-
ристическая функция. Показать, что
Р{£ = £} = ± 5 e-ikt^(t)dt, k = Q, ±1, ±2, ...
10. Показать, что в пространстве L2 = L2((-7r, тг], «^(-тг, тг]) с мерой
Лебега д система функций |-^=е/Лл, п = 0, ±1, ...} образует ортонор-
мированный базис.
11. В теореме Бохнера—Хинчина предполагается, что рассматривае-
мая функция ip(t) является непрерывной. Доказать следующий результат
(Рисе), показывающий, в какой степени можно отказаться от предполо-
жения непрерывности.
Пусть <£ = </>(/) — комплекснозначная измеримая по Лебегу функция
с <^(0) = 1. Тогда функция = </?(/) является положительно определенной
в том и только том случае, когда она совпадает (почти всюду относитель-
но лебеговой меры на числовой прямой) с некоторой характеристической
функцией.
12. Какие из функций
^(/) = (1 + |/|)-1,
<p(t) = e '*1*. k
¥>(/) = (!+ /4)-1.
^(0 = <
1/(4|/|), И >1/2,
являются характеристическими?
13. Пусть </>(/) —характеристическая функция распределения F — F(x).
Пусть {хп} — множество точек разрыва функции F (AF(xn) = F(xn)-
- F(xn-)>0). Показать, что
1 г
Пт 7 $ |<р(ОМ = 52 (д/?(х«))2-
Т —»оо / '
14. Функцией концентрации случайной величины X называется фун-
кция
Q(X\ /) = sup Р{х^Х^х + /}.
xER
Показать, что:
(а) если X и Y — независимые случайные величины, то
Q(X + Г; /)<min(Q(x; /), Q(Y; I)) для всех / 0;
(Ь) найдется такое х*, что Q(X; /) = Р{х* < X < х* + /}, и функция рас-
пределения величины X непрерывна тогда и только тогда, когда ф(Х; 0) = 0.
15. Пусть (тп)п^ j — последовательность моментов случайной величины
(оо \
mk = *k dF(x) 1. Показать, что
— ОО /
если ряд 22 ~b\sk сходится абсолютно для некоторого s >0, то (тп)п^[
однозначно определяет функцию распределения F = F(x).
оо
16. Пусть cp(t) = eitx dF(x) — характеристическая функция распре-
—оо
деления F = F(x). Показать, что:
lim $ e~“x<p(t)dt = F(x)-F(x-),
С—ЮО £С J
—с
lim 1 $ H0|2d/=£ [F(x)-F(x-)]2.
С—ЮО ZC J '
~с XER
17. Показать, что каждая характеристическая функция <p(t) удовлетво-
ряет неравенству 1 — Re 4[1 — Re <p(f)L
18. Пусть характеристическая функция такова, что <p(t) = 1 + f(t) +
+ о(/2), t -4 0, где /(/) = -/(-/). Показать, что тогда <р(/) = 1-
19. Показать, что для каждого п 1 функции
.. л-1
е" - £ (it)k/k\
являются характеристическими.
20. Доказать, что
£ 5 5 WW).
— ОО —оо
21. Пусть характеристическая функция 1 + О(|/|а), /—>0, где
а 6(0, 2]. Показать, что случайная величина £, имеющая своей характе-
ристической функцией функцию <р(/), обладает следующим свойством:
Р{|£| > х} = 0(х“а), х-0.
22. Если <p(t) — характеристическая функция, то функция |</?(/)|2 —
также характеристическая.
23. Пусть X и У — независимые одинаково распределенные величины
с нулевым средним и единичной дисперсией. Доказать, основываясь на
рассмотрении характеристических функций, что если распределение вели-
чины (X + У)/\/2 совпадает с распределением F величин X и У, то это F
является нормальным распределением.
24. Если р есть характеристическая функция, то таковой же является
функция для каждого А^О.
25. Преобразованием Лапласа неотрицательной случайной величины
X с функцией распределения F называется функция F = F(A), определен-
ная для А > 0 формулой
Л(А) = Ее“лх= $ е~Хх dF(x).
[0,оо)
Доказать следующий критерий (С. Н. Бернштейн): функция f = ДА) на
(0, оо) есть преобразование Лапласа функции распределения F = Г(х) на
[0, оо) в том и только том случае, когда эта функция является полностью
(вполне) монотонной (т.е. существуют производные Дл)(А) всех порядков
п>0 и (-1)л/<л>(А)^0).
26. Пусть ip(t) — характеристическая функция. Показать, что следую-
щие функции также являются характеристическими:
1 оо
4>(ut) du, § e~u<p(ut) du.
о о
§ 13. Гауссовские системы
1. Гауссовские, или нормально распределенные, случайные величины,
гауссовские процессы и системы играют исключительно важную роль
в теории вероятностей и математической статистике. Объясняется это
прежде всего справедливостью центральной предельной теоремы
(§ 4 гл. III), частным случаем которой является теорема Муавра—Лапласа
(§ 6 гл. I). Согласно этой теореме, нормальное распределение носит
универсальный характер в том смысле, что распределение суммы большого
числа независимых случайных величин или случайных векторов, подчиня-
ющихся не слишком стеснительным условиям, хорошо аппроксимируется
этим распределением.
Именно это обстоятельство дает теоретическое объяснение распро-
страненному в статистической практике «закону ошибок», выражающему-
ся в том, что ошибка измерения, слагающаяся из большого числа незави-
симых «элементарных» ошибок, подчиняется нормальному распределению.
Многомерное гауссовское распределение описывается небольшим чис-
лом параметров, что является несомненным его достоинством при постро-
ении простых вероятностных моделей. Гауссовские случайные величины
имеют конечный второй момент, и, следовательно, их свойства могут изу-
чаться методами гильбертова пространства. Важным при этом оказывается
то обстоятельство, что в гауссовском случае некоррелированность пре-
вращается в независимость, что дает возможность значительно усилить
результаты «£2-теории».
2. Напомним, что (согласно § 8) случайная величина £ = £(щ) назы-
валась гауссовской или нормально распределенной с параметрами тиа2
(£ а2)), |т| <оо, а2>0, если ее плотность fe(x) имеет следующий
вид:
1 (х—т)2
(1)
где а = Н-г/а2.
При а 10 плотности «сходятся к 5-функции, сосредоточенной
в точке х = т». Поэтому естественно сказать, что случайная величина £
нормально распределена с параметрами т и а2 = 0 0)), если £
такова, что P{£ = m} = 1.
Можно дать, однако, такое определение, которое сразу будет охва-
тывать как невырожденный (а2>0), так и вырожденный (и2 = 0) слу-
чаи. С этой целью рассмотрим характеристическую функцию ^(/) = Ее^,
teR,
Если P{£ = m}= 1, то очевидно, что
<Ш = е“т, (2)
а если ст2), ст2 > 0, то, согласно (9) § 12,
¥>«(/) = (3)
Легко видеть, что при а2 = 0 правая часть (3) совпадает с правой ча-
стью (2). Отсюда и из теоремы 1 § 12 следует, что гауссовскую случайную
величину £ с параметрами тиа2 (| т | < оо, а2 0) можно определить как
такую величину, для которой характеристическая функция ^(/) задается
формулой (3). Подход, основанный на привлечении характеристических
функций, особенно удобен в многомерном случае.
Пусть £ = (£i, ..., £л) — случайный вектор и
^(0 = Ее/(Ч t = (4)
— его характеристическая функция (см. определение 2 в § 12).
Определение 1. Случайный вектор £ = (£|, ..., £л) называется гаус-
совским или нормально распределенным, если его характеристическая
функция ^(/) имеет следующий вид:
= (5)
где т = (гп\,..., тл), \rrik| <оо и R = \\гм || — симметрическая неотрицатель-
но определенная матрица порядка п х п (для краткости будем использовать
обозначение: £~<Ж(т, R)).
В связи с данным определением возникает прежде всего вопрос о том,
а является ли функция (5) характеристической? Покажем, что это дей-
ствительно так.
С этой целью предположим сначала, что матрица R является невыро-
жденной. Тогда определены обратная матрица A = R”1 и функция
К*) = (2^ exp{-i(4(x - т), (х - т))}, (6)
где x = (xi, ...,хл), |Д| = де1Л. Эта функция является неотрицательной.
Покажем, что
Rn
или, что то же,
/„ = 5 е‘^~т> е~ 2 йх = еЛ (R">. (7)
я»
Сделаем в интеграле замену переменных
х - т = Gu, t = Gv,
где С — ортогональная матрица такая, что
и
(d\ 0
D =
\0 dn
— диагональная матрица с -^0 (см. доказательство леммы в § 8). По-
скольку |К| = det К / 0, то di > 0, / = 1, ..., я. Поэтому
|Л| = |К-*|=^Г'-С- (8)
Далее (см. обозначения п. 1 § 12)
i(t, х-т)- - т), х - т) =
= i(ffv, 0и) -^(А0и, 0и) = 0и-1(0и)*А(0и) =
= iv*u — ^u*0*A0u = iv*u-- ±u*D~lu.
Вместе с (9) § 12 и (8) это дает
1п (<l-K)n/‘4d\...dn)'/‘i
1 00
(2^)‘/2 Д
«? п
eWkUk %; du* = Д е
Л=1
Из (6) следует также, что
5 f(x)dx=l. (9)
Rn
Таким образом, функция (5) является характеристической функцией
и-мерного (невырожденного) гауссовского распределения (см. п. 3 § 3).
Пусть теперь матрица К вырожденная. Возьмем е>0 и рассмот-
рим положительно определенную симметрическую матрицу К€ = К + еЕ,
где Е — единичная матрица. Тогда по доказанному функция
<^£(0 = ехр{/(/, т) - i(R4 о}
является характеристической:
¥>£(0= $ e^dF^x),
R"
где Fe(x) = Fe(xi, •••. хп) — n-мерная функция распределения.
При £ -»0
<PS(t) <P(t) = ехрр(/, т) - (R t, /)}.
Предельная функция </?(/) непрерывна в нулевой точке (0, 0). Поэтому,
согласно теореме 1 и задаче 1 из § 3 гл. III, она является характеристиче-
ской.
Итак, корректность определения 1 установлена.
3. Выясним смысл вектора т и матрицы R= ||г*/||, входящих в харак-
теристическую функцию (5).
Поскольку
1 п 1 п
In = t) = i 22 tkmk- % 22 <10)
fc=l k,l=\
то из (35) § 12 и формул связи моментов и семиинвариантов находим, что
/П1=4'-°..............О) = Е6, .... т„=5;°-А1) = Еея.
Аналогично
r,2 = s"''ftJI=COV(fl,&),
и вообще
rki =cov(&, £i).
Таким образом, т есть вектор средних значений £, a R — матрица
ковариаций.
Если матрица R невырожденная, то к этому результату можно было
прийти и иначе. Именно, в этом случае вектор £ имеет плотность /(х),
задаваемую формулой (6). Тогда прямой подсчет показывает, что
E£k = \xttf(x)dx = mk,
cov(&, С/) = - mk)(xi - mt)f(x) dx = гы.
4. Обратимся к рассмотрению некоторых свойств гауссовских векто-
ров.
Теорема 1. а) У га ус совского вектора некоррелированность его
компонент эквивалентна их независимости.
Ь) Вектор £ = (£ь ...,£л) является гауссовским тогда и только
тогда, когда для любого вектора A = (Ai, ..., Ал), А*е/?, случайная
величина (£, А) = A>£i + ... + Ал£л имеет гауссовское распределение.
Доказательство, а) Если компоненты вектора £ = (£ь ..., £л) некор-
релированы, то из вида характеристической функции ^(/) следует, что она
является произведением характеристических функций:
п
^(о=П
£=1
Поэтому в силу теоремы 4 § 12 компоненты £i, ..., £л независимы.
Обратное утверждение очевидно, поскольку из независимости всегда
следует некоррелированность.
Ь) Если £ — гауссовский вектор, то (см. (5))
2
Е exp{z/(£iAi + ... + £ЛА„)} = ехр{<7 (Е А*/п*) - у (Е гмА*А,) J, t GR,
и, поэтому,
(£, А)~.ж(Е $2 Пг/А^А/).
Обратно, гауссовость случайной величины (£, A) = £iAi +... +£ЛАЛ
означает, в частности, что
Ее/(е.Л) = £?Е(е,А)-^^ =ei Е Е А*А/ C0V(6,e/)
В силу произвольности Ai, ..., Хп отсюда следует, что £ = (£ь ...» £л) —
гауссовский вектор (см. определение 1). □
Замечание. Пусть (0, £) — гауссовский вектор с 0 = (0ь ...» 0*)>
£ = (£1, •••» €/)• Если векторы 0 и £ некоррелированы, т.е. cov(0/, £;) = 0,
/ = 1, ...,&,/ = 1, ...,/, то они и независимы.
Доказательство — то же, что и для утверждения а) теоремы.
Пусть £ = (£i, ..., £п) — гауссовский вектор, и для простоты будем
предполагать, что вектор средних значений является нулевым. Если
rang R = г<л, то, как было показано в § 11, существует ровно п-г
линейных соотношений между величинами Ci, •••» В этом случае
можно считать, что, скажем, величины ..., линейно независимы, а
все остальные через них линейно выражаются. Поэтому все основные
свойства вектора £ = (£i,..., £л) определяются первыми г компонента-
ми ($i, ...,еД для которых соответствующая матрица ковариаций уже
является невырожденной.
Итак, можно считать, что исходный вектор £ = (£ь ..., £rt) уже таков,
что его компоненты линейно независимы и, значит, |R| > 0.
Пусть б — ортогональная матрица, приводящая R к диагональному
виду
Как уже отмечалось в п. 3, все диагональные элементы матрицы D по-
ложительны, и, следовательно, определена обратная матрица. Положим
B2 = D и
Тогда легко убедиться, что
Ее<(^) = Ее'^/=е-2(£м),
т. е. вектор /3 = (J3\,..., 0п) — это гауссовский вектор с некоррелированны-
ми, а значит (теорема 1), и независимыми компонентами. Тогда, обозначая
А = &В, получаем, что исходный гауссовский вектор £ = (£i, ...» Сл) пред-
ставляется в виде
€ = М (12)
где /? = (/?!,...,/?л) — гауссовский вектор с независимыми компонен-
тами, /3^~сЖ(0, 1). Отсюда вытекает следующий результат. Пусть £ =
= (Сь •••» &) — вектор с линейно независимыми компонентами, Е& = 0,
k = 1,..., п. Этот вектор является гауссовским тогда и только тогда, когда
существуют независимые гауссовские величины /?!,...,/?«, /3^~сЖ(0, 1),
и невырожденная матрица А порядка п такие, что £ = А(3. При этом
К = ЛЛ* — матрица ковариаций вектора С-
Если |К| / 0, то, согласно методу ортогонализации Грама—Шмидта
(см. §11),
Сл==Сл + ^^» й = 1,...,п, (13)
где в силу гауссовости вектор е = (еь ..., £б)~сЖ(0, Е),
k-\
(14)
/=1
^ = И&-&11 (15)
и
£k} = jr{£l,...,ek}. (16)
Из ортогонального разложения (13) сразу получаем, что
С^ = Е(С^|С^ь...,С1). (17)
Отсюда в силу (16) и (14) следует, что в гауссовском случае условное
математическое ожидание Е(&|&_1, ..., £i) является линейной функцией
от ..., &_j:
6-1
E&lfc-i,.... 6) = Е а‘£- <18>
i=l
(В случае k = 2 этот результат был установлен в § 8.)
Поскольку, согласно замечанию к теореме 1 § 8, Е(&|&_|, ...,£i)
является оптимальной (в среднеквадратическом смысле) оценкой & по
£i, ...,^-ь то из (18) следует, что в гауссовском случае оптимальная
оценка оказывается линейной.
Используем эти результаты для отыскания оптимальной оценки вектора
0 = (01, ..., 0^) по вектору С = (€ь •••> €/) в предположении, что (0, —
гауссовский вектор. Обозначим
me = E0, m^ = E£
. вектор-столбцы средних значений и
D00 =COV(0, 0) = ||COV(0f, 0;)||, 1 /, j k.
= cov(0, е) = ||cov(0b £,)II, 1 I k, 1 j Ц
Dee=cov(e о=iicovte, е7) ||, 1 /, / /,
— матрицы ковариаций. Предположим, что матрица имеет обратную
матрицу. Тогда (ср. с теоремой 2 в § 8) справедлива следующая
Теорема 2 (теорема о нормальной корреляции, векторный слу-
чай). Для гауссовского вектора (0, £) оптимальная оценка Е(0|£)
вектора в по £ и ее матрица ошибок
△ = Е[0 —Е(0|О] [0-Е(0|ОГ
задаются следующими формулами:
E(0|€) = /n9 + D^D-,(e-m?)I (19)
△ = D#0 — DefD^'D^. (20)
Доказательство, Образуем вектор
^=P-me)-DefD^(e-m€). (21)
Тогда непосредственно проверяется, что Ет/(£ — т^)* = 0, т. е. вектор ту
не коррелирован с вектором £ — т$. Но в силу гауссовости (0, О вектор
(г/, О также будет гауссовским. Отсюда в силу замечания к теореме 1
векторы rj и £ — независимы. Значит, независимы ту и £ и, следовательно,
Е(?71 ^) = Е77 = 0. Поэтому
Е[0-mdfl-DeeD^-«€) = <),
что и доказывает представление (19).
Для доказательства (20) рассмотрим условную ковариацию
COVP, 0|£) = E[(0-Ep|a)(0-Ep|om (22)
Поскольку 0 — Е(0|£) = т?, то в силу независимости т/ и £ находим, что
Cov(0,0|O = E(W*|£) = EW* =
= Dee + Def D^1 Dff D^1 D$f — 2Def D^1 DffD^1 = Dee - Def D^1 .
Поскольку cov(0, 01 £) не зависит от «случая», то
△ = Е cov(0, 01 $ = cov(0, 0 Ю,
что и доказывает представление (20). □
Следствие. Пусть (0, £i, ...,£л) есть (п+\)-мерный гауссовский
вектор, причем £i, ..., £л независимы. Тогда
ЕШ.......£„) = Е0 + £ ^Ае -Е£;),
/ = 1
л-ва-У
й °*
(ср. с формулами (12), (13) § 8).
5. Пусть £ь £2, ... — последовательность гауссовских случайных век-
торов, сходящаяся по вероятности к вектору £. Покажем, что вектор £
также является гауссовским.
В соответствии с утверждением а) теоремы 1 достаточно показать это
лишь для случайных величин.
Пусть тл = Е£л, a2 = D£n. Тогда по теореме Лебега о мажорируемой
сходимости
lim еатп~^2 lim Е?'6, = Ее^.
п—*оо п—>оо
Из существования предела в левой части вытекает, что найдутся такие т
и а2, что
lim тп. ст2 = lim а2
П—+ОО П—+ОО
Следовательно,
Ee“S=ei,m~^2t2,
т. е. £~<Ж(т, а2).
Отсюда, в частности, вытекает, что замкнутое линейное многообразие
J^(£i, £2» ...), порожденное гауссовскими величинами £1, £2, ... (см. п. 5
§11), состоит из гауссовских величин.
6. Перейдем теперь к определению общих гауссовских систем.
Определение 2. Совокупность случайных величин £ = {£*}, где Q при-
надлежит некоторому множеству индексов Я, называется гауссовской си-
стемой. если для любого О 1 и любых ai,..., ап из Я случайный вектор
(£*,, ...» £ая) является гауссовским.
Отметим некоторые свойства гауссовских систем.
а) Если £ = (£а), о 6 Я, — гауссовская система, то всякая ее подсистема
£' = (£^,), а' е Я' С Я, также является гауссовской.
Ь) Если £а, а е Я, — независимые гауссовские величины, то система
£ = (£а)> а € Я, является гауссовской.
»
с) Если £ = (£*), а е 21, — гауссовская система, то замкнутое линейное
_ п
многообразие состоящее из величин вида £ са^а, и их пределов в
/ = 1
среднеквадратическом смысле, образует гауссовскую систему.
Заметим, что утверждение, обратное к свойству а), вообще говоря,
неверно. Например, пусть и rji независимы и ~с/К(0, 1), щ ~<Ж(0, 1).
Определим систему
(С ’ 1^1 D- еСЛИ & > °’ Z9Q4
1<€ь-Ы). если£1<0.
Тогда нетрудно проверить, что каждая из величин £ и rj гауссовская, а
вектор (£, rj) гауссовским не является.
Пусть £ = (£*), ае2(, — некоторая гауссовская система с «век-
тором» средних значений m —(mQ), ае21, и «матрицей» ковариаций
R = (га^)а^еа» где mQ = E£Q. «Матрица» К является, очевидно, сим-
метрической (га@ = г$а) и неотрицательно определенной в том смысле, что
для любого «вектора» с = (са)ае% со значениями в Ка, у которого лишь
конечное число координат cQ отлично от нуля,
(К с, с) = ^2 га0СаС0 > 0. (24)
Поставим сейчас обратный вопрос. Пусть задано некоторое парамет-
рическое множество 21 = {а}, «вектор» т = (та)ае^ и симметрическая
неотрицательно определенная «матрица» R = (ra^)a^€a- Спрашивается,
существует ли вероятностное пространство (Q, &, Р) и на нем гауссовская
система случайных величин £ = (^а)а€а такие, что
Е£а = ша,
COV(£Q, ^) = rQ)3, а.0 е 21?
Если взять конечный набор aj, ..., ал, то по вектору m = (mQ|, ...
•••» и матрице R = (rQ^), а, /3 = аь ..., ап. в Rn можно построить гаус-
совское распределение FQ1...., хп) с характеристической функцией
Нетрудно проверить, что семейство
{Foti .ап(X|, ...,хп);ditty
является согласованным. Следовательно, по теореме Колмогорова (теоре-
ма 1 § 9 и замечание 2 к ней) ответ на поставленный выше вопрос является
положительным.
7. Если 21 = {1,2, то в соответствии с терминологией, приня-
той в § 5, систему случайных величин £ = (&а)аея. будем называть слу-
чайной последовательностью и обозначать С = (Сь •)• Гауссовская
последовательность полностью описывается вектором средних значений
т = (т\, m2, ...) и матрицей ковариаций К = ||г/7Ц, = cov(&, £у). В част-
ности, если rij = a?Sijy то £ = (£ь •••) есть гауссовская последователь-
ность независимых случайных величин с & ~Л\т^ of), f > 1.
В том случае, когда 21= [0, 1], [0, оо), (-оо, оо), ..., систему величин
£ = (&), t е2(, называют случайным процессом с непрерывным временем.
Остановимся на некоторых примерах гауссовских случайных процес-
сов. Если считать их средние значения равными нулю, то вероятностные
свойства таких процессов полностью определяется видом «матрицы» ко-
вариаций K = (rs/), s, t е21. Будем обозначать rst через r(s, t) и называть
эту функцию от s и t ковариационной функцией.
Пример 1. Если 21= [0, оо) и
r(s, /) = min(s, /), (25)
то гауссовский процесс B = с такой функцией ковариаций (см. за-
дачу 2) и Во = О называется процессом броуновского движения или
винеровским процессом.
Отметим, что этот процесс имеет независимые приращения, т. е. для
любых t\ < t2 <... < tn случайные величины
Bt2-Bt{, ..., Btn-Btn^
являются независимыми. В самом деле, в силу гауссовости достаточно
проверить лишь попарную некоррелированность приращений. Но если
s < t < и < v, то
E[Bt-Bs][Bv-Bu] =
= [г(/, и) - г(/, и)] - [г($, и) - г($, и)] = (/-/)-($-$) = 0.
Замечание. Приведенный в п. 4 § 9 пример процесса восстановления
(конструктивно заданного по последовательности независимых одинаково
распределенных величин ui, <?2, ...) наводит на мысль о возможности по-
строить аналогичным образом некоторую версию броуновского движения.
Такие конструкции, основанные на привлечении последовательности
€2» ••• независимых одинаково распределенных стандартных гауссов-
ских случайных величин & ~<Ж(0, 1), действительно существуют.
Образуем, например, величины
=v £ sin((n+1/2)7г0, f е [0,1]- (2б)
л=1 7
Из приводимой далее теоремы о «двух рядах» (теорема 2 §3 гл. IV)
вытекает, что ряд, определяющий В/, сходится (Р-п. н.) при каждом
t е [0, 1]. Более детальное рассмотрение показывает, что этот ряд сходится
(Р-п. н.) равномерно, и тем самым процесс В = (B/)o^/^i имеет (Р-п. н.)
непрерывные траектории. Нормальность конечномерных распределений
этого процесса следует из теоремы 1 Ь) и утверждения в п. 5 о сохранении
гауссовости распределения предела по вероятности гауссовских случайных
величин. Нетрудно убедиться также в том, что ковариационная функция
r(s, t) = EBsBt = min(s, t).
Таким образом, построенный в (26) процесс B = (S/)o«^<i удовлетво-
ряет всем требованиям в определении процесса броуновского движения,
но, более того, этот процесс имеет (Р-п. н.) непрерывные траектории.
Как правило, свойство непрерывности траекторий (которое является же-
лательным и оправданным физическими применениями) включают в само
определение броуновского движения. Как видим, такой процесс действи-
тельно существует.
Укажем еще на один известный способ построения броуновского дви-
жения, основанный на введенных в п. 5 § 11 функциях Хаара Нп(х),
хб[0, 1], п=1, 2, ...
Построим по ним функции Шаудера Sn(t), t е [0, 1 ], n = 1, 2, ...:
t
Sn(t) = \Hn(x)dx. (27)
о
Тогда если £о, ••• — последовательность независимых одинаково
распределенных стандартных, £/ ~<Ж(0, 1), случайных величин, то ряд
(28)
Л=1
сходится равномерно по /€[0, 1] с вероятностью единица. Процесс В =
= (В<)о$<^1 является броуновским движением.
Пример 2. Процесс В° = (Bf), t €21 с 21= [0, 1], В§ = 0 и
r(s, t) = min(s, t) - st, (29)
называется условным винеровским процессом или броуновским мо-
стом (заметим, что поскольку r(l, 1) = 0, то Р(В° = 0)= 1).
Пример 3. Процесс X = (Xt), t € 2t с 21 = (-оо, оо) и
r(s, 0 = e~|z~s| (30)
называют гауссовско-марковским.
8. Приведем одно интересное свойство броуновского движения, до-
казательство которого будет служить хорошей иллюстрацией применения
леммы Бореля—Кантелли из § 10 (точнее — следствия 1 к ней).
Теорема 3. Пусть В = — стандартное броуновское движе-
ние. Тогда с вероятностью единица для всякого Т>0
тт
Дтоо Е = Т. (31)
6=1
Доказательство. Без ограничения общности можно считать Т=1.
Пусть
2п
6=1
Поскольку величины Bk2-n — £(6-1)2-" являются гауссовскими с нулевыми
средними и дисперсией, равной 2“л, то
(2я \
— ^(/?-1)2-л)2 ) =2 л+1;
6=1 /
значит, по неравенству Чебышева Р(Л^) ^е“22“л+1, и тем самым
J Р(4‘)Се-2 § 2-л+1 =2£"2<оо. (32)
Л=1 Л=1
Требуемое утверждение (31) следует из этой оценки и следствия 1 к лемме
Бореля—Кантелли (§ 10). □
9. Задачи.
1. Пусть & €з — независимые гауссовские случайные величины,
&~«/К(0, 1). Показать, что
С1/—2<о ~^(0, О-
(В этой связи возникает интересная для исследования задача описания
всех нелинейных преобразований от независимых гауссовских величин
распределение которых также является гауссовским.)
2. Доказать, что «матрицы» K = (r(s, Ок/еаь задаваемые функциями
r(s, t) из (25), (29) и (30), являются неотрицательно-определенными.
3. Пусть А — некоторая матрица порядка т х п. Назовем матрицу Л0
порядка п х т псевдообратной к матрице Л, если найдутся такие мат-
рицы U и V, что
ЛЛ0Л=Л, Л0 = М*=Л*К
Показать, что матрица Л0, определяемая этими условиями, существует и
единственна.
4. Показать, что формулы (19) и (20) в теореме о нормальной корреля-
ции остаются справедливыми и в случае вырождения матрицы D^, если
в этих формулах вместо D^1 рассматривать псевдообратную матрицу D^.
5. Пусть (0, £) = (0ь 0*; £ь £/) — гауссовский вектор с невыро-
жденной матрицей △ = - D^D^. Показать, что у функции распреде-
ления P(0^a|£) = P(0i ..., 0*^aj£) существует (Р-п.н.) плотность
р(а\, ...» ak |£), определяемая формулой
р(а1,...,аЛ|С) = ^^ ехр{-1(а-Е(0|е))*Д-*(а-Е(0|е))}.
6. (С. Н. Бернштейн.) Пусть £ и т/ — независимые одинаково распре-
деленные случайные величины с конечной дисперсией. Доказать, что если
£ + т) и £ — т? независимы, то £ и ту являются гауссовскими величинами.
7. Теорема Мерсера. Пусть r = r(s, t) — непрерывная ковариационная
функция на [а, Ь] х [а, Ь], где —оо<а<Ь <оо. Доказать, что уравнение
ь
А § r(s, t)u(t) dt = u(s), а О О,
а
допускает бесконечное число значений А* > 0 и соответствующую систему
непрерывных решений {uk, 1}, образующих полную ортонормированную
систему в L2(a, b) такую, что
Л=1 *
где ряд сходится абсолютно и равномерно на [а, Ь] х [а, £].
8. Пусть X ={%/, t >0} — гауссовский процесс с ЕХ/=0 и кова-
риационной функцией r(s, t) = e~*1, s,Пусть 0<t\<...<tn и
ft,.../„(*1, хп) — плотность величин Xtl, Х1п. Доказать, что
А,...
хп) =
(2<)Л П
1=2
-1/2
_ е2«,
(х.-е*'-1 /')xi_i)2'l
1_еад-,-м J-
9. Пусть / = {/л, О 1}cL2(0, 1) —полная ортонормированная система
и (€л) — независимые одинаково распределенные <Ж(0, 1)-величины. По-
t
казать, что процесс Bt = £ fn(u)du есть броуновское движение.
л>1 о
10. Доказать, что в случае гауссовских систем (£, т/i, ...» т}п) услов-
ные математические ожидания E(f |771,..., г}п) совпадаютс математически-
ми ожиданиями в широком смысле Ё(£|т)\, ..., г}п).
11. Пусть (£, т/i, ..., r}k) — гауссовская система. Выяснить структуру
условных математических ожиданий Е(£л|t7i, ..., 77*), 1 (как функций
ОТ 7/ь ..., T)k).
12. Пусть X = (Xk)i^n и Y = (Yk)\^k^n — две гауссовские случайные
последовательности с ЕХ* = ЕУ*, DX* = ОУ*, 1 k и, и
cov(X*, Xi) соу(У*, У/), 1 й, I п.
Доказать справедливость неравенства Слепяна: для всякого xeR
р| sup Х*<х|^р{ sup У*<х|.
13. Доказать, что если В° = (В°)о^ь то процесс В = (В/)/^0 сВ/ =
= (1 + является броуновским движением.
14. Проверить, что для броуновского движения В = (В/)/^о следующие
процессы также являются броуновскими движениями:
в,(1> = -В/;
B® = tB{/t, t>0, и Bf’ = 0;
B® = Bt+s-Bs, s>0;
B^ = BT-BT-t для (К/<Г, Г>0;
В,5) = ^Ва2/, а > 0 (свойство автомодельности).
15. Пусть X = (Xk)i^n — гауссовская последовательность с
т = max EX*, а2 = max DX*,
и
p{ max (X* - EX*) a| 1/2 для некоторого a.
Тогда имеет место следующее неравенство Бореля:
Р{ max Х*>х)^2ф(х
оо
где Ф(х) = (2тг)-1/2 e~y2/'ldy.
X
16. Пусть (X, У) —двумерная гауссовская случайная величина с ЕХ =
= ЕУ = 0, ЕХ2>0, ЕУ2>0 и коэффициентом корреляции р =
ЕХУ
\/ЁХ2ЕУ2'
Показать, что
Р{ХУ <0}= 1 — 2Р{Х>0, У >0} = тг-1 arccos р.
17. Пусть Z = ХУ, где X ~<Ж(0, 1) и Р{У= 1} = Р{У = -!}= i. Найти
распределение пар (X, Z) и (У, Z) и распределение X + Z. Показать, что
Z^c/K(0, 1) и что X и Z некоррелированы, но зависимы.
18. Провести подробное доказательство того, что процессы (В/)о<^ь
определяемые в (26), (28), являются броуновскими движениями.
19. Пусть = (Bt + — броуновское движение со сносом.
(а) Найти распределение величин Bfi + Bfc, Л < /г-
(Ь) Найти EBffi и ЕВ%В?В% для /0 < /j < /2.
20. Для процесса из предыдущей задачи найти условные распреде-
ления
Р(В£€-|В£)
ДЛЯ t\ < t2 и > /2 И
Р(В£е-|В£,
ДЛЯ /о < 6 < ^2-
Глава III
БЛИЗОСТЬ И СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР.
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
§ 1. Слабая сходимость вероятностных мер и распределений.. 397
§ 2. Относительная компактность и плотность семейств вероятност-
ных распределений......................................... 407
§ 3. Метод характеристических функций в доказательстве предель-
ных теорем ............................................... 413
§4. Центральная предельная теорема для сумм независимых слу-
чайных величин. I. Условие Линдеберга .................... 421
§ 5. Центральная предельная теорема для сумм независимых слу-
чайных величин. II. Неклассические условия................ 433
§ 6. Безгранично делимые и устойчивые распределения...... 438
§ 7. «Метризуемость» слабой сходимости .................. 447
§8. О связи слабой сходимости мер со сходимостью случайных
элементов почти наверное («метод одного вероятностного про-
странства») .............................................. 452
§ 9. Расстояние по вариации между вероятностными мерами. Рас-
стояние Какутани—Хеллингера и интегралы Хеллингера. При-
менение к абсолютной непрерывности и сингулярности мер ... 460
§ 10. Контигуальность (сближаемость) и полная асимптотическая
разделимость вероятностных мер............................ 470
§11.0 скорости сходимости в центральной предельной теореме.... 475
§ 12. О скорости сходимости в теореме Пуассона........... 479
§ 13. Фундаментальные теоремы математической статистики . 481
При формальном построении курса теории вероятностей предельные тео-
ремы появляются в виде своего рода надстройки над элементарными главами
теории вероятностей, в которых все задачи имеют конечный, чисто ариф-
метический характер. В действительности, однако, познавательная ценность
теории вероятностей раскрывается только предельными теоремами. Более то-
го, без предельных теорем не может быть понято реальное содержание самого
исходного понятия всей нашей науки — понятия вероятности.
Б. В. Гнеденко, А. Н. Колмогоров.
«Предельные распределения для сумм независимых случайных величин» [16]
§ 1. Слабая сходимость вероятностных мер
и распределений
1. Многие из фундаментальных результатов теории вероятностей фор-
мулируются в виде предельных теорем. В форме предельных теорем были
сформулированы закон больших чисел Я. Бернулли и теорема Муавра—
Лапласа, положившие, собственно говоря, начало истинной теории вероят-
ностей и, в частности, указавшие путь многочисленным исследованиям по
выяснению условий справедливости разных форм «закона больших чисел»
и «центральной предельной теоремы». В форме предельной теоремы была
сформулирована теорема Пуассона об аппроксимации биномиального
распределения «пуассоновским» в случае редких событий. Уже на при-
мере этих утверждений, и также результатов о скорости сходимости в
теоремах Муавра—Лапласа и Пуассона видно, что в теории вероятностей
приходится иметь дело с разными видами сходимости распределений, а
выяснение скорости сходимости требует введения тех или иных «есте-
ственных» мер близости между распределениями.
В настоящей главе будут рассматриваться некоторые общие аспек-
ты сходимости вероятностных распределений и их близости. В данном
параграфе рассматриваются вопросы общей теории слабой сходимости
вероятностных мер в метрических пространствах. (Именно к кругу
интересов этой теории относятся, в частности, как закон больших чисел
Я. Бернулли, так и теорема Муавра—Лапласа — прародительница «цен-
тральной предельной теоремы».) Из § 3 станет ясно, что метод характе-
ристических функций является одним из самых мощных средств доказа-
тельства предельных теорем о слабой сходимости вероятностных распре-
делений в Rn. В § 7 будут рассмотрены вопросы «метризуемости» слабой
сходимости. Затем в § 9 мы останавливаемся на другом виде сходимости
распределений (более сильном, нежели слабая сходимость) — сходимости
по вариации. Доказательству простейших результатов о скорости сходи-
мости в центральной предельной теореме и теореме Пуассона отведены
§§ 11, 12. В § 13 результаты о слабой сходимости из §§ 1, 2 применяются
к некоторым (принципиально важным) задачам математической статис-
тики.
2. Напомним для начала формулировку закона больших чисел (гл. I,
§ 5) в схеме Бернулли.
Пусть ••• — последовательность независимых одинаково рас-
пределенных случайных величин с P(£z = l) = p, Р(£=0) = р + ^ = 1.
Используя введенное закон больших чисел виде: в § 10 гл. II понятие сходимости по вероятности, Я. Бернулли можно сформулировать в следующем --^Р, п-^со, (1)
где Sn = fi +... + £„. (В гл. IV будет показано, что на самом деле здесь
имеет место и сходимость с вероятностью единица.)
Обозначим
/>(%) = Р{^х},
= Х>Р’
(2)
где F(x) — функция распределения вырожденной случайной величины
£ = р. Пусть также РпиР — вероятностные меры на (/?, <^(/?)), отвечающие
функциям распределения Fn и F.
В соответствии с теоремой 2 из § 10 гл. II сходимость по вероятности
~ Р влечет за собой сходимость по распределению р, означа-
ющую, что
Е/(Ь)^Е/(р), л-оо, (3)
для любой функции / = Дх) из класса С непрерывных ограниченных
функций на R.
Поскольку
Ef(v) =S f^Pnidx), Е/(р) = $ f(x)P(dx),
R R
то (3) можно переписать в форме
\f(x)Pn(dx)^f(x)P(dx), feC, (4)
R R
или (в соответствии с обозначениями § 6 гл. II) — в форме
$ /(х) dFn(x) $ /(X) dF(x), f е С. (5)
В анализе сходимость (4) называют слабой сходимостью (мер Рп
к мере Р, п —* оо) и записывают в виде Рп^Р (ср. с определением 2).
Естественно и сходимость (5) также назвать слабой сходимостью функций
распределения Fn к F и обозначить ее Fn ^->F.
Итак, можно утверждать, что в схеме Бернулли
(6)
Из (1) нетрудно также вывести, что для функций распределения, вве-
денных в (2),
Fn(х) Л(х), п —> оо,
для всех точек хе/? за исключением одной точки х = р, где функция
F(x) терпит разрыв.
Это обстоятельство показывает, что слабая сходимость Fn^>F не вле-
чет за собой поточечную сходимость функций Fn(x) к Fix) при п—*оо
для всех точек хе/?. Оказывается, однако, что как в случае схемы Бер-
нулли, так и в общем случае произвольных функций распределения слабая
сходимость эквивалентна (см. далее теорему 2) так называемой сходимости
в основном в смысле следующего определения.
Определение 1. Последовательность функций распределения {Fn}, за-
данных на числовой прямой, называется сходящейся в основном к функ-
ции распределения F (обозначение: Fn=>F\ если при п —>оо
Fn(x)->F(x), xeC(f),
где C(F) — множество точек непрерывности предельной функции F.
В рассматриваемом случае схемы Бернулли функция F = F(x) выро-
ждена, и отсюда нетрудно вывести (см. задачу 7 к § 10 в гл. II), что
Таким образом, с учетом приводимой ниже теоремы 2
X fl / \ fl /
(7)
и, следовательно, утверждение закона больших чисел можно рассматри-
вать как одно из утверждений о слабой сходимости функций распреде-
ления, определенных в (2).
Обозначим
(8)
Теорема Муавра—Лапласа (§ 6 гл. I) утверждает, что Fn(x)~+F(x) для всех
хе/? и, следовательно, Fn =>F. В силу отмеченной эквивалентности слабой
сходимости Fn ^>F и сходимости в основном Fn=>F можно, следовательно,
сказать, что теорема Муавра—Лапласа есть также утверждение о слабой
сходимости функций распределения, определенных в (8).
Эти два примера оправдывают концепцию слабой сходимости вероят-
ностных мер, вводимую далее в определении 2. Хотя для случая числовой
прямой слабая сходимость равносильна сходимости в основном соответ-
ствующих функций распределения, предпочтительнее, однако, в качестве
исходной рассматривать именно слабую сходимость, во-первых, потому
что она проще поддается анализу, и, во-вторых, по той причине, что она
имеет смысл и для более общих пространств, нежели числовая прямая, в
частности, для метрических пространств, важнейшими примерами которых
для нас являются пространства Rn, R°°, С и D (см. § 3 гл. II).
3. Пусть (Е, S, р) — метрическое пространство с метрикой р = р(х, у),
а-алгеброй борелевских подмножеств, порожденных открытыми мно-
жествами, и пусть Р, Pi, Р2, ... — вероятностные меры на (£, <?, р).
Определение 2. Последовательность вероятностных мер {Рл} назы-
вается слабо сходящейся к вероятностной мере Р (обозначение: РЛ-^Р;
w — от weak convergence — слабая сходимость), если
$f(x)P„(dx)^S/(x)P(dx) (9)
Е Е
для любой функции f = f(x) из класса С(Е) непрерывных ограниченных
функций на £.
Определение 3. Последовательность вероятностных мер {Рл} назы-
вается сходящейся в основном к вероятностной мере Р (обозначение:
Рл => Р), если
РЛ(Д)^Р(Д) (10)
для любого множества А из 6 такого, что
Р(дД) = 0. (11)
(Через дА обозначается граница множества А:
дД = [Д]П[Л],
где [Л] — замыкание множества Я.)
Приводимая далее теорема показывает эквивалентность понятий сла-
бой сходимости и сходимости в основном для вероятностных мер, а также
содержит другие равносильные формулировки.
Теорема 1. Следующие утверждения эквивалентны:
(i)P«rP;
(II) lim Р„(/4) < Р(Л), А — замкнутые множества',
(III) lim Р„(Л) > Р(Л), А — открытые множества-,
(IV) РЯ=>Р.
Доказательство. (I) =4- (II). Пусть А — замкнутое множество и
где
р(х, A) = inf{p(x, у): yGA}, [х]+ =тах[0, х].
Обозначим также
Ле = {х: р(х, А) <е}
и заметим, что As J. А, е J. 0.
Поскольку функции /Д(х) ограничены, непрерывны и
Р„(Л) = $ /л(х)Р„(</х) < $ ГА(х) Pn{dx),
Е Е
ТО
iim РЯ(Л) iim $ f'A(x)Pn(dx) = $ feA(x)P(dx) < Р(Л£) 1 Р(Л), е 10,
Е Е
что и доказывает требуемую импликацию.
Импликации (II) => (III) и (III) => (II) становятся очевидными, если от
множеств перейти к их дополнениям.
(Ill) => (IV). Пусть А° = А \сМ — внутренность, а [Л] — замыкание
множества А. Тогда в силу (II), (III) и предположения Р(дЛ) = 0
iim Ря(Л)<Пгп РЯ([Л])^Р([Л]) = Р(Л),
lim Р„(Л) > lim РЯ(Л°) > Р(Л°) = Р(Л),
п п
и, значит, Рл(Л)—>Р(Л) для всякого Л с Р(дЛ) = 0.
(IV) => (I). Пусть f = f(x) — непрерывная ограниченная функция с
|/(х)| < М. Обозначим
D = {teR: Р{х: f(x) = t}*0}
и рассмотрим разбиение 7* = (?о, •••, <*) интервала [—М, Af]:
-M = t0<ti <...<tk = M, k^l,
c tj^D, i = 0, 1, ..., k. (Заметим, что множество D не более чем счетно,
поскольку множества 1 {/} не пересекаются, а мера Р конечна.)
Пусть Bi = {х: ti f(x) < }. Поскольку функция f(x) непрерывная и,
следовательно, множество f~l(ti. h+i) открыто, то dBi С
Точки ti. ti+\ ^D. поэтому Р(дВ/) = 0 и в силу (IV)
k-\ k-\
52 /,р„(в,)^52 /,р(в,).
1=0 <=0
(12)
Но
§ f(x)P„(dx) - § f(x)P(dx)
Е Е
Л-1
$ /(x)P„(dx)-52 ^ря(в,)
Е
k-\ k-1
£>ря(в,)-5>.р(й)
/=0 /=0
k-\
^Р(В<)-\Кх)Р(<1х)
Е
<2 max (Z/+1-Z/) +
k-\ k-\
2>РЯ(В,)-5>Р(В,)
i=0 i=0
откуда в силу (12) и произвольности разбиений 7*, й > 1,
lim \ f(x)Pn(dx)=S f(x)P(dx).
п J ~
□
Замечание 1. Участвующие в доказательстве импликации (I) => (II)
функции /(х) = /^(х) и /Д(х) являются соответственно полунепрерывны-
ми сверху и равномерно непрерывными. Учитывая это обстоятельство,
нетрудно показать, что каждое из условий теоремы эквивалентно одному
из нижеследующих условий:
(V) /(х)Рл(йх)—> § f(x)P(dx) для всех ограниченных равномерно
Е Е
непрерывных функций f(x)\
(VI) § f(x)Pn(dx) —> § f(x)P(dx) для всех ограниченных функций.
Е Е
удовлетворяющих условию Липшица (см. лемму 2 в § 7);
(VII) lim § ftx)Prt(dx)^ § f(x)P(dx) для всех ограниченных функций
п е е __
f(x). являющихся полунепрерывными сверху (lim /(хл)^ f(x). хп-+х);
(VIII) lim f(x)Pn(dx) \ f(x)P(dx) для всех ограниченных функций
п Е Е
f(x). являющихся полунепрерывными снизу (lim f(xn) fix). хл~>х).
п
Замечание 2. Теорема 1 допускает естественное обобщение на тот
случай, когда вместо вероятностных мер Р и Рл, заданных на (£, <?, р).
рассматриваются произвольные (не обязательно вероятностные) конеч-
ные меры ри рп. Для таких мер совершенно аналогично вводятся понятия
слабой сходимости рп —> р. сходимости в основном рп => р и, так же, как
в теореме 1, устанавливается эквивалентность следующих условий:
(I*) Рг^К
(II*) lim рп(А) /х(Л), А — замкнутые множества, и рп(Е) —>р(Е);
(III*) lim рп(А) р(А). А — открытые множества, и рп(Е) —>р(Е);
(IV*) рп=> р.
Каждое из этих условий равносильно любому из условий (V*)—(VIII*),
формулируемых, как и (V)—(VIII), с заменой мер Рп и Р на рп и р соот-
ветственно.
4. Пусть (/?, ^(/?)) — числовая прямая с системой борелевских мно-
жеств ^(/?), порожденных евклидовой метрикой р(х. у) = |х - у\ (ср. с
замечанием 2 в п. 2 § 2 гл. II). Обозначим Р. Рп. 1, вероятностные
меры на (/?, и пусть F. Fn, п 1, — соответствующие им функции
распределения. Тогда справедлива
Теорема 2. Следующие условия эквивалентны:
(Д)Рп^Р,
(2) Р„=*Р,
(3)Fn^F.
(4) Fn=>F.
Доказательство. Поскольку (2) о (1) <=> (3), то достаточно доказать,
что (2) <=> (4).
Если Рп =» Р. то, в частности,
Рп{—оо, х] —>Р(-оо, х]
для всех хе/? таких, что Р{х} = 0. А это и означает, что Fn=>F.
Пусть теперь Fn=>F. Для доказательства сходимости Рп =>Р достаточ-
но (в силу теоремы 1) показать, что lim Рп(А) Р(А) для всякого открытого
п
множества А.
Если А — открытое множество, то найдется счетная система непересе-
оо
кающихся открытых интервалов Ц. /2, ... (вида (а. Ь)) таких, что А = 52 fk-
k=\
Зафиксируем е>0 и выберем в каждом интервале lk = (ak. bk) подынтер-
вал I'k = (a'k. b'k] такой, что a'k. b'keC(F) и P(Jk)^P(J'k) + e2~k. (Поскольку
множество точек разрыва функции F = F(x) не более чем счетно, такие
интервалы l'k. k I, действительно существуют.) Тогда по лемме Фату
lim Рп(А) = lim V Р„(/л) V Пт Pn(fk) > V lim Pn(l'k).
п п УТ ТУ п ТУ п
Но
Рп(П) = Fn(b'k) - Fn(a’k) - М) - F(a’k) = P(Fk).
Поэтому
оо оо
lim Рп(А) > £ р^ > -£2-*)=~ е'
п k=\ /г=1
что в силу произвольности е > 0 доказывает, что lim Рп(Л) Р(Л), если А —
п
открытое множество. □
5. Пусть (£, S) — измеримое пространство. Систему подмножеств
*%6(£) назовем определяющим классом, если для любых двух веро-
ятностных мер Р и Q, заданных на (£, <?), из равенства
Р(Л) = Q0) для всех A е J*o(£)
вытекает, что эти меры совпадают тождественно, т. е.
Р(Л) = О(Л) для всех Ае£.
Если (£, 8, р) — метрическое пространство, то систему подмножеств
(£) С £ назовем классом, определяющим сходимость, если для любых
мер Р, Pt, Р2, ... из того, что
Рл(Л)-^Р(Л) для всех A с Р(дЛ) = 0
вытекает, что
РЛ(Л)—>Р(Л) для всех Ае£ с Р(дЛ) = 0.
В случае (£, 8) = (/?, &(R)) в качестве определяющего класса
можно взять класс «элементарных» множеств JT={(-oo, х], xeR} (теоре-
ма 1 из § 3 гл. II). Из эквивалентности условий (2) и (4) теоремы 2 вытекает,
что класс является также и классом, определяющим сходимость.
Естественно возникает вопрос о таких определяющих классах и для
более общих пространств.
В случае пространств Rn, п>2, класс «элементарных» множеств
вида (-оо, х] = (—оо, Xi] х ... х (-оо, хп], х = (х\, ..., xn)eRn, является
как определяющим классом (теорема 2 из § 3 гл. II), так и классом,
определяющим сходимость (задача 2).
В случае пространства /?°° цилиндрические множества являются те-
ми «элементарными» множествами, по вероятностям которых однозначно
определяется вероятность для всех борелевских множеств (теорема 3 из
§ 3 гл. II). Оказывается, что в этом случае класс цилиндрических множеств
является тем классом, который определяет также и сходимость (задача 3).
Можно было бы ожидать, что и в случае более общих пространств
класс цилиндрических множеств является классом, определяющим схо-
димость. Однако, вообще говоря, это не верно.
Так, например, рассмотрим пространство (С, «^(С), р) с равномерной
метрикой р (см. п. 6 § 2 гл. II). Пусть Р — вероятностная мера, целиком
сосредоточенная на функции x(t) = 0, 0 1, а Рл — вероятностные меры,
1, каждая из которых сосредоточена на функ-
ции хп —xn(t), изображенной на рис. 35. Нетруд- хп
но убедиться, что РЛ(Л)—► Р(Л) для всех ци- "”А
линдрических множеств А с Р(сМ) = 0. Но, если /1\
взять, например, множество / ! \
с 1 . 0 \/п 2/п 1 t
А = \аеС: |a(/)l^t O^/^lU^o(C),
z J рис 35
то Р(<%4) = 0, Рл(Л) = 0, Р(Д) = 1 и, следователь-
но, Рл Р.
Таким образом, класс цилиндрических множеств является определяю-
щим классом, но не является классом, определяющим сходимость.
6. Задачи.
1. Будем говорить, что функция F = F(x), заданная на Rmt непре-
рывна в точке xeRm, если для любого е>0 найдется такое <J>0, что
|Л(х) - F(y)\ < е для всех у е Rm, удовлетворяющих неравенству
х - бе < у < х + бе,
где е = (1, ..., l)eRm. Будем говорить также, что последовательность
функций распределения {Fn} сходится в основном к функции распреде-
ления F (обозначение: Fn=>F), если Fn(x)—>F(x) для всех точек xeRm,
где функция F = F(x) непрерывна.
Показать, что утверждение теоремы 2 остается справедливым для Rm,
т>\. (См. замечание 1 к теореме 1.)
2. Показать, что в случае пространств Rn класс «элементарных» мно-
жеств является классом, определяющим сходимость.
3. Пусть Е — одно из пространств /?°°, С или D. Будем говорить, что
последовательность вероятностных мер {Рл} (заданных на и-алгебре S
борелевских множеств, порожденных открытыми множествами) сходится
в основном в смысле конечномерных распределений к вероятностной
мере Р (обозначение: РЛ4>Р), если Рл(Л)—>Р(Д), п—юо, для всех ци-
линдрических множеств А с Р(сМ) = 0.
Показать, что в случае пространства /?°°
(р„4р) (Р„=*>Р).
Верно ли это утверждение для пространств С и D?
4. Пусть F и G — функции распределения на числовой прямой и
L(F, G) = inf{A > 0: F(x - h) - h^G(x) ^F(x + h) + h}
— расстояние Леви (между F и G). Показать, что сходимость в основ-
ном эквивалентна сходимости в метрике Леви, определяемой расстоянием
(Fn^F) & (L(F„,f)->0).
5. Пусть Fn=>F и функция распределения F является непрерывной.
Показать, что тогда сходимость Fn(x) к F(x) равномерна:
sup \Fn(х) - F(x)\ —► 0, и —> оо.
х
6. Доказать утверждение, сформулированное в замечании 1 к теореме 1.
7. Убедиться в справедливости эквивалентности условий (I*)—(IV*),
сформулированных в замечании 2 к теореме 1.
8. Показать, что Рп Д Р тогда и только тогда, когда всякая подпосле-
довательность {РЛ'} последовательности {Рл} содержит подпоследователь-
ность {Рл"} такую, что Рл„ Д Р.
9. Дать пример вероятностных мер Р, Рп на (/?, ^(/?)), п 1, таких, что
Рп^>Р, но для всех борелевских множеств В G^(/?) сходимости Рп(В)
Р(В) может и не быть.
10. Привести пример функций распределения F = F(x), Fn =Fn(x)y п 1,
таких, что Fn Д F, но sup |Рл(х) - Р(х)| 0, я —► оо.
х
11. Во многих руководствах по теории вероятностей утверждение
(4) => (3) теоремы 2 о сходимости функций распределения Fny О1,
к функции распределения F связывается с именами Хелли и Брэя. В этой
связи предлагается передоказать следующие утверждения:
(а) Лемма Хелли—Брэя. Если Fn=>F (см. определение 1), то
ь ь
lim g(x) dFn(x) = $ g(x) dF(x),
a a
где а и b — точки из множества точек непрерывности функции распреде-
ления F = F(x) и g = g(x) — непрерывная функция на [а, д].
(Ь) Теорема Хелли—Брэя. Если Fn^F и g = g(x) — непрерывная огра-
ниченная функция на R, то
lim g(x)dFn(x)= $ g(x)dF(x).
— ОО —оо
12. Пусть Fn=>F и последовательность |x|ft dFn(x)j ограничена
для некоторого b > 0. Показать, что тогда
lim |x|fldFn(x) = § |х|аdF(x),
lim xk dFn(x) = xk dF(x) для всякого £ = 1,2,..., [&], k^b.
13. Пусть Fn F и m = med(F), mn = med(Frt) — медианы F и Fn соот-
ветственно (см. задачу 5 в § 4 гл. I). Предположим, что медианы то и тп
определены однозначно для всех п 1. Доказать, что тп —> т.
14. Пусть F — функция распределения, однозначно определяемая сво-
оо
ими моментами а* = § xkdF(x), k= 1, 2, ... Пусть (Fn)n>i — последова-
—оо
тельность функций распределения такая, что моменты
an,k= $ xk dFn(x)-*ak = § хкdF(x), £=1,2,...
— ОО —оо
Показать, что тогда Fn=>F.
15. Доказать следующую версию закона больших чисел (Хинчин):
пусть Xi, %2, ••• — попарно независимые одинаково распределенные слу-
чайные величины с конечным средним EXi =m и Sn = Х\ + ...+%„, тогда
Sn/n^+m.
§ 2. Относительная компактность и плотность
семейств вероятностных распределений
1. Если задана последовательность вероятностных мер, то, прежде
чем рассматривать вопрос о ее (слабой) сходимости к той или иной ве-
роятностной мере, следует, конечно, выяснить, а сходится ли вообще эта
последовательность к какой-либо мере или имеет ли она хотя бы одну
сходящуюся подпоследовательность.
Так, например, последовательность {Рл}, где Р2л = Р, Ргл+i =Q, а Р и
Q — различные вероятностные меры, не является, очевидно, сходящейся,
но имеет две сходящиеся подпоследовательности {Ргл} и {Р2л+1}.
Совсем просто устроенная последовательность {Рл} вероятностных мер
Рл, л>1, каждая из которых сосредоточена в точке {п} (Рл({и}) = 1), не
только не является сходящейся, но и не содержит ни одной сходящейся
подпоследовательности. (Поскольку lim Рл(а, Ь]=0 для любых а<Ь, то
предельная мера должна была бы быть тождественно равной нулю, а это
противоречит тому, что 1=Рл(/?)/»0, п—*оо.) Интересно отметить, что
в этом примере соответствующая последовательность функций распреде-
ления {Ел}, где
Fn(x) =
1, х>п,
0, х < п,
является, очевидно, сходящейся: для любого xeR
F„(x)->G(x) = 0.
Однако предельная функция G = G(x) не является функцией распределе-
ния (в смысле определения 1 из § 3 гл. II).
Этот пример поучителен с той точки зрения, что, как он показывает,
класс функций распределения не является компактным. Он подсказыва-
ет также, что для сходимости последовательности функций распределения
к функции, которая являлась бы также функцией распределения, нужны
некоторые условия, предотвращающие «утечку массы на бесконечность».
После этих вводных замечаний, поясняющих характер возникающих
здесь трудностей, перейдем к основным определениям.
2. Будем предполагать, что все рассматриваемые меры определены на
метрическом пространстве (£, <?, р).
Определение 1. Семейство вероятностных мер ^ = {PQ;ae2l} на-
зовем относительно компактным, если любая последовательность мер
из & содержит подпоследовательность, слабо сходящуюся к некоторой
вероятностной мере.
Подчеркнем, что в этом определении предельная мера предполагает-
ся вероятностной, хотя, быть может, и не принадлежащей исходному
классу (Именно с этим последним обстоятельством связано появление
слова «относительно» в данном определении.)
Проверка того, что данное семейство вероятностных мер относительно
компактно, является делом далеко не простым. Желательно поэтому иметь
простые и удобные критерии, позволяющие осуществлять эту проверку.
Этой цели служит
Определение 2. Семейство вероятностных мер & = {РЛ; а ей} назы-
вается плотным, если для каждого е > 0 можно указать компакт KQE
такой, что
sup PQ(E\/0^e. (1)
aGSl
Определение 3. Семейство функций распределения ^ = {FQ, а ей},
определенных на Rn, п^\, называется относительно компактным
(плотным), если таковым является соответствующее семейство вероят-
ностных мер ^ = {PQ; а ей}, где Ра — мера, построенная по FQ.
3. Следующий результат играет фундаментальную роль во всей про-
блематике слабой сходимости вероятностных мер.
Теорема 1 (теорема Ю. В. Прохорова). Пусть = {Ра; а Ей} —
семейство вероятностных мер, заданных на полном сепарабельном
метрическом пространстве (Е, S, р). Семейство & является отно-
сительно компактным тогда и только тогда, когда оно является
плотным.
Доказательство теоремы будет приведено лишь для случая числовой
прямой. (Это доказательство переносится ([55], [5]) на случай произволь-
ных евклидовых пространств Rn, п^2. Затем справедливость теоремы
устанавливается последовательно для /?°°, для и-компактных пространств
и, наконец, для общих полных сепарабельных метрических пространств
путем сведения каждого из этих случаев к предыдущему.)
Необходимость. Пусть семейство вероятностных мер <Р = {Ра; а ей},
заданных на (R, S8(R)), относительно компактно, но не плотно. Тогда най-
дется такое е > 0, что для любого компакта KQR
sup Pa(/?\/<)>6,
а
а значит, и для любого интервала / = (а, Ь)
sup PQ(/?\/) >е.
а
Отсюда вытекает, что для каждого интервала 1п = (—п, п), п^Л, найдется
такая мера Р*я, что
Рая(/?\/л)>е.
Раз исходное семейство & относительно компактно, то из последова-
тельности {Рая}л^1 можно извлечь подпоследовательность, скажем, {Pa„*},
такую, что Ра ДО, где Q — некоторая вероятностная мера.
Тогда в силу эквивалентности условий (I) и (II) в теореме 1 из § I для
всякого п 1
ПЕ PQ„ (/?\/л)^О(/?\/л). (2)
b—R
Но Q(R \ /п) 10, п —> оо, а левая часть в (2) больше е > 0. Это противоречие
показывает, что относительная компактность влечет за собой плотность.
Для доказательства достаточности нам необходим один общий резуль-
тат (называемый теоремой Хелли) о секвенциальной компактности
семейства обобщенных функций распределения (п. 2 § 3 гл. II).
Обозначим через J = {G} совокупность функций G = G(x) (обобщенных
функций распределения), удовлетворяющих следующим свойствам:
1) G(x) — не убывают,
2)0<G(-oo), G(+ooK 1;
3) G(x) — непрерывны справа.
Ясно, что включает в себя класс функций распределения # = {F},
для которых Г(—оо) = 0 и F(+oo) = 1.
Теорема 2 (теорема Хелли). Класс = {G} обобщенных функций
распределения является секвенциально компактным, т. е. для любой
последовательности {Grt} функций из У найдутся функция G и
подпоследовательность {я*} С {п} такие, что
Gnk (*) —► G(x), ft —> оо,
для любой точки х из множества C(G) точек непрерывности функ-
ции G = G(x).
Доказательство. Обозначим через 7' = {х1,Х2, •••} счетное всюду
плотное множество в R. Поскольку числовая последовательность {Grt(х>)}
ограничена, то найдется подпоследовательность N\ ={/г(11\ п^\ ...} та-
кая, что Grt(i>(xi) при i—юо сходятся к некоторому числу g\. В свою
очередь из последовательности N\ можно извлечь подпоследовательность
/V2 = {n(12\ nf\ ...} такую, что Gn(2>(x2) сходятся при /—>оо к некоторому
числу g2, и Т. Д.
Определим на множестве Т CR функцию Gr(x), полагая
GrM^gi, XieT,
и рассмотрим «канторовскую» диагональную последовательность N
п*\ ...}. Тогда для любого х, е Т при m —> оо
Gn(™> (Xi) * Gt (х,).
Определим, наконец, функцию G = G(x) для всех xeR, полагая
G(x) = \nf{GT(y): у 6 Т, у > х}. (3)
Мы утверждаем, что G = G(x) есть искомая функция и Gn(m)(x) —> G(x) для
всех точек х, где G(x) непрерывна.
Поскольку все рассматриваемые функции Gn являются неубывающи-
ми, то Gn(m> (х) Gn(m) (у) для всех х и у, принадлежащих множеству Т и
удовлетворяющих неравенству х^у. Поэтому для таких х и у
Ст(х)^От(у)-
Отсюда и из определения (3) следует, что функция G = G(x) является
неубывающей.
Покажем теперь, что она непрерывна справа. Пусть х*|х и d =
= lim G(x^). Ясно, что G(x)^rf, и надо установить, что на самом деле
G(x) = d. Предположим противное, т.е. пусть G(x)<d. Из (3) следует,
что тогда найдется такая точка уеТ,х<у, что Gr(y) < d. Для достаточно
больших k x<Xk<y, а значит, G(x^) Gr(y) <d и lirnG(x*)<d, что
противоречит равенству d = limG(x^). Итак, построенная функция G
k
принадлежит
Установим теперь сходимость 6пи)(х°) —► G(x°) для всякой точки
x°€C(G).
Если х° < у G Т, то
lim G„(m>(x°) lim Gм(у) = Ст(у),
пг пт пг пт
lim G.™> (х°) inf{Gr (у): У 6 Г, у > х0} = G(x°). (4)
ГП Hfn
С другой стороны, пусть х1 <у <х°, у € Т. Тогда
G(xl)<Gr(y) = !im G = lim G lim G„m(x°).
m n" m m m m
Поэтому, полагая x1 fx°, получим, что
G(x°-)ClimG.m)(x0). (5)
m
Но если G(x0-) = G(x°), то тогда из (4) и (5) заключаем, что G^ (х°) —>
—>G(x°), m—>оо. □
Завершим теперь доказательство теоремы 1.
Достаточность. Пусть семейство & плотно и {Рл} — некоторая по-
следовательность вероятностных мер из Обозначим через {Fn} после-
довательность соответствующих функций распределения.
В силу теоремы Хелли найдутся подпоследовательность {Fnk}C{Fn} и
обобщенная функция распределения Ge«X такие, что Fnk(x) —> G(x) для
xeC(G). Покажем, что в силу предположения о плотности семейства &
функция G = G(x) является на самом деле «настоящей» функцией распре-
деления (G(-oo) = 0, G(+oo) = l).
Возьмем е > 0, и пусть / = (а, Ь] — тот интервал, для которого
sup Рл(/?\/)<б,
п
или, что эквивалентно,
1 Рл(а, Ь], О 1.
Выберем точки a', b’ е C(G) такими, что а' <а, Ь'> Ь. Тогда
1 - е < Рл,(а, Ь] РПк(а', b'] = Fnk(b') - Fnk(a') G(b') - G(a').
Отсюда следует, что G(+oo) - G(-oo)= 1, и поскольку O^G(-oo)^
G(-|-oo) 1, то G(-oo) = 0 и G(-Foo) = 1.
Таким образом, предельная функция G = G(x является функцией рас-
пределения и Fnk^G, что вместе с теоремой 2 из § 1 доказывает, что
где Q — вероятностная мера, построенная по функции распреде-
ления G. □
4. Задачи.
1. Провести доказательство теорем 1 и 2 для пространств /?л, п 2.
2. Пусть PQ — гауссовская мера на числовой прямой с параметрами та
и а*, а ей. Показать, что семейство ^ = {PQ; а ей} является плотным
тогда и только тогда, когда существуют константы а и b такие, что
сг^^Ь, а ей.
3. Привести примеры плотных и не плотных семейств вероятностных
мер ^ = {PQ; а ей}, определенных на (/?°°, ^(/?°°)).
4. Пусть Р есть вероятностная мера на метрическом пространстве
(£, <?, р). Говорят (ср. с определением 2), что мера Р является плотной,
если для каждого е>0 найдется компакт KQE такой, что Р(К)^ 1 -е.
Доказать следующий результат («теорема Улама»): каждая вероятност-
ная мера Р на польском (т. е. полном сепарабельном метрическом)
пространстве является плотной.
5. Пусть X = {XQ; а ей} — некоторое семейство случайных векторов
(XaeRd, а ей), при этом sup Е ||Ха ||г < оо для некоторого г>0. Пока-
а
зать, что семейство <Р = {Ра\ а ей} распределений PQ = Law(Xa) является
плотным.
§ 3. Метод характеристических функций
в доказательстве предельных теорем
1. Доказательство первых предельных теорем теории вероятностей —
закона больших чисел, теорем Муавра—Лапласа и Пуассона для схе-
мы Бернулли —основывалось на прямом анализе допредельных функций
распределения Fn, которые довольно просто выражаются через биноми-
альные вероятности. (В схеме Бернулли суммируемые случайные величины
принимают только два значения, что и дает, в сущности, возможность явно
найти функции Гл.) Однако для случайных величин более сложной приро-
ды подобный метод прямого анализа функций Fn становится практически
неосуществимым.
Первый шаг в доказательстве предельных теорем для сумм произволь-
но распределенных независимых случайных величин был сделан Чебыше-
вым.
Предложенное им неравенство, известное теперь как «неравенство Че-
бышева», дало возможность не только элементарно доказать закон боль-
ших чисел Я. Бернулли, но и установить весьма общие условия спра-
ведливости этого закона для сумм =£1+... + £л, и>1, независимых
случайных величин в форме утверждения, что для всякого е > О
Р HSj, _ ESj.1 1 0 rt->oo. (1)
U п п I J '
(См. задачу 2.)
Далее, Чебышевым был создан (и Марковым усовершенствован) так
называемый «метод моментов», который позволил установить, что утвер-
ждение теоремы Муавра—Лапласа, записанное в виде
<=*«>• (2>
носит универсальный характер в том смысле, что оно справедливо в очень
общих предположениях относительно природы суммируемых случайных
величин. Именно это дало основание называть утверждение (2) централь-
ной предельной теоремой теории вероятностей.
Несколько позже Ляпунов предложил иной метод доказательства
центральной предельной теоремы, в основе которого лежала (восходящая
к Лапласу) идея «характеристической функции» распределения вероят-
ностей. Последующее развитие показало, что «метод характеристических
функций» Ляпунова является весьма эффективным при доказательстве
самых разнообразных предельных теорем, что и обусловило его развитие
и широкое применение.
Сущность этого метода состоит в следующем.
2. Мы уже знаем (§ 12 гл. II), что между функциями распределе-
ния и характеристическими функциями существует взаимно однозначное
соответствие. Поэтому изучение свойств функций распределения можно
проводить, изучая соответствующие характеристические функции. Заме-
чательным оказывается то обстоятельство, что слабая сходимость Fn^F
функций распределения эквивалентна поточечной сходимости рп —><р соот-
ветствующих характеристических функций. Более того, имеет место следу-
ющий результат, являющийся основным средством доказательства теорем
о слабой сходимости распределений на числовой прямой.
Теорема 1 (теорема непрерывности). Пусть (Fn) — последова-
тельность функций распределения Fn = Fn(x), xeR, и (<рп) — соот-
ветствующая последовательность характеристических функций,
<Pn(t)=\ e“xdFn(x), t&R.
—оо
1) Если Fn^F, где F = F(x) — некоторая функция распределе-
ния, то teR, где — характеристическая функция
F = F(x).
2) Если при каждом teR существует предел lim ipn(t) и функ-
ция <£(/) = lim ip(t) непрерывна в точке t =0, то она является харак-
теристической функцией некоторого распределения вероятностей
F = F(x) и
Fn^F.
Доказательство утверждения 1) сразу следует из определения слабой
сходимости, примененного к функциям Re ettx и Im eltx.
Доказательству утверждения 2) предпошлем несколько вспомогатель-
ных предложений.
Лемма 1. Пусть {Рп} — плотное семейство вероятностных мер.
Предположим, что каждая слабо сходящаяся подпоследователь-
ность {Рл/} последовательности {Рл} сходится к одной и той же
вероятностной мере Р. Тогда и вся последовательность {Рл} слабо
сходится к Р.
W
Доказательство. Допустим, что РЛ/»Р. Тогда найдется такая огра-
ниченная непрерывная функция f = Дх), что
$f(x)Pn(dx)/>$/(x)P(dx).
я я
Отсюда следует, что существуют е>0 и бесконечная последователь-
ность чисел {и'} С {п} такие, что
5 /(x)P„z(dx)-$/(x)P(dx)
R R
> 0.
(3)
По теореме Прохорова (§ 2) из последовательности {Рл/} можно выбрать
подпоследовательность {РЛ"} такую, что Рп" -^>Q, где Q — некоторая ве-
роятностная мера.
По предположению леммы Q = Р, и, значит,
5 /(x)P„„(dx)-»$ /(x)P(dx),
R R
что находится в противоречии с (3). □
Лемма 2. Пусть {Рл} — плотное семейство вероятностных мер
на (/?, S8(R)). Последовательность {Рл} слабо сходится к некоторой
вероятностной мере тогда и только тогда, когда для каждого
t eR существует lim </>л(/), г$е 9М0 — характеристическая функция
меры Рл:
^n(t)^eitxPn(dx).
R
Доказательство. Если семейство {Рл} плотно, то по теореме Прохо-
рова найдутся подпоследовательность {Рл/} и вероятностная мера Р такие,
что Рл/ Р. Предположим, что вся последовательность {Рл} не сходится
w
к Р (Рл Р). Тогда в силу леммы 1 найдутся подпоследовательность {РЛ"}
и вероятностная мера Q такие, что РЛ" -^Q, причем P^Q.
Воспользуемся теперь тем, что при каждом t eR существует lim <^л(/).
Тогда
lim eltx РЛ'(й!х) = lim eltx
n' R n" R
Pn"(dx)
и, значит,
\eitxP(dx) = \eitxQ(dx), teR.
R R
Но характеристическая функция однозначно определяет распределение
(теорема 2 § 12 гл. II). Поэтому Р ==Q, что противоречит предположению
W
Рп^Р.
Что же касается обратного утверждения леммы, то оно непосредствен-
но следует из определения слабой сходимости. □
Следующая лемма дает оценку «хвостов» функции распределения по
поведению ее характеристической функции в окрестности нуля.
Лемма 3. Пусть F = F(x) — функция распределения на числовой
прямой и (p = <p(t) — ee характеристическая функция. Тогда суще-
ствует такая константа /< >0, что для всякого а >0
$ dF(x)^~ $ [1 — Re ¥>(0] rff.
|x|>l/a ° 0
ОО
Доказательство. Поскольку Re ip(t) =
—оо
теорему Фубини, находим, что
cos txdF(x), то, применяя
12 1 а
1 5 [l-Re =
а о а о
(1 - cos tx)dF(x) dt =
где
1 а оо
- §(1 -cos tx)dt dF(x)= § (1 ~
0 _ —оо
sin ах
ах
) dF(x)
$ dF(x\
sin и\ с ,С1 \ 1
-f)- S = к
У |ах|>1
К
так что (4) заведомо справедливо с константой К = 7. □
Доказательство утверждения 2 теоремы 1. Пусть <prt(0-»<p(0,
п —>оо, где функция <p(t) непрерывна в нуле. Покажем, что отсюда
следует плотность семейства вероятностных мер {Рл}, где Рл — мера,
соответствующая функции распределения Fn.
В силу (4) и теоремы о мажорируемой сходимости
P"W-H)}= s dF^
$ [1 -Re <Pn(t)]dt -+ § [1 - Re <p(t)]dt
a о a 0
при n —* oo.
Поскольку по предположению функция <p(/) непрерывна в нуле и <р(0) =
= 1, то для всякого е > 0 можно найти такое а > 0, что для
Рл{/?\ “)} для всех л > 1-
Следовательно, семейство {Рл} плотно, и в силу леммы 2 существует ве-
роятностная мера Р такая, что
рл-р.
Отсюда
¥>„(0 = S eitxPn(dx)—^ $ eitx P(dx),
—оо —оо
и в то же самое время (pn(t) -+ <p(t). Поэтому (p(t) является характеристи-
ческой функцией вероятностной меры Р. □
Следствие. Пусть (Fn) — последовательность функций распреде-
ления и ((рп) — соответствующая последовательность характери-
стических функций. Пусть, кроме того, F — функция распределения,
р — ее характеристическая функция. Тогда Fn^>F, если и только
если pn(t) (p(t) для всех t eR.
Замечание. Пусть у, гц, tjz, ... — случайные величины и F^^F^.
В соответствии с определением 4 § 10 гл. II тогда говорят, что случайные
величины т]\,т)2, ... сходятся по распределению к ту, и записывают это
в виде т}п г]. Эта запись наглядна (d — от distribution) и поэтому часто
в формулировках предельных теорем ее предпочитают записи
3. В следующем параграфе теорема 1 будет применена для доказатель-
ства центральной предельной теоремы для независимых разнораспреде-
ленных случайных величин. Доказательство будет вестись при выполнении
так называемого условия Линдеберга. Затем будет показано, что условие
Ляпунова обеспечивает выполнение условия Линдеберга. Сейчас же мы
остановимся на применении метода характеристических функций к дока-
зательству некоторых простых предельных теорем.
Теорема 2 (закон больших чисел). Пусть £i, £2, ••• — последова-
тельность независимых одинаково распределенных случайных вели-
Sn Р
чин с E|£i| <оо, Srt=fi +... + £„ и E£i=m. Тогда ——>т, т. е. для
всякого е > 0
s
Доказательство. Пусть у>(0 = Ее'7€| и ips^(t) = E.ea~n . Тогда в силу
п
независимости случайных величин и формулы (6) § 12 гл. I
Но, согласно (14) § 12 гл. II,
4>(t) = 1 +itm + o(t), t—»0.
Значит, для всякого фиксированного t € R
ft\ i i /Ц
<£(-) = 1-Н-/п + о{-), /1 —> оо,
\nj п \п/
и поэтому
Функция <p(t) = eltrn непрерывна в нуле и является характеристической
функцией вырожденного распределения вероятностей, сосредоточенного в
точке т. Поэтому
значит (см. задачу 7 в § 10 гл. II),
Теорема 3 (центральная предельная теорема для независимых
одинаково распределенных случайных величин). Пусть ... —
последовательность независимых одинаково распределенных (невы-
рожденных) случайных величин с E£f<oo и Sn =Ci + ... + £rt. Тогда
при п—>оо
xeR' <5’
где
Ф(х) = —е-"*/2 du.
'w Л
Доказательство. Пусть Е& = т, D& =<т2 и
¥>(/) = Её*^'-т\
Тогда, если обозначить
<рл(О = Е/^,
то получим, что
Но в силу (14) § 12 гл. II
_2,2
<Р(О = 1 - — + О(/2), t 0.
Поэтому для любого фиксированного t и п —> оо
Функция является характеристической функцией нормально рас-
пределенной случайной величины (обозначим ее сЖ(0, 1)) с нулевым сред-
ним и единичной дисперсией, что в силу теоремы 1 и доказывает требуемое
утверждение (5). В соответствии с замечанием к теореме 1 это утверждение
записывают также в следующем виде:
да
Предыдущие две теоремы относились к асимптотическому поведению
вероятностей (нормированных и центрированных) сумм Sn = £1 + • • • + £л
независимых одинаково распределенных случайных величин. Однако, что-
бы сформулировать теорему Пуассона (§ 6 гл. I), приходится привлекать
к рассмотрению более общую модель, называемую схемой серий случай-
ных величин.
Именно, будем предполагать, что для каждого п 1 задана последо-
вательность независимых случайных величин £„i, ..., Спя- Иначе говоря,
пусть задана треугольная таблица
/Си
I С21 €22
I €з1 €з2 €зз
\........./
случайных величин, которые в каждой строчке независимы между собой.
Положим Sn = Си 4-.. • + Сяп-
Теорема 4 (теорема Пуассона). Пусть при каждом л>1 неза-
висимые одинаково распределенные случайные величины С«ь •••> Слл
таковы, что
Р{СлЛ = 1} ~ Pnkt Р{СлА = 0} = <7пЛ» 1 k П,
Pnk + qak = \, max ря*->0, рп1 + ...+ рап ->А>0, я-юо.
Тогда
P{Sn = m}-^^, m = 0, 1, ... (7)
Доказательство. Поскольку для IС k п
= р„ьеи +qnk,
ТО
п п
<Ps„ (0 = Ее'75’ = П (рпке“ + qnk) = П 0 + Pnk{eu - 1)) ->
6=1 /?=1
—> exp{A(ez/ - 1)}, п —> оо.
Функция (p(t) = exp{A(ez/ - 1)} является характеристической функцией
пуассоновского распределения (пример 3 в п. 2 § 12 гл. II), что и до-
казывает (7).
Если через тг(А) обозначить пуассоновскую случайную величину с па-
раметром А, то по аналогии с (6) утверждение (7) можно записать также
в следующем виде:
5„Дтг(А). □
4. Задачи.
1. Доказать справедливость утверждений теоремы 1 для случая про-
странств Rn, п >2.
2. Пусть £i, £2, ••• — последовательность независимых случайных ве-
личин с конечными средними значениями Е|£л| и дисперсиями D£rt такими,
что D£rt К < оо, где К — некоторая константа. Используя неравенство
Чебышева, доказать справедливость закона больших чисел (1).
3. В следствии к теореме 1 установить, что семейство {<^л} равносте-
пенно непрерывно и сходимость <рп —> у? равномерна на каждом ограни-
ченном интервале.
4. Пусть £л, п 1, — случайные величины с характеристическими
функциями <^я(/), п > 1. Показать, что £л —>0 тогда и только тогда, когда
(О —► 1, п —> оо, в некоторой окрестности точки t = 0.
5. Пусть Xi, %2> * • • — последовательность независимых случайных век-
торов (со значения ми в Rk), имеющих нулевое среднее и (конечную) мат-
рицу ковариаций Г. Показать, что
xi+^_+Xn Д^(о, г).
(Ср. с теоремой 3.)
6. Пусть £i, £2, ••• и т/ь ^2» ... — две последовательности случайных
величин такие, что £л и т?л независимы при каждом п. Предположим, что
£л Лп при м—>оо, где £ и rj независимы. Доказать, что последовате-
льность двумерных случайных величин (£л, т?л) сходится по распределению
к (С */)•
Пусть f = Дх, у) — непрерывная функция. Проверить, что последова-
тельность Д£л, Tjn) сходится по распределению к Д£, ту).
7. Привести пример, показывающий, что в утверждении 2) теоре-
мы 1 условие непрерывности «предельной» характеристической функции
^(/) = lim (pn(t) в нуле, вообще говоря, не может быть ослаблено. (Ина-
че говоря, если не непрерывна в нуле, то может случиться, что
но Убедиться на примере, что отсутствие непре-
рывности в нуле может привести к нарушению свойства плотности
семейства вероятностных распределений Рп, О 1, с характеристическими
функциями <рл(0» 1.
§ 4. Центральная предельная теорема
для сумм независимых случайных величин.
I. Условие Линдеберга
1. В этом параграфе центральная предельная теорема для (норми-
рованных и центрированных) сумм Sn независимых случайных величин
£2» ...»£я, 1, будет доказываться при традиционном предположении
выполнения классического условия Линдеберга. В следующем пара-
графе будет рассмотрена более общая ситуация: во-первых, центральная
предельная теорема будет сразу формулироваться в «схеме серий», и, во-
вторых, ее доказательство будет идти при выполнении так называемых
неклассических условий.
Теорема 1. Пусть СьСг, ••• — последовательность независи-
мых случайных величин с конечными вторыми моментами. Пусть
mk = E£k, <r| = D&>0, S„=Ci + £>2= Е и Fk = Fk(x) — фун-
Л=1
кция распределения случайной величины ^k-
Предположим, что выполнено «условие Линдеберга»: для всякого
е>0
(L) 752 ZL S (x-mk)2dFk(x)-^0, п-*оо. (1)
п k=\ {x:\x-mk\^EDn}
Тогда
1). (2)
V 05л
Доказательство. Без ограничения общности можно считать ть = О,
k > 1- Обозначим ¥?*(/) = Ее'7«‘, Тп = -^= = = Ee“s°, =
=
Тогда
Vr.m - Ее"- = Ee'ts- -Vs. (£) > ПЧк) (3>
6=1
и для доказательства (2) достаточно (в силу теоремы 1 из § 3) установить,
что для каждого t е R
<Pr„(t)->e /2/2, п-юо. (4)
Возьмем некоторое t е R и будем считать его фиксированным на про-
тяжении всего доказательства. В силу разложений
е‘9 = \ + iy+
eiy = y +
Z o’
справедливых для каждого действительного у с. 6\ 02 = в2(у) таки-
ми, что |0]|< 1, |0г|< 1. находим, что
<pk(t) = Еей«‘ = $ eitx dFk(x) = $ (1 + Их + dFk(x) +
+ $ (1 +itx- + e-^^dFk(x) =
|x|<eD«
= 1 + 7 $ elx2dFk(x)-t— ^2|x|3dF*(x)
|x|<e£>„ |x|<e£>„
(здесь мы воспользовались также тем, что, согласно предположению,
mk= $ xdFk(x) = ty.
— ОО
Следовательно,
/ / \ /2 ,2
<РЦ^-) = 1- S x2dFk(x) + -^ $ eiX2dFk(x) +
\ п/ 2Dn |x|<eDn 2Dn |x|>£Dn
+ Й $ 02|x|3rfFft(x). (5)
bUn м<еол
Поскольку
5 9\X2dFk(x) sji x2dFk{x),
\x\^eDn \x\>eDn
ТО
i 5 Six2 dFk(x)=0l x2dFk(x), (6)
И>еО» |x|>eD„
где в\ = 0\(t, k, ri) и |#i| 1/2.
Точно так же
1 $ 02|x|3dFA(x) $ ^|x|3dFA(xKg $ eDnx2dFk(x),
И<*0я |х|<еОл 1 1 |х|<еОл
и, значит,
| $ 02|*|3<#№) = 02 $ eDnx2dFk(x), (7)
|х|<е£>„ |х|<еОл
где 02 = 02(t ri) и |02| < 1/6.
Положим теперь
Л*я = Б2 S х2 dFk(x), в*п = -±2 $ x2dFk(x).
п |х|<еОл п |х|>еОл
Тогда в силу (5)—(7)
= 1 - + t^iBun + |/|М2ДЛя (= 1 + Скп). (8)
Заметим, что
J2(Akn + Bka)=l (9)
/г=1
и, согласно условию (1),
-4 О, п-^оо. (10)
Ь=1
Поэтому для достаточно больших п
шах |СЛл| /V + е|/|3 (11)
1 Л
и
£ |С*Л| /2+ е|/|3. (12)
*=1
Воспользуемся теперь тем, что для комплексных чисел z с |z| 1/2
ln(l + z) = z + 0|z|2,
где 0 = 0(z) с |0| 1 и In обозначает главное значение логарифма (In z =
= In \z| + i arg z, -я < arg z тг). Тогда для достаточно больших п из (8)
и (11) следует, что для достаточно малых е > О
In = "I" Ckn) = Ckn +
где \Qkn I 1- Следовательно, из (3)
2 +2 п 4.2 п п
~2 +ln <PT„{t) = ~2 +Е 1п = ~о~ +52 ^*я + 52 ^«lC*"l2-
ь=1 л Л=1 Л=1
Но
2 я Л / л \ "
~2 +52 ^kn=~21J ~ 52 ^кпj+^2 52 +
*=1 \ *=i / *=i
+ е|/|352ё2(/, k, n)Akn,
6=1
и в силу (9), (10) для любого 5 > 0 можно найти столь большое По и такое
е > 0, что для всех п^по
t2
7 + 52 Ckn
k=\
6
2*
Далее, в силу (11) и (12)
52 0*«ic*ni2
Л=1
п
< max |С*„|-52 |С*„|^(/2г2 + е|/|3)а2 + е|/|3).
6=1
Поэтому для достаточно больших п за счет выбора е > 0 можно добиться
того, что
п
52 ^|с*л|2
k=i
$
2
и, следовательно,
|^ + 1п ^гя(о| ^<5-
Таким образом, для любого действительного t
<Рт„(^2/21. П^оо,
и, значит,
4>Ta(t)-^e t2/2, п->со.
□
2. Остановимся на некоторых частных случаях, в которых выполне-
но условие Линдеберга (1) и, следовательно, справедлива центральная
предельная теорема.
а) Пусть выполнено условие Ляпунова', для некоторого 5 > О
1 п
12 Ек*-'и*12+б^0> я^°°-
« *=1
(13)
Пусть е > 0, тогда
E|&-m*|2+6 = $ \x-mk\2+s dFk(x)^
—оо
> 5 \x-mk\2+s dFk(x)^esD* $ (x - тк)2 dFk(x)
{x:|x-/nfc|>eD„} {x: \x-mk\^eDn}
и, значит,
1 « I j «
^9 У? S (* ~ m*)2dFk(x) • 94_л У2 ~ zn&|2+6«
n fc=l {x:|x-/n*|>eDrt} n k=\
Следовательно, условие Ляпунова обеспечивает выполнение условия
Линдеберга.
Ь) Пусть ^1,^2» ••• — независимые одинаково распределенные слу-
чайные величины с пг = E£i и дисперсией 0 < а2 = D£i < оо. Тогда
1 п
52 12 S \x-m\2dFk(x) = $ |х—m|2rfFi(x)—»0,
п jfe=l {х: |х—m\^eDn} {х: |х—гп[^есг2у/п}
поскольку {х: |х — т\^еа2>/п} [0, п —> оо, a a2 = E|£i — m|2<oo.
Таким образом, условие Линдеберга выполнено и, следовательно, те-
орема 3 из § 3 вытекает из доказанной теоремы 1.
с) Пусть $1, ~ независимые случайные величины такие, что для
всех п 1
Ы<К<оо,
где К — некоторая постоянная, и Dn —> оо, п —► оо.
Тогда из неравенства Чебышева
$ |х - mk\2dFk(x) = Е[(& - mk)2/(|& - mk\> eDn)]
2
с (2/02Р{|& - mk\ > eDn} < (2Я)2^
и, значит,
52 52 S \x-mk\2dFk(x)^^^0, п—+оо.
п Л=1 {x:|x-m*|>£0„} S Un
Следовательно, снова выполнено условие Линдеберга и, значит, справед-
лива центральная предельная теорема.
3. Замечание L Пусть Тп = $п и ГГя(х) = Р(Гл ^х). Тогда утвер-
ждение (2) означает, что для всякого х б R
5г„(х)->Ф(х), я —* оо.
Поскольку функция Ф(х) непрерывна, то на самом деле сходимость здесь
равномерная (задача 5 в § 1):
sup |5г„(х)-Ф(х)|->0, п-^оо. (14)
x€R
В частности, отсюда следует, что
Р{5„^х}-ф(^^)^0, и^оо.
Это утверждение часто выражают словами, что при достаточно большом п
величина Sn примерно нормально распределена со средним ESrt и диспер-
сией D„ = DSn.
Замечание 2. Поскольку в соответствии с предыдущим замечанием
сходимость Frn (х) -► Ф(х), п -► оо, равномерна по х, то естественно поста-
вить вопрос о скорости сходимости в (14). В том случае, когда величины
€2» ••• независимы, одинаково распределены и E|£i|3 <оо, ответ на
этот вопрос дается теоремой (неравенством) Берри—Эссеена (§ И):
sup \Fr,(x) - Ф(х)| < С (15)
где С — универсальная константа, точное значение которой до сих пор
неизвестно. (В [90, гл. 5, § 4.3] для этой константы приводятся такие
неравенства: -/= С 0,7655.)
Доказательство (15) дается в § 11.
Замечание 3. Придадим условию Линдеберга несколько иную (и да-
же более компактную) форму, особенно удобную в случае «схемы серий».
Пусть • •• — последовательность независимых случайных вели-
чин, mk = Е&, a2 = D&, D2 = £ > 0, п > 1, и £nk = —5—. С учетом
*=1 Un
этих обозначений условие (1) принимает следующий вид:
п
(L) ЕЕ[^/(1^1>е)]^0, я^оо. (16)
*=1
Если Sn = £ni + + то DSn = l и теореме 1 можно придать такую
форму: если выполнено условие (16), то
1).
В таком виде центральная предельная теорема справедлива и без пред-
> j. & ~ mk
положения о том, что величины ^nk имеют специальную форму —-—.
Un
Именно, имеет место следующий результат, доказываемый буквально так
же, как теорема 1.
Теорема 2. Пусть при каждом п 1
€л!» £л2, • • •» €лл
— последовательноетъ независимых случайных величин таких, что
Е£лб = 0 и DSn == 1, еде Sn = ^п\ +... + £пп*
Тогда выполнение условия Линдеберга (16) достаточно для схо-
димости 1).
4. Поскольку
л
.max Е& + 22 Е > <0],
1 k Л -
Я=1
то ясно, что из условия Линдеберга (16) вытекает, что
max Е^„->0, п —оо. (17)
1^6^Л
Примечательно, что при выполнении этого условия из справедливости цен-
тральной предельной теоремы автоматически следует выполнение условия
Линдеберга.
Теорема 3. Пусть при каждом п 1
€л 1» £л2 » • • • ♦ £лл
— последовательноеть независимых случайных величин таких, что
Е£л* = 0 и DSn= 1, где Sn=£ni + --.+£лл- Пусть выполнено условие (17).
Тогда условие Линдеберга является необходимым и достаточным
для справедливости центральной предельной теоремы, Srt—><Ж(0, 1).
Достаточность следует из теоремы 2. Для доказательства необходимо-
сти нам понадобится следующая лемма (ср. с леммой 3 в § 3).
Лемма. Пусть С — случайная величина с функцией распределения
F = F(x), Е£ = О, D£ = 7 > 0. Тогда для каждого а > 0
5 х2 dF(x) [Re f(Vba) - 1 + 87а2], (18)
ki^i/fl а
где f(t) = Eent — характеристическая функция
Доказательство. Имеем
1 1 'У
Re/(/) - 1 + $ 7/2= $ 7/2 — [ 1 - cos /х] dF(x) =
—00
= р12_ $ [1 -cos tx\dF(x)~ [1 -cos tx]dF(x)^
И<1/а И>1/а
> "ft2 - i t2 dF(x) - 2a2 x2dF(x) =
И<1/а M>l/a
= (| t2 - 2a2} x<i dF(x).
V 7
Полагая t = Vba, получаем требуемое неравенство (18). □
Перейдем теперь к доказательству необходимости в теореме 3.
Пусть
Fnk(x) = P{ink^x}, fnk(t) = Ee“^,
Е£л4 = 0. = 'Ink > о,
П (19)
Е7лА = 1, max 7rtfc-*0, n->oo.
f--' l^k^n
6=1
Пусть In z обозначает главное значение логарифма комплексного числа z
(т. е. In z = In |zI + i arg z, —тг < arg z тг).
Тогда
ln П /«*(0 = 52 ln fnk(t) + 2irim,
6=1 k=l
где m = m(n, t) — некоторое целое число. Следовательно,
Re In f[ fnk(t) = Re £ In fnk(t). (20)
k=\ 6=1
Поскольку
ft fnk(f)-^e~^\
6=1
то
п
П
k=\
1 /2
Тем самым
(21)
При |г| < 1
z2 Z3
ln(l+z) = z-^ + ^--..., (22)
О
I 1^ 1
и при |z| < £
|1п(1+г)-г|С|г|2. (23)
В силу (19) при каждом фиксированном /, всех достаточно больших п и
всех k = 1, 2, ..., п имеем
^(O-ll^p^2^-
(24)
Поэтому из (23), (24) получаем
п
£{1п[1+(^(о-1)]-(/пио-1)}
k=\
<£|^(0-1|Ч
*=1
/4 /4
« 7 т- ' Е = 7 , Ж. т- - »•
Й=1
п~>оо,
и, следовательно,
Из (20), (21), (25) вытекает, что
Re “ !> + 5 /2 = 12 [Re fnk(^ “ 1 + 5 -’’0, " °°‘
*=i *=1 1
Полагая t = \/ба, находим, что при каждом а > 0
£ [Re fnk(V&a) - 1 + 3a2ynk] ^0, n оо. (26)
A?=l
Наконец, из (18) с а= \/е и (26) получаем
п п
EE[^/(i^i>e)i=E S ^dFnk(X)^
*=i k=\ ki>€
SS е2 ^2 [Re /яА(х/ёа) - 1 + 3a27„*] -»• 0, n -»oo,
k=\
что и доказывает выполнение условия Линдеберга. □
5. Задачи.
1. Пусть • •• — последовательность независимых одинаково рас-
пределенных случайных величин с Е£2 < оо. Показать, что
maxfly, . IM) .fUo гг-4оо.
\ у/П у/П/
2. Дать прямое доказательство того, что в схеме Бернулли величина
sup \^тп(х) — Ф(х)| имеет порядок -у, п—юо.
х
3. Пусть Хь Хг> ••• — последовательность перестановочных случайных
величин (см. задачу 4 к § 5 гл. II) с ЕХ, = 0, EX2 = 1 и
cov(X,, Х2) = cov(Xj\ Х22). (27)
Доказать, что имеет место центральная предельная теорема:
X,-4 ^(0,1). (28)
V i=l
Обратно, если ЕХ2 < оо и выполнено (28), то выполнено и (27).
4. Локальная центральная предельная теорема. Пусть Xi, Х2, ... —
независимые одинаково распределенные случайные величины с EXi=0,
ЕХ2 = 1. Пусть их характеристическая функция = Ее//Х| такова, что
оо
1^(0|r dt < 00 для некоторого г > 1.
—оо
Показать, что плотность fn(x) распределения вероятностей величин Sn/yfn
существует и
/л(х) —> (2и)“1/2е“х2/2, п —> оо, равномерно по х е R.
Как выглядит соответствующий результат для решетчатых случайных
величин?
5. Пусть Хь Х2, ... — независимые одинаково распределенные случай-
ные величины с EXi=0, ЕХ2=1. Пусть d2, df, ••• — неотрицательные
4
константы такие, что dn = o(Dn), где D2 = £ ^2. Показать, что последова-
k=\
тельность взвешенных величин d\X\, ^2^2» ••• удовлетворяет центральной
предельной теореме:
1).
п Л=1
6. Пусть £1, ... — независимые одинаково распределенные случай-
ные величины с E£i =0, Е^=1. Предположим, что (тп)п^\ — последо-
вательность случайных величин, принимающих значения из множества
{1,2, ...}, такая, что тп/п^>с, где с>0 — константа. Доказать, что
(Srt =Ci + •••-*-€rt)
Law(r“1/2ST1I) —
(т.е. r„’1'/2STn где £~с/К(0, 1)). (Отметим, что независимость после-
довательностей (тл)л^1 и (£я)я^1 не предполагается.)
7. Пусть £i, ... — независимые одинаково распределенные случай-
ные величины с E£i =0, Е£2 = 1. Доказать, что
Lawfn-*/2 max Sm) —► Law(|£|), где £~<Ж(0, 1).
\ 1^/и<л /
Иначе говоря, для х > 0
p{n‘,/! (=75 erfW)'
Указание: убедиться в справедливости сформулированного утвер-
ждения сначала для симметричных бернуллиевских случайных вели-
чин €2, ••• с Р{£п = ±1} = 1/2 и затем доказать, что вид предельно-
го распределения будет тем же самым для любой последовательности
••• с определенными выше свойствами. (Отмеченная независи-
мость предельного распределения от частного выбора последователь-
ности $|, £2, ...» состоящей из независимых одинаково распределенных
случайных величин с Е£п = 0, Е^=1, носит название «принцип инвари-
антности»; ср. с § 7.)
8. В условиях предыдущей задачи доказать, что
p(n“I/2 max |S/„| —►//(*), х>0,
I l^m^n )
где
Н(х) = - V (-1)* cxpf <2fe+1)2,r2)
W 2^ 2Л+1 expl 8х2 Г
fc=o
9. Пусть Хь ••• — последовательность независимых случайных ве-
личин с
Р{Х„ = ±па}=^, Р{Х„=0}=1-^, где2а>/3-1.
Показать, что условие Линдеберга выполнено, если и только если 0 /3 < 1.
10. Пусть Х\, • • • — последовательность независимых случайных ве-
личин таких, что |ХЛ| Сп (Р-п. н.) и Сл = о(Ол), где
02 = ^Е(^-Е^)2^оо.
6=1
Показать, что
—».Ж(0, 1), где Sn =Xi+... + Хя.
Lfn
11. Пусть Xi, %2» • • • — последовательность независимых случайных ве-
личин с ЕХл=0, ЕХ2 = а2. Предположим, что для них выполняется цен-
тральная предельная теорема и
e(d~1/2 хА для некоторого й > 1.
\ /=1 /
Показать, что тогда выполнено условие Линдеберга порядка &, т. е.
п
Е $ £>о.
/=1 {|Х|>£}
(Обычное условие Линдеберга соответствует случаю £ = 2; см. (1).)
12. Пусть X =Х(А) и Y = У(д) — независимые пуассоновские случайные
величины с параметрами А > 0 и д > 0 соответственно. Показать, что
(Х(А) — А) — (У(д) — д) ^zn lx х
\ ПРИ А -> оо, /х -> оо.
V Х(А) + У(д)
13. Пусть при каждом 1 (Х^, ..., Х^,) является (я+ 1)-мерным
случайным вектором, равномерно распределенным на единичной сфере.
Доказать справедливость следующей «теоремы Пуанкаре»:
nnmop{^x^,<x} = -i= $ e~^du.
V Z7r “ОО
§ 5. Центральная предельная теорема
для сумм независимых случайных величин.
II. Неклассические условия
1. В § 4 было показано, что условие Линдеберга (16) влечет выпол-
нение условия
max Е^-0,
l^k^n
из которого в свою очередь вытекает так называемое условие предельной
пренебрегаемости (асимптотической малости), состоящее в том, что
для всякого е > О
max Р{|£л*| > е} —> 0, я—>оо.
I
Таким образом, можно сказать, что теоремы 1 и 2 из § 4 дают усло-
вия выполнимости центральной предельной теоремы для сумм независи-
мых случайных величин в предположении предельной пренебрегаемо-
сти. Предельные теоремы, в которых на отдельные слагаемые наложены
условия их предельной пренебрегаемости, принято называть теоремами в
«классической постановке». Нетрудно однако привести примеры невы-
рожденных случайных величии, для которых не выполнено ни условие
Линдеберга. ни условие предельной пренебрегаемости. но тем не менее
центральная предельная теорема справедлива. Вот простейший пример.
Пусть ••• — последовательность независимых нормально распре-
деленных случайных величин с Е£л=0, D£i = 1, D& = 2*“2, ft >2. Положим
$п = 1 + ... + С.ПП С
V /=1
Нетрудно проверить, что здесь не выполнено ни условие Линдеберга. ни
условие предельной пренебрегаемости. хотя справедливость централь-
ной предельной теоремы очевидна, поскольку Sn распределены нормально
cESrt = 0, DS„ = 1.
Приводимая далее теорема 1 дает достаточное (и необходимое) усло-
вие справедливости центральной предельной теоремы без предположения
«классического» условия предельной пренебрегаемости. В этом смысле
формулируемое ниже условие (А) является примером «неклассических»
условий, что и отражено в заголовке настоящего параграфа.
2. Будем предполагать, что для каждого п 1 задана последователь-
ность («схема серий») независимых случайных величин
€л!» €л2» • • •» €лл
—
\^nk
с Е£л* = 0, D^ = a^>0, £ а2* = 1. Пусть Srt=£rti/7лЛ(х) =
Л=1
= Р{€^<х},Ф(х) = (27г)-1/2 $ е-*2/2^,Фл*(х) = Ф
—оо
Теорема 1. Для того чтобы
S,4x<0. I). (I)
достаточно (и необходимо) выполнение для каждого е>0 условия
(Л)
п
52 S |х| |ГЛ*(х)-Фя*(х)|</х—>0, п-^оо.
/?=1 |Х|>£
(2)
Следующая теорема проясняет связь между условием (Л) и классиче-
ским условием Линдеберга
(L)
52 $ х2 dFnk(x) -+ 0, л-юо.
Л=1 |х|>е
(3)
Теорема 2. 1. Условие Линдеберга обеспечивает выполнение усло-
вия (Л):
(L) =» (Л).
2. Если т&х,ЕС-0.л—>оо, то условие (Л) обеспечивает выпол-
нение условия Линдеберга (L):
(Л) => (L).
Доказательство теоремы 1. Доказательство необходимости усло-
вия (Л) довольно сложно ([88], [91], [96]). Приведем здесь лишь доказа-
тельство его достаточности.
Пусть
fn(t) = Eeits\
<Pnk(t)= $ е‘7х4/Фл*(х),
— ОО
Из § 12 гл. II следует, что
<Pnk(t) = e 2^,
<p(t) = e‘tx d$(x).
F
Согласно следствию к теореме 1 из § 3, Srt Л<Ж(0, 1) тогда и только тогда,
когда /л(0—^(0, п—>оо, для всякого действительного t.
Имеем
му- ¥>(/)=п
*=i «=1
Поскольку |/„*(/)| 1, |<Pnfc(OI < 1, ТО
|Ш-^(01 =
п п
П /«*(о-П^(о
k=4 Л=1
п
<£|A*(0-¥w(0I =
k=l
л оо
= Е S e''W^-Фл*) =Е
*=1 -оо *=1
°? / /2Г2\
5 (e‘‘*_itx+L^d(Fnk_Qnk)
(4)
где мы воспользовались тем, что для Л= 1, 2
оо оо
5 xkdFnk=
Хк(1Фпк.
—оо
—оо
Применяя формулу интегрирования по частям (теорема 11 в § 6 гл. II)
к интегралам
ь / . /2г2\
5 (е“* _ itx + d{Fnk - Ф„к),
a
получаем (с учетом того, что х2[ 1 — Fnk(x) + Fnk(—х)]-+0, х2[1 -Ф„л(х) +
+ Фя4(-х)]->0, х->оо)
°° / . /2г2\
^_/7х + £^_^(ГяЛ_Ф„4) =
= -it («?'" - 1 - itx)(Fnk(x) - Ф„*(х)) dx. (5)
—оо
Из (4) и (5) имеем
6=1
5 (eitx - 1 - itx)(Fnk(x) - Ф„*(х)) dx
—OO
S ИИ7/|И*)-Ф»*(*)1<** +
fe=l |X|^£
+ 2/2^ $ |х||Л1*(х)-ФлИх)1^^
k=\ |X|>£
^e|Z|3 ^2 ct2a+2Z2 ^2 S |х||Л1*(х)-Фп*(х)|йх, (6)
A?=l k=\ |x|>e
при этом мы воспользовались неравенством
$ \x\\Fnk(x)-$nk(x)\dx^2<r2k, (7)
справедливость которого легко установить, опираясь на формулу (71) 1
из § 6 гл. II.
Из (6) в силу произвольности е>0 и условия (Л) следует, что
П-^ОО. □
Доказательство теоремы 2. 1. Согласно § 4, условие Линдебер-
п
га (L) влечет условие max сг^—>0. Поэтому, учитывая, что = Ь
получаем ’
х2^Фл*(х)^ х2</Ф(х)—>0, п—>оо. (8)
*=i kl>e >
Вместе с условием (L) это дает, что для всякого е > 0
У2 $ x2d [Гл*(х) + Фл*(х)]-4 0, п-400. (9)
*=1 |х|>е
Зафиксируем е > 0. Тогда найдется такая непрерывно дифференцируе-
мая четная функция Л = Л(х), что |й(х)| х2, |/t'(x)j 4|х|, (
. (х2, |х|>2е,
Л(х) = 4
10, |х|<£.
Для такой функции й(х) в силу (9) •
У2 $ Л(х)</[Гл*(х) + Фл*(х)]-*0, и—>оо. (10)
6=1 |лг|>е
I
С помощью интегрирования по частям из (10) находим: ।
$ л^1-^их)Ж1-фпи*))]^=£ S ад<«*+Ф4Н,
6=1 Х^Е k=\ Х^Е
£ $ fi'(x)[Fnk(x) + ^nk(x)]dx^ $ h(x)d[Fnk + 4>nk] ^0.
6=1 Х^-Е 6=1
i
Поскольку h'(x) = 2х при |х| 2е, то
$ |x| l^*(x) -Фл*(х)| dx-+0, п-^оо.
6=1 |х|^2е
Таким образом, в силу произвольности е>0, (L) => (Л).
2. В силу условия max a^k ->0 и (8) для введенной выше функции
й = Л(х) получаем, что
22 $ h(x)d$nk(x)^2 $ х2«/ФяЛ(х)-+0, л —> оо. (11)
k=A |х|>£ £=1 |х|>е
Далее, с учетом интегрирования по частям, находим:
22 $ h(x)d[Fnk-$nk]
6=1 |*|>£
22 $ A(x)d[(l -ГяЛ)-(1 -Ф„*)]
Л=1
22 $ h(x)d[Fnk-Фпк\
k=\ Х^-£
<22 S |Л/(х)||(1-^)-(1-ФяА)|й1х + 22 $ |А/(х)||^-Флл|^^
Ь=1 Х^Е Ь=1
с 4 22 $ |х| |ГяЛ(х)-ФяА(х)|</х. (12)
Л=1 |х|>е
Из (11) и (12) следует, что
22 $ х2 dFnk(x) < 22 S h(x)dFnk(x)->0, п->оо,
k=\ |х|>2е fc=l |х|>е
т. е. выполнено условие Линдеберга (L).
□
3. Задачи.
1. Доказать справедливость формулы (5).
2. Проверить справедливость соотношений (10), (12).
3. Пусть N = (Nt)t^o — процесс восстановления, введенный в п. 4 § 9
оо
гл. II (Nt = 52 I(Tn ^t), Гя = tri +... 4-ая, где tri, <72, ... — последователь-
Л=1
ность независимых одинаково распределенных положительных случайных
величин). Предполагая, что р = Eaj < оо, 0 < Dai < оо, доказать справед-
ливость центральной предельной теоремы:
- -^(0, 1),
y/tp~^Dcr\
где */К(0, 1) —стандартно распределенная нормальная случайная величина
с нулевым средним и единичной дисперсией.
§ 6. Безгранично делимые и устойчивые
распределения
1. В § 3 отмечалось, что для формулирования теоремы Пуассона при-
ходится прибегать к рассмотрению так называемой схемы серий, считая,
что при каждом п 1 задана последовательность независимых случайных
величин (£Л,Д 1 < < и.
Положим
Гл=£л,1(1)
Понятие безгранично делимого распределения возникает в связи со
следующим вопросом: как охарактеризовать все те распределения, которые
могут выступать в качестве предельных для последовательности распре-
делений случайных величин Тл, 1?
Вообще говоря, при такой общей постановке вопроса предельное рас-
пределение может быть произвольным. Действительно, если £ — некоторая
случайная величина и £лЛ =£, £л^ = 0, 1 <k^n, то Тп =£ и, следовательно,
предельное распределение совпадает с распределением £, которое может
быть взято произвольным.
Чтобы сделать задачу о предельных распределениях более содержа-
тельной, будем всюду в этом параграфе предполагать, что при каждом
1 величины £лЛ, ..., £лл не только независимы, но и одинаково рас-
пределены.
Напомним, что именно такая ситуация имела место в теореме Пуассона
(теорема 4 из § 3). К этой схеме относится и центральная предельная
теорема (теорема 3 из § 3) для сумм 5Л = £1 +... +£л, и> 1, независимых
и одинаково распределенных случайных величин £i, • •• В самом деле,
если положить
£ _ Г\2 _______ Г\ Q
£n,k —’ Dn D5/1 ’
то тогда
rt _
j. _V""4 _Sn “ Е5Л
Ui- Q-n •
fc=l
Таким образом, нормальное и пуассоновское распределения могут вы-
ступать в качестве предельных в схеме серий. Если Тп Т, то интуитивно
понятно, что, поскольку Тп есть сумма независимых одинаково распре-
деленных случайных величин, то предельная величина Т должна быть в
таком-то смысле также суммой независимых одинаково распределенных
случайных величин. Имея это в виду, введем такое определение.
Определение 1. Случайная величина Т (а также ее функция рас-
пределения Ft и ее характеристическая функция рт) называется безгра-
нично делимой, если для каждого п 1 на вероятностном пространстве
(Q, &, Р) можно найти такие независимые одинаково распределенные слу-
чайные величины т}\, ..., т)п, что *) T = t/i + ... + т)п (или, что то же самое,
Ft = Fn * • • • * , или <рт = (<?„. )п).
Замечание 1. Если исходное вероятностное пространство, на котором
задана случайная величина Г, достаточно «бедное», то может случить-
ся, что функция распределения Ft и ее характеристическая функция рт
допускают при любом представления = (п раз)
и tpT == с некоторыми функциями распределения Г(л) и их характе-
ристическими функциями хотя, в то же самое время, представле-
ние Т = т/1 +... + т)п невозможно. Дж. Дубу принадлежит как раз пример
(см. [103]) «бедного» вероятностного пространства, на котором определена
случайная величина Г, имеющая распределение Пуассона с параметром
А = 1 (которое является безгранично делимым: Ft = Г(л) *... * Г(л) с функ-
циями распределения Г(л), отвечающими пуассоновскому распределению с
параметром А= 1/п), но отсутствуют случайные величины т/i и т/2, имеющие
распределение Пуассона с параметром А= 1/2.
Имея в виду сказанное, подчеркнем, что данное выше определение 1, в
сущности, неявно предполагает, что исходное вероятностное пространство
(Q, &, Р) уже достаточно «богато», настолько, чтобы избежать эффектов,
отмеченных Дж. Дубом (задача И).
Теорема 1. Случайная величина Т может быть пределом по рас-
п
пределению сумм Tn = J2 inj в том и только том случае, когда Т
1=1
безгранично делима.
Доказательство. Если Т безгранично делима, то для каждого п 1
существуют независимые одинаково распределенные случайные величины
€л,ь ..., Слл такие, что Т+ ...+&,*>а эт0 и означает, что Г = ГЛ, 1.
Обратно, пусть Тп Т. Покажем, что тогда Т безгранично делима, т. е.
для любого k найдутся независимые одинаково распределенные случайные
величины т/i, ..., rjk такие, что Т = т/i +... + ту*. nk
Зафиксируем некоторое fe > 1 и представим величину Tnk = 52 £nk,i в
виде + + где ,=1
Сп)= €л^,1 +... +Слл.л* • ••» Сл = €лйл(а—о+1 +...+€лл,л/г-
*) Запись £ = ту означает, что случайные величины £ и ту совпадают (конгруэнтны) по
Распределению, т.е. F$(x) = Fn(x), хе/?, где F$(x) и /^(х) —• функции распределения < и rj.
Поскольку Tnk 7, п —> оо, то последовательность функций распределе-
ния, соответствующих случайным величинам 7Л*, О 1, относительно ком-
пактна и, значит, по теореме Прохорова плотна (§ 2). Далее,
[РKAl> > z}]k = Р{£<'> > z, ..., > z} Р{> kz}
И
[РКА0 < "*}]* = РКА° < -2, ..., ^ < -г}< Р{ГлЛ < -kz}.
Из этих двух неравенств и плотности семейства распределений для 7Л^,
п 1, вытекает плотность семейства распределений для n 1. Поэтому
найдутся подпоследовательность {nJ с {и} и случайный вектор (т/ь ..., т/Д
который без ограничения общности можно считать определенным на ис-
ходном («богатом») вероятностном пространстве, такие, что
й;>.....
или эквивалентно, что для любых Аь А* е R
Eg‘(Ai4i+-+а*%)
В силу независимости величин Сл^
Eei(AIC^+...+A4CS‘>) = EeiAl^>
EetXk^ —♦ Ее/Л,т?| EeiXkTfk.
Значит,
_ £giА|гц . £gi>4tTjk
и в силу теоремы 4 из § 12 гл. II величины t/i,...» % независимы. Ясно
также, что они имеют одно и то же распределение.
Далее,
T'njk = + •.. + +
и к тому же Tnik Т. Поэтому (задача 1)
7=^+...+^. □
Замечание 2. Утверждение теоремы остается в силе, если рассмот-
ренное в начале параграфа условие, что при каждом п 1 величины
£лд, •••» €л,л одинаково распределены, заменить на условие их асимпто-
тической малости max P{|U|^e}-»0.
КА^л
2. При проверке того, является ли данная случайная величина 7 без-
гранично делимой, проще всего исходить из вида ее характеристической
функции Если для любого п 1 можно найти такие характеристиче-
ские функции что <p(t) = [<£л(0]л, то Т безгранично делима.
В гауссовском случае
</>(/) = е‘т е “2“,
и, полагая
т _ __п
сразу находим, что <p(t) = [<?„(/)]".
В пуассоновском случае
Н0 = еА(е"-'),
и если положить ^„(0 = е«(е **, то <p(t) = [<рл(01я•
Если случайная величина Т имеет Г-распределение с плотностью
/(%)=<
xa-le-x/3
Г(а)/3« ’
0,
х>0,
х <0,
то (табл. 5, § 12 гл. II) ее характеристическая функция равна
(1-«0Оа‘
Следовательно, <р(0 = [<Рл(0]я, ГДе
*’я^= (1 - »/30о/я ’
и, значит, Т безгранично делима.
Приведем без доказательства следующий результат об общем виде ха-
рактеристической функции безгранично делимых распределений.
Теорема 2 (представление Колмогорова—Леви—Хинчина). Слу-
чайная величина Т является безгранично делимой тогда и толь-
ко тогда, когда ее характеристическая функция <p(f) имеет вид
<p(t) = exp V’(Z) с
W) = ЩЗ-^+\ (е“* - 1 - dX(x), (2)
где /3 е /?, а2 0 иХ — некоторая конечная мера на (/?, S8(R)) с А{0} = 0.
3. Пусть Ci, ^2» ♦ • • — последовательность независимых одинаково рас-
пределенных случайных величин и Srt = £1 +...+ £л. Предположим, что
существуют такие константы Ьп, ап > 0 и случайная величина Г, что
Sn ~ Ьп
ап
^Т.
(3)
Спрашивается, как охарактеризовать все распределения (случайных вели-
чин 7), которые могут возникать в виде предельных распределений в (3)?
Если независимые одинаково распределенные случайные величины
••• таковы, что 0<а2 = D£i <оо, то, полагая drt=nE^i нап=сгу/п.
согласно § 4, находим, что Т имеет нормальное распределение <Ж(0, 1).
д
— плотность распределения Коши (с параметром
0>О) и ••• — независимые случайные величины с плотностью Дх),
то характеристическая функция равна е~в^ и, значит, <^$я/л(/) =
q
= = т. е. величина Sn/n также имеет распределение Коши
(с тем же самым параметром 0).
Таким образом, в качестве предельных распределений, помимо нор-
мального, могут появляться и другие распределения (как, например, рас-
пределение Коши).
Если положить £nk = — — —, 1 k п, то найдем, что
йп flttn
k=l
Таким образом, все мыслимые распределения для Г, которые могут появ-
ляться в качестве предельных в (3), обязательно являются (в соответствии
с теоремой 1) безгранично делимыми. Однако специфика рассматриваемых
величин Тп = ——— дает возможность получить дополнительную инфор-
мацию о структуре возникающих здесь предельных распределений.
С этой целью введем (с учетом замечания 1) такое
Определение 2. Случайная величина Т (а также ее функция распреде-
ления F(x) и характеристическая функция </?(/)) называется устойчивой.
если для любого п 1 найдутся такие константы ап > 0, Ьп и такие неза-
висимые случайные величины ..., £л, распределенные как Г, что
апТ+ bn=£i + (4)
или, что то же самое, F(х д ^n) = F *... *Г(х), или
(5)
Теорема 3. Случайная величина Т может быть пределом по рас-
пределению случайных величин ———, ап > 0, тогда и только тогда,
ап
когда Т является устойчивой.
Доказательство. Если Т устойчива, то, согласно (4),
у, d Sn ~ Ьп
~~ ап ’
г» . j- Sn — Ьп d т
где Sn = 6 + • • • + и, следовательно,------► Т.
ап
Обратно, пусть 4т, £2, ••• — последовательность независимых одина-
ково распределенных случайных величин, Sn =£1 +... +£л и — ~ Ьп Г,
ап
ап>®- Покажем, что Т является устойчивой случайной величиной.
Если Т — вырожденная случайная величина, то она, очевидно, устойчи-
ва. Будем поэтому предполагать, что Т является невырожденной случайной
величиной.
Зафиксируем & > 1 и обозначим
$п ) = 6 +••• + &♦ •••» =^-1)п+1 +... + &Л,
Т(1) _ ~~ Ьп __ S^ ~ЬП
п ап ’ п ап
Ясно, что по распределению все величины Т„\ ...» совпадают и
Т^Дт, /г-оо,
Обозначим
им = т^ + ... + т<р.
Тогда так же, как и при доказательстве теоремы 1, получаем, что
цМ 7(0 +,.. + 7<*\
где 1 i k, независимы и =... = = Т.
С другой стороны,
(j{k) __ & +--- + &л-ЬЬп _
ап
= ^kn( i\+-- + ^kn-bkn\ + bkn-kbn = Q<!k) Vkn + (б)
ал \ afcn / ап
где
^(k) _____________________ akn /□(£) _ bkn — kbn
n “ an' Pn ~ an
и
у = 4~.». + ^kn ~ bfon
Из (6) ЯСНО, ЧТО
где Vkn^T, t/4ГО) +... + Г<*>, лоо.
Из приводимой ниже леммы следует, что найдутся такие константы
a(ft) > 0 и /3(А), что afl —»а(®, fl® —► fl®, п —»оо, и
Td_ T{® + ... + T<®-fl®
что и доказывает устойчивость случайной величины Т. □
Лемма. Пусть и существуют такие константы ап>0 и
Ьп, что
а„^п + Ьп^1
причем случайные величины £ и £ не вырождены. Тогда найдутся
такие константы а>0 и Ь, что lim ап = a, lim bn = b и
i=a^ + b.
Доказательство. Пусть ч)п,<р и (р —- характеристические функции
Сл, £ и С соответственно. Тогда <^аяе„+ьй(0» характеристическая функция
ап£п + bn, равна eltbn<pn(ant), и, согласно следствию к теореме 1 и задаче 3
из § 3,
ei/bVn(<W)->£(0, (7)
(8)
равномерно на каждом конечном интервале изменения t.
Пусть {/г/} — подпоследовательность {п} такая, что ani -+а. Покажем
прежде всего, что а<оо. Предположим, что а = оо. В силу (7) для любого
с >0
sup||<p„(a„0|-|£(0lH0, п—>оо.
1'1^
Возьмем вместо t величину tni = —. Тогда поскольку ani -юо, то
йщ
МОНОН
и, значит,
Ь,(/о)НИр(О)| = 1.
Но |^л,(6)|-*М^о)|- Потому |^(/о)| = 1 для любого /о €/?, и, следователь-
но, согласно теореме 5 из § 12 гл. II, случайная величина должна быть
вырождена, что противоречит предположению леммы.
Итак, а < оо. Предположим теперь, что существуют две подпоследова-
тельности {л(} и {«•} такие, что аП/ —>а, ап> -*а', где а ±а! и для опреде-
ленности 0 а' < а. Тогда из (7) и (8)
\<Pnt(ani 01 -► k(a0l. |¥Ч(<М)1 -► |£(01
И
кл'(ап,' 01 -♦ |<р(а'0|. Iv>n; ((ant 01 1^(01-
Следовательно,
|<р(а0| = Иа'0|.
и, значит, для любого t € R
ИО1 = |*’(701 = ", = |*’((а') ОН1, п^°°-
Поэтому |</?(/)| = 1 и, согласно теореме 5 из § 12 гл. II, отсюда вытека-
ет, что £ — вырожденная случайная величина. Полученное противоречие
показывает, что а = а' и, значит, существует конечный предел lim ап = а,
причем О 0.
Покажем теперь, что существует предел lim bn = b и а > 0. Поскольку
(8) выполнено равномерно на каждом конечном интервале, то
и, значит, в силу (7) существует lim eltbn для всех тех /, для которых
Пусть 6>0 таково, что для всех |/|<<S у?(а/)/0. Тогда для
таких t существует lim eitbn. Отсюда можно вывести (задача 9), что тогда
Нш \Ьп\ < оо.
Пусть существуют две подпоследовательности {tit} и {я-} такие, что
lim bn. = b и lim bn'=b'. Тогда для |/| <6
eitb=eitb'
и, следовательно, b = Ь'. Итак, существует конечный предел b = lim bn и,
согласно (7),
(p(t) = eitb<p(at),
что означает, что £=а£ + Ь. Поскольку £ невырождена, то а > 0. □
4. Приведем теперь (без доказательства) теорему об общем виде ха-
рактеристической функции устойчивых распределений.
Теорема 4 (представление Леви—Хинчина). Случайная величина
Т является устойчивой тогда и только тогда, когда ее характе-
ристическая функция (p(t) имеет вид <p(t) = ехр ^(0 с
W = it/3- d\t 1“(1 + G(t, a)), (9)
где 0 < a < 2, 0GR, d^Q, |0| 1, щ = 0 при t —0 и
G(t, a) = <
tg %<*,
I ln И’
7Г
если a / 1,
если a = 1.
Отметим, что особо просто устроены характеристические функции сим-
метричных устойчивых распределений:
НО = (11)
где 0 < а 2, d 0.
5. Задачи.
1. Показать, что если £л -4 £ и £л Л то £ = ту.
2. Показать, что если и — две безгранично делимые характери-
стические функции, то <р\ -<^2 — также безгранично делимая характеристи-
ческая функция.
3. Пусть <рп — безгранично делимые характеристические функции и
</>л(/)-*</?(/) для каждого teR, где </?(/) —некоторая характеристическая
функция. Показать, что </>(/) безгранично делима.
4. Показать, что характеристическая функция безгранично делимого
распределения не обращается в нуль.
5. Привести пример случайной величины, являющейся безгранично де-
лимой, но не устойчивой.
6. Показать, что для устойчивой случайной величины £ математическое
ожидание Е|€К < оо для всех г е (0, а), 0 < а < 2.
7. Показать, что если £—устойчивая случайная величина с параметром
0 < а 1, то ip(t) не дифференцируема при t = 0.
8. Дать прямое доказательство того, что функция e^d^a с ОО,
0 < а 2 является характеристической.
9. Пусть (6Л)Л^1 — числовая последовательность такая, что для всех
|/| < 5, 5 > 0, существует lim eitbn. Показать, что тогда Нт |6Л| < оо.
10. Показать, что биномиальное и равномерное распределения не яв-
ляются безгранично делимыми.
11. Пусть функция распределения F и ее характеристическая фун-
кция допускают представления F = *... (п раз), <£=
с некоторыми функциями распределения F^ и их характеристическими
функциями <р^п\ 1. Показать, что можно найти (достаточно «богатое»)
вероятностное пространство (П, Р) и определенные на нем случайные
величины Т и (ту£)л^я, (Т имеет распределение F, т)\п\ ..., неза-
висимы и одинаково распределены с распределением F(rt)) , такие, что
T = + + №, Л>1.
12. Привести пример случайной величины, не являющейся безгранично
делимой, характеристическая функция которой, тем не менее, в нуль не об-
ращается.
§ 7. «Метризуемость» слабой сходимости
1. Пусть (Е, р) — метрическое пространство и ^(Е) = {Р} — семей-
ство вероятностных мер на (Е, £). Естественно поставить вопрос о том,
нельзя ли «метризовать» рассмотренную в § 1 слабую сходимость Рп^Р,
т. е. нельзя ли ввести такое расстояние 5(Р, Р) между любыми двумя ме-
рами Р и Р из <^(Е), чтобы сходимость 6(Рп, Р)-*0 была равносильна
PW п
п-*Р-
В связи с такой постановкой вопроса полезно отметить, что сходи-
р
моешь случайных величин по вероятности, —>£, может быть мет-
ризована с помощью, например, расстояния
»7) = inf{e>0: Р{|£-»?|
или расстояний d(£, tj) = Е min( 1, |£ - ту|), d(£, ту) = Е
(Более об-
щим образом, можно положить d(£, т/) = Eg(|£ - ту|), где в качестве функции
g = £(*)» х > О, можно взять любую борелевскую неотрицательную возрас-
тающую функцию, непрерывную в нуле и такую, что g(x + у) g(x) + g(y)
для всех х 0, у > О, g(0) = 0, g(x) > 0 для х > 0.) Но в то же самое время
в пространстве всех случайных величин на (Q, Р) не существует
расстояния d(£, rf) такого, что d(£n, £)-*0 тогда и только тогда, когда
Сл сходится к ( с вероятностью единица. (В этом легко убедиться,
взяв последовательность случайных величин п^\, сходящихся по ве-
роятности к С» но не сходящихся с вероятностью единица.) Иначе говоря,
сходимость с вероятностью единица не метризуема. (См. утвержде-
ния задач 11 и 12 к § 10 гл. II.)
Цель настоящего параграфа — установить, конкретно указав метрики
(L(P, Р) и IIP-РЦяД в пространстве мер ^(Е), метризуемость слабой
сходимости:
Рп^Р ЦРп,Р)^й & црл-р||*£^о.
(1)
2. Метрика Леви—Прохорова ЦР. Р). Пусть
р(х, A) = '\nf{p(x, у): уеА},
А£ = {хеЕ: р(х. А) < е}, Ле <?.
Для любых двух мер Р. Ре положим
а(Р. Р) = inf{e > 0: P(F) P(F£) + е для всех замкнутых F е £} (2)
и
L(P, Р) = max[a(P, Р). а(Р. Р)]. (3)
Следующая лемма показывает, что так определенная функция ЦР. Р),
Р, Ре&(£). называемая метрикой Леви—Прохорова, действительно
является метрикой.
Лемма 1. Функция ЦР. Р) обладает свойствами расстояния:
а) ЦР. Р) = ЦР, Р) (=а(Р, Р) = а(Р, Р)),
b) ЦР, Р) ЦР. Р) + ЦР. Р),
с) ЦР, Р) = О тогда и только тогда, когда Р = Р.
Доказательство, а) Достаточно показать, что (а > 0, /3 > 0)
«P(F) P(Fa) + 0 для всех замкнутых F е <£» (4)
тогда и только тогда, когда
«Р(£) P(PQ) + /? для всех замкнутых F е £?>. (5)
Пусть Т — замкнутое множество из S. Тогда множество TQ открыто и
нетрудно проверить, что Т С Е \ (Е \ Та)а. Если выполнено (4), то тогда, в
частности,
P(£\TQ)^P((£\TQ)Q)+/3
и, тем самым,
Р(7) Р(£ \ (£ \ TQ)Q) P(TQ) + 0.
что и показывает равносильность (4) и (5). Отсюда следует, что
а(Р,Р) = а(Р,Р) (6)
и, тем самым,
£(Р, Р) = а(Р. Р) = а(Р. Р) = ЦР. Р). (7)
Ь) Пусть ЦР,Р)<61,Ц^, Р)< <?2- Тогда для каждого замкнутого F е S
P(F) PiF62) + 62 + <5i + б2 P(FS'+Si) + <5i + <52
И поэтому L(P, Р) 51 +52- Отсюда следует, что
L(P, Р)^ЦР, Р) + ЦР, Р).
с) Если L(P, Р) = 0, то тогда для каждого замкнутого F е S и любого
а>0
P(F)^P(F*} + a. (8)
Поскольку Fa j F, а 10, то из (8) предельным переходом по a j 0 нахо-
дим, что P(F) P(F), и по симметрии P(F) < P(F). Тем самым, P(F) — P(F)
для всех замкнутых F е S. Для каждого борелевского множества А е S
и всякого е > 0 найдутся такие открытое множество Ge D А и замкнутое
множество СЛ, что P(Ge \Fe) Отсюда следует, что всякая вероят-
ностная мера Р на метрическом пространстве (£, <?, р) полностью опреде-
ляется своими значениями на замкнутых множествах. Следовательно, из
p^F)z=P(F) для всех замкнутых Fe<? вытекает, что Р(А) = Р(А) для всех
борелевских А 6 <?. □
Теорема 1. Метрика Леви—Прохорова ЦР, Р) метризует слабую
сходимость:
£(РЛ, Р)—>0 Рп^Р. (9)
Доказательство. (=>) Пусть L(Pn, Р)—>Оуп—>оо. Тогда для всякого
фиксированного замкнутого множества F е £ и любого е > 0, согласно (2)
и утверждению а) леммы 1,
hfiPn(F)^P(F£) + e. (10)
Полагая здесь е 10, находим, что
HrnPn(F)^P(F).
Согласно теореме 1 из § 1, отсюда следует, что
Рп^Р. (11)
Доказательство импликации (<=) будет опираться на ряд глубоких и по-
лезных фактов, дополнительно проливающих свет как на само содержание
понятия слабой сходимости, так и на методы ее установления и методы
изучения «скорости» сходимости.
Итак, пусть Рп Д Р. Это означает, что для любой непрерывной огра-
ниченной функции f = f(x)
$/(x)Pn(dx)^$f(x)/>(dx). (12)
Е Е
Предположим теперь, что У — некоторый класс равностепенно
непрерывных функций g = g(x) (для всякого е > 0 найдется такое 6 > 0,
что |g(*/) “ gWI <£» если Р(х» У) <& ДЛЯ всех gG#), таких, что |g(x)| С
с одной и той же константой С>0 (для всех хеЕ и gG$f). Согласно
теореме 3 § 8, для класса имеет место следующее усиление свойства (12):
Рп^Р => sup
ge&
g(x) Pn(dx) - g(x)P(dx)
E
->0.
Для каждого A e £ и e > 0 положим (как в теореме 1 из § 1)
/Д(х)=[1-
р(х, Л)1 +
€ J
Ясно, что "
1а(х)^[%(х)^1А'(х)
(13)
(14)
(15)
И
1/дМ- [а(У)\^£ *|р(х, А) — р(у, Л)|^£ 1р(х, у).
Тем самым для класса = {/Д(х), А е£} имеет место (13). Значит,
△л = sup
Ае£
$ rA(x)Pn(dx)-$ rA(x)P(dx)
Е Е
-0,
п —»оо.
(16)
Отсюда и из (15) заключаем, что для всякого замкнутого множества
А и е>0
Р(АС) > $ /Д(х) dP > $ /4(х) dPn -txn> Рп(А) - (17)
Е Е
Выберем п(е) так, что Дя < е для всех п п(е). Тогда из (17) для п п(е)
Р(Л£)>Ря(Л)-е.
Отсюда в силу определений (2), (3) вытекает, что ЦРп, P)^s, коль скоро
п п(е). Тем самым
Рп^Р Д„->0 =► L(P„,P)^0.
Теорема (с точностью до утверждения (13)) доказана. □
3. Метрика ||Р - Р||в£. Обозначим BL множество всех непрерывных
ограниченных функций f — f(x), хеЕ (с ||/||оо = sup |/(х)| <оо), удовле-
X
творяющих к тому же условию Липшица:
ll/lk = sup
ХтАу
р(х, у)
<оо.
Положим \\f\\BL = llflloo + \\[\\l- Пространство BL с нормой || • ||в£, яв-
ляется банаховым пространством.
Определим метрику \\Р — Р||^£, положив
||P-P||^=sup{kfd(P-P)|: HfbCl}. (19)
(Можно проверить, что действительно удовлетворяет всем тре-
бованиям, предъявляемым к метрике; задача 2.)
Теорема 2. Метрика ||Р — P\\bl метризует слабую сходимость:
Рп^Р.
Доказательство. Импликация (4=) вытекает немедленно из (13). Для
доказательства (=^) достаточно показать, что в определении слабой схо-
димости Рп^-*Р как выполнения свойства (12) для любой непрерывной
ограниченной функции f = f(x) достаточно ограничиться рассмотрением
лишь класса ограниченных функций удовлетворяющих условию Липшица.
Иначе говоря, импликация (=^) будет доказана, если установить справед-
ливость следующего результата.
Лемма 2. Слабая сходимость Рп—*Р имеет место тогда и только
тогда, когда свойство (12) выполнено для любой функции f = f(x) из
класса BL.
Доказательство. В одну сторону доказательство очевидно. Рас-
смотрим теперь функции /Д = /Д(х), определенные в (14). Как было
установлено выше при доказательстве теоремы 1, при каждом е>0 класс
^е=={/Д(х), A e£}CBL. Если теперь проанализировать доказательство
импликации (I) => (II) в теореме 1 из § 1, то можно заметить, что в действи-
тельности в ее доказательстве выполнение свойства (12) использовалось
не для всех ограниченнных непрерывных функций, а лишь для функций
из классов #€, £ > 0. Поскольку С BL, е > 0, то заведомо верно, что из
выполнения свойства (12) для функций из класса BL следует утверждение
II теоремы 1 § 1, которое равносильно (в силу той же теоремы 1 § 1)
слабой сходимости Рп^Р. □
Замечание. Утверждение теоремы 2 можно было бы вывести из теоре-
мы 1 (так же как и наоборот), если воспользоваться следующими неравен-
ствами между метриками L(P, Р) и ||Р — Р||д£, справедливыми для случая
сепарабельных метрических пространств (Ё, £, р):
\\Р-Р\\*В1^2ЦР,Р), (20)
2х2
?(ЦР, Р)) IIP - P\\*BL, где <р(х) = (21)
Замечая, что 0 <р(х) для х 0 тогда и только тогда, когда х 1, и
о
2 —
тх2 tp(x) для 0 х 1, из (20) и (21) выводим, что если ЦР, Р) 1 или
О
~ 9
то
2l2(P,P)^||P-P||Sz.<2£(P,P). (22)
О
4. Задачи.
1. Показать, что в случае E — R метрика Леви—Прохорова L(P, Р)
между распределениями вероятностей Р и Р не меньше расстояния Леви
L(F, F) между функциями распределения F и F, соответствующими Р н Р
(см. задачу 4 в § 1X Привести пример выполнения строгого неравенства
между этими метриками.
2. Показать, что формула (19) определяет метрику в пространстве BL.
3. Доказать справедливость неравенств (20), (21) и (22).
4. Пусть F = F(x) и G = G(x) — две функции распределения, Рс и Qc —
точки их пересечения прямой х+у = с. Показать, что расстояние Леви (см.
задачу 4 в §1)
L(F,G) = sup
с VI
где PCQC — длина отрезка между точками Рс и Qc.
5. Показать, что множество всех функций распределения с метрикой
Леви есть полное пространство.
§ 8. О связи слабой сходимости мер со сходимостью
случайных элементов почти наверное
(«метод одного вероятностного пространства»)
1. Предположим, что на вероятностном пространстве (Q, Р) заданы
случайные элементы X = Х(си), Хп=Хп(ш), 1, принимающие значения
в метрическом пространстве (F, <?, р); см. § 5 гл. II. Обозначим Р и Рп
распределения вероятностей X и Х„, т. е. пусть
Р(А) = Р{ш: Х(о/)еЛ}, Рп(А) = Р{ш: Хп(ш)еА}, Ае£.
Обобщая понятие сходимости случайных величин по распределению
(см. § 10 гл. 11), введем такое
Определение 1. Последовательность случайных элементов Хл, 1,
называется сходящейся по распределению или по закону (обозначения:
Хп % X, или Хп * X, или Хп X), если Рп Д Р.
По аналогии с определением сходимости случайных величин по веро-
ятности и с вероятностью единица (§ 10 гл. II) естественны следующие
определения.
Определение 2. Последовательность случайных элементов Хп, 1,
называется сходящейся по вероятности к X (Хп Д X), если
Р{о>: p(Xn(uj), Х(ш)) ►(), л—>оо.
(1)
Определение 3. Последовательность случайных элементов Хл, 1,
называется сходящейся к X с вероятностью единица (почти наверное,
почти всюду; Хп ^Х, Хп ^>Х), если р(Хп(и), X(cv)) 0, п оо.
Замечание 1. Оба последних определения имеют смысл, конечно, если
только p(Xn(uj), X(uj)) как функции от являются случайными вели-
чинами, т. е. «^-измеримыми функциями. Это будет заведомо так, если
пространство (Е, S, р) является сепарабельным (задача 1).
Замечание 2. В связи с определением 2 отметим, что введенная сходи-
мость по вероятности метризуется следующей метрикой Ки Фан между
случайными элементами X и У (определенными на (П, &, Р) и принима-
ющие значения в £; задача 2):
dP(X, y) = inf{e>0: P{p(X(cv), У(о>)) >в} е}.
(2)
Замечание 3. Если определения сходимости по вероятности и с веро-
ятностью единица требуют задания случайных элементов на одном и том
же вероятностном пространстве, то определение сходимости по распреде-
лению Хп^Х связано лишь со сходимостью распределений, и, следова-
тельно, можно считать, что Х(о>), Х\(cj), ХгМ» ••• принимают значения в
одном и том же пространстве £, но могут быть заданы на «своих» вероят-
ностных пространствах (П, «^, Р), (Пь «^i, Pi), (Q2, <^2, Р2), •• Без огра-
ничения общности, однако, всегда можно считать их заданными на одном
и том же вероятностном пространстве, беря в качестве такового прямое
произведение указанных пространств и определяя Х(ш, о>2, ...) = Х(ш),
Х\(ш, о>1, о?2» •••) = ^1(^1), •••
2. Согласно определению 1 и теореме о замене переменных под знаком
интеграла Лебега (теорема 7 § 6 гл. II),
Хп^Х * Ef(Xn)—^Ef(X)
(3)
Для всякой непрерывной ограниченной функции f = f(x), хеЕ.
Из (3) видно, что на основании теоремы Лебега о мажорируемой схо-
димости (теорема 3 § 6 гл. II) из сходимости Хп^>Х сразу вытекает
сходимость Хя Д X, что вовсе и не удивительно, если иметь в виду ситуа-
цию, когда X и Хп — случайные величины (теорема 2 § 10 гл. II). Более
неожиданно, что в некотором смысле имеет место обратный результат,
к точным формулировкам, а затем и применениям которого мы сейчас и
переходим.
Предварительно введем такое
Определение 4. Случайные элементы X =Х(а/) и Y — К(си"), заданные
на вероятностных пространствах (ГУ, <^', Р') и (П", Р") соответствен-
но и принимающие значения в одном и том же пространстве £, называют-
ся совпадающими (эквивалентными, конгруэнтными) по распреде-
лению (обозначение: X = У), если они имеют совпадающие распределения
вероятностей.
Теорема 1. Пусть (Е, 8* р) — сепарабельное метрическое про-
странство.
1. Пусть случайные элементы Х,Хп* п>1, заданные на веро-
ятностном пространстве (П, Р) и со значениями в Е* таковы,
что ХпX. Тогда можно найти вероятностное пространство
(Q*, Р*) и определенные на нем случайные элементы X*, X*,
п^ 1, со значениями в Е такие, что
лп
U
Х*=Х, Х*=Хп,
2. Пусть Р, Рп, 1, — вероятностные меры на (Е, 8, р) та-
кие, что Рп^>Р. Тогда найдутся вероятностное пространство
(Si*, &** Р*) и определенные на нем случайные элементы X*, X*,
п 1, со значениями в Е такие, что
Х*±±>х*
и
р*=р, р*=рп* oi,
где Р* и Р* — распределения вероятностей X* и X*.
Прежде чем переходить к доказательствам, заметим, во-первых, что
достаточно доказать лишь второе утверждение, поскольку первое следует
из него, если взять в качестве Р и Рп распределения X и Хя. Соответ-
ствующим образом и второе утверждение следует из первого. Во-вторых,
отметим, что доказательство этой теоремы в ее полной общности техниче-
ски довольно сложно. Именно поэтому мы приводим здесь доказательство
лишь для случая E = R. Это доказательство довольно прозрачно и к тому
же дает простую явную конструкцию искомых объектов. (К сожалению,
эта конструкция не «работает» в общем случае, даже для Е = /?2.)
Доказательство теоремы в случае E = R. Пусть F = F(x) и Fn =
=zFn(x) ~ функции распределения, соответствующие мерам Р и Рп на
(/?, ^(/?)). Свяжем с функцией F = F(x) соответствующую ей квантиль-
ную функцию Q = Q(u), однозначно определяемую формулой
Q(u) = inf{x: F(x) > и}, 0 < и < 1. (4)
Нетрудно проверить, что
F(x)^u Q(u)^x, (5)
Возьмем теперь Q* = (О, I), =^?(0, 1) и в качестве Р* — меру Ле-
бега, P*(dcu*) = dcu*. Положим также X*(lu*) = Q(cu*), cu* €fi*. Тогда
P*{cu*: X*(cu*)^x} = P*{<u*: Q(o>*) ^x} = P*{cu*: cu* F(x)} = F(x),
т. e. распределение построенной случайной величины X*(cu*) = (?(tu*) в точ-
ности совпадает с Р. Аналогично, распределение величин X*(cu*) = фя(си*)
совпадает с Ря.
Далее, несложно показать, что из сходимости Fn(x) к F{x) в каждой
точке непрерывности предельной функции F = F(x) (равносильной в случае
E = R сходимости Рп^+Р\ см. теорему 1 в § 1) вытекает, что последо-
вательность квантильных функций Qrt(«), и>1, также сходится к Q(u)
в каждой точке непрерывности предельной функции Q = Q(u). Поскольку
множество точек разрыва функции Q = (?(«), и е (0, 1), не более чем счетно,
то его мера Лебега Р* равна нулю и тем самым
W) = <?«(**) ^Х*(си*) = <?(w*).
Теорема (в случае E = R) доказана. □
Описываемая теоремой 1 конструкция перехода от заданных случайных
элементов X и Хп к новым X* и X*, определяемым на одном и том же ве-
роятностном пространстве, объясняет вынесенное в заголовок параграфа
название «метод одного вероятностного пространства».
Остановимся теперь на ряде утверждений, которые проще всего уста-
навливать, пользуясь этим методом.
3. Предположим, что случайные элементы X, Хл, заданные,
скажем, на одном вероятностном пространстве (Q, <^, Р) и принимающие
значения в сепарабельном метрическом пространстве (Е, <?, р), таковы, что
%п —>Х. Пусть также й = й(х), х е£, — измеримое отображение (Е, <f, р)
в некоторое другое сепарабельное метрическое пространство (Е', р').
В теории вероятностей и математической статистике часто приходится
сталкиваться с вопросом о том, при каких условиях на й = й(х) можно
утверждать, что из сходимости Хп^>Х следует сходимость h(Xn)^>h(X).
Например, пусть Ci, €2» ••• — независимые одинаково распределенные
случайные величины с E£i=m, Dfi=a2>0. Пусть Хп —
Центральная предельная теорема устанавливает, что
\fii(Xn - rn) d
а
сЖ(0, 1).
Спрашивается, для каких функций й = й(х) можно гарантировать, что
i))?
(Известна теорема Манна—Вальда, которая утверждает применительно
к данному случаю, что это заведомо выполнено для непрерывных функций
, ,z v n(Xn-rn)2 d 9
й = й(х), и, следовательно, сразу можно утверждать, что у.--->Х1»
где Х\ — случайная величина, имеющая распределение хи-квадрат с одной
степенью свободы; см. табл. 2 в § 3 гл. I.)
Другой пример. Если X =X(t, cj), Хп = Xn(t, cj), t e 7, — случайные про-
цессы (см. § 5 гл. II) и
ft(X) = sup |Х(/, о>)|, й(Хл) = зир |ХЛ(/, о>)|,
ter teT j
то сформулированный вопрос означает следующее: при каких условиях из
сходимости по распределению процессов, Хп^>Х, следует сходимость по
распределению их супремумов, h(Xn) Дй(Х)?
Одно такое простое условие, обеспечивающее справедливость импли-
кации
хЛх => h(Xn)^h(X), !
состоит в том, что отображение h = h(x) непрерывно. Действительно, если |
f = Дх') — непрерывная ограниченная функция на £', то функция Дй(х)) !
будет также непрерывной ограниченной функцией на £. Следовательно,
Хп^Х ЕДЛ(Х„))^Е/(Й(Х)).
Приводимая далее теорема показывает, что на самом деле требова-
ние непрерывности функции й = й(х) можно несколько ослабить, учитывая
свойства предельного случайного элемента X.
Обозначим Да = {х е £: й(х) не р-непрерывна в точке х}, иначе гово-
ря, пусть — множество точек разрыва функции й = й(х). Заметим, что
△л е £ (задача 4).
Теорема 2. 1. Пусть (Е, S, р) и (Е\ <?', р') — сепарабельные мет-
рические пространства, Хп^Х. Пусть отображение h = h(x), хеЕ,
таково, что ч л
Р{и: Х(си)бДл} = 0. (6)
Тогда h(X„)^h(X).
2. Пусть Р, Рп, п^\, — вероятностные распределения на сепара-
бельном метрическом пространстве (Е, S, р) такие, что Р^Р и
h = h(x) — измеримое отображение (Е, £, р) в сепарабельное метри-
ческое пространство (Е', £’, р'). Пусть
Р{х: хеДд} = 0.
Тогда Phn Ph, где Р*(А) = Pn{h(x) е А}, Ph(A) = P{h(x) еА},Ае S1,
Доказательство, Как и в теореме 1, достаточно доказать справедли-
вость лишь, скажем, первого утверждения.
Пусть X* и X*, п^ 1, —случайные элементы, построенные «методом
одного вероятностного пространства», такие, что X* =Х, X* =ХЛ, n 1, и
X* Пусть
p(Xrt*,X*)/>0}, B* = {cv*: Х>*) (=△„}.
Тогда Р*(Д*иВ*) = 0 и для си* ^Я*иВ*
й(Хл*(си*))^Л(Х*(ц;*)),
а это означает, что й(Х*) -2^й(Х*). Как уже отмечалось в п. 1, отсю-
да следует, что h(X*)^h(X*). Но h(X*) = h(Xn), h(X*) = h(X). Поэтому
Л(Х„)Лл(Х). □
4. В § 7 при доказательстве импликации (^=) теоремы 1 было ис-
пользовано утверждение (13). Приведем сейчас его доказательство, снова
обращаясь к «методу одного вероятностного пространства».
Пусть (Е, <?, р) — сепарабельное метрическое пространство и % — класс
равностепенно непрерывных функций g = g(x) таких, что |g(x)| С для
всех х еЕ, ge & и некоторой константы С.
Теорема 3. Пусть Р, Рп, и > 1, — вероятностные меры на (Е, S, р)
такие, что Рп Р. Тогда
sup $ g(x) Pn(dx) - 5 g(x) P(dx) -> 0,
«€* E E
п—*оо.
(7)
Доказательство, Пусть (7) не имеет места. Тогда существуют а > 0
и функции g\, g2, ... из такие, что
Е
gn (х) Рп (dx) - 5 gn (X) P(dx) а > 0
Е
(8)
для бесконечно многих п. Переходя «методом одного вероятностного
пространства» к случайным элементам X* и X* (см. теорему 1), перепишем
(8) в виде
|E*gn(Xn*)-E*g„(X*)|>a>0 (9)
для бесконечно многих п. Но в силу свойств класса для всякого е > О
найдется такое 5>0, что | g(y) - g(x)| <е для всех g если р(х, у) <6.
Кроме того, | g(x) | С С для всех х € Е и g € У. Поэтому
|E*gn(X„*)-E*g„(X*)|^E*{|gn(X;)-gn(X’)|; р(Х*, Х*)>6} +
+ Е*{|£лЮ - g»(X’)|; Р(Х*, X*) С 5} ^2СР*{р(Х*, X*) >6} + е.
Поскольку Х*п^Х\ то Р*{р(Х*,Х*)>5}~>0, п —>оо. Следовательно,
в силу произвольности е > 0
Iim|E*g„(X„*)-E*g„(X*)| = 0,
что противоречит (9). □
5. В этом пункте идеи «метода одного вероятностного пространства»,
использованные в теореме 1, будут применены к оцениванию сверху зна-
чения метрики Леви—Прохорова L(P, Р) между двумя распределениями
вероятностей на сепарабельном метрическом пространстве (£, <?, р).
Теорема 4. Для каждой пары мер Р, Р можно найти вероятност-
ное пространство (П*, Р*) и случайные элементы X и X на нем
со значениями в Е такие, что распределения X и X совпадают с Р
и Р соответственно и
ЦР, Р) dp* (X, X) = inf{e >0: Р*(р(Х, X) > е) в}. (10)
Доказательство. Согласно теореме 1, действительно можно найти
вероятностное пространство (П*, Р*) и случайные элементы X и X
такие, что Р*{Х е А} = Р(А), Р*{Х е Л} = Р(Л), А eS.
Пусть е > 0 таково, что
Р*{р(Х, (11)
Тогда для всякого А е £
Р(А) = Р*{Я 6 Л} = Р*{х е А, X е Ае} + р*{£ е А, х £ А'}
Р*Ц € А'} + Р*{р(Х, X) > е} Р(Ае) + £,
где А£ = {х С Е: р(х, А) < б}. Поэтому по определению метрики Леви—Про-
хорова (п. 2 § 7)
ЦР,Р)^е. (12)
Из (И) и (12), переходя к inf по е>0, получаем требуемое утвержде-
ние (10). ~ □
Следствие. Пусть X и X — случайные элементы, заданные на
вероятностном пространстве (П, &, Р) и принимающие значения
в Е. Пусть Рх и Р~х- их распределения вероятностей. Тогда
L(Px,PR)^dp(X, X).
Замечание 1. Проведенное доказательство показывает, что на самом
деле (10) справедливо всякий раз, когда на каком-либо вероятностном
пространстве (Q*, <^*, Р*) можно указать случайные элементы X и X со
значениями в £, распределения которых совпадают с Р и Р и для кото-
рых множество {и>*: р(Х(щ*), Х(о?*)) е>0. Тем самым качество
оценки (10) существенным образом зависит от того, насколько удачно
по мерам Р и Р построены объекты (Q*, ^*, Р*) и X, X. (Процедуру
построения П*, ^*, Р* и X, X по Р и Р называют каплингом — от англ.
coupling — соединение, сцепление.) Можно, например, взять «каплинг-
меру» Р* равной прямому произведению мер Р и Р, но такой выбор не
приводит, как правило, к хорошей оценке (10).
Замечание 2. Естественно поставить вопрос о том, когда в (10) имеет
место знак равенства. На этот счет приведем без доказательства следую-
щий результат: пусть Р иР — две вероятностные меры на сепарабель-
ном метрическом пространстве (Е, р); тогда существуют такие
(П*, Р*) и X, X, что
ЦР, Р) = dP, (X, X) = inf{e > 0: Р*{р(Х, X) > s} е}.
6. Задачи.
1. Показать, что в случае сепарабельных метрических пространств
действительная функция р(Х(щ), Y(a>)) является случайной величиной для
любых случайных элементов Х(ш) и У(ол), определенных на некотором
вероятностном пространстве (Q, &, Р).
2. Доказать, что функция dp(X, У), определенная в (2), является мет-
рикой в пространстве случайных элементов со значениями в Е.
3. Доказать справедливость (5).
4. Показать, что множество Да = {х € Е: й(х) не р-непрерывна в точ-
ке х} е S.
§ 9. Расстояние по вариации между вероятностными
мерами. Расстояние Какутани—Хеллингера и
интегралы Хеллингера. Применение к абсолютной
непрерывности и сингулярности мер
1. Пусть (Q, cF) — измеримое пространство и & = {Р} — семейство
вероятностных мер на нем.
Определение 1. Расстоянием по вариации между мерами Р и Р
из (обозначение: \\Р - Р||) называется полная вариация меры (со зна-
ком) Р — Р,т. е. величина
Var(P — Р) = sup
(1)
q
где sup берется по классу всех ^-измеримых функций удовлетво-
ряющих условию |<p(cv)| 1.
Лемма 1. Расстояние по вариации
||Р-Р|| = 2 sup |Р(4)-Р(Д)|.
Ае&
Доказательство. Поскольку для всякого А е &
Р(Л)-Р(Л) = Р(Д)-Р(Л),
(2)
то
W) - Р(А)| = |Р(Л) - Р(Д)| + |Р(Д) - Р(Д)| С ||Р - Р||,
где последнее неравенство следует из (1).
Для доказательства обратного неравентсва обратимся к разложению
Хана (см., например, [33, § 5 гл. VI] или [70, с. 121]) меры со знаком
р = Р — Р. Согласно этому разложению, мера р представима в виде р =
=р+~р_, где неотрицательные меры /х+ и р_ (верхняя и нижняя вариации
меры р) имеют вид
/х+(Л)= § dp, р_(А) = — $ dp, Ае^,
АПМ Апм
где М — некоторое множество из &. При этом
Var р = Var р+ + Var р_ =p+(Q) +p_(Q).
Поскольку
M+(Q) = Р(М) - Р(М), р_ (П) = Р(М) - Р(М),
то
IIР - Р\\ = (Р(М) - Р(М)) + (Р(М) - Р(М)) 2 sup \Р(А) - Р(А)I. □
Ае&
Определение 2. Последовательность вероятностных мер (Prt)n^i на-
зывается сходящейся по вариации к мере Р (обозначение: Рп^+Р), если
||РЛ-Р|НО, /г—>оо. (3)
Из этого определения и теоремы 1 § 1 нетрудно видеть, что сходимость
по вариации вероятностных мер, заданных на метрическом пространстве
(Q, р), влечет их слабую сходимость.
Близость распределений по вариации является, пожалуй, наиболее
сильной формой близости вероятностных распределений, поскольку если
два распределения близки по вариации, то практически в конкретных си-
туациях их можно считать неразличимыми. В этой связи может создаться
впечатление, что исследование расстояния по вариации не представляет
большого вероятностного интереса. Однако, например, в теореме Пуассона
(§ 6 гл. I) сходимость биномиального распределения к пуассоновскому
имеет место в смысле сходимости к нулю расстояния по вариации. (Ниже,
в § 12, будет дана оценка сверху для этого расстояния.)
Приведем также пример из области математической статистики, где
необходимость нахождения расстояния по вариации между мерами Р
и Р возникает естественным образом в связи с задачей различения по
результатам наблюдений двух статистических гипотез Н (истинное рас-
пределение есть Р) и И (истинное распределение есть Р) относительно
того, какая из вероятностных моделей (Q, Р) или (Q, Р) более со-
ответствует «статистике» результатов наблюдений. Если а; е Q трактовать
как результат наблюдения, то под тестом (для различения гипотез Н и И)
понимают любую «^-измеримую функцию = со значениями в [0, 1],
статистический смысл которой состоит в том, что есть «вероятность,
с которой принимается гипотеза /7, когда результат наблюдения есть ш».
Будем качество различения гипотез И и Н характеризовать вероят-
ностями ошибок первого и второго рода:
а((р) = Е(р(щ) (= «вероятность принять И, если верна И»),
/?(<р) = £(1 - <р(о>)) (= «вероятность принять И, если верна Я»),
где Е и Ё — усреднения по мерам Р и Р. В том случае, когда гипотезы И нН
равноправны, оптимальным естественно считать тест <р*=<р*(си) (если
таковой существует), который минимизирует сумму ошибок а(<р) + /?(<р).
Положим
<?r(P,P) = inf[a(^) + /?M]. (4)
ч>
1 dP dP
Пусть Q = + = = Тогда
£r(P, P) = inf [£V + E(1 —</?)]= inf Eq[z<^ + z(1 -(£)] = 1 + inf Eq[<^(z-z)1
(здесь и далее Eq — математическое ожидание по мере Q).
Нетрудно видеть, что inf достигается на функции
¥>‘(w) = /{z<z},
и поскольку Eq(Z — z) = О, то
^r(P, Р) = 1 - X-EQ\z - z| = 1 - iIIP - P||. (5)
где последнее равенство следует из приводимой ниже леммы 2. Таким
образом, из (5) ясно, что качество различения гипотез, характеризуемое
функцией £г(Р, Р), зависит от степени близости мер Р нР именно в смысле
расстояния по вариации.
Лемма 2. Пусть Q — некоторая a-конечная мера такая, что
dP dP
Р<giQ, Р<^Q и z=—,z= — — производные Радона—Никодима мер
_ dQ dQ
Р и Р относительно Q. Тогда
IIP-PIHEqIz-zI (6)
1
и если Q — ^(Р + Р), то
\\P-P\\=EQ\z-z\=2EQ\i-z\ = 2EQ\l-z\. (7)
Доказательство. Для всех «^-измеримых функций ^ = ^(о>) таких,
что |^М| 1, по определению z и z находим
|Е^ - Еф\ = \EqWz - z)| Eq\i(>\ \z - z| Eq\z - z|. (8)
Поэтому
ЦР-РЦ ^Eq|z —z|. (9)
Но для функции
ip = sign(z-z) = \ }’ Z^Z'
[-1, z<z,
имеем
\E^-E^\ = Eq\z-z\. (10)
Из (9) и (10) получаем требуемое равенство (6). Соотношения (7) сле-
дуют из (6), поскольку z + z = 2 (Q-п. н.). □
Следствие 1. Пусть Р и Р — два распределения вероятностей
на (/?, &(R)) с плотностями вероятностей (относительно меры Лебе-
га dx) р(х) и р(х). xeR. Тогда
\\Р-Р\\=1 \p(x)-p(x)\dx. (11)
—оо
(В качестве меры Q надо взять меру Лебега на (R. 3§(R)).)
Следствие 2. Пусть Р и Р — две дискретные меры. Р = (рь р2» •••)»
Р = (рь р2, ...), сосредоточенные в счетном числе точек х\. *2, •••
Тогда
\\P-P\\^\Pi-Pi\. (12)
/=1
(В качестве меры Q надо взять считающую меру, т, е. такую, что
(?({х/}) = 1,/ = 1,2, ...)
2. Обратимся теперь к еще одной мере близости вероятностными ме-
рами, во многом (как это будет следовать из дальнейшего) родственной
близости мер по вариации.
Пусть Р и Р — вероятностные меры на (О, &) и Q — третья вероят-
ностная мера, доминирующая меры Р и Р. т. е. такая, что Р < Q, Р <С Q.
Снова обозначим
_dP -_dP
Z dQ' Z~ dQ‘
Определение 3. Расстоянием Какутани—Хеллингера между мера-
ми Р и Р называется неотрицательная величина р(Р. Р) такая, что
ЛЛР)=^<?[^-х/1]2. (13)
Поскольку
(14)
то становится понятной символическая запись величины р2(Р. Р) в виде
р2(ЛР) = | $ [y/dP-VdPf. (15)
2 п
Если ПОЛОЖИТЬ
Я(Р, P) = EQx/H, (16)
то по аналогии с (15) можно символически записать
Н(Р, Р) = § y/dPdP. (17)
Q
Из (13), (16), а также из (15), (17) понятно, что
р2(Р,Р)=\-Н(Р,Р). (18)
Величина Н(Р, Р) называется интегралом Хеллингера порядка 1/2.
Для многих целей удобным оказывается рассмотрение интегралов Хел-
лингера Н(а; Р, Р) порядка ае (0, 1), определяемых формулой
H(a;P,P) = EQzazi~a, (19)
или, символически,
Н(а; Р, Р) = $ (dP)a(dP)'~a. (20)
а
Ясно, что Р, р) =Н{Р, Р).
Чтобы определение 3 было корректным, надо показать, что величина
р2(Р, Р) не зависит от выбора доминирующей меры и что действительно
р(Р, Р) удовлетворяет требованиям, предъявляемым к «расстоянию».
Лемма 3. 1. Интеграл Хеллингера порядка ае(0, 1) (а следова-
тельно, и р(Р, Р)) не зависит от выбора доминирующей меры Q.
2. Функция р, определенная в (13), является метрикой на множе-
стве вероятностных мер.
Доказательство. 1. Если мера Q' доминирует Р и Р, то Q' домини-
Р + Р
рует и меру Q = —т—. Поэтому достаточно доказать, что если Q<^Q\
то
EQ(zazl-a) = EQ'(zy*(z')l~a,
Обозначим v = Тогда z1 = zv, z' = zv и
aQ'
Ер(гвг|-а) = Ер»(иг“г|_“) = £р'(г')“(2/),_“,
что и доказывает первое утверждение.
2. Если р(Р, Р) = 0, то z = z (Q-п. н.), откуда Р = Р. Симметричность
р(Р, Р)=р(Р, Р) очевидна. Наконец, пусть Р, Р', Р" — три меры,
, ПН Г\ II d?" 1Л
р' < Q и Р < Q с z = —, z = -Tjy, z" = -ттг. Используя справедливость
СХ Ц/ иЦ/ !Л Ц/
неравенства треугольника для нормы в L2(fi, &, Q), получаем
[Eq(^z - x/jz77)2]1/2 < [EQ(y/z - x/z7)2]1/2 + [Eq(Vz'~ Vz")2]i/2,
t. e.
p(P, P") p(P, P') + p(P', P"). □
Из определения (19) и теоремы Фубини (§ 6 гл. II) непосредствен-
но вытекает, что в том случае, когда меры Р и Р являются прямыми
произведениями мер, P = Pi х...хРл, Р = Р{х...хРп (см. п. 10 § 6
гл. II), интеграл Хеллингера между мерами Р и Р равен произведению
соответствующих интегралов Хеллингера:
//(a;P,P)=f[//(a;P/)PI)-
1=1
Следующая теорема раскрывает связь между расстоянием по вариа-
ции и расстоянием Какутани—Хеллингера (или, эквивалентно, интегралом
Хеллингера). В частности, она показывает, что эти расстояния определяют
одну и ту же топологию в пространстве вероятностных мер на (Q, <F).
Теорема 1. Имеют место следующие неравенства:
2[ 1 - Н(Р, Р)] ||Р - Р|| а/8[1-Я(Р, Р)], (21)
||Р - Р|| 2л/1-Я2(Р, Р). (22)
В частности,
2р2(Р, Р) ||Р - Р|| л/8р(Р, Р). (23)
Доказательство. Поскольку Н(Р, Р) С 1 и 1 — х2 2( 1 — х) для 0
^х^1, то правое неравенство в (21) вытекает из (22), доказательство
которого дается следующей цепочкой неравенств (с Q = ^(Р + Р)):
I ||Р - Р|| = Eq 11 - z| v/PqII-zI2 = ^1-Eqz(2-z) =
= у/1-Eqzz = yl\-EQ(yfz^ < yi-(E<?\/zi)2 = V1-H2(P,P).
Наконец, первое неравенство в (21) следует из того, что в силу нера-
венства
t[y/Z-V2^1]2^\z-l\, ze[0,2],
имеем (Q = $(Р + Р))
1 — Н(Р, Р) = р2(Р, Р) = ^<?[^-V2^]4Eq\z- 1| = |||Р-^||. □ I
Замечание. Сходным образом показывается, что для всякого а е (0, 1)
2[ 1 — //(а; Р, Р)] ||Р- Р|| Vca(\-H(a,P,P)), (24)
где са — некоторая константа.
Следствие 3. Пусть Р и Рп, п>1, — вероятностные меры на
(Q, «^). Тогда (п —* оо)
||РЛ-Р|НО Н(Рп, Р)-1 о р(Рп, Р)^0,
||РЛ-Р||—>2 & Н(Рп,Р)—>0 р(Рп, Р)-1.
Следствие 4. Поскольку в силу (5)
ег(Р, р) = 1 - ^||р-р||,
то из (21) и (22) имеем
^Н2(Р, Р)1 - V1-H2(P, Р) £r(P, Р) С Н(Р, Р). (25)
В частности, пусть
рп = р х ... х Р, Р" = Р х ... х Р
п п
— прямые произведения мер. Тогда, поскольку
Н(Рп, Рп) = [Н(Р, Р)]п = е-Ал, А = - In Н(Р, Р) > р2(Р, Р),
то из (25) получаем
i е-2Ал Sr(Pn, Рп) е-Ал е-прг(Р-р\ (26)
Применительно к рассмотренной выше задаче различения двух ста-
тистических гипотез из этих неравенств вытекает следующий резуль-
тат.
Пусть ••• — независимые одинаково распределенные случайные
элементы, имеющие распределение вероятностей или Р (гипотеза Н), или Р
(гипотеза И), причем Р/Ри, значит, р2(Р, Р)>0. Тогда при п—>оо фун-
кция <£г(Рп, Рп), характеризующая качество оптимального различения ги-
потез Н и Н по наблюдениям ,..., £л, убывает к нулю экспоненциально
быстро.
3. С помощью введенных выше интегралов Хеллингера порядка а
удобно выражать условия абсолютной непрерывности и сингулярно-
сти вероятностных мер.
Пусть Р и Р — две вероятностные меры, заданные на измеримом про-
странстве (Q, с^). Напомним, что мера Р абсолютно непрерывна от-
носительно меры Р (обозначение: Р<^Р), если Р(Л) = 0 всякий раз, ко-
гда Р(Л) = 0 для Ае^. Если Р<^Р и то говорят, что меры Р и
Р эквивалентны (Р~Р). Меры Р и Р называются сингулярными или
ортогональными (Р±Р), если существует & такое, что Р(Л) = 1 и
Р(А) = 1 (т. е. меры Р и Р «сидят» на разных множествах).
~ dP dP
Пусть Q — вероятностная мера, Р<^Q, Р<^Q, z = z =
Теорема 2. Следующие условия являются эквивалентными:
(а) Р«сР,
(Ь) Р(г>0)=1,
(с) Н(а;Р, Р)—И.сЦО.
Теорема 3. Следующие условия являются эквивалентными:
(а) Р±Р,
(b) P(z>0) = 0,
(с) Н(а; Р, Р)—>0, а 10,
(d) Н(а; Р, Р) = 0 для всех a G (0, 1),
(е) Н(а\ Р, Р) — 0 для некоторого a G (0, 1).
Доказательство обеих теорем будем проводить одновременно. Со-
гласно определению гиг,
Р(г = 0) = Е(?[г/(г = 0)]=0, (27)
Р(А Ci{z> 0}) = Eq [гДА П {г > 0})] =
= Eq [г | ДА П {г > 0})] = E [| ДА Cl {г > 0})] = Е [| ДА)]. (28)
Следовательно, имеет место «разложение Лебега»:
Р(Л) = р[|/(Д)] + Р(Л П {г = 0}), Ае&, (29)
в котором величина Z = | называется производной Лебега («.абсолют-
но непрерывной компоненты») меры Р по (отношению к) мере Р
dP
и обозначается (ср. с замечанием к теореме Радона-—Никодима, § 6
гл. II).
Отсюда сразу получаем эквивалентность (а) и (Ь) в обеих теоремах.
Далее, поскольку
z“z|_Q—>z/(z >0), а 10,
и для а 6(0, 1)
0^zaz' "^az + (l -a)z^z + z
с Eq(z + z ) = 2, то по теореме Лебега о мажорируемой сходимости
lim Н(а; Р, Р) = EQzl(z > 0) = P(z > 0)
и, значит, (Ь) <=> (с) в обеих теоремах.
Наконец, покажем, что во второй теореме (с) (d) <=> (е). Для этого
— ~/z\a —
надо лишь заметить, что Н(а; Р, Р) = Е 1 -= j l(z > 0) и P(z > 0) = 1. Зна-
чит, для каждого а & (0, 1) Р(г > 0) = 0 <=> Н(а\ Р, Р) = 0, откуда и следуют
импликации (с) о (d) о (е). □
Пример 1. Пусть Р = Р\ х Рг х • • • > Р = Р\ х х .... где Р* и Р* —
гауссовские меры на (Р, ^(Р)) с плотностями
Pk(x) = ~^= е
у2тг
Pk (х) =
у/2тг
(x-ak)2
е 2
1
Поскольку, как показывает простой подсчет,
Д(а;Р,Р) = П//(а;Рл,Рл),
Л=1
где
tf(a;P*,PA)= $ p^(x)p'-a(x)dx = e-AT-1(at-0*)
—оо
ТО
Н(а;Р,Р) = е
2^ £«“-й‘)2
Ь— 1
Из теорем 2 и 3 получаем, что
Р<^Р Р<^Р Р~Р 4Ф (ak- ak)2 < оо,
k=\
Р±Р 52 (а* - а*)2 = оо.
k=\
Пример 2. Снова пусть Р = Р\ х Р2 х ..., Р — Р\ х Р2 х • •, где Pk и
pk — распределения Пуассона с параметрами А* > 0 и А* > 0 соответствен-
но. Тогда нетрудно показать, что
£ (v^-v^)Е 2
k=\
(30)
\2 = оо.
£=1
4. Задачи.
1. В обозначениях леммы 2 положим
Р 1\P — Eq(z Az),
где z Л z = min(z, z). Показать, что
||Р-Р|| = 2(1-РлР)
(и, следовательно, £г(Р, Р) = РЛР).
2. Пусть Р, Рп, п 1, — вероятностные меры на (Р, ^(Р)) с плотностями
(относительно лебеговской меры) р(х), рл(х), 1. Пусть рл(х)—♦ р(х) для
почти всех х по мере Лебега. Показать, что тогда
||Р-РЛ|| = S \р(х)~ pn(x)\dx-^Q, П-+ОО
(ср. с задачей 17 в § 6 гл. II).
3. Пусть Р и Р — две вероятностные меры. Определим информацию
Кульбака К(Р, Р) — информацию в пользу Р против Р — равенством
Р(Р, Р) = <
Е 1° если
аР
оо в противном случае.
Показать, что
Р(Р, Р) -2 1п( 1 - р2(Р, Р)) 2р2(Р, Р).
4. Доказать формулы (11), (12).
5. Доказать неравенства (24).
6. Пусть P,P'Q — вероятностные меры на (Р, ^(Р)), P*Q н P*Q —
их свертка (см. п. 4 § 8 гл. II). Тогда
||P*Q-P*Q||^||P^P||.
7. Доказать (30).
8. Пусть £ и г} — случайные элементы на (Q, &, Р) со значениями в
измеримом пространстве (£, S}. Показать, что
|Р{€еЛ}-Р{т7еЛ}|^Р(е/т7), Ле<?.
§ 10. Контигуальность (сближаемость) и полная
асимптотическая разделимость
вероятностных мер
1. Эти понятия играют фундаментальную роль в асимптотической
теории математической статистики, являясь естественным распростране-
нием понятий абсолютной непрерывности и сингулярности двух мер на
случай последовательностей пар мер.
Начнем с определений.
Пусть (Пл, ^п)п^\ — некоторая последовательность измеримых про-
странств и (Рл)л^ь (Рп)п>\ — последовательности вероятностных мер, где
Рп и Рп определены на (Пл, п 1.
Определение 1. Говорят, что последовательность мер (Рп) контигу-
альна последовательности (Рп) (обозначение: (Рп) < (Рп)), если для всех
Ап е &п таких, что РЛ(ЛЛ) —> 0, п —> оо, имеем Рп(Ап) —> 0, п —> оо.
Определение 2. Говорят, что последовательности мер (Рл) и (Рл)
полностью асимптотически разделимы (для краткости — разделимы;
обозначение: (Рл) △ (Рл)), если существуют подпоследовательность п* Т оо,
k —> оо, и множества АПк е <^л* такие, что
РПк(АПк) -4 1 и РПк(АПк) -4 0, k -4 оо.
Сразу отметим, что разделимость есть понятие симметричное*. (Рп) L
△ (Рл) Ф> (Рл) △ (Рл). Контигуальность этим свойством не обладает. Если
(Рл) < (Рп) и (Рл) о (Рл), то пишут (Рл) о (Рп) и говорят, что последова-
тельности мер (Рл) и (Рл) взаимно контигуальны.
Отметим, что в случае, когда (Пл, «^Л) = (П, «^), Рп = Р, Рп=Р для
всех л>1, имеем
(Рп)<(Рп) о Р<Р, (1)
(Рл)<и>(Рл) о Р-Р, (2)
(РЛ)Д(РЛ) ф> Р±Р. (3)
Эти свойства и данные выше определения объясняют, почему кон-
тигуальность и полная асимптотическая разделимость часто трактуются
как «асимптотическая абсолютная непрерывность» и «асимптотическая
сингулярность» для последовательностей (Рл) и (Рл).
2. Приводимые ниже теоремы 1 и 2 являются естественным распро-
странением теорем 2 и 3 из § 9 на случай последовательностей мер.
Пусть (Qrt, — последовательность измеримых пространств,
Qn — вероятностная мера на (Qrt, #п), n 1, и — случайные величины
(вообще говоря, расширенные; см. § 4 гл. II) на (Qrt, ^л), 1.
Определение 3. Последовательность случайных величин (£п) называ-
ется плотной относительно последовательности мер (Qn) (обозначение:
(€л I Qn) плотно), если
lim йт(?я(|Сл|>ЛО = 0. (4)
A/foo п
(Ср. с соответствующим определением плотности семейства вероятностных
мер в § 2.)
Далее всюду будем полагать
„п Рп + Рп yn_dP^
v 2 ’ dQn' dQn'
Будем обозначать также
Г = рт (5)
производную Лебега меры Рп относительно меры Рп (см. формулу (29)
2 ~
в § 9), считая ф = оо. Заметим, что если Рп Рп, то Zn есть в точности
dPn
один из вариантов плотности меры Рп относительно Рп (см. § 6 гл. II).
Для дальнейшего полезно отметить, что поскольку
и Zn < то
гп ’
| Р”) плотно, (Zn |Рп) плотно. (7)
Теорема 1. Следующие условия являются эквивалентными:
(а) (Рл) <1 (Рл),
(Ь) (^- |рл) плотно,
(Ь') (Zn|Pn) плотно,
(с) lim lim//(а; Рп, Рл) = 1.
сЦО п
Теорема 2. Следующие условия являются эквивалентными:
(а) (Рп) △ (Рп),
(b) lim Pn(zn > е) = 0 для всякого е > 0,
(bz) lim Pn(Zn /V) = 0 для всякого N > О,
(с) lim Пт Н(се, Рп, Рп) = 0,
сЦО п
(d) lim Н(а; Рп, Рп) = 0 для всех а£ (0, 1),
п
(е) lim Н(а; Рп, Рп) — 0 для некоторого a е (0, 1).
п
Доказательство теоремы 1.
(а) (Ь). Если (Ь) не выполнено, то существуют е > 0 и последовате-
льность n* Т оо такие, что Рп> е. Но в силу (6) Р”‘ (гл‘ <
С-----*0, k—»оо, что противоречит предположению (Рл) <(Рп).
2
(Ь) (Ь'). Достаточно лишь заметить, что Zn = — — 1.
(b) => (а). Пусть А" с«^’я и Рп(Ап)—>0, п—*оо. Имеем
Рп(Ап) Pn(zn е) + Eq. (znl(An П {zn > e})) s?
- 2 -9
sj Pn(zn e) + -£ EQ„(znI(An)) = Pn(zn < e) + РЯ(ЛЛ).
Значит,
lim РЛ(ДЯ) lim Pn(zn e), e > 0.
Утверждение (b) равносильно тому, что lim lim Pn(zn ^e) = 0. Тем самым
Рл(Дя)->0, т.е. (b) => (а).
(b) => (с). Пусть е > 0. Тогда
Н(а; Рп, Ря) = £<г-[(гя)“(гл)|-“]>Е(?1.[(|^)в/(2я>е)/(гя>0)2я] =
= ^" [(Й°,(гЯ ^е)] (|рл(2П ^). (8)
поскольку zn + zn = 2. Значит, для е > 0
lim lim Н(а; Рп, Рп) >!1т(^“ lim P(zn ^е) = lim Рл(гя >s). (9)
а!0 л аХО427 л л
В силу (b) lim lim Pn(zn ^б) = 1. Поэтому из (9) и того, что Н(а\ Рп, Рп) 1,
следует утверждение (с).
(с) =» (Ь). Пусть 6 € (0, 1). Тогда
Ща; Рп, Pn) = EQn{(zn)a(zn)x-al(zn <е)] +
+ Е<гЧ(гл)а(гл)|-“/(гя>£, zn ^<5)] + £<?»[(гл)“(гя)1~“/(гл гп > <У)]
< 2еа +2J1-" + Eq„ [zn (|^)°/(zn >е,гп> <5)] <
<2£а+2£1-а + (|)“рл(гл^е). (10)
Поэтому
lim lim Pn(zn > е) > (£)“ lim Н(а; Рп, Рп) - ^6
€10 « \2/ л 2
для всех а € (0, 1), <5 е (0, 1). Полагая сначала а 10, используя (с) и затем
беря 810, получаем
lim lim Рл(гл^е)^1,
£10 «
откуда вытекает справедливость (Ь). □
Доказательство теоремы 2.
(а) => (Ь). Пусть (РЛ)Д(РЛ), n^foo, иЛл* е^л* таковы, чтоРПк(Ап*)—> 1
и РЛ*(ЛЛ*) —> 0. Тогда с учетом того, что zn + zn = 2, имеем
^“(zn* е) < РЛ*(ЛЛ‘) + EQ4 {гл‘ • /(Лл‘)/(гл‘ > е)} =
= Рл‘(Лл*) + Мрч {/(Лл‘)/(гл* > е)} < ?Л‘(ЛЛ‘) + | РЛ‘(ЛЛ‘).
Следовательно, Pnk(znk >е)—>0 и, значит, выполнено (Ь).
(Ь) =ф (а). Если выполнено (Ь), то существует последовательность
n>k Т оо такая, что
IV 1 о, k-^oo.
\ kJ k
Отсюда, заметив (см. (6)), что РПк (z'’" > 1 - получаем утвержде-
ние (а).
2
(Ь) <=> (Ь'). Достаточно лишь заметить, что Z" = — - 1.
(b) => (d). В силу (10) и (Ь) 2
lim Н(а; Рп, Рп) 2еа + 2<S‘-Q
п
для произвольных е и 8 из интервала (0, 1). Поэтому (d) имеет место.
(d) =ф (с) и (d) => (е) очевидны.
Ж:
Наконец, из (8) имеем
lim Pn(zn lim Н(а; Рп, Рп).
/2\“
Поэтому (с) =Ф (Ь) и (е) => (Ь), поскольку ( - 1 —»1, а|0. □
3. Рассмотрим один частный случай, соответствующий схеме незави-
симых наблюдений, где вычисление интегралов Н(а\ Рп, Рп) и применение
теорем 1 и 2 не представляет больших трудностей.
Предположим, что меры Рп и Рп есть прямые произведения мер:
Рп х ... х Рп, Рп = Pf х ...хРп, л>1,
где Рк и Pk заданы на (П*, <F*), £ > 1.
Поскольку в этом случае
" ~ £ 1п|1-(1-Н(аЛА))|
Н(а\ Рп, Рп) = J] Н(а', Pk, Pk) = е‘='
fc=l
то из теорем 1 и 2 получаем следующий результат:
(Рп) <1 (Рп) & lim Пт V [1 - Н(а; Pk, Pk)} =0, (11)
сЦО п
(Р«) △ (рп) Пт £ 11 - Н{а; Pk, Pk)] = оо. (12)
Л=1
Пример. Пусть (tlk, &k) = (R, &(R)), dk 6 [0, 1),
~ 1
Pk{dx) = /(o,i] (x) dx, Pk(dx) = —— /[at,i] (x) dx.
1
Поскольку здесь H(a\ Pk, Pk) = (1 - a*)", a € (0, 1), то из (11) и того факта,
что Н(а; Pk, Pk) = H(\ — a; Pk, Pk), находим
(Рп)<з(Рп) <=> limnan<oo, т. е. a„ = of-Y
п \п/
(Рп)<1(Рп) limna„ = 0, т.е. a„=oQy
(Рп) △ (Рп) lim пап = оо.
4. Задачи.
1. Пусть Рп = Р{1 х ... х Р", Рп = Р\ х ...xpn, 1, где Рк и Рк —
гауссовские меры с параметрами (ank, 1) и (ank, 1). Найти условия на (ак)
и (ank), при которых (Рп) <1 (Рп), (Рп) △ (Рп).
2. Пусть Рп =Р“ х ... х Р", Рп = Р” х где Р£ и /^ — веро-
ятностные меры на (/?, SS(R)) такие, что P^(dx) = /[o.i](x)dx, P^(dx) =
= /[ал,1+а„](*)^х, 0^ап < 1. Показать, что Н(а; Р£, Р”)=\ -ап и
(Рп)<(Рп) (Рп)<(Рп) & Пгпяал = 0,
(Рп) △ (Рл) lim пап = оо.
3. Пусть (Q, eF, (^л)л>0) — фильтрованное измеримое пространство,
т. е. измеримое пространство (П, с введенным на нем потоком а-алгебр
(^л)л^о таких, что . Предположим, что & = cr(|J #п).
п
Пусть Р нР—цъъ вероятностные меры на (Q, «^) и Рп = Р\&„, Рп=Р\^п —
их сужения на &п. Показать, что
(P„)<l(Pn) ^Р«Р,
(Р„)<]>(Р„) & Р~Р,
(Р„)Д(Р„) PLP.
§1 1.0 скорости сходимости в центральной
предельной теореме
1. Пусть би,.... £лп — последовательность независимых случайных
величин, Sn =6,1 +... + 6,л, F„(x) = P{S„^х}, п^1. Если Sn-^^K(O, 1),
то для всякого хе/? Fn(х)-»Ф(х). Поскольку функция Ф(х) непрерывна,
то на самом деле сходимость здесь равномерная (задача 5 в § 1):
sup |F„(x) - Ф(х)| —> 0, п —*оо.
X
(1)
Естественно поставить вопрос о скорости сходимости в (1). Приве-
дем соответствующий результат для того случая, когда Sn = ——-,
(Ту/П
О 1, где ••• — последовательность независимых одинаково рас-
пределенных случайных величин с Е& = 0, D^ = a* 2 >0 и E|£i|3 <00.
Теорема (Берри и Эссеен). Имеет место оценка
sup |Гл(х)-Ф(х)|^^^,
(2)
где С — абсолютная константа ((2тг)-1/2 С < 0,7655).
Доказательство. Для простоты пусть а2= 1 и /?з = Е|£1|3. Согласно
неравенству Эссеена (п. 10 в § 12 гл. II),
sup \Fn(x) - Ф(х)| | ~у(0| d/ + ^ • -±=, (3)
_/2
где <p(t) = е Т и
«НО
с f(t) = Eelt€'.
В (3) положительное число Т можно выбирать произвольным образом.
Возьмем
Как будет показано ниже, при таком выборе Т
|/„(0-^(0|С^|/|3е-т, |/|<Г. (4)
С учетом этого неравенства из (3) сразу получаем требуемую оценку (2),
где С — некоторая абсолютная константа. (Более тонкие рассмотрения
показывают, что ее значение меньше 0,7655; см. [88, гл. 5, § 4.3].)
Итак, перейдем к доказательству неравенства (4).
Согласно формуле (18) из § 12 гл. II (n = 3, E£i =0, Eff = 1, E|£i|3<oo),
имеем
/(/) = = 1 - у + [Ee?(cos + i sin )], (5)
где |0i| 1, |02| К Поэтому
f Ш=1 - й+<£& [E#“ +i sin 01
Если |/1С T = х/й/(5/?з), то с учетом неравенства > сг3 = 1 (см. (28)
§ 6 гл. II) находим, что
4^)14-04+®^-
Следовательно, при |/| Т возможно представление
где под In z понимается главное значение логарифма комплексного чис-
ла z (In z = In |z| + i arg z, —тг < arg z тг).
Поскольку /Зз < оо, то по формуле Тейлора с остаточным членом в
форме Лагранжа (ср. также с (35) из § 12 гл. II) видим, что
1*1 <1. (7)
так как семиинварианты = E£i = 0, = ст2 = 1.
Далее,
(In /(*))"' =
- 3f"(s)/W(s) + 2(/'($))3
f3(s)
-3E{(^)2e^s] + 2E[0ei)e,C|S]3
/3(s)
Откуда с учетом того, что
k(^)l
~ при |<| T и |/(s)| 1, находим
^0
I (in
03 + $0102 + %0A
(H)1
(8)
^7/%
(ft = E|<i |\ k = 1, 2, 3; fa Д‘/2 < ^/3; см. (28) § 6 гл. II).
Из (6)—(8), используя неравенство |е2 — 1| |г|е^1, получаем для
|/| Т = что
Замечание. Отметим, что без дополнительных предположений о
природе суммируемых случайных величин порядок оценки (2) и оценка
С > (2тг)'"1/2 не могут быть улучшены. Действительно, пусть £2, ... —
независимые одинаково распределенные бернуллиевские случайные вели-
чины с
р{&=+1}=р{&=-1}=|-
В силу симметрии очевидно, что
{2л 'j f 2л
£ е* <о > + р< £ &=о ? = i
*=1 J U=i J
и, значит, по формуле Стирлинга ((6) § 2 гл. I)
( 2п 1 1
р 2><о 4
lfc=l )
2 P{^j€*-0} " 2 '2“2Я~ 2^ “ 7(2^)'
Отсюда, в частности, следует, что константа С, входящая в (2), не меньше
чем (2тг)“1/2, и
2rt 11
Р V S = 0 ~ —7=, п —> оо.
О)
2. Задачи.
1. Доказать формулу (8).
2. Пусть £i, — независимые одинаково распределенные случай-
ные величины с Е£* = 0, D^ = a2 и E|£i|3<oo. Ивестно, что тогда спра-
ведлива следующая неравномерная оценка: для всех —оо < х < оо
IF (х) - Ф(х)| < *___!___
1 аЗд/S (l + |x|)3‘
Дать доказательство этого результата, по крайней мере, для бернуллиев-
ских случайных величин.
3. Пусть — последовательность независимых одинаково распре-
деленных случайных величин, принимающих значения ±1 с вероятностя-
ми 1/2. Пусть ip2(t) = Eelt^ = +e~lt). Показать, следуя Лапласу, что
(Sfc = £i + ... + &)
1 1
P{S2n =0}= - ~ ~7=, И —> ОО.
7Г У х/1ГП
О V
4. Пусть — последовательность независимых одинаково распре-
деленных случайных величин, принимающих 2а + 1 целочисленных значе-
ния 0, ±1, ..., ±а. Пусть </?2а+1(0 = = -j—— ( 1 +2 £ cos )•
1+2а\ /?=1 /
Также, следуя Лапласу, показать, что
"-оо.
В частности, для а= 1, т. е. случая, когда принимают три значе-
ния -1,0, 1,
P<S"=°>~2^’ ” —
§ 12. О скорости сходимости в теореме Пуассона
1. Пусть Сь ^2, •••» — независимые бернуллиевские случайные ве-
личины, принимающие значения 1 и 0 с вероятностями
Р{& = 1} = Pk, Р{& = 0} = qk (= 1 - pk), U k n.
Обозначим S=£i + ... + &B B = (Bq, B\, Bn) — биномиальное рас-
пределение вероятностей суммы S, где B^ = P{S = fe}. Пусть также П =
= (По, Пь ...) —пуассоновское распределение с параметром А, где
щ = Чг’
В п. 4 § 6 гл. I отмечалось, что если
Pi=... = prt, A = np, (1)
то имеет место следующая оценка (Ю. В. Прохоров) для расстояния по
вариации между мерами В и П (Brt+i = Srt+2 =... = 0):
00 х
||В-П|| = $2 |Ва-Щ|^С1(А)р = С1(А)(2)
fc=0
где
Ci(A) = 2 min(2, А). (3)
п
Для случая не обязательно равных pk таких, что £ Pk = K Л. Ле Кам
fe=i
показал, что
||В - П|| = £ |В* - Щ| С2(А) max рк, (4)
k=o
где
C2(A) = 2 min(9, A). (5)
Из приводимой ниже теоремы будет следовать оценка
||В-П||^Сз(А) max рк, (6)
в которой
Сз(А) = 2А. (7)
Хотя Сг(А)<Сз(А) при А>9, т.е. оценка (6) хуже оценки (4), мы,
однако, предпочитаем дать доказательство оценки (6), поскольку оно, по
существу, элементарно, в то время как стремление получить «хорошую»
константу Сг(А) в (4) сильно усложняет технику доказательства.
2. Теорема. Пусть А= ^2 Pk- Тогда
k=\
оо п
||В-П||=£|В*-Щ|^2 5>2. (8)
6=0 k=\
Доказательство. Воспользуемся тем обстоятельством, что каждое из
распределений В и П есть свертка распределений:
B = B(pi)*B(p2)*...*B(pn),
П = П(Р1) * П(р2) * • • • * п(р„),
понимаемых как свертка соответствующих функций распределения (см.
п. 4 § 8 гл. II), где B(pk) = (1 - pk, Pk) — бернуллиевское распределение в
точках 0 и 1, а П(р^)пуассоновское распределение, сосредоточенное в
точках 0, 1, ..., с параметром pk.
Нетрудно показать, что разность В - П может быть представлена в
виде
В-П = /?! + .(10)
где
Rk = (B(pk)-K(Pk))*Fk (11)
с
F1 = П(р2)*...*П(рл),
/?й = В(р1)*...*В(р^1)*П(р^+1)*...*П(рл), 2^k^n-1,
Вл = В(р1)*...*В(рл_1).
В силу задачи 6 из § 9 ||/?^|| ЦВ(р^) -П(р^)||. Поэтому из (10) сразу
находим, что
п
||в-пк£ ЦВ(р*)—П(р*)||. (12)
k=\
Учитывая формулу (12) из § 9, видим, что подсчет вариаций ЦВ(р^) -
— П(р*)|| не представляет сложностей:
||В(р*)-П(р*)|| = |(1 - Pk)-e~Pl,\ + \pk-Pke~p"\ + 22 - =
/>2
= 1(1- р)-e~Ptl + \pk - pke~Pk\ +1 -e-”* - pke-p*=2pk(l -e~Pk)^2pl.
Отсюда и из (12) получаем требуемое неравенство (8). □
п
Следствие. Поскольку 52 Pk^^ max Pk, то имеет место оцен-
k=\
ка (6).
3. Задачи.
1. Показать, что при А^ = - ln( 1 — pk)
||B(pt) - П(А*)|| = 2(1 - е~А‘ - Л*е-А‘) < XI
п
и, следовательно, ||В -П|| £2
л=1
2. Доказать справедливость представлений (9) и (10).
§ 13. Фундаментальные теоремы математической
статистики
1. В § 7 главы I были рассмотрены некоторые задачи оценивания и
построения доверительных интервалов для вероятности «успеха» по на-
блюдениям над случайными величинами в схеме Бернулли. Эти задачи
являются типичными для математической статистики, занимающей-
ся в определенном смысле обратными задачами теории вероятностей.
Так, если в теории вероятностей основной интерес состоит в том, чтобы
для заданной вероятностной модели рассчитывать те или иные вероят-
ностные показатели (вероятности событий, распределения вероятностей
и их характеристики случайных элементов, и т. д.), то в математической
статистике мы интересуемся тем, как по имеющемуся статистическому
сырью выявить (с определенной степенью надежности) ту вероятност-
ную модель, в рамках которой статистические свойства эмпирических
данных наиболее всего согласуются с вероятностными свойствами слу-
чайного механизма, порождающего эти данные.
Приводимые ниже результаты (Гливенко, Кантелли, Колмогоров и
Смирнов) по праву могут быть названы фундаментальными теоре-
мами математической статистики — они не только устанавливают
принципиальную возможность извлечения из статистического сырья
вероятностной информации (о функции распределения случайных величин,
над которыми производятся наблюдения), но и дают возможность оценить
степень согласия эмпирических данных с той или иной вероятностной
моделью.
2. Пусть ••• — последовательность независимых одинаково
распределенных случайных величин, заданных на некотором вероятност-
ном пространстве (Q, /, Р) и F = F(x), х G /?, есть их функция распределе-
ния (Г(х) = Р{& ^х}). Для каждого N 1 введем эмпирические функции
распределения
1 N
FN(X-, W) = у £ /(6М <X), X е R. (1)
*=1
В соответствии с законом больших чисел (§ 3, теорема 2) для каждого
xeR
Fn (х\ uj) Д F(x), /V —юо, (2)
т. е. имеет место сходимость по Р-вероятности.
Из теорем 1 и 2 § 3 главы IV следует также, что для каждого xeR
имеет место и сходимость с вероятностью единица: при N —> оо
FN(x^)^F(x) (Р-п. н.). (3)
Весьма замечательно, что имеет место и более сильный результат о
том, что сходимость в (3) равномерна по х.
Теорема 1 (Гливенко и Кантелли). В сформулированных условиях
(случайные) величины
Dn (ш) = sup \Fn (х; ш) - F(x) | (4)
XER
сходятся к нулю с вероятностью единица:
P(lim Dyv(o>) = 0) = 1. (5)
/V
Доказательство. Пусть Q — множество рациональных чисел на R.
Понятно, что
sup \FN(r, w~)-F(r)\
rEQ
есть случайная величина. И поскольку
Dtf(w) = sup \Fn(x; ш) - F(x)| = sup \FN(r; ш) - F(r)\,
xER rEQ
то статистика Dn(&) также есть случайная величина и, следовательно,
можно говорить о ее распределении.
Пусть целое А4>2и£=1,2, ...,М-1. Определим последовательность
чисел
xM k = min{x е R: k/M F(x)},
полагая также x^.o = —оо, хм,м = +оо.
Пусть интервал [хд^, хли+i)^0 и х принадлежит этому интервалу
Тогда очевидным образом
F/v(x; ш) - F(x) Fn(xM,k+\ - 0) - F(xM,k) =
= [Fn(xM,k+\ - 0) — F(xM,k+\ - 0)] + [F(xm^+i - 0) - F(xM,k)]
Fn (xM,k+i - 0) — F(xM,k+\ - 0) + 1Д.
Аналогично, снова предполагая, что х е [хд/Хмм+i), находим, что
Fn(x-, ш) - F(x) > FN(xMJl; ш) - F(xM,k) - 1/М.
Тем самым, для каждого хе/?
|Fa,(x; w)-F(x)|<
max {\Fn(xm,F, и) ~ F(xMJt)\, \FN(xMJ -0; a>)-F(xMj -0)|}+ l/Af,
и, значит, Р-п. н.
lim sup \F^(x; uj) - F(x)\ 1/M.
л-oo x
Отсюда в силу произвольности М получаем требуемое утверждение (5).
□
Теорема Гливенко и Кантелли, являющаяся одной из фундаменталь-
ных теорем математической статистики, утверждает, как уже отмечалось,
принципиальную возможность проверки на основании наблюдений над
(независимыми одинаково распределенными) величинами «
того, что функцией распределения этих величин является именно функция
F = F(x). Иначе говоря, эта теорема гарантирует возможность установле-
ния согласия «теории и эксперимента».
3. Несмотря на отмеченную принципиальную важность этой теоремы,
она не отвечает на вопрос о скорости сходимости величины отклонения
D/vM к нулю при /V—>оо и, тем самым, не позволяет судить о степени
правдоподобности того, что результаты наблюдений «идут» от (неза-
висимых) случайных величин, имеющих своей гипотетической функцией
распределения функцию F = F(x), xeR.
Из центральной предельной теоремы следует, что для каждого фикси-
рованного xeR
VN(Fn(х; 0 - F(x)) ^Г(0, F(x)[ 1 - F(x)]), (6)
что означает сходимость распределений величин \/Л/ Fjv(x; cu) — F(x))
к нормальному распределению с нулевым средним и дисперсией
F(x)([-F(x)).
Более интересно, конечно, получить предельное распределение для
(равномерной) статистики
Dn(ш) = sup \Fn (х; uj) - F(x)|
X
или, скажем, родственной статистики
о+м=sup(/Mx; <*>) - F(X)). (7)
Следующее наблюдение (А. Н. Колмогоров) является ключевым при
отыскании предельных распределений для этих статистик.
Лемма 1. Пусть F — класс непрерывных функций распределения
F = F(x).
Для каждого N 1 распределение вероятностей статистик
одно и то же для всех FeF. Аналогичное справедливо и для
статистики
Доказательство. Пусть ... — последовательность независи-
мых одинаково распределенных случайных величин, имеющих равномерное
((/ = U(x)) распределение на [0, !]: Р{т/1 ^х} = х, О^х^ 1.
Утверждение леммы будет следовать из того, что, как оказывается,
для каждой непрерывной функции F = F(x) распределение статистики
sup |F/v(x; cv)-F(x)| совпадает с распределением sup |(/^(x; cu) - <7(х)|,
X X
где функция
N
UN(x\ w) = jV-1 ^2 X)
6=1
есть эмпирическая функция распределения величин ..., туу.
Обозначим через А множество интервалов / = [а, Ь], — оо < а < Ь < оо,
постоянства функции распределения F = F(x), т. е. пусть P{£i е/} = 0.
Тогда
Dn(u) = sup \FN(x; ш) - F(x)\ = sup \Fn(x-, w) - F(x)|.
xeR xeA
Вводя величины i^ = F(&) и эмпирические функции распределения
1 N
uN(x\ ^>=- 52 wm д
6=1
находим, что для х е А
uN(F(Xy, 52 тем) ^)) = 52 '^м х)=")’
6=1 6=1
поскольку для таких х {ш: х} = {cu: F(&(cu)) F(x)}.
Таким образом,
Dn(u) = sup |F/v(x; cu) - F(x)| = sup \UN(F(x); cu) - F(x)| =
xeA xEA
= sup \Un(F(x); u)-F(x)\= sup \UN(y; o>)-#|P=H’ sup \UN(y;u)-y\,
xER i/€(0,l)
/Р-П.Н.ч
где последнее равенство ( = ) следует из того, что
Р{^1=0} = Р{^ = 1} = 0. (8)
Покажем теперь, что случайные величины % имеют равномерное (на
[О, 1]) распределение. С этой целью обозначим (для у е (0, 1))
х(у) = inf{x е R: F(x) у}.
Тогда находим, что F(x(y)) — у, у G (0, 1), и
Р{771 ^У} — ^{Р(^\)^у} — Р{Р(^\)^Р(х(у))}=^Р{^\ <^(y)} = F(x(y))=y.
Вместе с (8) это доказывает, что случайная величина rj[ (а значит, и каждая
из величин т/2, т/з, ...) имеет равномерное распределение на [0, 1]. □
4. Установленная лемма показывает, что для отыскания предельного
при N —► оо распределения статистик и Dfi (в классе F непрерывных
функций распределения F = F(x) для наблюдений Сь €2» •••) достаточно
сразу предположить, что ••• — это последовательность независимых
одинаково распределенных случайных величин с равномерным распере-
делением на [0, 1].
Зафиксируем некоторое N 1 и упорядочим (для каждого cu е Q) ве-
личины Ci, €2» в порядке их возрастания, обозначая эти новые
величины (порядковые статистики) через где
^ = min(6, ................^ = тах(6, &)•
(Вероятность совпадения двух таких упорядоченных величин равна нулю.)
Полагая
1 N
= (9)
/?=1
имеем
DyvM = max \UN(y; <v)-i/|. (10)
yeR
Нетрудно видеть, что максимальное значение правой части может до-
стигаться лишь в точках скачков функции распределения и^(у', из), т. е. в
точках .... Тем самым,
О,М = йах|А-{«|. (11)
Отсюда следует, что для отыскания распределения статистики Dn (о>) надо
знать совместное распределение порядковых статистик
С целью отыскания этого распределения рассмотрим последователь-
ность^, ••• независимых экспоненциально распределенных (Р{^>х} =
= е”х) случайных величин, и пусть Srt = £1 +£2+ О 1.
Лемма 2. Совместное распределение вектора (fj^, •••»
совпадает с совместным распределением вектора
f *$2 А
\5д(+1 ’ S/v+i * ”’* S;v+i /
Доказательство. С одной стороны, для 0 у\ ум 1
Р{<г£dy{,....№edyN} = ^ P{£ft, edyx.......&MedyN}, (12)
где суммирование производится по всем перестановкам (k\, ..., чисел
(1, ..., N). (В (12) и также в дальнейшем используется несколько воль-
ная «дифференциальная» форма записи, которой нетрудно придать точный
смысл.)
В правой части (12) величины независимы, равномерно
распределены на [0, 1]. Число перестановок чисел (1, ..., N) равно 7V!,
поэтому правая часть в (12) равна N\dy\...dyN. Следовательно, если
(«/ь ...» Уп)еАы, где Дд, ={у\Е [0, 1], ...» i/yve [0, l]:0^y\^...^yN^
1}, то
Р{(€Г 6 dyx...^edyN} = Nldyx...dyN. (13)
Если же (ух, .... 1/л)£Дл,, то
P{^N)edyi,.,.,^&dyN} = Q. (14)
Покажем теперь, что, с другой стороны, точно так же
1г>ду+1 5ду+1 J
{N\dyi...dyN, (ylt ..., yN)e&N,
О, (*/ь ...» Ун)<£Ан.
С этой целью рассмотрим совместное распределение случайных вели-
чин Si, ...» S/v+ь
Если (хь ...» хуу+1)еДд(+1, то находим, что
P{Si €dxi, S26dx2, ...» Syv+i €dx/v4-i} =
= P{£1 GdX], & £ dx? — X\..., £/v+i €dx/v+i “x/v} =
= e“x,e_(*2-x,) ...e~(XN+'~XN} dx\ ...dx^^x =e~XN+{dx\ ...dx/v+\. (16)
Если же (%1, хдг+1)^Дя+1, то
Р{S| €dx\, S2 €dx%, S/v+i €dxN+i} = 0. (17)
Поскольку Sjv+i =<i + ... + Cv+i, где Ci, Cn+i — независимые экс-
поненциально распределенные случайные величины, то (задача 3)
P{Siv+i 6dxu+t}= A/+l^|---dxu+i. (18)
Из (16) и (18) находим, что для (Xj, .... Xn+i)G.&N+1
P(Si edxi, .... SN&dxN |Stf+i €d*y+i) = AHx^+i dx\ ...dxN- (19)
Если же (x>,..., х/у+1)£Дл1+1, то левая часть в (19) равна нулю.
В результате видим, что
&dyi,
Sn
’’ Stf+i
G di/N Sn+i = xn+i I =
{Nldyi...dyN,
0,
(Ui,
(!H,
•••, Уы) € △#,
и в силу независимости правой части от xn+i приходим к справедливо-
сти представления (15), сопоставление которого с (13), (14) доказывает
утверждение леммы. □
Из этой леммы вытекает, что
VNDn(w) = Vn max
k^N
Sfe
$N+1
k_
N
(20)
где равенство = означает совпадение по распределению величин в левой
и правой частях.
Из (20)
\/NDn(uj) = maxi - £ -"+1^ У|. (21)
5д,+1 y/N N y/N I ' ’
Это соотношение весьма удобно для исследования предельного поведения
величин \/WDn(w) при N —>оо.
N
Поскольку ------> 1 (Р-п. н.), то, полагая для t е [0, 1]
•э/V+l
%(N) _ ~~ [М]
' VN ’
находим, что
lim P{VNDN^)^y}= lim Pf sup |X,W - tX™ | < Л
У-.ОО W—oo /
Тем самым, вопрос о предельном распределении величин \/NDn(w)
сводится к изучению предельного поведения (по распределению) величин
sup |XZ(AZ) — tx{^ | при N -4 oo.
0^1
При каждом фиксированном t е [0, 1] предельное распределение ве-
личин в соответствии с центральной предельной теоремой (теорема 1
в § 4) совпадает с распределением величины В/, являющейся гауссовской
с ЕВ/=0и ЕВ2 = /.
На самом же деле можно утверждать больше. Именно, рассмотрим
введенный в § 13 главы II процесс броуновского движения (винеровский
процесс) B = (B/)o^/^i. Такой процесс был там определен как гауссовский
процесс с Во = О, ЕВ/ = 0 и ковариационной функцией EBSB/ =min(s, t).
Так вот, оказывается, что в соответствии с замечанием 3 к теореме 1 в
§ 8 гл. VII совместное распределение P^ttk величин (Х^, ...,Х^)
слабо сходится к совместному распределению В/.. величин (Bti,..., B/J.
(О слабой сходимости см. §§ 1, 2.) Поэтому естественно ожидать, что
распределение и величин sup |Xz(yv) — fX^I сходится к распределению
0^1
величины sup |В/ — tB\|.
0^1
Вообще говоря, слабой сходимости всех конечномерных распределений
л -> В/Ь...л, 0 t\ < t2 <... < tk = 1, k 1 (т. e. сходимости B(yv) В
в обозначениях задачи 3 в § 1) еще не достаточно (см. п. 5 в § 1) для сходи-
мости распределений функционалов f(X(yv)) = sup |Xz(yv) - /Х^| к функци-
0*^1
оналу f(X) = sup |Х/ - tX\ |, где Xt—Bt— броуновское движение, 0 t 1.
0^1
Однако в рассматриваемом случае это действительно так и вытекает
из следующих рассмотрений.
Траектории процессов X(yv) принадлежат пространству D = D[0, 1], а
траектории X — пространству С = С[0, 1] СО (см. пп. 6 и 7 § 2 гл. II).
В пространстве О можно ввести «метрику Прохорова» р (в [5, гл. 3] р
обозначено do» в [87, гл. VI] р = 5), относительно которой метрическое
пространство (О, р) становится польским, т. е. полным сепарабельным
пространством. (Пространство (D, 0, р) с «метрикой Скорохода» d, опре-
деленной в п. 7 § 2 гл. II, будет только сепарабельным, а для последующего
применения теоремы Прохорова из § 2 гл. III нужна еще и «плотность».)
Относительно метрики р функционал f(x) = sup \xt - /xj (совпадаю-
щий, очевидно, с sup |х/ —/%i|), где х = (x/)o^/^i 6D, является непре-
0^/<1
рывным, и поэтому для доказательства сходимости f(X(yv)) Л /(X) (т. е.
сходимости по распределению) достаточно (задача 2) доказать лишь сла-
бую сходимость р№ (в (£), 0, р)).
Обычная процедура установления этой сходимости, непосредственно
инициируемая теоремой Прохорова, основана на справедливости (задача 3;
см. также обозначения в задаче 3 § 1) следующей импликации:
([P(N) Р] ф [плотность {P(N)}] ф
ф [класс с^о(О) является определяющим]) => (Р(Л/)ЛР). (22)
(Здесь J£6(D) —класс цилиндрических множеств; п. 5 § 1.)
В рассматриваемом случае имеется сходимость конечномерных рас-
пределений pWj^p и класс цилиндрических множеств <^б(О) действи-
тельно является определяющим (п. 7 § 2 гл. II). Самое трудное, конечно,
в применении импликации (22) — это проверка того, что рассматриваемое
семейство мер {Р^} плотно. Эта проверка основывается на характериза-
ции компактных множеств в D, входящих в определение (формула (1)
в § 2) плотности семейства мер, что выходит за рамки настоящей книги.
(Соответствующие доказательства см. в [5, теорема 15.2] и [87, гл. VI,
3.21].)
В заключение этих рассмотрений заметим, что существует и другой путь
установления сходимости f(X^) f(X). Состоит он в следующем. Разрыв-
ные процессы Х^ можно аппроксимировать непрерывными процессами
/(АО такими, что sup е для всякого е>0 при всех
0^1
достаточно больших N и всех cu е Q. Поэтому достаточно доказывать лишь
сходимость !(Х^) /(Л), что несколько проще, поскольку тогда можно
оперировать не с пространством D, а с более простым пространством С,
в котором критерии «плотности» ([5, гл. 2], [87, гл. VI], по крайней мере
в рассматриваемом случае, легко проверяемы.
5. Положим В° — Bt — tB\, 0 t 1. Этот процесс является гауссов-
ским, Bq =0, ESz° = 0 и ЕВ°В? = min(s, В п. 7 § 13 гл. II этот
процесс был назван условным винеровским процессом или броуновским
мостом.
Итак, из предшествующих рассмотрений приходим к такому заключе-
нию:
lim P{VNDN М у} = Р Г sup |В,°ЮV (23)
(OC^l J
где В° = (B°)o<<ci — броуновский мост.
Из теории броуновского движения известно (см., например, [5, гл. 2,
§ И]), что распределение К(у) = Р( sup |В°| у\, называемое распре-
to^i j
делением Колмогорова, определяется следующим образом:
К(у) = £ (-l)fte-2fcV
k——оо
f/>0.
(24)
Таким образом, справедлив следующий результат (А. Н. Колмогоров):
lim P{jNDN(u)^y} = K(y), у^О. (25)
N—»оо
Аналогично изложенному показывается также, что
lim P{y/ND+(^y} = P( sup В^у\. (26)
Распределение величины sup Bf проще, нежели распределение величины
o«^i
sup |В°|, и имеет следующий вид (см. [5, гл. 2, § 11]):
o^i
Pf sup В®^1/1=1 — е~2у, у^О. (27)
lo^l J
Тем самым, имеет место следующий результат (Н. В. Смирнов):
lim P{VNDU^)^y}=\-e-2y\ y^Q.
N—+00
(28)
6. Остановимся на том, как, скажем, знание результата (25), где К(у)
определяется формулой (24), позволяет дать критерий согласия экспе-
римента с теорией. С этой целью приведем сначала небольшую таблицу
значений функции распределения К(у)'.
У К(у) У К(У) У К{у)
1,10 0,822282 2,10 0,999705
0,28 0,000001 1,20 0,887750 2,20 0,999874
0,30 0,000009 1,30 0,931908 2,30 0,999949
0,40 0,002808 1,40 0,960318 2,40 0,999980
0,50 0,036055 1,50 0,977782 2,50 0,9999925
0,60 0,135718 1,60 0,988048 2,60 0,9999974
0,70 0,288765 1,70 0,993828 2,70 0,9999990
0,80 0,455857 1,80 0,996932 2,80 0,9999997
0,90 0,607270 1,90 0,998536 2,90 0,99999990
1,00 0,730000 2,00 0,999329 3,00 0,99999997
Если N достаточно велико, то можно считать, что К(у) дает хорошее
приближение для значений P{>/NDn(uj) у}.
Естественно, что если величины х/А/Ду(си), подсчитанные по эмпири-
ческим значениям £i(o>), ..., £v(<^), оказываются большими, то гипотезу о
том, что (гипотетическое) распределение вероятностей этих величин есть
именно (непрерывная) функция F = F(x), надо отклонить.
Приведенная таблица дает представление о степени надежности
сделанных таким образом выводов. Если, скажем, \/~NDn(w) > 1,80, то
(поскольку /<(1,80) = 0,996932) можно утверждать, что такое событие
имеет вероятность, примерно равную 0,003068 (=1,000000-0,996932).
Считая, что события с такой малой вероятностью (=0,003068), практи-
чески малореализуемы, мы приходим к выводу, что гипотезу о том,
что распределение P{£i ^x} = F(x), где F(x) — именно та функция,
которая участвовала в подсчете величин D/v(o>), надо отклонить. Если же
y/ND^(cv) 1,80, то мы можем сказать (опираясь на закон больших чисел),
что согласие «эксперимента с теорией» будет выполняться в 996932 таких
случаях из 1 000 000.
Замечание. Важно подчеркнуть, что при применении критериев со-
гласия, основанных на использовании распределения Колмогорова или
распределения Смирнова, предполагается, что (тестируемая) функция рас-
пределения F = F(x) полностью специфицирована. Эти критерии «не ра-
ботают», если, скажем, известно лишь только то, что функция распределе-
ния F = F(x) принадлежит некоторому параметрическому семейству
G = {G = G(x; в); 06 0} функций распределения G(x; в), зависящих от па-
раметра ве О. (При каждом в функция G(x; 0) считается полностью опре-
деленной.) В этом случае напрашивается следующий путь проверки того,
что эмпирические данные согласуются с тем, что истинная функция рас-
пределения F 6F: сначала по W наблюдениям построить оценку 0^ =0^(cv)
параметра 0, затем образовать величину \fN sup |P/v(x; ^) - G(x; 0^ (cu))| и
xer
принимать решение так, как было проделано в приведенном выше примере.
К сожалению, функция распределения G(x; будет случайной и рас-
пределение статистики y/N sup \Fh(x; uj)-G(x; 0/v(o>))| не будет, вообще
xer
говоря, даваться распределением Колмогорова К = К(у).
По поводу того, как же все-таки проверять гипотезу F GG, см. [132].
7. Задачи.
1. Доказать формулу (18).
2. Доказать, что pW Д Р (в (О, Of, р)) влечет сходимость f(Xw) f(X).
3. Доказать справедливость импликации (22).
Библиографическая справка (главы 1—111)
ВВЕДЕНИЕ
История теории вероятностей до Лапласа изложена в монографии И. Тодхан-
тера [68]. Период от Лапласа до конца XIX в. освещен в статье Б. В. Гнеденко и
О. В. Шейнина, опубликованной в сборнике [45]. В книге С. Стиглера [122] да-
ется весьма подробное изложение истории теории вероятностей и математической
статистики до 1900 г. В книге Д. Е. Майстрова [44] история теории вероятностей
изложена от ее возникновения до 30-х годов прошлого столетия. Краткий очерк
теории вероятностей имеется в учебнике Б. В. Гнеденко [15]. О происхождении
многих вероятностных терминов см. книгу Н. В. Александровой [2].
По поводу основных понятий теории вероятностей см. книги А. Н. Колмогорова
[32], Б. В. Гнеденко [15], А. А. Боровкова [7], Б. В. Гнеденко и А. Я. Хинчина
[17], А. М. Яглома и И. М. Яглома [83], справочное пособие Ю. В. Прохорова
и Ю. А. Розанова [56], справочник [65] и книги В. Феллера [69], Ю. Неймана
[51], М. Лоэва [42], Дж. Л. Дуба [20], переведенные с английского. Укажем
также на сборники [46] и [67], содержащие большое количество задач по теории
вероятностей.
При составлении настоящего учебного пособия автор использовал разнообраз-
ную литературу. Из учебных руководств на английском языке особо отметим книги
Л. Бреймана [8], П. Биллингсли [106], Р. Эша [80], [81], Р. Эша и М. Гарднера
[82], Р. Даррета [108]—[ПО] иДж. Ламперти [37], являющиеся (по мнению автора)
образцами удачной подачи материала.
Полезный справочный материал по теории вероятностей и математической ста-
тистике читатель может найти в Большой Советской Энциклопедии, Малой Со-
ветской Энциклопедии, в Математической Энциклопедии [121] и в энциклопедии
«Вероятность и математическая статистика» [125].
Основным научным журналом по теории вероятностей и математической ста-
тистике, издаваемым в нашей стране, является журнал «Теория вероятностей и ее
применения» (изд-во «Наука»), выходящий с 1956 г.
«Реферативный журнал», выпускаемый ВИНИТИ — Всесоюзным институтом
научной и технической информации (Москва), — печатает рефераты на статьи по
теории вероятностей и математической статистике, публикуемые как у нас, так и
за рубежом.
Для большинства вероятностно-статистических приложений, требующих об-
ращения к таблицам, полезными являются «Таблицы математической статистики»
Л. Н. Большева и Н. В. Смирнова [6]. При современном широком использовании
компьютерной техники полезно обращение к статистическим пакетам MINITAB,
SPSS, ... Среди пользователей весьма популярны пакеты «Mathematica®»
(см. книгу [126]).
ГЛАВА I
§1.0 построении вероятностных моделей см. также статью А. Н. Колмогорова
[31], книгу Б. В. Гнеденко [15]. Большой материал, касающийся вопросов типа
«размещение дробинок по ячейкам», см. в книге В. Ф. Колчина, Б. А. Севастьянова
и В. П. Чистякова [34].
§ 2. По поводу различных вероятностных моделей (в частности, одномер-
ной модели Изинга), возникающих в статистической физике, см., например, книгу
А. Исихары [25].
§ 3. Формула и теорема Байеса лежат в основе так называемого байесовского
подхода в математической статистике. См., например, книги М. Де Гроота [18] и
Ш. Закса [22].
§ 4. Различные задачи, касающиеся случайных величин и их вероятностных
характеристик, можно найти в сборниках задач [46] и [67].
§ 5. Комбинаторное доказательство закона больших чисел, восходящее к
Я. Бернулли, можно найти, например, в [69, т. 1]. По поводу эмпирической
интерпретации закона больших чисел см. статью А. Н. Колмогорова [31].
§ 6. По поводу уточнений в локальной и интегральной теоремах, а также в
теореме Пуассона см. книгу А. А. Боровкова [7] и статью Ю. В. Прохорова [54].
§ 7. Излагаемый здесь материал на примере схемы Бернулли иллюстрирует
некоторые основные понятия и методы математической статистики. Подробнее см.,
например, монографии Г. Крамера [35] и Б. Л. Ван дер Вардена [10].
§ 8. Рассмотрение условных вероятностей и условных математических ожида-
ний относительно разбиений поможет лучше освоиться с вводимыми далее более
сложными понятиями условных вероятностей и условных математических ожида-
ний относительно а-алгебр.
§ 9. Задача о разорении рассматривалась в приводимой здесь форме, в сущно-
сти, еще Лапласом. См. по этому поводу статью Б. В. Гнеденко и О. В. Шейнина
в сборнике [45]. Обширный материал на эту тему содержится в книге В. Феллера
[69, т. 1].
§ 10. Принятое здесь изложение следует в основном книге В. Феллера [69].
Метод доказательства соотношений (10) и (И) дан в статье [19].
§ 11. Теория мартингалов подробно изложена в книге Дж. Дуба [20]. Иное до-
казательство теоремы о баллотировке можно найти, например, в книге В. Феллера
[69, т. 1].
§ 12. Обширный материал по марковским цепям содержится в книгах: В. Фел-
лер [69, т. 1], Е. Б. Дынкин [21], Е. Б. Дынкин и А. А. Юшкевич [102], Чжун Кай-
Лай [75], [120], Д. Ревюз [117], Дж. Кемени и Дж. Снелл [27], Т. А. Сарымсаков
[61], С. X. Сираждинов [64]. Теории ветвящихся процессов посвящена монография
Б. А. Севастьянова [62].
ГЛАВА II
§ 1. Аксиоматика Колмогорова изложена в его книге [32].
§ 2. Материал об алгебрах и а-алгебрах см. также в книгах А. Н. Колмогорова
и С. В. Фомина [33], Ж. Неве [49], Л. Бреймана [8], Р. Эша [81].
§ 3. Доказательство теоремы Каратеодори см. в книгах М. Лоэва [42], П. Хал-
моша [70].
§ 4—5 . Большой материал об измеримых функциях можно найти в книге
П. Халмоша [70].
§ 6. См. также книги А. Н. Колмогорова и С. В. Фомина [33], П. Халмоша
[70], Р. Эша [81]. В этих книгах содержится и доказательство теоремы Радона—
Никодима. Иногда неравенством Чебышева называют неравенство
Е£2
а неравенство
г>0,
называют неравенством Маркова.
§ 7. Определение условной вероятности и условного математического ожи-
дания относительно а-алгебр было дано А. Н. Колмогоровым [32]. Обширный
материал по рассматриваемым вопросам содержится в книгах Л. Бреймана [8] и
Р. Эша [81].
§ 8. См. также книги А. А. Боровкова [7], Р. Эша [81], Г. Крамера [35],
Б. В. Гнеденко [15].
§ 9. Теорема Колмогорова о существовании процесса с заданными конеч-
номерными распределениями содержится в его книге [32]. По поводу теоремы
Ионеску Тулчи см. также книги Ж. Неве [49] и Р. Эша [81]. Приводимое здесь
доказательство следует [81].
§ 10— 11. См. также книги А. Н. Колмогорова и С. В. Фомина [33], Р. Эша [81],
Дж. Дуба [20], М. Лоэва [42].
§ 12. Теория характеристических функций излагается во многих книгах. См.,
например, Б. В. Гнеденко [15], Б. В. Гнеденко и А. Н. Колмогоров [16], Б. Ра-
мачандран [57]. Изложение формул связи моментов и семиинвариантов следует
статье В. П. Леонова и А. Н. Ширяева [40].
§ 13. См. также книги И. А. Ибрагимова и Ю. А. Розанова [24], Л. Бреймана
[8], Р. Ш. Липцера и А. Н. Ширяева [41], Дж. Гриммета и Д. Стирзакера [105],
Дж. Ламперти [37].
ГЛАВА III
§ 1. Подробное изложение вопросов слабой сходимости вероятностных мер и
распределений содержится в книгах Б. В. Гнеденко и А. Н. Колмогорова [16] и
П. Биллингсли [5].
§ 2. Теорема Ю. В. Прохорова содержится в его статье [55].
§ 3. Методу характеристических функций в доказательстве предельных теорем
теории вероятностей посвящена монография Б. В. Гнеденко и А. Н. Колмогорова
[16]. См. также П. Биллингсли [5]. Приводимая задача 2 охватывает как закон
больших чисел Я. Бернулли, так и закон больших чисел Пуассона, который пред-
полагал, что ... независимы, принимают два значения (1 и 0), но, вообще
говоря, разнораспределены: Р{£/ = 1} = pt, Р{& =0}= 1 — р/, / > 1.
§ 4. Здесь приводится традиционное доказательство центральной предельной
теоремы для сумм независимых случайных величин при выполнении условия Лин-
деберга. Ср. с [16], [92].
§ 5. Вопросы справедливости центральной предельной теоремы без условия
предельной пренебрегаемости привлекали внимание еще П. Леви. В монографии
В. М. Золотарева [88] содержится подробное изложение современного состояния
теории предельных теорем в неклассической постановке. Приводимая формули-
ровка и доказательство теоремы 1 даны В. И. Ротарем [96].
§ 6. Изложение использует материал книг Б. В. Гнеденко и А. Н. Колмогоро-
ва [16], Р. Эша [81] и В. В. Петрова [53], [92].
§ 7. Метрика Леви—Прохорова введена в известной работе Ю. В. Прохо-
рова [55], которому принадлежат и результаты относительно метризуемости сла-
бой сходимости мер, заданных на метрических пространствах. По поводу метрики
||Р- P\\qL см. статью Р. Дадли [85] и книгу Д. Полларда [93].
§ 8. Теорема 1 принадлежит А. В. Скороходу. Полезный материал относительно
метода одного вероятностного пространства можно найти в учебном пособии 1999 г.
А. А. Боровкова [7] и монографии Д. Полларда [93].
§ 9—1 0. Укажем ряд книг, в которых содержится большой материал, касаю-
щийся затрагиваемых вопросов: Ж. Жакод и А. Н. Ширяев [87], Л. Ле Кам [89],
П. Е. Гринвуд и А. Н. Ширяев [84], Ф. Лизе и И. Вайда [90].
§ 11. Большой материал относительно оценок скорости сходимости в централь-
ной предельной теореме содержится в монографии В. В. Петрова [92]. Приводимое
доказательство теоремы Берри и Эссеена содержится в книге Б. В. Гнеденко и
А. Н. Колмогорова [16].
§ 12. Доказательство следует статье Э. Л. Пресмана [94].
§ 13. Дополнительный материал о фундаментальных теоремах математической
статистики см. в [8], [35], [58], [106], [107].
Список литературы
[1] Александров П. С. Введение в общую теорию множеств и функций. —
М.: Гостехиздат, 1948.
[2] Александрова Н. В. Математические термины. — М.: Высшая школа,
1978.
[3] Бернштейн С. Н. О работах П. Л. Чебышева по теории вероятностей Ц
Научное наследие П. Л. Чебышева. Вып. Г. Математика. — 1945. — С. 59—60.
[4] Бернштейн С. Н. Теория вероятностей. — 4-е изд. — М.: Гостехиздат,
1946.
[5] Биллингсли П. Сходимость вероятностных мер. — М.: Наука, 1977.
[6] Большее Л. Н., С м и р н о в Н. В. Таблицы математической статисти-
ки. — 3-е изд. — М.: Наука, 1983.
[7] Боровков А. А. Теория вероятностей. — 3-е изд. — М.: УРСС, 1999.
[8] Б р е й м а н (Breiman L.). Probability. — Reading, МА: Addison-Wesley, 1968.
[9] Вальд А. Последовательный анализ. — М.: Физматгиз, 1960.
[10] Ван дер Варден Б. Л. Математическая статистика. —М.: ИЛ, 1960.
[11] Вентцель А. Д. Курс теории случайных процессов. — М.: Наука, 1975.
[12] Гарсиа (Garsia А. М.). A simple proof of Е. Hopf’s maximal ergodic theorem
Ц Journal of Mathematics and Mechanics. — 1965.— V. 14, № 3. — P. 381—382.
[13] Гихман И. И., Скороход А. В. Введение в теорию случайных про-
цессов. — М.: Наука, 1977.
[14] Гихман И. И., Скороход А. В. Теория случайных процессов:
В Зт.-М.: Наука, 1971-1975.
[15] Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — М.: Наука, 1988.
[16] Гнеденко Б. В., Колмогоров А. Н. Предельные распределения
для сумм независимых случайных величин. — М.; Л.: Гостехиздат, 1949.
[17] Гнеденко Б. В., Хинчин А. Я. Элементарное введение в теорию
вероятностей. — 9-е изд. — М.: Наука, 1982.
[18] Де Гроот М. Оптимальные статистические решения. — М.: Мир, 1974.
[19] Дохерти (Doherty М.). An amusing proof in fluctuation theory Ц
Combinatorial Mathematics, III: Proceedings of the Third Australian Conference,
Univ. Queensland, St. Lucia, 1974. — Berlin etc.: Springer-Verlag, 1975. —
P. 101—104.— (Lecture Notes in Mathematics; V. 452.)
[20] Дуб Дж. Л. Вероятностные процессы. — M.: ИЛ, 1956.
[21] Д ы н к и н Е. Б. Марковские процессы. — М.: Физматгиз, 1963.
[22] Закс Ш. Теория статистических выводов. — М.: Мир, 1975.
[23] Ибрагимов И. А., Линник Ю. В. Независимые и стационарно свя-
занные величины. — М.: Наука, 1965.
Под номерами 85—101 идет литература, добавленная во втором издании к той, которая
была приведена в первом издании книги. Под номерами 102—136 идет литература, добав-
ленная в настоящем издании.
[24] Ибрагимов И. А., Розанов Ю. А. Гауссовские случайные процес-
сы,—М.: Наука, 1970.
[25] Исихара А. Статистическая физика. — М.: Мир, 1973.
[26] Кабанов Ю. М., Липцер Р. Ш., Ширяев А. Н. К вопросу об
абсолютной непрерывности и сингулярности вероятностных мер Ц Матема-
тический сборник. — 1977. — Т. 104, № 2. — С. 227— 247.
[27] Кемени Дж., Снелл Дж. Конечные цепи Маркова. — М.: Наука, 1970.
[28] Колмогоров А. Н. Цепи Маркова со счетным числом возможных со-
стояний Ц Бюллетень МГУ. — 1937. — Т. 1, № 3. — С. 1—16.
[29] Колмогоров А. Н. Стационарные последовательности в гильбертов-
ском пространстве Ц Бюллетень МГУ. — 1941. —Т. 2, № 6.— С. 1—40.
[30] Колмогоров А. Н. Роль русской науки в развитии теории вероятностей
Ц Ученые записки МГУ — 1947. — Вып. 91. —С. 53—64.
[31] Колмогоров А. Н. Теория вероятностей Ц Математика, ее содержание,
методы и значение. — М.: Изд-во АН СССР, 1956.— Т. II. —С. 252—284.
[32] Колмогоров А. Н. Основные понятия теории вероятностей. — М.; Л.:
ОНТИ, 1936; 2-е изд. М.: Наука, 1974; 3-е изд. М.: Фазис, 1998.
[33] Колмогоров А. Н., Фомин С. В. Элементы теории функций и функ-
ционального анализа.-6-е изд. — М.: Наука, 1989.
[34] Колчин В. Ф., Севастьянов Б. А., Чистяков В. П. Случай-
ные размещения. — М.: Наука, 1976.
[35] Крамер Г. Математические методы статистики. — 2-е изд. — М.: Мир,
1976.
[36] Кубилюс Й. Вероятностные методы в теории чисел. — Вильнюс: Гос.
изд-во полит, и науч. лит. ЛитССР, 1959.
[37] Ламперти Дж. Вероятность. — М.: Наука, 1973.
[38] Ламперти (Lamperti J.). Stochastic Processes. — Aarhus Univ., 1974.—
(Lecture Notes Series; № 38).
[39] Лен гл яр (Lenglart E.). Relation de domination entre deux processus Ц
Annales de 1’Institut H. Poincare Sect. B. (N. S.). - 1977. — V. 13, № 2.-
P. 171-179.
[40] Леонов В. П., Ширяев А. Н. К технике вычисления семиинвари-
антов Ц Теория вероятностей и ее применения. — 1959. — Т. IV, вып. 2. —
С. 342-355.
[41] Липцер Р. Ш., Ширяев А. Н. Статистика случайных процессов. —
М.: Наука, 1974.
[42] Л о э в М. Теория вероятностей. — М.: ИЛ, 1962.
[43] Марков А. А. Исчисление вероятностей.-3-е изд.— СПб., 1913.
[44] Майстров Д. Е. Теория вероятностей (исторический очерк). — М.:
Наука, 1967.
[45] Математика XIX века / Под ред. А. Н. Колмогорова и А. П. Юшкевича. —
, М.: Наука, 1978.
[46] Мешалкин Л. Д. Сборник задач по теории вероятностей. — М.: Изд-во
МГУ, 1963.
[47] Мейер (Meyer P.-А.). Martingales and Stochastic Integrals. I. — Berlin etc.:
Springer-Verlag, 1972. — (Lecture Notes in Mathematics; V. 284).
[48] Мейер П. - А. Вероятность и потенциалы. — M.: Мир, 1973.
[49] Неве Ж. Математические основы теории вероятностей. — М.: Мир, 1969.
[50] Неве (Neveu J.). Discrete-Parameter Martingales. — Amsterdam etc.: North-
Holland, 1975.
[51] Нейман Ю. Вводный курс теории вероятностей и математической
статистики. — М.: Наука, 1968.
[52] Новиков А. А. Об оценках и асимптотическом поведении вероятностей
непересечения подвижных границ суммами независимых случайных величин
Ц Известия АН СССР. Серия математическая. — 1980.— Т. 40, вып. 4.—
С. 868-885.
[53] Петров В. В. Суммы независимых случайных величин. — М.: Наука,
1972.
[54] Прохоров Ю. В. Асимптотическое поведение биномиального распре-
деления Ц Успехи математических наук. — 1953.— Т. VIII, вып. 3 (55). —
С. 135-142.
[55] Прохоров Ю. В. Сходимость случайных процессов и предельные
теоремы теории вероятностей Ц Теория вероятностей и ее применения. —
1956.-Т. I, вып. 2.-С. 177-238.
[56] Прохоров Ю. В., Розанов Ю. А. Теория вероятностей. — 2-е
изд. — М.: Наука, 1973.
[57] Рамачандран Б. Теория характеристических функций. — М.: Наука,
1975.
[58] Реньи (Renyi A.) Probability Theory. — Amsterdam: North-Holland, 1970.
[59] Роббинс Г., Сигмунд Д., Чао И. Теория оптимальных правил
остановки. — М.: Наука, 1977.
[60] Розанов Ю. А. Стационарные случайные процессы. — М.: Физматгиз,
1963.
[61] С а р ы м с а к о в Т. А. Основы теории процессов Маркова. — М.:
Гостехиздат, 1954.
[62] Севастьянов Б. А. Ветвящиеся процессы. — М.: Наука, 1971.
[63] Синай Я. Г. Введение в эргодическую теорию. — Ереван: Изд-во Ереван,
ун-та, 1973.
[64] Сираждинов С. X. Предельные теоремы для однородных цепей
Маркова. — Ташкент: Изд-во АН УзССР, 1955.
[65] Справочник по теории вероятностей и математической статистике / Под ред.
В. С. Королюка. — Киев: Наукова думка, 1978.
[66] Стоут (Stout W. Е). Almost Sure Convergence. — New York etc.: Academic
Press, 1974.
[67] Teopin имов!рностей. — Кжв: Вища школа, 1976.
[68] Тодхантер (Todhunter I.). A History of the Mathematical Theory of Pro-
bability from the Time of Pascal to that of Laplace. — London: Macmillan, 1865.
[69] Феллер В. Введение в теорию вероятностей и ее приложения: В 2-х т.—
М.: Мир, 1984.
[70] Хал мош П. Теория меры. — М.: ИЛ, 1953.
[71] Хен на н Э. Анализ временных рядов. — М.: Наука, 1964.
[72] X е н н а н Э. Многомерные временные ряды. — М.: Мир, 1974.
[73] Чао, Тейчер (Chow У. S., Teicher Н.). Probability Theory. Independence,
Interchangeability, Martingales. — 3rd ed. — New York: Springer-Verlag, 1997.
[74] Чебышев П. Л. Теория вероятностей: Лекции акад. П. Л. Чебышева,
читанные в 1879, 1880 гг. / Издано А. Н. Крыловым по записи А. М. Ляпу-
нова. — М.; Л., 1936.
[75] Чжун Кай-лай. Однородные цепи Маркова. — М.: Мир, 1964.
[76] Ширяев А. Н. Случайные процессы. — М.: Изд-во МГУ, 1972.
[77] Ширяев А. Н. Вероятность, статистика, случайные процессы: В 2-х т. —
М.: Изд-во МГУ, 1973—1974.
[78] Ширяев А. Н. Статистический последовательный анализ. — 2-е изд. —
М.: Наука, 1976.
[79] Энгельберт, Ширяев (Engelbert H.-J., Shiryaev A. N.). On the sets
of convergence of generalized submartingales Ц Stochastics. — 1979.— V. 2,
№ 3.-P. 155-166.
[80] Э ш (Ash R. B.). Basic Probability Theory.— New York etc.: Wiley, 1970.
[81] Эш (Ash R. B.). Real Analysis and Probability. — New York etc.: Academic
Press, 1972.
[82] Эш, Гарднер (Ash R. B., Gardner M. E). Topics in Stochastic Processes. —
New York etc.: Academic Press, 1975.
[83] Я гл о м A. M., Я гл о м И. M. Вероятность и информация. — 3-е изд.—
М.: Наука, 1973.
[84] Гринвуд, Ширяев (Greenwood Р. Е., Shiryayev A. N.). Contiguity and
the Statistical Invariance Principle. — London: Gordon & Breach, 1985.
[85] Дадли (Dudley R. M.) Distances of probability measures and random variables
// Annals of Mathematical Statistics. - 1968. - V. 39, № 5. - P. 1563-1572.
[86] Д а к у н a - Ka с те л л ь, Дюфло (Dacunha-Castelle D., Duflo M.).
Probabilites et statistiques: 1,2. — Paris: Masson. — 1: Problemes a temps
fixe. — 1982; — 2: Problemes a temps mobile. — 1983. — Перев. на англ, яз.:
Probability and Statistics: V. I, II.— Berlin etc.: Springer-Verlag, 1986.
[87] Ж а к о д Ж., Ширяев A. H. Предельные теоремы для случайных
процессов: В 2-х т. — М.: Физматлит, 1994.
[88] Золотарев В. М. Современная теория суммирования независимых
случайных величин. — М.: Наука, 1986.
[89] Ле Кам (Le Cam L.). Asymptotic Methods in Statistical Decision Theory. —
Berlin etc.: Springer-Verlag, 1986.
[90] Лизе, Вайда (Liese E, Vajda I.). Convex Statistical Distances. — Leipzig:
Teubner, 1987.
[91] Липцер P. ILL, Ширяев A. H. Теория мартингалов. — M.: Наука,
1986.
Д92] Петров В. В. Предельные теоремы для сумм независимых случайных
величин. — М.: Наука, 1987.
[93] Поллард (Pollard D.). Convergence of Stochastic Processes. — Berlin etc.:
Springer-Verlag, 1984.
[94] Пресман Э. Л. О сближении по вариации распределения суммы
независимых бернуллиевских величин с пуассоновским законом Ц Теория
вероятностей и ее применения. — 1985. — Т. XXX, вып. 2.— С. 391—396.
[95] Розанов Ю. А. Теория вероятностей, случайные процессы и матема-
тическая статистика. — М.: Наука, 1985.
[96] Ротарь В. И. К обобщению теоремы Линдеберга—Феллера Ц Матема-
тические заметки. — 1975.— Т. 18, вып. 1. —С. 129— 135.
[97] Севастьянов Б. А. Курс теории вероятностей и математической
статистики. — М.: Наука, 1982.
[98] Ширяев (Shiryayev A. N.) Probability. — 2nd ed. — Berlin etc.: Springer-
Verlag, 1995.
[99] Ширяев (Shirjayev A. N.) Wahrscheinlichkeit. — Berlin: VEB Deutscher
Verlag der Wissenschaften, 1988.
[100] Ширяев A. H. Основы стохастической финансовой математики: В 2-
хт.-М.: ФАЗИС, 1998.
[101] Фёллмер, Проттер, Ширяев (Follmer Н., Protter Ph., Shiryaev
A. N.). Quadratic covariation and an extension of Itd’s formula Ц Bernoulli. —
1995.-V. 1, № 1/2.-P. 149-170.
[102] Дынкин E. Б., Юшкевич А. А. Теоремы и задачи о процессах
Маркова. —М.: Наука, 1967.
[103] Гнеденко, Колмогоров (Gnedenko В. V., Kolmogorov A. N). Limit
Distributions for Sums of Independent Random Variables. — Reading, MA,
etc.: Addison-Wesley, 1954.
[104] Боровков А. А. Эргодичность и устойчивость случайных процессов. —
М.: УРСС, 1999.
[105] Гриммет, Стирзакер (Grimmet G. R., Stirzaker D. R.). Probability
and Random Processes. — Oxford: Clarendon Press, 1993.
[106] Биллингсли (Billingsley P.). Probability and Measure. — 3rd ed. — New
York: Wiley, 1995.
[107] Боровков А. А. Математическая статистика. — M.: Наука, 1984.
[108] Дарретт (Durrett R.). Probability: Theory and Examples. — Pacific Grove,
CA: Wadsworth & Brooks/Cole, 1991.
[109] Дарретт (Durrett R.). Stochastic Calculus. — Boca Raton, FL: CRC Press,
1996.
[110] Дарретт (Durrett R.). Brownian Motion and Martingales in Analysis.—
Belmont, CA: Wadsworth International Group, 1984.
[Ill] Калленберг (Kallenberg O.). Foundations of Modem Probability. — 2nd
ed. — New York: Springer-Verlag, 2002.
[112] Карлин, Тейлор (Karlin S., Taylor H. M.). A First Course in Stochastic
Processes. — 2nd ed. —New York etc.: Academic Press, 1975.
[113] Кашин Б. С., Саакян А. А. Ортогональные ряды. — 2-е изд. — М.:
АФЦ, 1999.
[114] Ж а к о д, Проттер (Jacod J., Protter Ph.). Probability Essentials.— Berlin
etc.: Springer-Verlag, 2000.
[115] H ётс (Neuts V. F.) Probability. — Boston, MA: Allyn & Bacon, 1973.
[116] Плато (Plato J.). Creating Modern Probability. — Cambridge: Cambridge
Univ. Press, 1998.
[117] Ревюз Д. Цепи Маркова. — M.: РФФИ, 1997.
[118] Уильямс (Williams D.). Probability with Martingales. — Cambridge:
Cambridge Univ. Press, 1991.
[119] Холл, Хейде (Hall P., Heyde С. C.). Martingale Limit Theory and Its
Applications. — New York etc.: Academic Press, 1980.
[120] Чжун Кай-Лай (Chung Kai Lai). Elementary Probability Theory with
Stochastic Processes. — 3rd ed. —Berlin etc.: Springer-Verlag, 1979.
[121] Математическая энциклопедия: В 5 т. / Гл. ред. И. М. Виноградов. — М.:
Советская энциклопедия, 1977—1985.
[122] Стиглер (Stigler S. М.). The History of Statistics: The Measurement of
Uncertainty Before 1900.— Cambridge: Belknap Press of Harvard Univ. Press,
1986.
[123] Гербер X. Математика страхования жизни. — М.: Мир, 1995.
[124] Эренфесты П. и Т. (Ehrenfest Р., Ehrenfest Т.). Uber zwei bekannte
Einwande gegen das Boltzmannsche H-Theorem Ц Physikalische Zeitschrift. —
1907.-V. 8.-P. 311-314.
[125] Теория вероятностей и математическая статистика: энциклопедия / Гл. ред.
Ю. В. Прохоров. — М.: Большая Российская энциклопедия, 1999.
[126] Вольфрам (Wolfram S.). The Mathematica® Book. — 4th ed. —
Champaign; Cambridge: Wolfram Media; Cambridge Univ. Press, 1999.
[127] Дуб (Doob J. L.). What is a martingale? Ц The American Mathematical
Monthly. - 1971.-V. 78.-P. 451-463.
[128] Синай Я. Г. Курс теории вероятностей. — М.: Изд-во МГУ, 1985. — 2-е
изд., 1986.
[129] Синай (SinaY Ya. G.). Topics in Ergodic Theory. — Princeton, NJ: Princeton
Univ. Press, 1999.— (Princeton Mathematical Series; V. 44.)
[130] Вальтере (Walters P.) An Introduction to Ergodic Theory. — New York
etc.: Springer-Verlag, 1982.
[131] Бул и некий А. В., Ширяев А. Н. Теория случайных процессов.—
М.: Физматлит, 2003.
[132] Хмаладзе Э. В. Мартингальный подход в теории непараметрических
критериев согласия Ц Теория вероятностей и ее применения. — 1981. —
Т. XXVI, вып. 2.-С. 246-265.
[133] Гамильтон (Hamilton J. В.). Time Series Analysis. — Princeton, NJ:
Princeton Univ. Press, 1994.
[134] Бернулли Я. О законе больших чисел. — Ч. 4: Искусство предположе-
ний.—М.: Наука, 1986.
[135] Лукач Е. Характеристические функции. — М.: Наука, 1979.
[136] Хренников (Khrennikov A.). Interpretations of Probability. — Utrecht:
VSP, 1999.
Предметный указатель
Я(С)188
SS(D) 188
(В, 5)-рынок 752
— безарбитражный 755
— полный 761
^-измеримость 104
d-система Дынкина 175
(Е, <?) 221
<^7<^-измеримая функция 221
Л-система 175
тг-А-система 175
тг-система 175
а-алгебра 163, 171, 218
— остаточная 529
—, порожденная разбиением 219
-----случайной величиной 218
— хвостовая 529
S-представление 763
U-образная кривая 127
А
абсолютная непрерывность асимптоти-
ческая 470
-----вероятностных распределений
196, 242, 467
-----мер 196, 242, 467, 706
-------, достаточные условия 710
абсолютно непрерывный тип распреде-
ления 196
авторегрессионная схема 584
аксиоматика Колмогорова 166
аксиомы теории вероятностей 166
акция 752
алгебра множеств 28, 162
-----порожденная разбиением 29
----- тривиальная 29
—, порожденная множеством 171
алгебраические свойства матриц 812
альтернатива Гаека—Фельдмана 715,
717
— Какутани 711
арбитраж 755
арбитражная возможность 755, 757
асимптотическая абсолютная непре-
рывность 470
— малость 433
— разделимость полная 470
— сингулярность 470
атом 335
— разбиения 29
Б
базис ортонормированный счетный 343
Байеса теорема 47
-----обобщенная 286
— формула 47
банахово пространство 334
банковский счет 752
белый шум 582
бернуллиевские сдвиги 576
биномиальное распределение 36
близость по вариации 461
большие уклонения 93, 559
борелевская алгебра 180
— функция 214
борелевское множество 180
— пространство 284
броуновский мост 391
броуновское движение 390
-----, конструкция 390
В
Вальда тождество 663
— фундаментальное тождество 666
вариационные неравенства 782, 860
вектор средних значений 384
вероятности разорения 747
вероятностная модель 31, 161, 166
-----в расширенном смысле 163
вероятностно-статистическая модель
94, 290
вероятностно-статистический экспери-
мент 291
вероятностное пространство 31, 166
----каноническое 316
----полное 195
----фильтрованное 787
вероятность 164, 166
— апостериорная 47
— априорная 47
— исхода 30
— ошибок первого и второго рода 461
— первого возвращения 157, 819
----попадания 157, 819
— разорения 109, 113
----в страховании 746
вес 30
взаимная характеристика 657
винеровская мера 211
винеровский процесс 390, 727
----условный 391
выбор без возвращения 23, 25, 40
— с возвращением 22, 25
выборки неупорядоченные 22, 25, 26
— упорядоченные 22, 25, 26
выборочная дисперсия 313
выборочное среднее 313
выигрыш в лотерею 33
выпуклая оболочка 868
Г
гауссовская последовательность 390
— система 380, 388
— случайная величина 309
гауссовский вектор 382, 384
----, критерий независимости компо-
нент 384
— процесс 390
гауссовско-марковский процесс 391
геометрические вероятности 279
гильбертово пространство 338
---- сепарабельное 343
главное значение логарифма 424
граф 140
Д
двуточие условное 764
динамическое программирование 861
дискретная мера 195
дискретной теории восстановления
основная лемма 825
дисперсия 62, 300
— выборочная 313
доверительный интервал 94, 98
----, надежность 98
----, уровень значимости 98
доминируемость 675
достаточная под-а-алгебра 291
----минимальная 294
— статистика 291
3
задача о разборчивой невесте 868
— о размещении 25
— о разорении 109
— о совпадениях 32
закон «0 или 1» Бореля 531
----Колмогорова 531, 692
----Хьюитта и Сэвиджа 533
— арксинуса 120, 127
— больших чисел 67, 417
-------Бернулли 71
-------для марковских цепей 149
-------Пуассона 419
-------усиленный 540
-----------для мартингалов 701
----------для процесса восстановле-
ния 548
----------Колмогорова 541, 544, 550
----------, применение к «методу
Монте-Карло» 547
----------, применение к теории чи-
сел 546
----------, скорость сходимости 559
-------Хинчина 407
— повторного логарифма Хартмана и
Винтнера 552
И
игла Бюффона 279
игра благоприятная 653
— неблагоприятная 114, 653
— справедливая 653
Изинга модель 42
измеримая функция 214
измеримое отображение 564
— пространство 163
-----(С, ^(С)) 187
-----(D, &(D)) 188
-----(/?, #(/?)) 180
-----(/?°°, 183
-----(/?я, 181
-----(RT, SS(RT)) 185
-----fn Н Я} 188
ver ter /
измеримость относительно разбиения
104
изометрическое соответствие 596
импульсная переходная функция филь-
тра 600
инвариантное множество 567, 573
индикатор множества 54
интеграл верхний 255
— Ито стохастический 745
— Лебега 227-229
— Лебега—Стилтьеса 229, 245
— нижний 255
— Римана 253
----- верхний 256
-----нижний 256
— Римана—Стилтьеса 253
— стохастический 592
— Хеллингера 464
интегральная теорема Муавра—Лапласа
84
интегрирование с помощью подстанов-
ки 262
интервал доверительный 94
-----, надежность 98
-----, уровень значимости 98
интерполяция 628
информация Кульбака 469
— Фишера 96
испытание 51
исход 21
К
каноническое вероятностное простран-
ство 316
канторова функция 198
капитал 754
каплинг 459
квадратическая ковариация 657, 741
— характеристика 656
квантильная функция 455
класс апериодический 816
— неразложимый 814
— определяющий 404
—, определяющий сходимость 404
— Харди № 621 j
классификация состояний марковских
цепей по асимптотическим свой-
ствам 819
----------марковских цепей по алге-
браическим свойствам 812
классические модели 36 ;
— распределения 36
классический способ задания вероят-
ностей 32
ковариационная матрица 301 |
— функция 390, 580 !
-----, оценивание 609
-----, спектральное представление 586
ковариация 63, 300, 580 ।
— квадратическая 657 I
комбинаторика 32 ;
компенсатор 656 1
комплекс условий 21
конгруэнтность по распределению 439,
454
конечно-аддитивная вероятностная ме-
ра 163 i
— вероятность 163
— стохастическая мера 589
конечномерные функции распределе-
ния 315
контигуальность последовательностей
мер 470
координатный способ построения про-
цесса 316
корреляционная функция 580
коэффициент корреляции 63, 301
----максимальный 311
кривая регрессии 304
критерий Карлемана единственности
проблемы моментов 375
— Коши сходимости в среднем поряд-
ка р 1 333
-------по вероятности 331
-------почти наверное 330
— согласия 490
кумулянт 368
Л
лемма Бореля—Кантелли 327
— Бореля—Кантелли—Леви 700
— Кронекера 543
— Пратта 263
— Слуцкого 334
— Тёплица 542
— Фату 233
----для условных математических
ожиданий 299
— Хелли—Брэя 406
линейная зависимость 63
— независимость 341, 342
линейное многообразие 340, 343
----замкнутое 343
логарифмическая прибыль 753
локальная абсолютная непрерывность
мер 706
— предельная теорема 79
М
мажоранта супермартингальная 781
----наименьшая 782
— эксцессивная 860
----наименьшая 861
максимальная эргодическая теорема
570
максимальные неравенства 671
марковская зависимость 788
— цепь 136, 139, 321, 788
----- апериодическая 818
-----в широком смысле 788
----- возвратная 830
-------нулевая 830
-------положительная 831
----- невозвратная 830
-----неразложимая 814
-----однородная 139, 793
-----стационарная 148
-----эргодическая 811
марковский момент 649, 749
— процесс 318
марковское свойство 139, 788
-----в узком смысле 788
-----в широком смысле 788
-----обобщенное 801
-----строгое 156, 803, 804
— ядро 793
мартингал 129, 647, 749
— квадратично интегрируемый 656
— Леви 648
— локальный 650
— обобщенный 649
— обращенный 131, 658
мартингал-разность 655
мартингальное преобразование 651
математическая статистика 72, 94
математическое ожидание 58, 227, 228
-----, свойства 59, 230
-----условное 103, 269
-------, свойства 270
матрица ковариаций 301, 384
— неотрицательно определенная 301
— переходных вероятностей 139
— псевдообратная 392
— стохастическая 140
медиана 65
мера а-аддитивная 163
— а-конечная 163
— абсолютно непрерывная 196, 242,
467, 706
— атомическая 335
мера вероятностная 164
— винеровская 211
— внешняя 195
— внутренняя 195
— Гаусса 577
— дискретная 195, 463
— доминирующая 463
— инвариантная 809
— конечно-аддитивная 162
----- стохастическая 589
— Лебега 194, 200, 203
-----п-мерная 202
— Лебега—Стилтьеса 194, 199
— мартингальная 756
— неопределенности 74
— непрерывная в «нуле» 165
— ортогональная 590, 593
— полная 195
— с ортогональными значениями 590
— сингулярная 196, 198
— со знаком 460
— стационарная 809
— стохастическая 589
— счетно-аддитивная 163
— считающая 463
— элементарная стохастическая 590
— Эшера 758
меры ортогональные 467, 706
— сингулярные 467, 706
— эквивалентные 467, 706
метод моментов 413
— Монте-Карло 280, 547
— наименьших квадратов 702
— одного вероятностного пространст-
ва 452, 455
— характеристических функций 413
метризуемость слабой сходимости 447
метрика Ки Фан 453
— Леви—Прохорова 448
минимальная достаточная под-а-алге-
бра 294
многомерное гипергеометрическое рас-
пределение 40
множество инвариантное 567, 573
— остановки 783
---наблюдений 859
— почти инвариантное 567
— продолжения наблюдений 783, 859
модель Бернулли—Лапласа 854
— вероятностно-статистическая 94
— диффузии дискретная 852
— Изинга одномерная 42
— испытаний, связанных в цепь Мар-
кова 137
— Кокса—Росса—Рубинштейна, CRR
759, 773
— Крамера—Лундберга 747
— смешанная авторегрессии и сколь-
зящего среднего 586
— эксперимента с бесконечным чис-
лом исходов 161
---с конечным числом исходов 31
— Эренфестов 852
момент остановки ПО, 131, 649
— первого возвращения 120
— разорения 747
моменты 229
— абсолютные 229
— смешанные 368
монотонный класс 172
---наименьший 172
морфизм 564
мультиномиальное распределение 39
Н
наборы неупорядоченные 22
— упорядоченные 22
надежность доверительного интервала
98
наименьшая а-алгебра 171
— алгебра 171
— супермартингальная мажоранта 782
наименьший монотонный класс 172
начальное распределение 139
независимость 43, 48
— алгебр множеств 48, 49
— линейная 341, 342
— множеств (событий) 48, 177
— попарная 49, 63
независимость приращений 390
— систем множеств 48, 49, 177
— случайных величин 57, 224
---элементов 224
неклассические условия 433
некоррелированность 63, 300
непрерывность мер абсолютная 242
неравенства Буркхольдера 678
— для вероятностей больших уклоне-
ний 683
— Дуба 671
— Дэвиса 679
— Марцинкевича—Зигмунда 677
— Хинчина 677
неравенство Белла 67
— Берри—Эссеена 86, 426, 475
— Бесселя 340
— Бонферрони 35
— Бореля 394
— Буля 169
— Гаека—Реньи 688
— Гёльдера 240
— Гумбела 36
— Дворецкого 687
— для вероятностей больших уклоне-
ний 93
— Йенсена 239
---для условных математических
ожиданий 297
— Колмогорова 535
---, односторонний аналог 539
— Коши—Буняковского 59, 239
— Коши—Шварца 59
— Леви 556
— Ляпунова 239
— Минковского 240
— Оттавиани 687
— Рао—Крамера 97
— Слепяна 394
— Фреше 36
— Чебышева 68, 238
---, двумерный аналог 77
— Шварца 59
— Эссеена 376
норма 332
нормальные по Борелю числа 547
О
область остановки наблюдений 783,
859
— продолжения наблюдений 783, 859
обновляющая последовательность 616
обобщенная теорема Байеса 286
— функция распределения 199
обобщенное марковское свойство 801
обратное уравнение 144
----, матричная форма 144
объединение множеств 27, 167
определяющий класс 404
оптимальная остановка 776
----марковских цепей 856
опцион 767
----колл 769
----пут 769
— Американского типа 769
— Европейского типа 768
— покупателя 769
— продавца 769
опционный контракт 767
ортогонализация Грама—Шмидта 342
ортогональное разложение 351
ортогональные меры 467
основная лемма дискретной теории
восстановления 825
— теорема о стационарных распреде-
лениях 836
----об эргодических распределениях
836
относительная компактность 408, 409
отношение правдоподобия 136
отображение измеримое 564
----сохраняющее меру 564
оценивание ковариационной функции
609
— спектральной плотности 610
----функции 610
оценка 95, 303
— асимптотически несмещенная 611
— Бернштейна 78
оценка вероятности «успеха» 94
— максимального правдоподобия 43
— несмещенная 95, 296
— оптимальная в среднеквадратиче-
ском смысле 64, 303
---линейная 340, 351
— сильно состоятельная 703
— состоятельная 95, 608
— спектральной плотности Бартлетта
613
--------Журбенко 613
--------Парзена 613
— эффективная 95
ошибка первого и второго рода 461
— среднеквадратическая 303
П
паритет колл-пут 776
перемешивание 569
пересечение множеств 28, 167
перестановочная система событий 169
перестановочное событие 532
переходная вероятность 139, 318
— функция 793
период неразложимого класса 816
— последовательности 815
— состояния 815
периодограмма 611
перпендикуляр 341, 351
платежное поручение 761
---воспроизводимое 761
плотная последовательность случай-
ных величин 471
плотность 196, 202, 215, 243
— и-мерного гауссовского распреде-
ления 203
— гауссовская двумерная 302
— условного распределения вероятно-
стей 278
подходящее множество функций 179
полиномы Бернштейна 76
— Пуассона —Шарлье 346
--------нормированные 346
— Эрмита 345
---нормированные 345
полнота 195
— (В, 5)-рынка 761
— пространства Lp, р 1 333, 334
полунорма 332
пополнение 194
портфель ценных бумаг 754
-------самофинансируемый 754
порядковая статистика 313
последовательности вполне детермини-
рованные 615
— детерминированные 615
— мер взаимно контигуальные 470
---полностью асимптотически раз-
делимые 470
---сближаемые 470
— обращенные 742
— предсказуемые 647
— регулярные 615
— сингулярные 615
— скользящего среднего 583
— стационарные в узком смысле 563
---в широком смысле 580
----------, спектральное представле-
ние 595
— чисто детерминированные 615
— эргодические 574
последовательность обновляющая 616
— почти периодическая 581
— случайных величин плотная 471
— частично наблюдаемая 630
почти всюду 231
— инвариантное множество 567
— наверное 231
предельная пренебрегаемость 433
— теорема интегральная 71, 84
---локальная 71, 79
предсказуемая последовательность 647
представление Колмогорова—Леви—
Хинчина 441
— Леви—Хинчина 446
преобразование Бернулли 576
— Колмогорова 576
— Крамера 558
преобразование Лапласа—Стилтьеса
748
— метрически транзитивное 567
— сохраняющее меру 564
— Фурье 353
— эргодическое 567
— Эшера 758
----условное 760
прибыль логарифмическая 753
принцип инвариантности 431, 728
----Донскера—Прохорова 728
— отражения 120
— подходящих множеств 173
проблема моментов 373
----, критерий единственности 375
продожение меры 192
проекция 341
производная Лебега 467
— Радона—Никодима 243
производящая формула 264
пространство банахово 334
— исходов 21, 166
— состояний марковской цепи 139,788
— фазовое 139, 788
— элементарных событий 21, 166
процедура Робинса—Монро 696
процентная ставка банковская 752
----рыночная 752
проценты простые 753
— сложные 753
процесс броуновского движения 390,
727
— ветвящийся 142
— винеровский 390
----условный 391
— восстановления 322
— гауссовский 390
— гауссовско-марковский 391
— марковский 318
— Пуассона 747
— с независимыми приращениями 390
прямое произведение а-алгебр 182
----мер 51
---- пространств 51, 189
— уравнение 144
----, матричная форма 144
пустое множество 167
Р
равенство Парсеваля 344
равномерная интегрируемость 234
разбиение 29, 371
разделимость последовательностей мер
470
различение гипотез 461
разложение Вольда 614, 618
— Дуба 655
— каноническое последовательности
730
— Крикеберга 687
— Лебега 467, 707
— Хана 460
размещение дробинок по ячейкам 25
размещения без повторений 23
— с повторениями 22
разность множеств 28, 167
распределение 196
— F 197
— t 197, 310
— бернуллневское 55
— бета 197
— биномиальное 37
— Вейбулла 313
— вероятностей процесса 223
----случайного вектора 56
----случайной величины 55, 215
— гамма 197
— гауссовское 89, 197
----л-мерное 203
-------, характеристическая функция
382
----, семиинварианты 372
----среднее, дисперсия 300
— геометрическое 196
— гипергеометрическое 41
----многомерное 40
— двойное экспоненциальное 313
— дискретное 196
----равномерное 196
распределение инвариантное 147, 809,
811
— Колмогорова 490
— Коши 197
— логарифмически нормальное 306
— многомерное 56, 201
— мультиномиальное 40
— начальное 139
— нормальное 89, 197
— обратно-биномиальное 213
— отрицательно-биномиальное 196
— Паскаля 196
— полиномиальное 40
— Пуассона, пуассоновское 87, 196
— равномерное на [а, 197
— сингулярное 198
— стационарное 147, 809, 811
— Стьюдента 197, 310
— устойчивое 442
— хи 309
— хи-квадрат 197, 309
— экспоненциальное 197
---двустороннее 197
— эргодическое 145
расстояние Какутани—Хеллингера 463
— Леви 406
— по вариации 460
---, оценка Прохорова 479
расширенная случайная величина 217
— числовая прямая 191
реализация процесса 223
регулярная функция распределения 283
регулярные условные вероятности 281
---распределения 282
-------, существование 284
рынок неполный 769
— полный 769
С
свертка распределений 307
секвенциальная компактность 410
семейство марковских цепей 798
— мер относительно компактное 408
---плотное 408
семиинварианты простые 370
— смешанные 368
сигма-аддитивность, а-аддитивность
163
символ Кронекера 345
симметрическая разность множеств
167
сингулярность мер 467
сингулярные меры 196, 467, 706
система лебеговских множеств 194
— ортогональных случайных величин
339
— ортонормированная 339
-----полная 343
-----случайных величин 339
— Радемахера 347
— событий перестановочная 169
— Хаара 347
скалярное произведение 338
скользящее среднее двустороннее 583
-----одностороннее 584
скорость сходимости в усиленном за-
коне больших чисел 557
-----в центральной предельной теоре-
ме 475
слабая сходимость 399, 400
-----, метризуемость 447
случайная величина 54, 214
-----абсолютно непрерывная 215
-----безгранично делимая 439
-----биномиальная 55
----- гауссовская 300
-----дискретная 214
----- инвариантная 567
-----комплексная 222
-----, не зависящая от будущего 649,
749
-----непрерывная 215
-----почти инвариантная 567
-----простая 214
-----расширенная 217
----- устойчивая 442
— последовательность 223, 390
— функция 223
случайное блуждание 109, 120
----простое 842
— число случайных величин 142
случайный вектор 56, 222
— процесс с дискретным временем 223
----с непрерывным временем 223,
390
----с ортогональными приращения-
ми 593
— элемент 221
смешанная модель авторегрессии и
скользящего среднего 586
событие 27, 166
— достоверное 28
— невозможное 28
— перестановочное 532
согласованности свойство 204, 208
— условие 209, 315
состояние цепи апериодическое погло-
щающее 140
---- возвратное 820
--------нулевое 824
--------положительное 824
----достижимое 813
---- невозвратное 820
----несущественное 813
----поглощающее 847
----существенное 813
состояния цепи взаимно достижимые
813
----сообщающиеся 813
сочетания без повторений 24
— с повторениями 22
спектральная мера 588
— плотность 583
----, оценивание 610
— функция 588
— характеристика фильтра 601
спектральное окно 612
— представление ковариационной
функции 586
----стационарной последовательно-
сти 595
справедливая цена опциона 769
среднее значение 58
средняя длительность блуждания 115
— продолжительность игры 109
стандартное отклонение 62, 300
статистика Бозе—Эйнштейна 26
— достаточная 291
— Максвелла—Больцмана 26
— Ферми—Дирака 26
статистическая независимость 48
степень разброса 62
стохастическая матрица 140
— мера 589
---- конечно-аддитивная 589
----ортогональная 590
----с ортогональными значениями
590
----элементраная 590
— последовательность 647
----возрастающая 647
----доминируемая 675
----предсказуемая 647
— экспонента 259, 684
стохастический интеграл 592
----Ито 745
строго марковское свойство 155, 803,
804
структурная функция 591
субмартингал 647
— локальный 650
— обобщенный 649
сужение меры 207
сумма множеств 167
суммирование по Чезаро 335, 832
суммы верхние 252
— нижние 252
супермартингал 648
супермартингальная мажоранта 781
суперхеджирование 770
—, верхняя цена 772
существенный супремум 334, 778, 779
схема Бернулли 67, 78
— серий 419, 426
сходимость в основном 399, 400, 405
сходимость в основном в смысле ко-
нечномерных распределений 405
— в смысле Lp 324
— в среднем квадратическом 324
— в среднем порядка р 324
— по вариации 461
— по вероятности 324, 453
---, метризуемость 447
— по закону 452
— по мере 324
— по распределению 325, 417, 452
— почти всюду 324, 453
— почти наверное 324, 453
— с вероятностью единица 324, 453
------, неметризуемость 447
— слабая 399, 400
---, метризуемость 447
счетная аддитивность 163
Т
телескопическое свойство 105
---второе 271
---первое 270
теорема Байеса 47, 286
— Беппо Леви 265
— Берри—Эссеена 86, 475
— Биркгофа—Хинчина 570
— Бохнера—Хинчина 365
— Вейерштрасса 76
— Герглотца 586
— Гирсанова, дискретная версия 722
— Гливенко и Кантелли 482
— Дуба 660, 682, 688
---о максимальных неравенствах
672
---о разложении субмартингалов
655
---о случайной замене времени 660
---о сходимости субмартингалов
688
--- о числе пересечений 682
— Ионеску Тулчи 318
— Кантелли 540
— Каратеодори 192
— Колмогорова и Хинчина 535
-------о «двух рядах» 537
---о продолжении мер 208
---о продолжении меры 204
---о существовании процесса 316
---о «трех рядах» 538
---об интерполяции 629
---об усиленном законе больших
чисел 541, 544
— Лебега о мажорируемой сходимости
234
— Леви 691
— Макмиллана 75
— Манна—Вальда 456
— Марцинкевича 366
— Мерсера 393
— Муавра—Лапласа 84
— непрерывности 414
— о баллотировке 133
— о возвратности Пуанкаре 565
— о «двух рядах» 537
— о замене переменных под знаком
интеграла Лебега 244
— о монотонной сходимости 232
— о монотонных классах 173
-------, функциональная версия 179
— о нормальной корреляции 304
-------, векторный случай 387
— о преобразовании свободного выбо-
ра 900
— о сходимости под знаком условных
математических ожиданий 272
— о «трех рядах» 538
— Пифагора 351
— Пойа для случайных блужданий 847
---для характеристических функций
365
— Прохорова 409
— Пуанкаре 432
--- о возвратности 565
— Пуассона 87, 419
— Радона—Никодима 243
— Рао и Блэкуэлла 296
— Улама 412
теорема факторизации 292
— Фубини 246
— фундаментальная вторая 761
----первая 755
— Хелли 410
— Хелли—Брэя 407
— центральная предельная 413, 418,
421,427, 434
-------для зависимых величин 726
-------функциональная 728
— Чернова 561
— эргодическая 145, 574, 605
----максимальная 570
теория восстановления 668
тождество Вальда 132, 663
----фундаментальное 666
— паритета колл-пут 776
— Пуанкаре 36
— Спицера 264
точки роста 196
траектория процесса 223
---- типичная 75
треугольник Паскаля 23
У
уравнение баланса 585
— Вальда—Беллмана 861
— восстановления 323
— Колмогорова—Чепмена 143, 317,
799
-------обратное 143
-------прямое 144
— обратное, матричная форма 144
— прямое, матричная форма 144
уравнения динамического программи-
рования 859
уровень значимости 98
усиленный закон больших чисел 540
----------для мартингалов 701
----------для процесса восстановле-
ния 548
----------Колмогорова 541, 544, 550
----------, скорость сходимости 559
условие асимптотической малости 433
-------равномерной 728
— Крамера 557
— Линдеберга 421, 426
— Ляпунова 425
— предельной пренебрегаемости 433
------- равномерной 728
— согласованности 209, 315
условная вероятность 44, 266, 269
-----относительно ст-алгебр 269
------- разбиений 266
------- разбиения 101
-------случайных величин 102, 269
-----регулярная 281
— дисперсия относительно ст-алгебры
269
условное двуточие 764
— математическое ожидание 103, 106,
269
-------в широком смысле 340, 351
-------относительно ст-алгебр 268
----------случайных величин 106,
269
----------событий 267, 275, 276
-------, свойства 270
устойчивая случайная величина 442
Ф
фазовое пространство 139, 788
факторизационная теорема 292
фильтр 600
—, импульсная переходная функция
600
— Калмана—Бьюси 634, 638
— физически осуществимый 601
фильтрация 630
—, поток ст-алгебр 647
формула Байеса 47
— дискретного дифференцирования
754
— замены переменных Ито 740
— интегрирования по частям 257
— Ито 746
-----, дискретная версия 740, 743
-----для броуновского движения 740
— обращения 361
формула пересчета математических
ожиданий 243
----условных математических ожи-
даний 289, 712
— полной вероятности 46, 101, 104
— связи моментов и семиинвариантов
369
— Сеге—Колмогорова 634
— Стирлинга 42
— трапеции 743
— умножения вероятностей 46
фундаментальная теорема теории ар-
битража 751
фундаментальность в среднем порядка
р 325, 333
— по вероятности 325, 331
— с вероятностью единица 325, 330
фундаментальные теоремы математи-
ческой статистики 481
----теории арбитража, вторая 761
----------, первая 755
функции распределения конечномер-
ные 315
----эмпирические 481
функция верхняя 551
— восстановления 322
— гармоническая 874
— Дирихле 262
— измеримая 214
— ковариационная 580
— концентрации 379
— корреляционная 580
— нижняя 551
— ошибок 90
— полунепрерывная 402
— Радемахера 347
— распределения 55, 56, 191
----л-мерная 201
----безгранично делимая 439
----обобщенная 199
----регулярная 283
----случайного вектора 56
----случайной величины 55, 215
---- устойчивая 442
— супергармоническая 860, 874
— Хаара 348
— эксцессивная 860
фьючерс 768
X
характеристика взаимная 657
— квадратическая 656
— фильтра спектральная 601
---- частотная 601
характеристическая функция 353
----, примеры 377
----, свойства 356
----безгранично делимая 439
----множества 54
---- устойчивая 442
----устойчивого распределения 445
характеристических функций метод 413
хеджирование совершенное 769
Ц
цена в задачах об оптимальной оста-
новке 857
центральная предельная теорема 413,
418, 427, 434
--------для зависимых величин 726
--------функциональная 728
цепь Маркова 137, 321
----однородная 139
---- стационарная 148
циклический подкласс 816
цилиндрические множества 184
Ч
частота 68
частотная характеристика фильтра 601
число пересечений 682
— размещений 23
— сочетаний 23
Э
эквивалентность по распределению 454
эквивалентные меры 467, 706
экран отражающий 850, 851
экспонента стохастическая 259, 684
экспоненциальное семейство 295 экстраполяция 623 эксцессивная мажоранта 860 наименьшая 860 элементарная теорема теории восста- новления 668 элементарное событие 21 энтропия распределения 73 эргодическая теорема 145, 574 в среднеквадратическом смысле 605 максимальная 570 эргодичность 145, 567 Я ядро Фейера 611
Указатель обозначений
324
324
4 325
324
324
F„=>F 399
F<„=>FC325
Fn^F 399
P„ =► P 400, 405
РЛР 400
РЯ^>Р 405
403
дя =Ф fjL 403
Т]п 417
£ = 7/439
X = Y 454
Л® 392
А 28
А+В 28
ЛПВ 28
ЛиВ 27
ЛДВ 65
дА 400
Лс(0 260
Л"м23
sY 28, 162
а(&) 29, 171
BL 450
В\А 28
В(Ко, N; Р) 775
Я 181
^(С) 188
Z$(D) 188
180
W) 181
^(/?я) 181
^(/?°°) 184
#(/?г) 186
^([0, 1]) 194
S8\ 0^2 182
С 187
С+ 697
Cv 775
C(F) 399
C(/n; Р) 769, 770
С(/; Р) 772
С{ 23
cov(£, ту) 62, 300, 580
D 188
D£ 62
D(£|0) 108
D(£|#) 269
dP(X, Y) 453
△F€(x) 59
(E, <?) 221
(E, 8, p) 400
<?„(A) 684
<й(Л) 259
Sr(P, P) 461
E£ 58, 227
E(t)i, •••.’?») 340
E(£; Л) 229
E(£|D) 103
Е(£|Я 103
E(£|Sf) 268
E(£|t?) 106, 269
E(£|t7,...ту*) 106
e(£h......туя) 340
erf 90
(A g) 591
F*G 307
F« 55, 215
/<215
& 163
&/8 221
171
171
&a 171
218
9? 194
И ?t 189
/er
Ф(х) 89
y?(x) 89
tf(x) 80
tf(P, P) 464
H(a\ P, P) 464
$£dP,229
A
5 £rfP 227
(L-S) $ £(x) G(dx) 229
R
(R-S) £(x) G(dx) 229
я
(L) $ £(x)Jx229
— OO
L2 338
Lp 332
L°° 334
ЦР, P) 448
Le(w) 96
Lk(A) 121
^(7/|, .... т/я) 340
?й, ...) 343
l.i.m. 325
M(P) 756
(M)n 23
{M) 656
.....368
WlJ' 777
med 407
д 162
д(Д) 162
д(Л 172
/ii x Д2 246
N(A) 32
30
N(Q) 21
N(A) 756 Л(т, а2) 300 ||Р- Р|| 460 ||Р-Р||^450 cr(£) 218 Var(P - P) 460
Л(т, R) 382 Нр(х, у)|| 139 X* = max \X:\ 671
Р 30, 164 1Ы1 НО i^n
Р(А) 30 П 143 Лп / 04
Р(А|Я 101 П(*> 143 (X, Y) 657 Г V 1/1 r*
Р(А |Sf) 269 R 180 [X, У]л 657 f VI
Р(А|т?) 102 R 181 lX]rt 00/
Р(А|С) 269 R(n) 580 {X« —>} 697
Р(В|А)44 R' 181 Z 579
Р(В| Я 266 RT 185 Z(Zk) 589
Р(В|#) 267 R°° 183 Z(A) 589
Р( 55, 214 R" 181 X2 309
p(w) 30 Rn 347 ek^ 563
^ = {Ра;аей} 408 Rn(x) 347 C±7? 339
Р 143 (P, W)) 180 (П, si, P) 30, 163
Pw 143 p(£, ту) 63, 301 (П, л/, P9; ^6 0) 94
Рл 776 p(P, P) 463 #744
(Ря) △ (Ря) 470 p(n) 580 =5: 30
(Ря) <1 (Ря) 470 s’"1 368 [a an] 22
(Ря) <> (Ря) 470 a(<?) 171 (a a„) 22
Некоторые общематематические обозначения
R = (-оо, оо) — множество действительных чисел, действительная прямая, евкли-
дово одномерное пространство
R+ = [0, оо)
R = [—оо, оо] — расширенная действительная прямая: R = R U {-оо} и {оо}
Я+ = [0, оо]
Q — множество рациональных чисел
Q+ = QnR+
Rd — евклидово d-мерное пространство
N — натуральные числа: или {0, 1,2, или {1,2, ...}
Z —множество целых чисел: {0, ±1, ±2, ...}
С — множество комплексных чисел
(а, Ь) = {х е R: а <х <b}, [a, b] = {x eR: а^х ^Ь}
(а, b] = {х е R: а <х ^Ь}, [а, b) = {x eR: а ^х <Ь}
inf X — нижняя грань множества X CR
sup X — верхняя грань множества X С R
inf хп — нижняя грань множества X = {хт, хт+\, ...}
п^т
sup хп — верхняя грань множества X = {хт, xw+i, ...}
п^т
Если хп Е R, п 1, то
lim inf хп = lim хп = sup inf хя, lim sup xn = lim xn = inf sup xn,
n~*'x> n m^l n^m n—*oo n n^m
limxrt = x о lim xn = lim xn — x о lim xn^x> lim xn.
Для действительных чисел:
x+ = max(x, 0), x~ = — min(x, 0)
Ф _ f x *
(0, x = 0
x V у = max(x, у), x Л у = min(x, y)
[x] или [xj — наибольшее целое число, не превосходящее х
[х] — наименьшее целое, большее или равное х
{1, х>0,
О, х = 0,
-I, х<0
(иногда sign х определяется как 1, если х >0, и —1, если х <0)
Хп —*х, где п е{1, 2, ...}, означает, что lim хп=х
п
хп Т означает, что Х\ х2 ; хп Т х означает, что хп | и lim хп = х
п
хп 1 означает, что х\ х? ; хп I х означает, что хп 1 и lim хп = х
п
Для комплексных чисел z = a + ib,
где а, b € R и i =s \Z—Т — мнимая единица:
z = а — ib — число, сопряженное с z
\z\ — модуль числа z (= (а2 + Ь2),/2)
Re z, Im z — действительная и мнимая части z: Re z = а, Im z = b
Для евклидова ^/-мерного пространства Rd:
|х| — евклидова норма х = (хь •••» xd), т. е. (xf +... + х^),/2
х-у или (х, #) —скалярное произведение х = (xi,..., xd) и у = (у\.yd), т. е.
Х|£/| + ...+Xdyd
В теории множеств:
Ап] означает, что А| СД2С Ап ТА означает, что Ап Т и (J &п = А
Ап 1 означает, что Ai D Д2 5 Ап IА означает, что Ап I и Q Ап = А
lim sup Ап, или lim Ая, или {Ап б. ч.} означает П ( U Ап ) — множество точек,
\п^т J
принадлежащих бесконечному числу множеств Ля, п 1
lim inf An или lim Ап означает (J [ Q An ) — множество точек, принадлежащих
\n^m J
всем An, n 1, за исключением, быть может, их конечного числа
1а или /(Д)— индикатор множества А
{...} — множество
Математические символы:
— абсолютная непрерывность
~ — эквивалентность
± — ортогональность
/= o(g)~ lim (0=0
f = 0(g) — limsup(0 <oo
/~Я-Пт(0 = 1
f ж g — отношение отделено снизу от 0 и сверху от оо
f ° g —‘ композиция / и g
f * g — свертка f и g
Альберт Николаевич Ширяев
ВЕРОЯТНОСТЬ—1
Редактор Т. Толозова
Тех. редактор В. Радионов
Лицензия ИД №01335 от 24.03.2000 г. Подписано в печать 15.02.2004 г. Формат
60 х 90 1/16- Бумага офсетная №1. Печать офсетная. Печ. л. 32,5. Заказ № 9727
Санитарно-эпидемиологическое заключение №77.99.02.953.Д.002797.04.03
от 18.04.2003 г.
Издательство Московского центра непрерывного математического образования.
121002, Москва, Большой Власьевский пер., 11. Тел. 241—72—85.
Отпечатано с готовых диапозитивов в ППП «Типография „Наука"».
119009, Москва, Шубинский пер., 6.
Книги издательства МЦНМО можно приобрести в магазине «Математическая книга»,
Большой Власьевский пер., д. 11. Тел. (095) 241—72—85. E-mail: biblioemccme.ru