/
Текст
Б. А, СЕВАСТЬЯНОВ
КУРС ТЕОРИИ
ВЕРОЯТНОСТЕЙ
И МАТЕМАТИЧЕСКОЙ
СТАТИСТИКИ
Допущено Министерством высшего
и среднего специального образования СССР
в качестве учебника для студентов вузов,
обучающихся по специальностям
Математика» и Механика»
МОСКВА «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
1982
22.17
С 28
УДК 519.2
Севастьянов Б. А. Курс теорий вероятностей и математи-
ческой статистики.— М.: Наука. Главная редакция физико-математи-
ческой литературы, 1982. — 256 с.
В основу книги положен годовой курс лекций, читавшихся авто-
ром в течение ряда лет на отделении математики механико-матема-
тического факультета МГУ. Основные понятия и факты теории веро-
ятностей вводятся первоначально для конечной схемы. Математиче-
ское ожидание в общем случае определяется так же, как интеграл
Лебега, однако у читателя не предполагается знание никаких пред-
варительных сведений об интегрировании по Лебегу.
В книге содержатся следующие разделы: независимые испытания
и цепи Маркова, предельные теоремы Муавра — Лапласа и Пуассона,
случайные величины, характеристические н производящие функции,
закон больших чисел, центральная предельная теорема, основные по-
нятия математической статистики, проверка статистических гипотез,
статистические оценки, доверительные интервалы.
Для студентов младших курсов университетов и втузов, изу-
чающих теорию вероятностей.
_ 1702060000-143
053 (02)-82 12
© Издательство «Наука»,
Главная редакция
физико-м атематнческой
литературы, 1982
ОГЛАВЛЕНИЕ
Предисловие...................................................7
Глава 1. Вероятностное пространство .......................9
§ 1. Предмет теории вероятностей....................9
§ 2. События .........................................12
§ 3. Вероятностное пространство....................16
§ 4. Конечное вероятностное пространство. Классическое
определение вероятности ................... ... 19
§ 5 Геометрические вероятности...................... • 23
Задачи................................................. 24
Глава 2. Условные вероятности. Независимость .... 26
§ 6. Условные вероятности..................1...........26
§ 7, , Формула полной вероятности......................23
§ 8. Формулы Байеса................................. 29
§ 9. Независимость событий ......................' . . 30
§ 10. Независимость разбиений, алгебр и о-алгебр .... 33
§ 11. Независимые испытания.............................35
Задачи ,............................................... 39
Глава 3. Случайные величины (конечная схемр) .... И
§ 12. Случайные величины. Индикаторы....................41
§ 13. Математическое ожидание...........................45
§ 14. Многомерные законы распределения..................50
§ 15. Независимость случайных величин...................53
§ 16. Евклидово пространство случайных величин .... 5.»
§ 17. Условные математические ожидания..................59
§ 18. Неравенство Чебышева. Закон больших чисел .... 61
Задачи...................,..............................64
Глава 4. Предельные теоремы в схеме Бернулли .... 65
§ 19. Биномиальное распределение . . ...................65
§ 20. Теорема Пуассона................................ 66
§ 21. Локальная предельная теорема Муавра — Лапласа . . 70
4
ОГЛАВЛЕНИЕ
§ 22. Интегральная предельная теорема Муавра — Лапласа 71
§ 23. Применения предельных теорем 73
Задачи......................................., . . • • 76
Глава 5. Цепи Маркова ................................• • 77
§ 24. Марковская зависимость испытании..................77
§ 25. Переходные вероятности............................78
§ 26. Теорема о предельных вероятностях.................80
Задачи..................................................
Глава 6. Случайные величины (общий случай) ..... 84
§ 27. Случайные величины и их распределения...........84
§ 28. Многомерные распределения.......................92
§ 29. Независимость случайных величин.................96
Задачи................................................98
Глава 7. Математическое ожидание ..........................100
§ 30. Определение математического ожидания...........100
§ 31. Формулы для вычисления математического ожидания 108
Задачи................................................ 115
Глава 8. Производящие функции .............................117
§ 32. Целочисленные случайные величины и их производя-
щие функции......................................... Н7
§ 33. Факториальные моменты............................118
§ 34. Мультипликативное свойство.......................120
§ 35. Теорема непрерывности . . .......................123
§ 36. Ветвящиеся процессы..............................125
Задачи.................................................127
Глава 9. Характеристические функции .......................129
§ 37. Определение и простейшие свойства характеристиче-
ских функций...........................................129
§ 38. Формулы обращения для характеристических функций 136
§ 39. Теорема о непрерывном соответствии между множе-
ством характеристических функций и множеством
функций распределения ................................ 140
Задачи.................................................145
Глава 10. Центральная предельная теорема ................146
§ 40. Центральная предельная теорема для одинаково рас-
пределенных независимых слагаемых...................146
't*1 “ф1
ОГЛАВЛЕНИИ
5
§ 41. Теорема Ляпунова..................................147
§ 42. Применения центральной предельной теоремы .... 150
Задачи...................................................153
Глава 11. Многомерные характеристические функции . . . 154
§ 43. Определение н простейшие свойства.................154
§ 44. Формула обращения..................................158
§ 45. Предельные теоремы для характеристических функций 159
§ 46. Многомерное нормальное распределение и связанные с
ним распределения...................................164
Задачи...............................................173
Глава 12. Усиленный закон больших чисел 174
§ 47. Лемма Бореля — Кантелли. Закон «0 нлн 1» Колмо-
горова ...............................................1,74
§ 48 Различные виды сходимости случайных величин .' . . 177
§ 49. Усиленный закон больших чисел.................. .181
Задачи...............................................188
Глава 13. Статистические данные ............................189
§ 50. Основные1 задачи математической статистики .... 189
§ 51. Выборочный метод..............................190
Задачи.................................................. 194
Глава 14. Статистические критерии ........................ 195
§ 52. Статистические гипотезы.......................195
§ 53. Уровень значимости и мощность критерия........197
§ 54. Оптимальный критерий Неймана — Пирсона .... 199
§ 55. Оптимальные критерии Для проверки гипотез о пара-
метрах нормального н биномиального распределений 201
§56. Критерии для проверки сложных, гипотез............2)4
§ 57. Непараметрнческие критерии........................206
Задачи...................................................211
Глава 15. Оценки параметров ................................213
§ 58. Статистические оценки и нх свойства . .............213
§ 59. Условные законы распределения......................216
§ 60. Достаточные статистики.............................220
§ 61. Эффективность оценок...............................223
§ 62. Методы нахождения оценок...........................228
Задачи , ................................................232
6
ОГЛАВЛЕНИЕ
Глава 16. Доверительные интервалы s . . . ................234
§ 63. Определение доверительных интервалов............234
§ 64. Доверительные интервалы для параметров нормаль-
ного распределения .................................. 236
§ 65. Доверительные интервалы для вероятности успеха в
схеме Бернулли ..................................240
Задачи........................1.......................244
Ответы к задачам.....................' • • ...... 245
Таблицы ' нормального распределения.......................251
Литература................................................253
Предметный указатель........................'.............254
ПРЕДИСЛОВИЕ
Первоначальный курс теории вероятностей и мате-
матической статистики должен удовлетворять двум ус-
ловиям. С одной стороны, он должен помогать развитию
теоретико-вероятностной интуиции, т. е. умения строить
математические модели, правильно отражающие те или
иные стороны реальных случайных явлений. При этом
надо иметь в виду, что теория вероятностей и матема-
тическая статистика тесно связаны с различными при-
ложениями, с некоторыми из которых выпускникам ма-
тематических отделений университетов с большой ве-
роятностью придется столкнуться в своей работе. С дру-
гой стороны, теория вероятностей должна развиваться
как математическая наука, построенная на точных оп-
ределениях и аксиомах. Однако многие существующие
руководства по теории вероятностей придерживаются
одной из двух крайностей. В одних курсах, нацеленных
на прило>кения, нет четкого разделения реальных слу-
чайных явлений и их математических моделей. В част-
ности, важное в теории вероятностей понятие независи-
мости молчаливо смешивается с причинной независи-
мостью реальных явлений. Другие курсы посвящены,
главным образом, строгому изложению математических
основ теории вероятностей, поэтому оии либо очень ве-
лики по объему, либо в значительной степени опи-
раются на такие понятия функционального анализа, как
мера и интеграл Лебега, и поэтому не могут быть ис-
пользованы при обучении студентов младших курсов.
Содержание данного, учебника соответствует годо-
вому курсу теории вероятностей и математической ста-
тистики, который автор читал в течение ряда лет нз
механико-математическом факультете Московского го-
сударственного университета студентам-математикам
4-го и 5-го семестров. Для преодоления указанным
выше трудностей автор придерживается некоторого
компромиссного направления. Первоначально многие
8
ПРЕДИСЛОВИЕ
теоретико-вероятностные понятия введены в простом
случае конечного вероятностного пространства. Приве-
ден ряд примеров, в которых указана связь вводимых
математических понятий с теми или иными свойствами
реальных явлений. Общий случай основан на способе из-
ложения, который связан с введением интеграла Лебега
без теории меры. На 4-м семестре^ когда студенты еще
не знакомы с соответствующими понятиями функцио-
нального анализа, аксиоматически вводится понятие ве-
роятностной меры и на ее основе определяется матема-
тическое ожидание как интеграл Лебега. Теорема Кара-
теодори о продолжении меры формулируется без дока-
зательства. Понятия условного распределения вероят-
ностей и условного математического ожидания даны не
в полном объеме, а лишь в простых случаях дискретных
и абсолютно непрерывных распределений. В основном
автор старался опираться лишь на знание студентами
классического математического анализа.
Главы 1—5 связаны в основном с конечными ве-
роятностными пространствами. В этих главах введены
основные понятия вероятности, математического ожида-
ния, независимости, случайной величины. Распростране-
ние этих понятий на общий случай дано в главах 6—12.
Главы 13—16 посвящены некоторым задачам математи-
ческой статистики. Каждая глава сопровождается не-
большим количеством задач. Однако автор предпола-
гает, что читатель использует какой-нибудь задачник
(например, Севастьянов Б. А., Чистяков В. П.,
Зубков А. М. Сборник задач по теории вероят-
ностей.— М.: Наука, 1980).
Москва,
Б. А. Севастьянов
Глава 1. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
§ 1. Предмет теории вероятностей
Сочетание слов «теория вероятностей» на неискушен-
ного человека производит несколько странное впечатле-
ние. В самом деле, слово «теория» связывается с нау-
кой, а наука изучает закономерные явления; слово «ве-
роятность» в обычном языке связывается с чем-то не-
определенным, случайным, незакономерным. Поэтому
люди, знающие о существовании теории вероятностей
только понаслышке, говорят о ней часто иронически.
Однако теория вероятностей — это большой, интенсивно
развивающийся раздел математики, изучающий случай-
ные явления. Так в чем же тут дело? Как разрешить
это противоречие между тем, что теория вероятностей —
это наука, а ее предмет — случайность, которая, каза-
лось бы, не поддается никакому научному предсказа-
нию? Как мы увидим ниже, противоречие здесь только
кажущееся, так как теория вероятностей изучает зако-
номерности случайных явлений.
Математика, как и любая другая наука, изучает
закономерные явления реального мира. Связь между
математикой и объектом исследования можно изобра-
зить схематически следующим образом (см. рис. 1).
Классическим примером такой схемы является меха-
ника, созданная Ньютоном. На основе многовековых
наблюдений движений небесных тел, а также практиче-
ской деятельности людей, связанной со строительством
и производством, Ньютон сформулировал несколько
простых законов механики в виде аксиом и закон все-
мирного тяготения, из которых дедуктивными рассуж-
дениями можно было объяснить все явления, которые
наблюдались ранее, а также предсказать многие новые
факты. Построение математических моделей реальных
механических и физических процессов привело к созда-
нию математического анализа.
10
ГЛ. 1. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
Объект
исследования
Математическая модель
Рис. 1
Закономерное событие — это событие, которое всегда
осуществляется, как только создаются определенные ус-
ловия. Закономерное явление — это система закономерт
ных событий. Роль математики, в частности теории
дифференциальных уравнений, при изучении реальных
закономерных явлений общеизвестна. Но наряду с за-
кономерными мы все время сталкиваемся в практической
деятельности с событиями незакономерными или, иначе,
случайными. Это события, которые при одних и тех же
условиях иногда происходят, а
иногда — нет. Например, чело-
век, заболевший гриппом в пе-
риод эпидемии, может выздо-
роветь, может получить те или
иные тяжелые осложнения,
или умереть. Таким образом,
исход заболевания гриппом
случаен.
Казалось бы, что там, где
мы имеем дело со случайными
событиями, науке, в частности
математике, делать нечего.
Ведь наука открывает научные законы, которые помо-
гают предсказывать течение тбго или иного процесса
или явления, а случайное явление —это как раз та-
кое явление, предсказать исход которого невозможно.
Однако и случайные события подчиняются некоторым
закономерностям, которые мы назовем вероятностными
закономерностями. Прежде всего условимся, что мы бу-
дем иметь дело не со всякими случайными событиями,
а с массовыми случайными событиями, т. е. мы будем
предполагать, что в принципе возможно создать много
раз одни и те же условия, при каждом из которых мо-
жет произойти млн нет некоторое случайное событие.
Пусть при осуществлении некоторых условий JV раз слу-
чайное событие А осуществляется N(A) раз.Число N(A)
называется частотой события А, а отношение N(A)/N —
относительной частотой события А. Оказывается, при
больших W относительная частота N(A)/N для случай-
ных массовых событий обладает так называемым сйой-
сгвом устойчивости, которое состоит в том, что в не-
скольких сериях из достаточно больших Л^, Л'2, ..., N,
5 t. ПРЕДМЕТ , ТЕОРИИ ВЕРОЯТНОСТЕЙ
11
наблюдений события Д в одних и тех же условиях мы
обычно имеем приближенные равенства
Л', (4) ЛМ4)
N1, jVa М s
Таким образом, относительная частота события А ко-
леблется около одного и того же числа, которое харак-
теризует данное случайное событие А. Это число Р (Л)
в соответствующей математической модели мы, будем
называть вероятностью события А. Например, мы мо-
жем много раз подбрасывать одну и ту же монету.
Пусть случайное событие А — это выпадение ^ерба при
одном бросании. В случае бросания «правильной» (сим-
метричной, однородной) монеты Р(Д)= 1/2. Статистика
рождений показывает, что мальчиков рождается не-
сколько больше, чем девочек, причем наблюдаемая доля
рождений мальчиков равна 0,51—0,52 (в разные перио-
ды, в разных странах могут быть колебания). Медицин-
ская статистика свидетельствует о том, что смертность
от гриппа имеет малую, но ненулевую вероятность (по-
этому в условиях массовой эпидемии число смертных
случаев от гриппа становится заметным).
Устойчивость частот — это объективное свойство мас-
совых случайных явлений реального мира. Отсутствие
устойчивости частот в сериях испытаний свидетельствует
о том, что условия, при которых производятся испыта-
ния, претерпевают значительные изменения. Теория ве-
роятностей— это математическая наука, которая изу-
чает математические модели случайных явлений. Если
говорить более подробно, то теория вероятностей уста-
навливает такие связи между вероятностями случайных
событий в математических моделях, которые позволя!от
вычислять вероятности сложных событий по вероят-
ностям более простых событий.
В теории вероятностей используются результаты и
методы многих областей математики (комбинаторики,
математического анализа, алгебры, логики и т. п.). Од-
нако теория вероятностей обладает некоторым своеоб-
разием, поскольку она очень тесно связана с различ-
ными приложениями, причем приложения эти не столь
привычны, как, например, приложения дифференциаль-
ных уравнений. Поэтому овладеть теорией вероятностей
12
ГЛ. I. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
может лишь тот, кто решает много задач (эти задачи
часто имеют нематематическую постановку, и надо
уметь построить соответствующую математическую мо-
дель) и приобретает, таким образом, теоретико-верояг-
ностную интуицию.
§ 2. События
Одним из основных понятий теории вероятностей яв-
ляется случайное собйтие или, как мы будем чаще го-
ворить, просто событие. В. реальном мире случайное
событие — это исход (какого-либо испытания, наблюде-
ния, эксперимента), который может произойти (насту-
пить, осуществиться) или не произойти (не наступить,
не осуществиться).
Пример 1. При бросании игральной кости1) мо-
жет выпасть число очков, равное какому-либо числу
из множества чисел 1, 2, 3, 4, 5, 6. Событиями в этом,
случае будут, например,
Л = {вьщадает четное число очков},
В — {выпадает число очков, не большее трех}.
В математической модели можно принять понятие
события как первоначальное, которому не дается опре-
деления и которое характеризуется лишь своими свой-
ствами. Исходя из реального смысла понятия события,
мы можем определить следующие частные случаи поня-
тия события и следующие операции над событиями.
В тех случаях, когда мы одновременно рассматриваем
несколько событий, мы всегда будем предполагать, что
эти события могут произойти или не произойти при-од-
ном и том же испытании (т. е. при осуществлении од-
них и тех же условий).
Достоверным событием будем называть событие, ко-
торое всегда происходит, и будем его обозначать й. Не-
возможным событием назовем событие, которое никогда
не происходит. Обозначать невозможное событие будем
0. Событие А назовем событием, противоположным Л,
’) Игральной костью называется кубик, сделанный из однород-
ного материала, грани которого занумерованы цифрами 1, 2, 3, 4,
5, 6. Число очков, выпавшее при бросании игральной кости, — эта
цифра на верхней граин кубика.
S 2. СОБЫТИЯ
13
Рис. 2. Сумма, произведение, разность
событий А и В; событие А противо-
если оно происходит тогда и только тогда, когда не
происходит А. Суммой или объединением событий А и
В назовем событие, обозначаемое Л J В или Л + В, ко-
торое происходит тогда и только, тогда, когда происхо-
дят или Л, или В (или оба вместе). Произведением или
пересечением событий
Л и В назовем событие,,
обозначаемое А П В
или АВ, которое про-
исходит тогда и толь-
ко тогда, когда проис-
ходят и Л и В вместе.
Разностью А\В собы-
тий А и В назовем со-
бытие, которое проис-
ходит тогда и только
тогда, когда происхо-
дит Л и не происходит
В. События А и В на-
зовем несовместными,
если АВ = 0, Мы бу-
дем писать Л s В и
говорить, что событие
А влечет за собой со-
бытие В, если из на-
ступления события Л
следует наступление события В. Если ЛеВ и BsA,
то мы будем говорить, что события Л и В равносильны,
и писать Л = В.
В примере 1 с бросанием игральной кости имеем
следующие события:
Л U В = {выпадает число очков, отличное от пяти},
А ПВ={выпадает число очков, равное двум),
А\В = {выпадает число очков, равное 4 или 6},
Л = {выпадает нечетное число очков}.
Пример 2. На квадрат случайно бросается частица
(см. рис. 2);
событие Л = {частица попадает'в круг Л},
событие В = {частица попадает в треугольник В}.
14
ГЛ. 1. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
События Л(]В. ЛПВ, Л\В и А в этом случае — это
попадание частицы в области, получаемые объедине-
нием, пересечением, разностью областей А и В и допол-
нением Л в квадрате (на рис. 2 соответствующие об-
ласти заштрихованы).
В настоящее время в теории вероятностей наиболее
распространенным является подход, в котором событие
определяется через неопределяемое понятие элементар-
ного события. Наиболее употребительная теоретико-ве-
роятностная модель в простых случаях — это урновая
модель. Пусть имеется урна с л одинаковыми шарами.
Испытание состоит в том, что мы случайно выбираем
из урны один шар. Обозначим Q = {«ь©2, •••>
множество шаров в урие. Если из урны при испытании
мы вынимаем шар ы, G/1, где Л —некоторое подмно-
жество множества шаров Q, то мы будем говорить, что
произошло событие А; если же ам^А, то мы будем
говорить, что событие А не произошло. В данном слу-
чае событие А отождествляется с подмножеством А
множества всех возможных исходов или, как мы будем
далее говорить, элементарных событий.
В общем случае мы будем в каждой теоретико-ве-
роятностной модели рассматривать некоторое основное
множество Q = {«}. Будем называть его элементы ш
элементарными событиями, само множество Q — про-
странством элементарных событий, а некоторые его
подмножества A s й -— событиями. Операции над со-
бытиями— это операции над подмножествами. При этом
в теории вероятностей употребляется своя терминоло-
гия, связь которой с теоретико-множественной термино-
логией отражена в табдицс 1.
Операции суммы и произведения событий можно
распространить на любое конечное или бесконечное
множество событий [J Да, ["] Аа. Обычные свойства one-
а а
раций над множествами переносятся на операции над
событиями, например,
и~х=пх, гк=ил. а = л,
а а а а
Д = £2\Л, 0 = Q, 0=0,
$ г. события
15
А\В~А\АВ = АВ, А\(А\В)=АВ,
Д<=В=фВ<= Д
п т. д. Иногда придерживаются следующего соглаше-
ния: если Ai, As, ..., Ап попарно несовместны, то
п п
вместо U Aj = Д U Д2 U ... U Ап пишут У, Л = Д1 +
। ie 1 t =» 1 ।
+ Л2 + ... + Ап.
В общем случае бесконечного пространства Q мы
рассматриваем не все подмножества Q, а лишь некото-
рые классы этих подмножеств, называемые алгебрами
и о-алгебрами множеств.
Таблица 1
Обозна- чение Терминология в теории множеств Терминология в теории вероятностей
й пространство (основное множество) пространство элементар- ных событий, достоверное событие
a, a s й элемент пространства <о элементарное событие <о
A,A<=Q множество А событие А
див. д + в сумма или объединение множеств Д и В сумма событий Д и В
длв.дв пересечение множеств А и В произведение событий А н В
д \ в разность множеств Д и В разность событий Д н В
0 пустое множество невозможное событие
А дополнительное множест- во Л противоположное А собы-' тие
АВ — 0 А и В йе пересекаются Д н В несовместны
А^В , А есть подмножество В А влечет событие В
Д = В А и В равны Д и В равносильны
16
ГЛ I ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
Определение 1. Назовем класс «$$ подмножеств
пространства Q алгеброй множеств, если
1) 0 е st, Qe st',
2) из А е st следует А <= st',
3) из А, В <= st следует Af]B<=st.
: Определение 2. Алгебру множеств st назовем
о-алгеброй, если из Ап е st, га—1, 2,..., следует
ОО ОО ',1
и Aas=st, П A^st.
П=1 /1=1
1 I
§ 3. Вероятностное пространство
Определение 3. Тройку (Q, st, Р), где Q — про-
странство элементарных событий, st — о-алгебра под-
множеств Q, называемых событиями, Р—числовая
функция, определенная на событиях и называемая ве-
роятностью, будем называть вероятностным простран-
ством, если выполнены следующие аксиомы:
Г. Р(А)^=0 для всех А е st (неотрицательность Р);
2°. Р (Q) = 1 (нормированность Р);
3°. Р (Л + В) = Р (Л) + Р (В), если ЛВ.= 0 (аддитив-
ность Р);
4°. Если Л„|0, т. е. ЛрЭЛ2Э... и П Лп=0,
то lim Р (Л„) = 0 (непрерывность Р).
Из этих 'аксиом вытекают следующие свойства ве-
роятности.
1) Если Ас=В, то Р(В \ Л) = Р(В) — Р(Л).
Так как В = Л + (В\Л) и ЛП(В\Л)=0, то по
аксиоме 3°
Р(В)=Р(Л) + Р(В\Л). (1)
2) Если А^В, то Р(Л)^Р(В).
Следует из (1).
3) Для любого Ле st
0<Р(Л)<1.
Следует из 2), так как 0 = 4 = 0.
§ 3. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
17
4) Р(Л)=1 — Р(Л).
Следует из аксиомы 3°, так как А + А = Q, А А = 0.
5) Р(0) = О.
Следует из 4) и аксиомы 2°.
6) Имеет месте) конечная аддитивность:
если AiAj = 0 для любых i^j, то
Р(Л + Л+ ... +Л„)=Е Р(ЛД (2)
fc=l
Следует из аксиомы 3°. Доказывается по индукции.
7) Для любых событий Alt ..., А,г
p(ll л/)<Е Р(лд. (3)
\fe=l J Ь1
п
Представим [J Л* в виде суммы попарно несовмест-
'й=1
ных событии Bk = Л&\(Л11) Л21) ... U Л*_!):
п п
ил&=£Ж
fe=l й=1
По свойству аддитивности 6) имеем
/ п \ п
р( и лИ=Е Р(ВД
\й=1 / k=l
откуда следует (3), так как Р(ВД«^Р(ЛД.
8) Для любых событий А и В
Р (Л U В) = Р (Л) + Р (В) - Р (АВ).
Следует из Л U В = Л + (В \ АВ), аксиомы 3°:
Р (Л U В) = Р (Л) + Р (В \ АВ) и свойства 1): Р (В \ ЛВ)=
= Р(В)-Р(ЛВ).
Аксиомы 3° и 4° можно заменить одной аксиомой
счетной аддитивности (или, как еще говорят, аксиомой
о-аддитивности).
3*. Если события Л„ в последовательности Ль Л2, ...
попарно несовместны, то
р(е Л„) = Е Р(Л„). (4)
18 ГЛ. 1. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
Теорема 1. Система аксиом Г, 2°, 3°, 4° равно-
сильна системе аксиом 1°, 2°, 3*.
Доказательство. Пусть справедливы аксиомы
Г, 2°, 3°, 4°, и пусть А'п — последовательность попарно
сю
несовместных событий. Обозначим Вп — У, Ak, А =
k—n+l
оо 1
= У Ап- Тогда А при любом п разлагается на ко-
нечную сумму попарно несовместных событий
А = А1 + Л2 + • • • + Ап + Ва,
поэтому
п
Р(Л)=У P(AJH-P(5„).
6=1
оо
Так как Вп | 0, т. е. В, Э В2 э ... и П Вп = 0, то
по аксиоме 4° имеем Р№)|0. Отсюда вытекает счет-
ная аддитивность (4).
Пусть теперь выполнены аксиомы 1°; 2°, 3*, и пусть
Вп[0. Обозначим An = Bn\Bn+i, п=1, 2,... Собы-
тия Ап попарно несовместны и
оо оо
= У Ап> Ва=У Ah,
П=*1 I
оо
поэтому по аксиоме 3* ряд Р(В!)= У Р(А„) сходится,
оо
и сумма остатка этого ряда Р(в„)=У Р(А*)->0. Тео-
Л=Л
рема доказана.
Система аксиом 1°, 2°, 3°, 4° или 1°, 2°, 3* опреде-
ляет вероятностную меру на о-алгебре пространства
й. Эта система аксиом предложена А. Н. Колмого-
ровым.
Происхождение аксиом 1°, 2°, Зр можно объяснить,
исходя из свойства статистической устойчивости частот.
Пусть А и В — несовместные события, N(A)/N и
N(B)/N—их относительные частоты в какой-либо длин-
ной серии наблюдений. Так как N(А)^ 0,то N(A)/N^
0, следовательно, то число Р(А), к которому близко
отношение N(A)/N, должно быть неотрицательным,
5 4. КОНЕЧНОЕ ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
19
Для достоверного события N(Q)=N, поэтому надо по-
требовать Р(Й)=1. Для несовместных событий N(A
+ В) = N (Л)J- N (В), откуда
#(Л + В) ЛДЛ) . лг (В)
л “ /V "г лг ’
что и приводит к аксиоме 3°.
Аксиома 4° (или 3*) имеет несколько другое проис-
хождение, связанное не с реальным свойством устой-
чивости частот, а с нуждами
развиваемой иа основе аксио-
матики математической тео-
рии. Поясним сказанное на
примере. Пусть на единичный
квадрат бросается случайно
частица, причем вероятность
попадания в любой внутрен-
ний квадрат со сторонами, па-
раллельными сторонам основ-
ного квадрата, равна площади
меньшего квадрата. С по-
мощью аксиомы 3° отсюда
можно получить вероятность
попадания в любую фигуру,
составленную из суммы конечного числа квадратов. Но
нам хотелось бы иметь также возможность находить
вероятность попадания в более сложные, фигуры, напри-
мер, в круг. Это можно сделать с помощью аксиомы 3*,
приближая круг фигурами, составленными из конечных
сумм таких квадратов (см. рис. 3).
ишяшяЛяЖав
sisheftses
МД
Рис. 3.
§ 4. Конечное вероятностное пространство.
Классическое определение вероятности
Рассмотрим простой случай конечного вероятност-
ного пространства. В этом случае Q = {со}—конечное
Пространство, st— алгебра всех подмножеств множе-
ства Q (ввиду конечности st эта алгебра автоматически
представляет собой о-алгебру). Вероятность Р(А) для
любого Подмножества А из Q в этом случае можно за-
дать следующим образом. Пусть заданы неотрицатель-
ные числа рц> такие, что У, ра=1. Вероятность Р(А)
20
ГЛ. I. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
определим как сумму
Р(Л)= Z ра. (5)
о) е А
Легко видеть, что так определенная вероятность (вместе
с Р(0) = 0) удовлетворяет всем аксиомам. Обозначим
|Л| число элементов в множестве А. Частным случаем
определения вероятности (5) будет так называемое
классическое определение вероятности, когда все рм
равны друр другу. Так как 1= Р(й = pa |Q |, то в
© G Q
1
этом случае = и
РИ)=-1^. ' ' (6)
Модель вероятностного пространства, приводящая к
классическому определению вероятности, используется
в тех случаях, когда элементарные события обладают
свойством «симметрии» в том смысле, что все элемен-
тарные события находятся в одинаковом отношении к
тем условиям, которые определяют характер испытания.
Например, бросание игральной кости или монеты обла-
дает свойством «симметрии» по отношению к выпаде-
нию того или иного числа очков на кости или той или
иной стороны монеты, если, конечно, при броске они
были достаточно высоко от горизонтальной поверхности
и им было придано в начале броска вращательное дви-
жение (но не вокруг оси симметрии). Таким же свой-
ством симметрии обладают правильно организованная
жеребьевка и тираж лотереи.
При нахождении вероятностей в схеме классического
определения широко используется комбинаторика. Мы
часто будем использовать комбинаторные понятия раз-
мещения, перестановки и сочетания. Будем исходить из
конечного множества Х = {х\,х2, ..., Xw}, состоящего
из N элементов х/. Пусть 1 п N. Размещением из
N элементов множества X по п элементам (коротко,
размещением из N по п) назовем любой упорядочен-
ный набор (x/(> х^, xf ) элементов множества X.
Дга размещения ....
§ 4. КОНЕЧНОЕ ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
21
равны тогда и только тогда, когда все xl/t = xlk, k~ 1,...
..., п. Число всех различных размещений, из N эле-
ментов по п обозначается An и равно N(N — 1) ... (N—
— п + 1). Последнее произведение мы иногда будем
обозначать кйк обобщенную степень М"1. Таким обра-
зом, для числа всех размещений из N элементов по п
мы имеем формулу
AnN = Nln] = N(N- 1) ... (У-л+,1), (7)
> *
В дальнейшем будем полагать An = TV101 = 1 при любом
целом TV 1. Формула (7) легко доказывается по ин-
дукции. Частный случай размещения при N — п назы-
вается перестановкой из N элементов. Число всех пере-
становок из N элементов равно
A$ = Km = N(M- 1) ... 2- 1=АЛ._ (8)
Из (7) и (8) следует также формула
Сочетанием из N элементов множества X по п назы-
вается любое подмножество !х. , ..., х, 1 мощности п
Ul * п)
множества X. Общее число всех сочетаний из N по п
обозначается Cn и равно
п Ап„ NI '
= = ----- 0)
n! n! (N — п)! ' ’
Из (10) имеем соотношение См = См~п. В дальнейшем
будем полагать 0! = 1, Сп=1 и Cw = 0, если k — целое
и k < 0 или k > N.
Пример 3. Выборка без возвращения. Пусть имеет-
ся урна с N шарами, которые мы занумеруем числами
1, 2, ..., N. Предположим, что шары с номерами 1,
2, ..., М белого цвета, Остальные — черного. Выборка
без возвращения состоит в том, что мы наугад выни-
маем из урны последовательно п шаров, не возвращая
их обратно. В этом случае за пространство элементар-
ных событий Q = {<о} естественно принять множество
всех упорядоченных наборов
w = (aI, о2...а„) (11)
22
ГЛ. 1. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
чисел at, 1 а,- N, не равных друг другу. Мощность
множества Q равна в этом случае
|Q|=JV(AT_ 1) ... (У-nrh 1) = Ж’г| (12)
— числу размещений W элементов по п.
Вычислим вероятность события А,п, состоящего в том,
что среди выбранных п шаров имеется ровно т белых.
Для этого подсчитаем |Ат|:
[ = (13),
В самом деле, число элементарных событий (II), у ко-
торых ровно в т случаях 1 а/ М, определяется как
произведение: С™ — числа способов выбора т коорди-
нат из общего количества их п', на которые мы поме-
щаем 1 aj М; Л41,п1— числа различных наборов
1 а; М, попадающих на отмеченные т мест;
(7V — Л1) [«-«>! — числа различных наборов М + 1 а/
N, попадающих на остальные места. Из (12) и (13)
получаем
_ С*М'т] (N -
Р (Ащ) — • .
Пользуясь (10), мы можем вероятность Р(Лт) выра-
зить в следующих эквивалентных видах:
р/л (1л\
Н4и) гп гм • (14)
Пример 4. Выборка с возвращением. Пусть
имеется та же урна, но выборка п шаров из нее проис-
ходит последовательно по одному шару, и при этом
каждый раз фиксируется номер шара, а сам шар воз-
вращается обратно в урну. В этом случае пространство
элементарных событий состоит из всевозможных век-
торов (11), у которых координаты не имеют никаких
дополнительных ограничений, кроме 1 а/ N. В этом
случае
] Q | = Nn,
а вероятность события Ат, вычисляемая аналогичным
способом, равна
(, (15)
$ 5. ГЕОМЕТРИЧЕСКИЕ ВЕРОЯТНОСТИ
23
§ 5. Геометрические вероятности
примем
Р(Л)
Еще один важный класс моделей вероятностных про-
странств ддют так называемые геометрические вероят-
ности. Пусть й ={(о}—область евклидова п-мёрного
пространства с конечным «-мерным объемом. Собы-
тиями назовем подмножества Q, для которых можно
определить «-мерный объем. За множество событий
1цожно принять так называемую о-алгебру & борелев-
ских подмножеств Q (подробнее об этом см. гл. 6, § 27).
За вероятность события А е %
------«1
|Л| О ЦЗ 21/3 I
|Q| ’ '
где |V| означает «-мерный обь- Рис. 4.
ем множества V. Понимая под
«-мерным объемом соответствующую меру Лебега, мы
получаем вероятностное пространство (Q,Р), где
вероятность р определена равенством (16). Это ве-
роятностное пространство служит моделью задач, в ко-
торых частица случайно бросается в область Q. Предпо-
лагается, что ее положение равномерно распределено в
этой области, т. е. вероятность попасть частице в об-
ласть А пропорциональна п-мерном'у объему этой об-
ласти1.
Пример 5. Стержень разламывается на две части
в случайной точке, равномерно распределенной подлине
стержня. Найти вероятность того, что меньший обломок
имеет длину, не превосходящую одной трети длины
стержня. Обозначим длину стержня I, а расстояние точ-
ки разлома от одного (фиксированного) конца стерж-
ня— х. Тогда описанное событие произойдет тогда и
только тогда, когда либо х //3, либо х 21/3. Иско-
мая вероятность равна отношению (1/3 + //3): I — l/'i
(см. рис. 4).
Пример 6. Задача Бюффона. На плоскость, рас-
черченную параллельными прямыми, находящимися на,
расстоянии а друг от друга, случайно брошена игла
длины I < а. Найти вероятность пересечения иглы с ка-
кой-нибудь из параллельных прямых. Обозначим у рас-
стояние от середины иглы до ближайшей прямой, х —
острый угол между иглой и перпендикуляром к парад-
24
ГЛ. 1. ВЕРОЯТНОСТНОЕ ПРвСТРАНСТВО
лельным прямым (рис. 5). Координаты (х,у), опреде-
ляющие положение иглы относительно параллельных
прямых, удовлетворяют условиям 0 х л/2, 0 у
^//2. На плоскости (х, у) они образуют прямоуголь-
ник Q. Попадание точки (х, у) в заштрихованную об-
ласть А (см. рис. 6) приводит к пересечению иглы с
Рис. 5.
одной из параллельных прямых. По формуле (16) иско-
мая вероятность равна
л/2
С 1 л
\ ~ cos х ах
[ Л | = _о___________ _2£
| Q | а/2 л/2 ал
Задачи
1. События А и В несовместны. Доказать, что В = А тогда и
только тогда, когда А + В — Q.
2. Известно, что А(]В — 0 и AQB — 0. Доказать, что в этом
случае В = А.
3. Доказать, что события ЛВСМ'И В \ А равносильны.
4. Доказать, что А \ (Л \ В) = АВ.
5. Доказать, что: а) АВ — В тогда и только тогда, когда
Be Л; б) AU В = В тогда и только тогда, когда Л = В.
6. На карточке спортлото из 49 клеток отмечено шесть. Ка-
кова вероятность того, что ровно три из отмеченных клеток1 выпадут
в очередном тираже? (В тираже производится случайная выборка
шести элементов без возвращения из множества 49 клеток карточ-
ки спортлото.)
7. Трехзначное число случайно и равновероятно выбирается из
всего множества трехзначных чисел. Найти вероятность того, что
оно делится: а) на 3; б) на 5.
8. Деталь с вероятностью 0,01 имеет дефект Л, с вероятностью
0,02 имеет дефект Вис вероятностью 0,005 имеет оба дефекта.
Найти вероятность того, что деталь имеет хотя бы один дефект.
ЗАДАЧИ
25
9. При жеребьевке N человек тянут билеты с номерами 1,
2.......N. Первые три человека вытянули номера xt, хз, х3. Какова
вероятность того, что
min (xt, Xi) < х3 < max (xi, х2)?
находится 10 монет достоинством
3 коп., вынимается пригоршня из
10. Из кармана, в котором
20 коп. и 10 монет достоинством
10 случайно взятых монет. Ка-
кова вероятность того, что в
кармане осталась сумма денег,
пе меньшая той, что вынута?
11. Из 104 чисел 0000, 0001,
0002, ..., 9999 случайно и рав-
новероятно выбирается число.
Какова вероятность того, что в
выбранном числе: а) все циф-
ры разные; б) имеются только
3 разные цифры; в) имеются
только 2 разные цифры; г) все
цифры одинаковые?
12. На бесконечную шах-
матную доску со стороной квад-
рата а бросается наудачу моне-
та радиуса г, 2г < а. Найти
вероятность р* того, что монета
будет иметь общие точки с k
квадратами, k = 1,2,3,4.
13. На паркет, изображенный иа рис. 7, случайно падает монета
радиуса г, 2г < а. Найти вероятность того, что монета целиком
окажется внутри маленького квадрата.
14. На квадрат случайно с равномерным распределением бро-
сается частица. Найти вероятность того, что она удалена от вершин
квадрата иа расстояние, не меньшее половины длины стороны квад-
рата.
Г л а в а 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ.
НЕЗАВИСИМОСТЬ
§ 6. Условные вероятности
Пусть при N испытаниях события А, В и АВ про-
изошли с частотами A (A), N (В) и N(AB). Назовем от-
ношение АЦАВ)/АЦВ) условной относительной часто-
той события А при условии, что произошло событие В.
Если имеет место устойчивость частот
^-~Р(В), ^^-«Р(АВ)
и Р(В)>0, то относительная частота N (AB)/N (В) тоже
устойчива:
N (АВ) _ N(AB)/N _ Р(.1В) , .
N (В) ~ N (B)/N ~ Р(В) ’ *"
Соотношение (I) приводит к следующему естествен-
ному определению.
Определение 1. Пусть Р (В) > 0. Условной в‘-
ро.чтностью Р(А|В) события А при условии, что про-
изошло событие В (или просто: при условйи В), назо-
вем отношение
Р(А|В)=-^-. (2)
Для условной вероятности Р(А|В) применяется также
обозначение РВ(А).
Если В фиксировано, а Аел/ из некоторого веро-
ятностного пространства (Q, Р), то условная веро-
ятность РВ(А), рассматриваемая как функция Рв от
события А с= определяет новое вероятностное про-
странство (Q, Ра). Для того чтобы это установить,
надо проверить, что Рв удовлетворяет аксиомам 1° — 4°.
Это легко делается, так как в силу (2):
Гв (А)---Р(В)~ > 0, Рв (У) — -р(е) — 1,
§ 6. УСЛОВНЫЕ ВЕРОЯТНОСТИ
27
если Л1Л2=0, то (AtB)r\(A2B)= 0 и
о /л । РИ,В + Л2В) Р(Л|В) Р(Л2В)_
гвИ1-Г^2) — - рТз) -- Р(В) -Г Р(В) —
= РВ(Л1) + РВ(Л2);
п, наконец, из Ап | 0 следует ВАп[,0, поэтому
РвШ = -4^-|0-
Переписывая (2) в форме
Р(ЛВ)=Р(В)Рв(Л), (3)
мы получаем равенство, которое называют теоремой
умножения. Если исходить из определения (2), то со-
держательность теоремы умножения (3) представляет-
ся весьма невысокой. Однако в применениях мы часто
условную вероятность Рс (/1) будем вычислять, исходя
не из формулы (2), а из кйких-либо других соображе-
ний. В этом случае формула (3) уже определяет Р(ЛВ)
с помощью Р(В) и Р (В | Л), а не наоборот.
Пример 1. В урне находится М белых ii N — M
черных шаров. По схеме выборки без возвращений по-
следовательно выбираются два шара. Найдем вероят-
ность того, что оба шара будут белыми. Эту вероят-,
пость можно найти с помощью теоремы умножения (3)<
Обозначим события А = {первый вынутый шар — бе-
лый}, В = {второй вынутый шар — белый}. Тогда вы*
числение вероятностей Р(Л) = -^- и Рл(д) = t сво-
дится к более простым задачам о вынимании белого
шара из урны, содержащей М белых nN — М черных
шаров (соответственно во втором случае М — 1 белых
и N — М черных шаров). Имеем окончательно Р(ЛВ) =
-Р(Л)Рл(в)=-^Е-Т)--
С помощью (3) .по индукции легко доказывается бо*
лее общая
Теорема 1. (Теорема умножения.) Пусть события
Ль ..., Ап таковы, что P(Xi-.. Л„_]) > 0. Тогда
Р(А-*. л„) =
= Р (А,) РЛ| (Л2) Рл,л2 (Л3) ... Рл.... л„_, (Л„). (4)
28
ГЛ. 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
Доказательство. Из условия теоремы вытекает,
что существуют все условные вероятности в (4). Для
доказательства (4) по индукции обозначим В = А\ ...
... An-i, А = Ап и применим (3) и индукционное пред-
положение о справедливости (4), когда п заменяется
на п—1. Справедливость (4) при п = 2 также следует
из (3).
Формулы типа (3) и (4) показывают, что на одном
и том же пространстве элементарных событий Q с о-ал-
геброй st удобно рассматривать, наряду с вероятностью
Р, условные вероятности Рв.
§ 7. Формула полной вероятности
Определение 2. Систему событий Ль Л2, ..., Ап
будем называть конечным разбиением (в дальнейшем—•
просто разбиением), если они попарно несовместны и
Л[ Л- Л2 Л- ... Л- Ап = Q. (5)
Теорема 2. (Формула полной вероятности.) Если
Л1....Ап — разбиение и все Р (Л*) > О, то для любого
события В имеет место формула
P(B)=f Р(ЛА)Р(В|ЛД (6)
fe==l
называемая формулой полной вероятности.
Доказательство. Из (5) следует разложение В
на сумму
В = BD.= ВЛ1 Л- ВА2 + ... Л-^Л„
попарно несовместных событий, поэтому
p(B)=£p(w. •
ы
Применяя к слагаемым P(BAk) теорему умножения,
получаем (6).
Пример 2. Вычислим в урновой схеме примера 1
вероятность события В = {второй вынутый шар — бе-
лый}. Из классического определения вероятности имеем
Р(Л) = ^-, Р(А)=^~,
§ 8. ФОРМУЛЫ ВЛЙЕСА
29
По формуле полной вероятности
Р(В)=Р(А)РЛ(В)Д-Р(А)РЛ(В) =
ММ — \ N - М М _ М
— Л/ Д' — 1 ‘ N N - 1, — Л' ’
т. е. Р(А) = Р(В). Аналогично можно установить, что
вынимая последовательно без возвращения шары, мы
получаем одну и ту же вероятность вынуть белый шар
на любом месте. Таким образом, при правильно орга-
низованной жеребьевке шансы всех участников одина-
ковы, независимо от того, в какой очередности они тя-
нут жребий. Эту же задачу можно интерпретировать
как вычисление вероятности вытащить белый шар из
урны, из которой был случайно утерян один или не-
сколько шаров.
§ 8. Формулы Байеса
Теорема 3. Если выполнены условия теоремы 2
и Р(В)>0, то имеют место формулы
Р (A* I о) = —---------. (7)
i-1
называемые формулами Байеса.
Доказательство. По теореме умножения
Р (AkB) = Р (АД Р (В | АД = Р (В) Р (А* | В),
откуда имеем
Р(А1В)-^)рТ4>
Применяя к знаменателю Р(В) формулу полной ве-
роятности (6), получаем (7).
Формулы Байеса можно интерпретировать следую-
щим образом. Назовем события Ак гипотезами. Пусть
событие В — результат некоторого эксперимента. Ве-
роятности Р(АД— это априорные вероятности гипотез,
вычисляемые до произведения опыта, а условные ве-
ррятности P(Afc|B) — это апостериорные вероятности
гипотез, вычисляемые после того, как, стал известен
30
ГЛ. 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
исход эксперимента В. Формулы Байеса позволяют по
априорным вероятностям гипотез и по условным ве-
роятностям события В при гипотезах Ак вычислять
апостериорные вероятности Р (Ац | В).
Пример 3. Пусть имеются две урны, в каждой из
которых по N шаров, причем в первой урне Mi белых
шаров, а во второй урне М2 белых шаров. Проводимый
эксперимент состоит в том, что мы сначала с вероят-
ностью 1/2 выбираем первую или вторую урну, а затем
из выбранной урны случайно вынимаем (с возвраще-
нием) п шаров. Пусть событие В состоит в том, что все
вынутые шары — белые. В этом случае имеем две гипд-
тезы: Xi — выбор первой урны и А2 — выбор второй
урны. По условиям задачи априорные вероятности равны
друг другу: Р (Л() = Р (Л2) = 1/2. Далее, легко вычис-
ляются условные вероятности p(/j |е Фор-
мулы Байеса дают нам априорные вероятности:
P<X1IB)=1W4W=7^'
1 1 1 1
Если М> < Мх, то при п -> оо Р (Д, | В) =- м "хп
1 + (м9
таким образом, знание исхода В эксперимента в этом
случае дает нам возможность существенным образом
изменить наши априорные сведения о гипотезах Д( и А2.
§ 9. Независимость событий
Понятие независимости относится к одному из ос-
новных в теории вероятностей. Если события А и В
таковы, что Р(В)>0, то существует условная вероят-
ность Р (Л 1 В). В случае, когда Р(Д|В) = Р(Л), мы
говорим, что событие А не зависит от события В. Если и
Р(А) > 0, то в этом случае
и из независимости Л от В следует независимость В or
А, т. е. понятие независимости А и В симметрично. Из
$ 9 НЕЗАВИСИМОСТЬ СОБЫТИИ
31
теоремы умножения вероятностей (3) следует, что для
независимых событий А и В имеет место равенство
Р (АВ) = Р (А) Р (В). Это приводит нас к следующем}’
определению независимости.
Определение 3. События Л и В называются не-
зависимыми, если
Р (АВ) = Р(А) Р (В). (8)
Если равенство (8) не выполняется, то события будем
называть зависимыми.
Это определение уже не содержит ограничений типа
Р(А)>0. В частности, если Р(Л) = 0, то из АВ s А
следует, что и Р(АВ) = 0, а тогда, в силу (8), А и В
независимы. Из определения (8) следует Р(А) = Р(А|В)
и Р(В) = Р(В|А); если эти условные вероятности су-
ществуют (т. е. Р (В) > 0 и Р (А) > 0 соответственно).
Обычно независимость А и В, которую иногда назы-
вают теоретико-вероятностной, или статистической, не-
зависимостью (в обличие от причинной независимости
реальных явлений), не устанавливается с помощью ра-
венства (8), а постулируется на основе каких-либо
внешних соображений. С помощью же равенства (8) мы
вычисляем вероятность Р(АВ), зная вероятности
Р(А) и Р(В) двух независимых событий. При установ-
лении независимости событий А и В часто используют
следующий принцип: события А и В, реальнее прооб-
разы которых А и В причинно независимы, независимы
в теоретико-вероятностном смысле. Реальный смысл
этого принципа можно связать со свойством устойчи-
вости частот. Пусть при N наблюдениях N (A), N (В),
'V (АВ) — частоты событий А, В и АВ. Так как из устой-
чийости частот следует
^-Р(л), Дйа~р(лв), ’
N (В) Р (В)
то из независимости событий А и В, т. е. из Р(А|В)==
= Р (А), вытекает
N (АВ) ~ N(A)
N (В) ~ #
32
ГЛ. 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
или, что равносильно,
N (АВ) ~ N (A) N (В)
N ~ N N ’
Свойство (9) для причинно независимых реальных со-
бытий А и В установлено многовековой практикой че-
ловека. Это и позволяет нам сформулировать приве-
денный выше принцип.
Надо отметить, что этот принцип ни в коем случае
не является теоремой. Так как он сформулирован не в
терминах математической модели, то он и не может
быть теоремой. И, конечно, из теоретико-вероятностной
независимости событий А и В не следует причинная
независимость их реальных прообразов А а В. Сле-
дующий пример показывает, что независимость Может
исчезнуть, если незначительно изменить вероятностную
модель.
Пример 4. Из колоды в 52 карты (состоящей из
13 карт каждой из четырех мастей) случайно вынимает-
ся карта. Рассмотрим события Л = {вынут туз}, и б —
— {вынута карта бубновой масти}. Тогда событие АВ ==.
= {вынут туз бубновой масти}. Поскольку в этом слу-
чае
р (Л) = 4/52 =1/13, Р(б) = 13/52= 1/4,
Р(Лб) = 1/52= Р (Л) Р (б),
то события Л и б независимы. Если же колода карт со-
держит еще и джокер, то Л и б станут зависимыми,
так как Р (Л) = 4/53, Р (б) =13/53, Р(Лб)=1/53 и
Р(Лб)=Н= Р(Л)Р(б).
Понятие независимости двух событий распростра-
няется на случай нескольких событий.
Определение 4. События Alt Л2, ..., Ап назы-
ваются независимыми, если для любых 1 i{ < /2 < ...
.. . <im п, 2 т п, выполняются равенства
Р(А,Л,,... Л„)»Р(Л,,)Р(Л,,)... Р(Л,„); (10)
в противном случае события называются зависимыми.
Независимость нескольких событий называется иногда
независимостью событий в совокупности.
§ 10. НЕЗАВИСИМОСТЬ АЛГЕБР И а-АЛГЕБР
33
Из определения 4 сразу следует, что события любого
подмножества Ац, А/2, А]г незавйсимых событий
Дь А2, Ап также независимы.
Нижеследующий пример показывает, что независи-
мость событий Аь А2, ..., Ап в совокупности — более
сильное свойство, чем попарная их независимость.
Пример 5. Пусть из чисел 2, 3, 5 и 30 выбирается
одно число, причем каждое из чисел может быть вы-
брано с вероятностью 1/4. Обозначим событие А& =
— {выбранное число делится на k}. Легко видеть, что
события Л2, Аз, Д5 попарно независимы, но зависимы
в совокупности, так как
р (Л2) = р (Лз) = р (Д5) = 1/2, Р (Л2Л3) = Р (Л2Л5) =
= Р(Л3А5)=1/4 и Р(А2А3А5)==1/4.
Из определения 2 вытекает следующее свойство ус-
ловных вероятностей.
Теорема 4. Если события А1; Л2> •••> А„ незави-
симы, индгксы ib /2, ..., ir, jlt j2, js все различны,
вероятность Р (AitAt2 ... Ai^ > 0, то
Р(А, ... л,.|л,,... Л,,)-.Р(Л,, ... л,,). (II)
Доказательство. Из независимости событий
At, ..., Ап следует
Р(А(1... A(r) = P(Aii)...P(Air),
P(A/i...AJ=P(A/i)...P(A/s)
и
P(A4 ... AirAfl ... A/s) =
= P(Ail)...P(AiJP(A/1)...P(A/j),
поэтому P(Ai, ... Air fl A/t ... A/s)=P(Ai1 ... AJ;) X
XP(A/1 ... A/s), а отсюда вытекает (11).
§ 10. Независимость разбиений, алгебр и о-алгебр
Определение 5. Пусть у — некоторая система
множеств. Наименьшая алгебра множеств st (у), содеп-
жащая у, называется алгеброй, порожденной системой у.
2 Б. А. Севастьянов
84
ГЛ. 2 УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
Аналогично определяется о-алгебра, порожденная у, как
наименьшая о-алгебра, содержащая у.
Если мы за систему множеств а возьмем разбиение
Ль Аз, ,..,Ап, т. е. такие множества А{, что A]
;+ Аз + • • • +А« == & и AiAj = 0 при i =#= /, то нетрудно
видеть, что алгебра ^(а), порожденная разбиением а,
является конечной (т. е. в нее входит лишь конечное
число множеств) и состоит только из пустого множе-
ства и множеств вида
+ ... +A/m.
Имеет место обратное свойство.
Теорема 5. Каждая конечная алгебра множеств,
порождается некоторым разбиением.
Доказательство. Пусть ^ — конечная алгебра
событий. Обозначим совокупность всех Ве$, для
которых <ое В. Для каждого toe Q введем Вш — П В.
Покажем, что для двух ш =/= ш' либо Ва==Ва', либо
Ва Пйщ'=0. Для любых оей и Ве$ имеет место
следующее свойство: если toe В, то ВшеВ. Пусть
теперь <о <= Вш-; тогда Вш s В^. Далее, если м' <= В^,
то Bo'SBa и, следовательно, Ва' — Ва. Случай (o'eBa
невозможен, так как приводит к противоречию Вш- G Вш
(а мы уже доказали, что Вш s Bj). Выберем средн Вш
разные множества Bv В2.....Вг. Они образуют раз-
биение, так как Bi + ... -f- Вг — О и BiBf — 0 при
i =£ ]. Поскольку любое В е $ представимо в виде
В= U в», то это разбиение порождает алгебру Д
(О в В
что и требовалось доказать.
П р и м е р 6. ^азбиенйе A k-f- А — Q порождает алгебру
^ = {0, Q, А, А).
Пример 7. Разбиение А] + Д2 + А3 —Q порождает
алгебру $ = {0, Q, А„ Д2, Д3, Aj 4- Д2> Д] _|_ д3> д2 _|_ д3).
Определение 6. Разбиения
ak' А*] + Аи + ... + A*rjfe == Q, k = 1, ..., п,
называются независимыми, если для любых Д, 1
,С ik rk, k = 1, ..., п,
Р(А,,Л„, ... Лп,,у=Р(Л„,)Р(Л11,) ... Р(Л.,„).
J II. НЕЗАВИСИМЫЕ ИСПЫТАНИЯ
36
Определение 7. Алгебры (или ст-алгебры) собы-
тий .9/1, ^2, •••> называются независимыми, если
для любых А; е s^i
P(AjA2 ... А„) = Р(А1)Р(А2) ... Р(А„).
Теорема 6. Конечные алгебры s/i, ....
независимы тогда и только тогда, когда независимы по-
рождающие их разбиения а\, а2> • • • > ««•
Доказательство. Так как порождающее
разбиение а, есть подсистема s/t, т. е. at £ s/i, то из
независимости г4-\, ..., следует независимость
аь ..., о.п. Каждое есть сумма попарно не-
совместных событий из аь поэтому обратное заключе-
ние получаем из следующей леммы,
Лемма 1. 1°. Если события А и В независимы, то
события А и В также независимы. 2°. Если А] и В неза-
висимы и А2 и В независимы, а А\А2 = 0, то Ai-J-Aj
и В независимы.
Доказательство. Г. Из независимости А и В
следует
Р (ВА) = Р (В \ АВ) = Р (В) - Р (АВ) =
== Р (В) - Р (А) Р (В) = Р (В)(1 - Р (А)) = Р (В) Р (А),
т. е. В и А также независимы. 2°. Из независимости А£
и В имеем Р(А;В) = Р(Аг)Р(В), откуда вытекает
Р ((А, + АДВ) = Р (АД) + Р (А2В) = Р (А() Р (В)+Р (А2)Х
ХР(В) = (Р(А1)+Р(А2))Р(В)=Р(А1 + А2)Р(В), т. е.
Aj -Ь А2 и В независимы.
Следствие. Каждое событие А порождает раз-
биение А + Л = Й, которое в свою очередь порождает
алгебру <2/(А). Из леммы 1 вытекает, что независимость
событий Аь .... Ап и независимость порожденных ими
алгебр (АД, ..., s^(An) эквивалентны.
§ 11. Независимые испытания
Под испытанием мы будем понимать некоторый экс-
перимент, исходами которого служат те или иные слу-
чайные события. В принятой нами аксиоматике испыта-
иие — это некоторое вероятностное пространство. Пусть
2*
36
ГЛ. 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
даны п испытаний, т. е. даны вероятностные простран-
ства
(Qb Р,), .... (Й„,Р„). (12)
Если эти вероятностные пространства есть модели не-
которых причинно независимых испытаний, то о-алгеб-
ры si\, ^2.....sin должны быть независимыми. Но
для того чтобы иметь возможность говорить о теоре-
тико-вероятностной независимости, мы должны рассмат-
ривать sii как о-подалгебры о-алгебры одного об-
щего вероятностного пространства (й, ^Z, Р). Такое ве-
роятностное пространство всегда можно построить. Мы
проделаем это построение в частном случае, когда ве-
роятностные пространства (12) конечны.
Итак, пусть (й/, sit, Р,)—конечное вероятностное
пространство, й, = {й\}, состоит из всех подмно-
жеств а вероятность Р,(А)= У рДсо() задается
е А
с помощью вероятностей элементарных событий р((со(),
Построим прямое произведение вероятностных
пространств (12) (Q, si-, Р), полагая Q = й[ X ^2 X •• •
. ..ХЙ„> точки которого соей есть векторы со =
— (соь со2, ..., <оп) с компонентами е Qi( t = 1, ...,п,
si—алгебра всех подмножеств Й,
Р (“) = Pi (“•.) • • • Рп (®п). Р(А)= Е р(о). (13)
ое.4
Построенная так вероятность Р называется прямым
произведением вероятностей Pi и обозначается Р ==
= Р1Х---ХРп' Аналогично в этом случае si —
==•$£[ X ... X sin есть прямое произведение алгебр.
В построенном вероятностном пространстве выделим
класс событий А, называемых прямоугольниками, оп-
ределяемый следующим образом. Пусть At s sit, i =
— 1, «.Прямоугольник
А = А1ХА2Х...ХА(1 (14)
состоит из тех и только тех ==(<oi, со2, .... шп), для
которых в(еЛ|, «'=,1.....п. Из определения вероят-
ности (13) следует, что вероятность прямоугольника (14)
§ II.. НЕЗАВИСИМЫЕ ИСПЫТАНИЯ
37
равна
р (Л) = £ р (®) = £ р, (©,) ... £ р„ (®„) =
сое Л СО| cort е Лп
п
= ПРа(Ла). (15)
fe=i
Обозначим подалгебру алгебры состоящую из
всех тех прямоугольников (14), у которых At = Q, для
i =А= k. Нетрудно видеть, что между событиями
А'( = Й! х . •. X £2«-1 X Л1 х Й1+1X • • • X Qn е
и Л, е устанавливается естественный изоморфизм
А'( Л;, поэтому вместо событий Л, из вероятностного
пространства (Q,, P,) можно рассматривать изо-
морфные события Л' из подалгебры вероятностного
пространства (Q, st-, P), Из определения вероятности (15)
следует Р (Л') = Р, (Л,). Так как Л = Л, X • • • X Лл =
п
= П А'к, то из (15) получаем Для любых A'k^s/'k
*=i
/ п \ п
рС0/;)=йрио.
г. е. алгебры ^'независимы.
Схема Бернулли. Частный случай независимых испы-
таний, с двумя исходами в каждом из испытаний, стро-
ится следующим образом. Пусть вероятностные прост-
ранства в (12) таковы, что й/ = {0,1}, s£i = {0, {0}, {!),
41J, р(0) — р, p(\) = q, p-\-q — \. Тогда в прямом про-
изведении (й, Р) имеем Q = {й>}, со ==(©,, <о2, ..., сок),
®i = 0, 1,
п
p(to)=nPV"“z. (16)
С=1
Построенная схема независимых испытаний называется
схемой Бернулли. Обычно она трактуется следующим
образом. Пусть некоторый исход Л, который мы будем
называть успехом, может произойти при каждом испы-
тании с одной и той же вероятностью р; противополож-
ный исход А (неуспех^ может произойти при каждом
|||||1111111111111111111111111№
88 гл. 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
испытании , с дополнительной вероятностью q = 1 — Р-
В элементарном событии со = (a>i, .... &>«) имеем со, = 1,
если при г-м испытании произошел успех, и со,- = О
б противоположном случае.Обозначим Bk= {со: cd] 4- ...
... (ап = k} событие, состоящее в том, что при п не-
зависимых испытаниях в схеме Бернулли произошло
ровно k успехов. Поскольку из (16) следует, что при
со <= р(а) = pkqn~k, то Р (Вк) = pkqn~k X (число эле-
ментарных событий а е Вк). Итак имеем,
Р(В*) = ФУ~*. А = 0, 1,...,п. (17)
Вероятности (17) называются биномиальным распреде-
лением. Примерами, в которых появляется биномиаль-
ное распределение, служат: выборка с возвращением
(§ 4, формула (15)), выпадение шестерки т раз при и
бросаниях игральной кости (вероятность этого события
„т ( 1 \т ( 5
С» l-g-l I-g-l I, рождение т мальчиков при реги-
страции п рождений (если вероятность рождения маль-
чика р = 0,51, то вероятность рождения т мальчиков
при регистрации п рождений равна С™ (0, 51)*”-(0, 49)rt“m;
обширный статистический материал, собранный в раз-
нес время и в разных страна^, свидетельствует о том,
что вероятность р > 1/2 и примерно равна 0,51—0,52)«
Полиномиальная схема. Более сложная схема п не-
зависимых испытаний получается, когда при каждом
испытании возможно появление одного из г попарно не-
совместных исходов. Пусть i-e испытание связано с
вероятностным пространством (fi,-, s$i, Pi), где Й; =
= {1, 2....г} состоит из номеров 1, 2.....г исходов.
Пусть pi, ..., рг — вероятности этих исходов, pt -f- ...
... 4-pr = 1, a состоит из всех подмножеств Й/.
И прямом пройзведении вероятностных пространств
(И, Р) элементарное событие аей равно со =
= (®i, ..., <оп), где со,— номер исхода при i-м испыта-
нии. Полагая р (со) — ра ро ... ро , вычислим вероятность
события 12 "
Впк...пг~ {в п независимых испытаниях
произошло ровно по пк k-x. исходов},
m -J- 4“ • • • 4“ пг= л.
ЗАДАЧИ
39
Так как для любого w е Вл
р(®)-=Пр?.
а количество точек в Ва ...п равно полиномиальному
, . п!
коэффициенту то
Р(В", .С»)
П[ 4~ ... -f- пг=п.
Распределение (18) называется полиномиальным; опи-
санная схема независимых испытаний с г исходами
также называется полиномиальной. При г — 2 эта схе-
ма превращается в биномиальную схему Бернулли.
Задачи
1. Из множества чисел ООО, 001.... 999 равновероятно пыби-
рается одно число. Какова вероятность того, что это число не со-
держит цифру 1, если все его цифры различны?
2. Из урлы, содержащей М белых и N — Л1 чернык щаров,
случайно последовательно по схеме выборки без возвращения извле-
каются три шара. С помощью теоремы умноже-
ния найти вероятность того, что появится после-
довательность шаров: белый, черный, белый.
3. Показать, что любая конечная алгебра со-
бытий состоит из 2* событий, где k — натураль-
ное число.
4. Плоскость расчерчена параллельными пря-
мыми, расстояния между соседними прямыми, че-
редуясь, равны а и Ь. На эту плоскость случайно
бросается ш ла длины / < min{a, Ь). Пользуясь
решением задачи Бюффона в формулой полной
вероятности, найти вероятность того, что игла
пересечет одну из этих прямых.
5. На бесконечную шахматную доску с длиной стороны квад,
раса а случайно бросается монета радиуса г < а/2. Найти вероят-
ность того, что .монета пересечет сторону какого-либо квадрата.
6. В последовательности п независимых испытаний с вероят-
ностью р успеха в каждом из испытаний произошел ровно один
успех. Какова вероятность того, что успех произошел при ^втором
испытании?
1 7. В схеме испытаний задачи 6 произошло ровно два успеха.
Найти вероятность того, что успехи произошли в соседних испы-
таниях.
8. На паркет, составленный из прямоугольников со сторонами
а и b, а < Ъ, случайно бросается монета радиуса г, 2r < minfa. b}.
Найти вероятность того, чю монета заденет меньшую сторону
40
ГЛ. 2. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
какого-нибудь прямоугольника, если известно, что она какую-то сто-
рону задела.
9. Для перехода улицы пешеходу нужно три секунды. Каждую
секунду с вероятностью р по улице проезжает автомобиль и с ве-
роятностью q — 1 — р улица свободна. Будем считать время дис-
кретным (по секундам), а наличие или отсутствие автомобиля на
улице в разные моменты времени независимыми испытаниями. Пе-
шеход начинает переходить улицу лишь в том случае, если в тече-
ние трех секунд она будет свободна от автомобилей на переходе.
Найти вероятность того, что пешеходу придется ждать перехода
а) больше двух секунд; б) больше трех секунд.
10, Бросаются две игральные кости. Какова вероятность того,
что на первой кости выпала 1, если известно, что на второй кости
выпало число очков больше, чем на первой?, (Применить формулу
Байеса.)
11. В единичный квадрат'со вписанным в него кругом независи-
мо с равномерным распределением случайно бросается 6 частиц.
Найти вероятность того, что ни одна из пяти частей квадрата ие
будет свободна от частиц (см. рис. 8).
Глава 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
(КОНЕЧНАЯ СХЕМА)
§ 12. Случайные величины. Индикаторы
Рассмотрим конечное вероятностное пространство
(Q, .$/, Р). Числовую функцию от элементарного собы-
тия £=£(со), bgQ, назовем случайной величиной. Мы
будем обычно обозначать случайные величины грече-
скими буквами т], £, р,, v, ... и т. п. (в англо-амери-
канской литературе и иногда у пас случайные величины
обозначаются прописными латинскими буквами X, У, 2
и т. п.).
Пример 1. В схеме независимых испытаний Бер-
нулли в § 11 множество Й состоит из элементарных
событий со =((01,(о2, •••> (On), где «и = 1, если при i-м
испытании произошел успех, ио; = 0в случае неуспеха.
Случайная величина р — ц((о) = ©i (d2 + ••• + (on
равна числу успехов при п испытаниях в схеме Бер-
нулли.
Пример 2. Рассмотрим следующую урновую схему.
Пусть в урне имеется N шаров, из них М белых, осталь-
ные— черные. По схеме выборки без возвращения из
урны извлекаются п шаров (см. § 4, пример 3). Пере-
нумеруем все N шаров числами 1, 2.....N так, чтобы
белые шары получили номера 1, 2, .... М. Тогда мно-
жество Q можно составить из элементарных событий,
состоящих из подмножеств (o={ii, i2, ..., i„}, i'i <;
.< i2 < ... < in, мощности ti множества целых чисел
{1,2.....N}. Элементарное событие со ={й, i2, ..., и}
соответствует выборке, в которую вошли шары с номе-
рами it, z2, ..., in. Случайная величина £, равная числу
белых шаров в выборке, определяется как функция от
(о следующим образом: £ — |((о) = /п, если в (о ={<i, ...
• • •, in}, im^M <Z im+i при 1 tn < tv, £(to) = 0, если
Af < ir, g(®) r= n, если in M,
42
ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
Пусть g(xj.......г,)--числовая функция от число-
вых аргументов хь .... хг, а |ь — случайные ве-
личины. Тогда сложная функция г) — т](со) — g(b (со),
Ы®)> М®)) также будет случайной величиной.
В частности, так определяются случайные величины,
Г ’ г
равные сумме 2 и произведению случайных
4-=1
величин.
С каждым событием Лед/ можно связать случай-
ную вел1’”.ину
( 1, если сое Л,
Ц—^лС10) | Q, еСЛИ
называемую индикатором события А. Индикаторы удов-
летворяют следующим легко проверяемым свойствам:
/0^0, /Bs|, Iab~IaIb, /7 = 1-/л. (1)
Если события Ai, ..., Л„ попарно несовместны, то
нетрудно установить, что
« >
/о = zL
я
п
Выведем формулу для индикатора объединения II Ак
4-1
любых событий. Так как (J Лк = f] 4fe, то учитывая
Л А
свойства (1), мы имеем
1п = 1 — 7——=1— 1п «=
U Ак (J Ah f| Ак
я А-1 в 4-1 *
п п
-П (1-4),
*-1 я fc«l 4
откуда следует
п
1 п = ~ X Л*А,
и Ab fe-1 * 1
t-i Л
"Ь* * * *
+ '
+ (-!)”-'Л, а2
(2)
•• ^П'
§ 12. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. ИНДИКАТОРЫ 43
Обозначим Xi < хг < ••• < х* всевозможные зна-
чения, которые принимает случайная величина g. С каж-
дой случайной величиной £ можно связать разбиение
сц, состоящее из событий А> = {со: £(ы) = xj. В самом
деле, так как х; =/= х/, то ДА/= 0 для t ¥=/; сумма
А1+Л2+ + А* есть достоверное событие Q, так
как Xi, хг...xk — все значения, случайной величины g.
Разбиение, порождает алгебру событий которая
состоит из событий, представимых в виде
ЙВ} = {»: И<»)еВ},
где В — любое числовой множество. Разбиение сц и ал-
гебру мы будем называть порожденными случайной
величиной g. Любое событие {g е В} представимо в виде
суммы У*, Ait где суммирование ведется по тем Г, для
i
которых ж, е В.
Случайную величину £ можно выразить с помощью
индикаторов разбиения Ai + ... +At = Q через сумму
k
(з)
так как левая и правая части (3) принимают одно и
то же значение хг при и е At.
Законом распределения случайной величины g мы
будем называть вероятность Р{^еВ}, рассматривае-
мую как функцию числового множества В. Закон рас-
пределения £ определяется значениями xi, Х2, ... ,х*, ко-
торые принимает g, и вероятностями P{g = xJ этих
значений. Обозначим Р {g = х(} = рь Тогда закон рас-
пределения P{g е В} можно определить с помощью
табл. 2, верхний ряд которой состоит из различных
Таблица 2
Закон распределения
случайной величины
Х1 х2 Х3 ... X*
Pi Р1 Рз РА
44
ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
чисел х,, а числа нижнего ряда удовлетворяют условиям
Л
А>0, = (4)
4-1
С помощью табл. 2 можно определить вероятность
PfteB}= £ Pl (5)
XjesB
для любого числового множества В.
В теории вероятностей часто говорят о случайной
величине £ с законом распределения (5), не указывая
ни вероятностного пространства (Q, Р), ни функции
£(о>), которая задает случайную величину. В этом слу-
чае предполагается, что существует какое-то вероят-
ностное пространство (Q, Р), на котором можно оп-
ределить функцию £ = 5(со) так, что табл. 2 будет за-
давать ее закон распределения. Выбор вероятностного
пространства каждый раз определяется существом за-
дачи или простотой получающейся схемы. Простейшим
вероятностным пространством, связанным с законом
распределения (5), будет множество элементарных со-
бытий П={х),х2.......хь} с элементарными вероят-
ностями р(х,) — pt. Случайная величина £ определяется
тогда функцией g(x,) = xi.
Закон распределения индикатора 1а события А оп-
ределяется табл. 3. Каждой случайной величине соот-
ветствует закон распределения. Один и тот же закон
Таблица 3
Закон распределения
индикатора 1А
0 1
1 - Р (4) РМ)
распределения могут иметь разные случайные вели-
чины. Например, если события Ли В разные, но
Р(Л)=Р(В), то разные случайцые величины 1л и /в
имеют один и тот же закон распределения.
Закон распределения | иногда называют кратко
просто законом или распределением. Законом распреде-
5 13 МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
46
ления случайной величины иногда называют задающую
его таблицу 2.
Примеры законов распределения.
1. Биномиальный закон иля числа успехов ц при п
независимых испытаниях в схеме Бернулли:
Р{(х = т} = Слрт(1 -рГт, m = 0,1........и
(см. §§ И и 12, пример 1).
2. Гипергеомогрическое распределение—распреде-
ление числа белых шаров £ в выборке без возвращения
объема и из урны, содержащей М' белых и N — М чер-
ных шаров, (см. § 4, пример 3 и §< 12, пример 2):
Р,{& = т) == м^~~. m = 0,1.....min (и, М).
3. Равномерное распределение на {1,2, ..., N}:
§ 13. Математическое ожидание
Пусть вероятность Р на конечном вероятностном
пространстве (й, Р) определяется с помощью эле-
ментарных вероятностей р(<о). Математическое ожидание
случайной величины £ = ((<*)) обозначается М£ и опре-
деляется как сумма
мв= Е в(®)р(®). (в)
вей
Математическое ожидание £ называют иногда средним
значением g или просто средним Из этого определе-
ния вытекают следующие свойства математического
ожидания:
1) м/х=Р(л).
В самом деле,
М/л= 2 /л(®)р(®) = S р(«) = Р (Л). (7)
вей о>гЛ
2) Аддитивность: М (£ + и) — М§ + Мп.
46 ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
Из определения М (В + т)) получаем
М(В + п) = Е №) + П (<?))/>(<*>) =
= Е 1(®)р(®)+ Е п(®)р(®)“М£4-Мп.
щей tosSl
Из свойства 2) нетрудно по индукции вывести свой-
ство конечной аддитивности математического ожидания:
M(Bi+ ... +Bn) = MBi+ ...+МВЛ. (8)
3) Для любой константы с
М(с|)^=сМ&, Мс = с.
Это свойство легко вытекает из определения МВ-
4) Если т), то МВ Mt). Если В О и МВ — 0, то
Р{В = О}=1.
Доказательство. В сумме М (В — Л) = Е (£ (®) —
СО
— г|(<о) )р(©) при В Я все слагаемые неотрицательны,
поэтому М(В-П)>О, откуда по свойствам 2) и 3) вы-
текйет МВ>Мт]. Если и МВ = 0, то при любом:
a s Q В (<о) р (®) == 0, откуда из р (®) > 0 следует В (®) = 0.
5) Математическое ожидание В выражается через
закон распределения случайной величины В формулой
MB = gxxP{B = xJ. (9)
Доказать (9) можно с помощью представления В
в виде суммы (3)
свойства аддитивности (8) и свойств 1) и 3):
к к
МВ == Et *,р U=* J,
Пусть g(x) — некоторая числовая функция. Подстав,
ляя вместо х случайную величину В> мы получаем но.
вую случайную величину T] = g(B)- Вычислить Мг\ мож.'
но или исходя из определения, или с помощью закона
5 К. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
47
распределёния т) или с помощью формулы
мп=Mg (ю=£ g (х,) р а=xj, (ю)
которая доказывается так же, как и (9). При этом надо
воспользоваться равенством
* “= 1
Полагая g(g) = gn, мы получаем из (10):
k
Mg't=£x?P{g = xi}.
Математическое ожидание Mg" называется п-м момен-
том (или моментом п-го порядка) случайной вели-
чины | (или ее закона распределения). Абсолютным
п-м моментом называется M[gF. Обозначим Mg = a.
Центральным моментомп-го порядка называется M(g—а)л,
а абсолютным центральным моментом, п-го порядка —
M|g —а|". ,
Центральный момент второго порядка называется
дисперсией случайной величины и обозначается Dg =
=M(g —а)2. Корень квадратный д/О&из дисперсии на-
зывается средним квадратическим отклонением (или
иногда стандартным отклонением).
Дисперсия обладает следующими свойствами:
1) Dg = Mg2-(Mg)2.
Доказательство. Имеем Dg = M(g — Mg)2=
= М (g2-2М (| • Mg) + (Mg)2) = Mg2-2 . Mg • Mg + (Mg)2 =»
= Mg2-(Mg)2.
2) Dg^sO u Dg = O тогда и только тогда, когда су-
ществует такая константа с, что Р {g = с} = 1.
Следует из свойства 4) математического ожидания,
так как Dg — М (g — Mg)2 и (g — Mg)2 > 0.
3) Для любой константы с
D(cg) = c2Dg, D(g + c) —Dg.
Следует из определения и свойства 3) математиче-
ского ожидания.
Многие известные в анализе неравенства для сумм
и интегралов широко применяются в теории верояг-
48
ГЛ 3 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
ностей, причем в этих неравенствах используется поня-
тие математического ожидания. Приведем Здесь некото-
рые из этих неравенств.
Неравенство Йенсена. Если числовая функ-
ция g(x) выпукла, то для любой случайной величины с
(И)
Доказательство. Если g(x) имеет производные
g', g", то из выпуклости g следует, что в любой точке х
g"(x) 0. Поэтому при любом а
g®>g(a) + g'(a)(& — a). (12)
Полагая в (12)а = М£и беря математическое ожидание
от обеих частей, получаем (11). В общем случае вместо
(12) надо воспользоваться тем, что для любой выпук-
лой функции g(x) и любой точки а найдется такая коп-
станта С, что для всех х
g(x)>g(a) + C(x-а). (13)
Функция g(x), определенная на интервале (с, d), где
—оо с < d оо, называется выпуклой (или выпуклой вниз),
если для любых Xt, Хг е (с, d) и любого 0 0 1 выполняется
неравенство
g (0xt + (1 — 0) х2) < 0Х (xi) + (1 — 0) g (х2). (14)
Пусть g — выпуклая функция и ag(c, d). Возьмем любые Xi, х2,
удовлетворяющие неравенствам с < xt < а < х2 < d. Покажем, что
для них
g (xi) — g (а) g (x2) — g(a) I
Xt — а ''' х2 — а,‘ ' °'
Нетрудно проверить, что неравенство (15) равносильно (14), если
о х2 — а , а a — Xt „
положить в нем 0 =-----, 1—0 =------Из (15) вытекает
Х2 — X] Х2 — Xt
существование такой константы С, что
sup inf
jfj<a Jfi — Д ^2 — &
а это равносильно утверждению (13).
Неравенство Ляпунова. Для любых положи-
тельных a < р
(М| I Г)’/а<(М| £ I*)'*. (16)
§ J3. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
49
Для доказательства надо применить к выпуклой
функции g(x)=x&/a и случайной величине |g[“ нера-
венство Йенсена (11).
Неравенство , Коши — Буняковского. Для
любых двух случайных величин g, г)
IM^|<VMs2-Mt]2. (17)
Доказательство. Для любых чисел х, у по свой-
ству 4) математического ожидания М (х? + ул)2 О-
Отсюда следует, что квадратичная формула х2М£2 +
+ 2хуМ£л + у2Мл2 неотрицательно определена,, а сле-
довательно, ее дискриминант неположителен: (М£л)2 —
-Mg2Mn2<0.
Статистическое истолкование математического ожи-
дания. Пусть в некоторой лотерее имеется один выиг-
рыш, размер которого случаен и равен или Xi, или
х2, ..., или хк. Если лотерея проводится N раз, причем
раз выпадает выигрыш xt, N = М -|- N2 + • • + Nk,
то Ni/N есть относительная частота выигрыша Х(, а
k
х =i— средний выигрыш на одну лотерею.
i = i
Если £ —случайная величина, равная размеру выигрыша
в одной лотерее, то из статистической устойчивости
частот следует -у-Р {£ ^xj, поэтому средний выиг-
рыш х колеблется около М£:
k fe
х=4 х - Z =х^=№
«-j
Механическая интерпретация и Dg. Интерпрети-
руем наглядно закон распределения как расположение
на прямой в точках xt < х2 <...< xft точечных масс
к к
ph р2, pk, У, Pi = 1. В этом случае М£ = £ xiPt есть
i=i t=-i
к
центр тяжести, Щ = У, pt (xt — М|)2 — момент инерции
масс pi относительно центра тяжести. Таким образом,
Mt характеризует место, вокруг которого группируются
50
ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
массы ph а Щ- степень разбросанности масс pt около
М£. J
Вероятность суммы событий. Вычислим от обеих час»
тей равенства (2) математическое ожидание и восполь*
зуемся его аддитивностью. Полунаем
р(0^=£Р№)- X Р(4^)+ '
+ I Р(Да1ЛЛз)-... + (-1Г“,Р(Л[Л2...А).
1<Л1 < fej <kt<n
(18)
С помощью (18) можно вычислять р(и Л^.
Пример 3. Размещение частиц по ячейкам. Пусть'
имеется N ячеек, в которые независимо друг от друга
размещаются п частиц. Каждая частица с вероятностью
}/N может лопасть в любую фиксированную ячейку»
Обозначим через jxo число пустых ячеек после такого
размещения. Вычислим вероятность Р{ц0 = О}. Введем
случайные события Л.-, полагая, что А, произошло тогда
и только тогда, когда i-я ячейка пустая. Тогда {р0 > 0}=»
«= U Л,, и мы можем применить (18). Поскольку
Р(Л0 = (1 Р(Л{Л/)^(1 -4)"
и, вообще,
Р(ЛА--Ч)=(1-4)‘.
то из (18) следует
м
Р(1*о>О}==£с£(-1)*-1(1 - А)"
А-1
ИЛИ
Р(Ио-о) = 1-р{Ио>б} = £с*н-1)*(1 -4Г-
л-о
§ 14. Многомерные законы распределения
Пусть на конечном вероятностном пространстве
(Q, st, Р) заданы случайные величины £ == g((o), т| =
==T)((e). Пусть х1г .... —все возможные значения
5 14. МНОГОМЕРНЫЕ ЗАКОНЫ РАСПРЕДЕЛЕНИЯ
51
........ — все возможные значения tj. Как мы уже
знаем, с помощью вероятностей Р {£ = xj и P{n = 4U
определяются законы распределения случайных вели-
чин £ и т):
Pfc(B) = Paefi}= Z P{l = xJ,
' (19)
Pn(B) = P{riefi}= Е Р{П = ^},
где В—любое числовое множество. Совместным рас-
пределением случайных величин q, или законом их
совместного распределения, мы будем называть вероя:-
ность Р{(£, определенную для всех множеств
Таблица 4
Двумерный закон распределения
Pi Pi Ут
*1 Р11 Pl2 . . • Pim
Хц Р11 Р22 * « • Pim
• •
• •
• •
хь Pk\ Pkl • • • Pkm
В точек плоскости (х, у) и обозначаемую PSn(B). Со*
вместное распределение можно задать с помощью на*
бора вероятностей
РЙ-х», Чв%}> /==1...........k> /=1, ...» m,
полагая Р {(£, т]) е В) = Е Р {£“•**. '4 = У/}. Если
обозначить рц^Р (1 = х{, yt}, то совместное рас-
пределение g, t] можно задать с помощью табл. 4, в KO-
ft т
торой все и Е Е Ра — 1 • Любая таблица такого
£=11-1
вида задает некоторый закон совместного распределе*
иия пары случайных величин, который мы иногда будем
52
ГЛ S СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХГ.ЧЛ)
называть двумерным законом распределения,. или дву-
мерным распределением. Иногда двумерным законом
распределения мы будем называть просто табл. 4. За-
коны распределения (19) отдельных случайных вели-
чин £ и г) будем называть одномерными.
Пара случайных величин g, г] порождает разбиение
состоящее из событий
Ац = {а>: Е(®) = xh п(“) = «//}, /= 1. = 1,....т.
Это разбиение, а также порожденную им алгебру
Гудем называть порожденными парой тр Любое собы-
'те Ле представимо в виде 4 = {и: (£ (и), т] (со) )е
се В}, где В— некоторое множество точек плоскости.
И, наоборот, любое событие этого вида принадлежит
Нетрудно видеть, что алгебры и порож-
денные случайными величинами | и t] соответственно,
есть подалгебры причем алгебра «5$^ порождена
объединением алгебр и <р£л. Если {41;} составляют
разбиение a^n и
т Ъ
4ь = X Ац, A.i — Ац,
/=1
то {4;.} образуют разбиение aj, а {4./} — разбиение
ап. Из двумерного закона распределения можно полу-
чить одномерные законы распределения для £
т
Р {Е — Х J = Р{ , = X Рц
и для q
k
р{п = р/} = р./ = Хр//,
I * 1
которые иногда называют маргинальными законами
первоначального двумерного распределения.
Аналогична для п случайных величин g2, ...» Еп
определяется n-мерный закон распределения ... । (В)=
= Р {(li, • • Ея) В}', где В — множество точек «-мер-
ного пространства Rn. Этот закон можно задать веро-
ятностями
Р{Е( = ХуР i— 1,.... п} = Р/(/2(20)
§ 15. НЕЗАВИСИМОСТЬ СЛУЧАЙНЫХ ВЕЛИЧИН
53
ГДе , Pij2-in 1 И Xil <Х,'2< •••
...< Х/J — значения, которые принимает случайная
величина £г. Совокупность случайных величин gi, £2» • • •. ё,*
порождает разбиение %£2...5Я» состоящее из событий
вида л/172..-/„==:{®: В((®) = х(7., t= 1, и алгебру
состоящую из событий вида {(^.........%п) В},
где В — подмножество «-мерного пространства Rn.
Так же, как в двумерном случае, по «-мерному за-
кону (20) определяются маргинальные одномерные, дву-
мерные и т. п. законы распределения, например,
PUi = ^i/}= Е Рц,...1 •
В...in 112 1п
Р{£1~ ХН> &2~X2j} Е Piii3 !„’
I И' •••’ >п
Так же, как и в случае одной случайной величины, мы
часто будем считать, что случайные величины gIt £2, ••
..., заданы, если задан их «-мерный закон распреде-
ления (20). В э^ом случае всегда можно построить та-
кое конечное вероятностное пространство (Q, s&, Р), на
котором можно определить случайные величины ^i, g2,
...,£„ так, чтобы их «-мерное распределение совпа-
дало с (20). Например, мы можем положить Q = {®}, где
(0=(х1л, ..., хя/я), 1 </<<£, и Р(®) = Р/1/2.../я-
Иногда п случайных величин g2, •••> tn мы будем
трактовать как компоненты случайного вектора £ =
= (£ь £2, •••,£/>) • Распределением случайного вектора
| будет «-мерное распределение Р {£ е В} — У P{s = x},
хеВ
где В — множество точек «-мерного пространства, х —
= (х,.....хп)—возможные векторные значения слу-
чайного вектора £.
§ 15. Независимость случайных величин
В общем случае одномерные законы распределения
не определяют многомерного закона. Однако в важном
случае независимых случайных величин по одномерным
54
ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМ'.)
законам распределения однозначно восстанавливаются
многомерные распределения.
Определение 1. Случайные величины
..., называются независимыми, если порожденные
ими алгебры
.............................
независимы.
Поскольку каждая из алгебр .s/g. состоит из собы*
тий вида {£,е В}, где Вс/?1, то данное выше опре-
деление эквивалентно следующему: случайные величины
£1, •••, независимы, если для любых числовых мно-
жеств Bi
11
PfoeB,, .... (21)
>=i
Из теоремы 6 в § 10 следует, что независимость алгебр
.......равносильна независимости порождающих
их разбиений а^, ..., а^. Это приводит еще к одному
эквивалентному определению независимости: случайные
величины .....независимы, если для любых х1;-, ...
п
Р {£1 = Х1Ц> • • • > £п ~хп/а) — П Р {?£ = *//(}•
Теорема 1. Если случайные величины g2, . • •. 5»
независимы, a gi(x)—числовые функции, то случайные
величины Т)1 = £1(^1), П2 = й’2(^), ..., Пл = gn(In) так-
же независимы.
Доказательство. Так как имеет место включе-
ние s/gi то утверждение сразу следует из оп-
ределения I.
Определение независимости (21) можно распростра-
нить на случайные векторы h — ....^Г/), компо-
ненты которых являются случайными величинами. Для
этого надо потребовать, чтобы равенство (21) выполня-
лось для любых множеств Bt s Rr‘ из г/-мериого евкли-
дова пространства. Для таких независимых случайных
векторов тоже будет справедлива теорема, аналогичная
теореме 1, если gi(x)—функции, отображающие Rrt и
#S/> И/ — в^мерные случайные векторы.
§ IS. НЕЗАВИСИМОСТЬ СЛУЧАЙНЫХ ВЕЛИЧИН
55
Мультипликативное свойство математических ожи-
даний.
Теорема 2. Если случайные величины gi, £2, ...
>,., In независимы, то
М^..4»=ПМ5(. (22)
/=1
Доказательство. Докажем (22) сначала для
двух случайных величин. Пусть g, ц независимы, и
ft m
Z=XxJai> n = XUilBr
где X[ С X2 <Z . X/г, y\ <Z У2 С • • • Ут- Отсюда
получаем, в силу аддитивности математического ожи-
дания:
к т km
бП = Е Е Xtyjlji B , Msr]= Е Е-^У/РИА)-
i=l1-1 11
Из независимости g, п следует Р (AZB/) = Р (AJ Р (ВД
поэтому
Mgn == Еар (А) Е у/Р А) = Mg • мп.
<-1 /=1
Общий случай можно доказать по индукции, если по-
ложить g = gi ... ёп-i, п = g« и воспользоваться неза-
висимостью g и ту
Из мультипликативного свойства (22) следует адди-
тивное свойство дисперсий.
Теорема 3. Если случайные величины gb g2, ...
,.., g„ независимы, то
D(gj + ... + g„) = Dg1 + ... + Dgn. > (23)
Доказательство. Докажем (23) для двух неза-
висимых случайных величин g и г). Общий случай по-
лучается по индукции. Имеем D(g + ц)= M[(g + п) —
- М (Нп)Р = М [(Ь Mg) + (n - Мп)]’ = М (g - Mg)2 +
+ М(п— Mn)24-2M(g— Mg)(n — Мп). Так как g, п не-
зависимы, то g— Mg и п ~ Мп также независимы.
Поэтому М (g — Mg) (п — Мп) — М (g — Mg) • М (п — Мп)-
Отсюда следует утверждение, так как М (g — Mg) =»
«=Mg—Mg = O.
56
ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
§ 16. Евклидово пространство случайных величин
Геометрическая интерпретация. Пусть пространство
элементарных событий Q={co} состоит нз п элементов
(Oi, о)2, ..., о)«. Тогда каждой случайной величине £ =
= £(о)) можно поставить в соответствие n-мерный век-
, тор £ = (£(©,), ..,,£(©„)). Если
ввести скалярное произведение
/& п) = £ £ (®) п (®) р (®) = М£п>
Q -----
норму ||£|| = V(|, £) и расстояние
Рис. 9. Проекция £ иа
прямую констант /0. = д/М (g - Т])2 = И £ ~ П ц,
то множество всех случайных величин, определенных на
вероятностном пространстве (й, «$/, Р), можно рассмат-
ривать как ц-мерное евклидово пространство.
Определим в этом пространстве прямую констант
/о={£: £(®i) = ё(®2) = =^(соп)}. Спроектируем -
на прямую /о, т. е. найдем такую константу т\ е /о> что
d(g, = min d (g, c).
Так как при любой константе
М (£ - с)2 = М (£ - М£)2 + (Mg - с)2> D|,
то /nj=Mg и d(g, /n$)=VD|. Таким образом, про-
екция g на прямую констант /0 — это математическое
ожидание М£, и£—Mg ортогонально /0 (ортогональность
мы будем обозначать знаком ±, так что в нашем слу-
чае |.L/о), поскольку (g— Mg,l)=O. Расстояние
g от /о равно среднему квадратическому отклонению
(см. рис. 9).
Рассмотрим две случайные величины | и t|. Пола-
гая g = Mg + gp П=Мц + п1, найдем косинус угла <р51Ч1
между gf и Пй
coscp ’ --<ЬП.) М(|-М3)(п-.М^ (24)Г,
§ 16. ЕВКЛИДОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 57
Этот косинус носит название коэффициента корреляции
между | и г] и обозначается p(g,T])- Числитель справа
в (24) носит название ковариации между £ и т] и обо-
значается
Cov(L п) = М(|-МЮ(П-Мп). (25)
Из (24) и (25) имеем
Coy (g, ч)
VDg- Dtj
Из неравенства Коши—Буняковского Mgj •
следует, что всегда | р (g, i))|^l,. Если случайные вели-
чины g и т) независимы,
то Cov(g, т]) = 0 (так как
covg, п)=ма-мю (п-
-Mn)=M(g-Mg)- м(п-
—Мц)=0), следовательно,
и р (g ,п) = 0. Если р (L п)=:
= 0, то gt ± Л1 и случай-
ные величины | и, л на-
зываются некоррелирован-
ными. Из определения
коэффициента корреляции
CtjCl2 О
Рис. 10. Проекция д па плоскость
(g, /о).
вытекает, что прн
P(ai£ + ₽i> а2П + ₽2) = у^| •-|^j-pU> П).
Спроектируем вектор г] на плоскость, в которой лежат
/о и g Проекция т] = ag + Р определяется константами
аир (см. рис. 10), при которых г] — а? — Р ± 1 и
т) —ag — р ± g, т. е.
M(n-ag-p)- 1=0,
М(т)-а£-р).&=0.
Это приводит к системе линейных уравнений относи*
тельно аир:
а*М^ + Р=Мт],
a-Mg2 + p-Mg = Mln-
58
ГЛ 3 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
Решая эту систему, получаем
Mgr) —Ms'Mn ffjcr ст,,
а —---z------— = р р — .
Mg2 — (Mgr а| Oj
_Mn_p Ml
где ст? = Dg, c2 — Qr|, p = p(g, ц). Таким образом, для
проекции п получаем выражение
П = Мп + р^-а-МЕ), (26)
называемое уравнением регрессии ц на £.' Формула (26)
дает линейное относительно £ выражение т), для кото-
рого М (ц — fj)2 —min. Вычислим э го расстояние:
</2(П- f])= М(п — f|)2= м(п — Мц — р ^-(s — Ms)) =»
- м (п - мп)2 + р2 4 м (в - мв)2 -
ai
-2р^М(В-М*)(П -Мп) =
= стп + РЧ ~ 2Рстп = % (1 ~ Р?)-
Полученное выражение ст2(1—р2) носит название оста-
точной дисперсии. Если р2 == 1, то М (п — п)2 = 0 и ц = т)
с вероятностью 1, т. е. с вероятностью 1 в этом случае
В и п линейно связаны:
п — мп __ * ~ Mg
Ял Р <4
Таким образом, коэффициент корреляции р=р(В, п)
является мерой зависимости между £ и ц. Если f и ц
независимы, то р = 0; если же р2 = 1, то § и г) зави-
симы Друг от друга линейно, причем при р «= 1 ц моно-
тонно возрастает вместе с g, а при р = —1—убывает.
Если случайные величины *i, ..., зависимы, то
при вычислении дисперсии их суммы можно пользо-
ваться следующей теоремой.
§ »7. УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
59
Теорема 4. Имеет место формула
0(5,4-... -bU=£Dgfc4-2 £ Соу(5ьЕг).
*=1 1<к<Кп
Доказательство. Докажем теорему для сум-
мы 5 4- *1- Общий случай доказывается аналогично,
Имеем
D (5 4- п) = М ((5 — М5) 4- (п - Мп))2 =
= М (5 - М|)2 4- М (п - Мп)2 4- 2М (5 - М5) (п - М п) =
= D54-Dn4-2Cov(5, п).
§ 17. Условные математические ожидания
Вернемся к понятию условной вероятности. Пусть
дано разбиение
а: Л, 4- ••• 4~ Ля = Q, (27)
причем Р(Лл)>0 для всех k. Относительно каждого
события Ак из разбиения и любого события В <= st
можно образовать условную вероятность Р(В|ЛЛ)==
— / • Пусть st (а) — алгебра событий, порожден-
ная разбиением (27). Определим условную вероятность
Р (В | st- (а)) относительно st (а) как случайную величину,
Таблица 5
Закон распределения условной вероятности
Значения Р (В | si- (а)) Р(В|4() Р(ВМ2) . . . Р (В 1 Л„)
Вероятности Р(Л.) Р(Л2) Р(Л,)
которая принимает значение Р (В | Ак) при ю е Ак. Закон!
распределения этой случайной величины Р(В 1^(«й
определяется таблицей 5.
Правую часть формулы полной вероятности
Р(В)=£Р(Л*)Р(В|ЛЛ)
60 ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА!
можно теперь трактовать как математическое ожидание
MP(B|j^(a)) случайной величины P(B|j/(a)).
Пусть разбиение определяется случайной величи-
ной g: Ак = {% = хк}. Обозначим st* алгебру, порожден-
ную ё. Условная вероятность Р(В I-s?£g) в этом случае
есть функция от значений £, и мы обозначаем ее Р(В| g),
а ее значение — через P(B|£ = xfe).
Предположим теперь, что Bi = {t\ = yi}, /=1, ...
..., т, образуют разбиение, порожденное случайной ве-
личиной г]. Условным законом распределения ц при за-
данном значении g = х* назовем набор условных ве-
роятностей
Р {*) = Уг IЕ = **} = —-p-ff = х У *** ’ Z=1..т’
r xkl
условным математическим ожиданием т| при заданном
значении g = хк будет тогда сумма
m
М {Г]| 5 = Хк} = у{р {г| = yt 11 = Хк} =
m
Е ^р{п=уг. £ = М
--р^>—• <28>
Мы можем считать М (я I £ = *&} значениями случайной
величины М(т]|£), являющейся функцией от £ и равной
М{ч|£ = х*} при £ = хк. Случайную величину
будем называть условным математическим ожиданием
при заданном g. От этой случайной величины можно вы-
числить математическое ожидание
п
М [М 011 £)] = У Р {g = X*} М {n | g = хк}. (29)
А=1
Теорема 5. Имеет место равенство
М[М01Ю] = Мт1.
(30)
§ 18. НЕРАВЕНСТВО ЧЕБЫШЕВА. ЗАКОН БОЛЬШИХ ЧИСЕЛ 61
Доказательство. Подставляя в (29) значения
условных математических ожиданий (28), имеем
М [М (п 15)1 = £ Р и = xk} М 01|£ = xk} =
fe» 1
= £ £ #/Р{п = иi, в = = £ yiP (n = yi} = Мп-
k=u=i . i=i
Теорема доказана.
Пример 4. Пусть 0, 62, .... ^ — случайные ве.
личины, имеющие одинаковые математические ожида-
ния М£ь a v — независимая от них случайная величина,
принимающая целые неотрицательные значения. Опре-
делим сумму случайного числа случайных величин nv =
gi + ... + gv при v 1, nv = 0 при v = 0. Тог*да
Mnv = M?/*Mv. Эта формула доказывается с помощью
(30). Имеем при любом v = n:
М {nv I * = п} = М (51 + • • • + U = н • Mg,,
т. е. М {nv Iv) — v • M5i- Отсюда получаем
Mnv-M[M(nvlv)l = Mv. M5i.’
§ 18. Неравенство Чебышева. Закон больших чисел
Следующие два неравенства носят название нера-
венства Чебышева.
Теорема 6. Для любого х > 0 имеют место нера-
венства-.
Р {I В 1>*} < (31)
Р{Ц-М51>х}<-5|. (32)
Доказательство. Вычисляя математическое
ожидание от обеих частей неравенства
I »1 = 15 1^{щ>Х) +1 В l^{iu<x) «=* *1 Щ1>хр
получаем
М|5|>хМ/{И|>х) =хР{1В1>4
62
ГЛ. 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
Неравенство (32) получается из первого неравенства,
если его применить к случайной величине tj = (£—• MS)2
и воспользоваться тем, что Mi] = Dg. Теорема доказана.
Неравенство Чебышева (32) показывает, что при ма-
лой дисперсии DS, с вероятностью, близкой к 1, случай-
ная величина £ концентрируется около математического
ожидания MS:
P{fg - msi <х} > 1 - £1. (зз)
Неравенство Чебышева позволяет просто доказывать не-
которые предельные соотношения, в которых участвуют
последовательности независимых случайных величин g,;.
В рассматриваемой в этой главе конечной схеме мы
имеем право лишь утверждать, что любое конечное мно-
жество случайных величин может быть определено на
одном вероятностном пространстве. В доказываемых
ниже теоремах 7 и 8 мы полагаем, что цри каждом п
случайные величины gi, определены иа некото-
ром конечном вероятностном пространстве (Л,г, Р„),
причем при каждом фиксированном k < п случайная
величина имеет распределение вероятностей, не за-
висящее от п. Вообще говоря, любую последователь-
ность независимых случайный величин £„ можно опре-
делить на одном бесконечном вероятностном простран-
стве. Данные ниже доказательства теорем 7 и 8 имеют
общий характер и не зависят от конечности рассматри-
ваемой схемы.
Теорема 7. (Теорема Чебышева.) Если |2.
независимы и существует такая константа с > О, что
DSn с, п — 1, 2, ..., то при любом 8 > О
lim р{|.1)+ +gn
П->оо I I П
М&1 +
(34)
Доказательство. Обозначим £п = Si +' • • + S.-i
и применим к £п/п неравенство (33). Имеем при лю-
бом х > 0:
(35)
§ IS. НЕРАВЕНСТВО ЧЕБЫШЕВА. ЗАКОН БОЛЬШИХ ЧИСЕЛ ©Э
п
так как У, Щ4<пс (см. теорему 4). Из (35) при
л-i
п -> оо имеем (34).
Следствие. Если &, ... независимы и одина-
ково распределены, М£„ = а, D£n = ст2 < оо, то при любом
х> О
Предельные утверждения типа (34) и (36) носят иа-
звание закона больших чисел. Закон больших чисел
утверждает, что с вероятностью, приближающейся при
п->оо к 1, среднее арифметическое сумм независимых
слагаемых при определенных условиях становится близ-
ким к константе.
Из (36) получаем закон больших чисел в схеме Бер-
нулли.
Теорема 8. (Теорема Бернулли.) Пусть — чис-
ло успехов при п испытаниях в схеме Бернулли с ве-
роятностью 0 < р < 1 в каждом испытании. Тогда при
любом х > О
Нт Р(| —-р|<х| = 1. (37)
I I п I J
Доказательство. Мы можем представить
в виде суммы независимых слагаемых + /. + £п,
где g,= 1, если при i-м испытании произошел успех, и
= 0 в противоположном случае. Поскольку Mg; = р,
D^ = p(l —р), то к цп = gi+ ... +£п применимо
следствие (36). Теорема доказана.
Соотношение (37) показывает, что при больших п
разность между относительной частотой р„/п и вероят-
ностью успеха мала с вероятностью, близкой к 1. В ус-
ловиях, когда справедливо свойство устойчивости час-
тот, можно применять следующий принцип: при единич-
ном испытании маловероятное событие практически не-
возможно. Считая серию в п испытаний в схеме Бер-
нулли за единичное испытание и выбирая х таким,
чтобы = было мадо, мы можем утверждать,
что неравенство [цп/п— р|>х практически невозможно.
Вопрос о том, какие вероятности считать малыми, зави-
сит от конкретной прикладной задачи,
С4 ГЛ- 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (КОНЕЧНАЯ СХЕМА)
Задачи
1. Из 28 костей домино случайно выбирается одна. Найти за-
кон распределения суммы очков на половинках этой костн. (Кость
домино — это прямоугольник, разделенный на две части. Каждая из
частей помечена одной из цифр 0, 1,2^ 3, 4, 5, 6. Все 28 комбинаций
пар (£, /), 0 i 6, составляют набор костей домино.)
1 л
2. Найти закон распределения случайной величины ri = sin— g,
где 5 — число очков, выпадающее прн бросании игральной кости.
3. Найти математическое ожидание Mg и дисперсию Dg:
а) биномиального распределения Р (g == т] ~ C'[lpm (I — р)'1'"1,
т = 0, ..., п,
б) гипергеометрического распределения
z-mz-n-m
P{g = m} =-----------, т =0, I, .mm (п, А4):
CN
в) равномерного распределения на {I, 2, .К}
P{g = m)=-^-, т—\, .... N.
. , / 1 2 ... п \
4. Из множества всех п! подстановок I ) слу-
\ X} Х2 ... Х„ /
чайно и равновероятно выбирается одна. Найти вероятнбсть того,
что Xk =/= k при всех 1 si k >i.
5. Если p(g, T]) — 0, то g и 1] не обязательно независимы. По-
строить пример.
6. Найти Mgf, Dg/ и Cov (g/, gy) в полиномиальном распределении
о . п! т, т,
Р & = .. ., gr = mJ =—,-—7Р1 1 • • • Р/.
при целых неотрицательных /п; + ... ^-тг = п н P{gi=mi,...
.... g, — т,} = 0 в остальных случаях.
7. Из чисел 0000, 0001. 9999 случайно и равновероятно
выбирают число gtgagsgi. Доказать, что g< независимы, в совокуп-
ности.
8. Найти коэффициент корреляции между g и g2, если Р {g=0l =
•= 1/3, P{g=l} = l/2, P{g = -l) = (/6.
9. Бросается игральная кость. Пусть на ней выпало v очков.
После этого та же игральная кость бросается v раз. Обозначим
Г| сумму выпавшего числа очков в этих v бросаниях кости. Най-
ти Мц.
10. а) Показать, что при любом х > 0 найдется , такая случай-
ная величина g, для которой М | g | х и неравенство (31) превра;
щается в равенство, б) Аналогичное утверждение справедливо и
для неравенства (32), ио в этом случае надо полагать Dg^x2.
11. Пользуясь неравенством Чебышева, оценить вероятность
того, что при 1000 бросаниях монеты число выпадений герба ц бу-
дет заключено между 450 н 550.
Глава 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
В СХЕМЕ БЕРНУЛЛИ
§ 19. Биномиальное распределение
Биномиальное распределение числа успехов ц при п
независимых испытаниях в схеме Бернулли с вербят-
ностью успеха р в каждом испытании задается вероят-
ностями
= = m = 0, 1.....n; 7 = 1 — р. (I)
Формула (1) записывается достаточно компактно и про-
сто, однако использование ее для вычисления вербят-
ностей Р {ц = т} при больших значениях пит вызы-
вает значительные трудности. При очень больших зна-
чениях п и т можно производить вычисления на бы-
стродействующей ЭВМ. Но и в этом случае при состав-
лении программы надо учитывать то обстоятельство, что
очень большие числа, возникающие при вычислении С™,
приходится множить на очень малые числа pmqn~m. При
этом надо следить, чтобы промежуточные численные ре-
зультаты не выходили за диапазон допустимых зна-
чений.
Таблицы для вероятностей Cnpmqn~m громоздки и
очень неудобны для пользования, так как содержат три
входа (п, р и т). Еще хуже дело обстоит с вычисле-
нием вероятностей
; (2)
, m—mi
которые зависят уже от четырех параметров: п, р, т\
| И Ш2-
I Поскольку схема независимых испытаний служит ве-
роятностной моделью многих реальных случайных яв-
лений, представляет значительный интерес задача о на*
, хождении асимптотических формул, позволяющих при*
f
3 Б. А. Севастьянов
66
ГЛ. 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ В СХЕМЕ БЕРНУЛЛИ
ближенно вычислять вероятности (1) и (2) при боль-
ших значениях п, т, пц, m2. Такие формулы дают нам
предельные теоремы.
§ 20. Теорема Пуассона
Рассмотрим сначала случай больших п и малых р.
Теорема 1. (Теорема Пуассона.) Если п-*оо и
p-*Q так, что пр’-* а,' то для любого фиксированного
m = 0, 1, ...
m
= = (3)
Доказательство. Утверждение (3) сразу выте-
кает из равенства
Р(р = т) =
О Ч) О
если учесть, что при л->оо, пр-* а предел (1—р)п ра-
вен е~а.
Можно показать, что в предельном соотношении (3)'
имеет место следующая оценка:
m 2
Р = — ~^е-° а —пр. (4)
Мы докажем более сильное утверждение в более общей
схеме независимых испытаний. Рассмотрим п независи-
мых испытаний с разными вероятностями успеха в раз-
ных испытаниях. Обозначим pi вероятность успеха, qi ==>
«= 1 — pi — вероятность неуспеха в i-м испытании. Обо-
значим распределение ц— числа успехов при п испы-
таниях— через
Р {ц = m} = Рп(т) = Рп(т; рь рп). (5)
Такую схему независимых испытаний с разными Pi на-
зывают схемой Пуассона. Схема Пуассона при р< s р
превращается в схему Бернулли, Вероятности Р{ц = г.}
§ 20. ТЕОРЕМА ПУАССОНА
67
в схеме Пуассона не записываются в компактном виде,
аналогичном (1). Например,
Р {М = 0} = qtf2 ...qn,
р{ц=1}=р^2... qn-YqxPiq3 • • • Чп+ • • • +?i?2 • qn-ipn.
р {ц = п] = Plp2 ... рп,
Р{р = т} = 0 при т < 0 и т > п.
Обозначим
т
П(т, п)=—ре“а. (6)
Имеет место
Теорема 2. В схеме Пуассона для любого нату-
рального п, любых вероятностей р1г р2, ..., рп « лю-
бого числового множества В имеет место неравенство
|Р{ц€=В}- Е П(т, а)1<Е р} , (7)
I теВ | (=1
где а — pi 4-р2-\- Ч- Рп-
Доказательств р. Формула (6) задает вероят-
ности П(т, а) более общего, чем мы рассматривали до
сих пор, распределения Пуассона, имеющего положи*
тельные вероятности при m—0, 1, 2, ... такие, что
Е П(т, а)=1. Докажем, что левая часть неравен*
т=0
ства (7) не превосходит Vn, где
I I ОС
j'n=4 У । рн(т’ Ро • • • > Рп) — п а) I-
т=0
Разобьем все неотрицательные целые числа т на два
множества. Положим т е В+, если Рп(т) > П(т,а), и
т е В" в остальных случаях. Обозначим
Е+= Е (РМ-Щт, а)),
те=В +
Е = Е (Р« ("») - П (т, а)).
maB~
3*
68
ГЛ. 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ В СХЕМЕ БЕРНУЛЛИ
Так как £ Рп(т) = S П(т, а)= 1, то
т т
0=Z(Pn(m)~n(m, a)) = S + 4-S~
tn
И
a)l=£+-
т
С другой стороны, для любого числового множества В
имеем
|Ея(/’„(/п)-П(т, й))|<
< шах | £ (Рп (т) — П (т, а)), £ (Рп (т) —
I теВЦВ’’’ теЛПВ"
— П(т, <Ч)|}<£ + -=^.
Итак, для доказательства (7) нам достаточно доказать,
что
1
п
K,<U '»>
1 = 1
Проведем доказательство по индукции. При п — 1 и
Pi — р имеем
|Р,(0; р) —П(0; р)| = е-Р + р_1,
|Р((1; р) — П(1; р)\ = р — ре~р,
] Pi(m‘, р) — П(т; р)\=-~е~Р, т^2,
откуда получаем
со
У, I Pi (т; р) —П(/и, р)| =
т=0
✓ 00 м. Ч
1 / - —- ш \
= 2-( ~ 1 + р + е~Р + р-ре~р+ У 4ге ) =
X т = 2 /
= р(1-е-₽)<р2, (9)
так как 0^1—при х>0.
$ 20. ТЕОРЕМА ПУАССОНА
69
Далее воспользуемся тем, что по формуле полной
вероятности
Pn (пт, рг, ...,Рп) = Pn_i (т\ .... р„_,) Pi (0; рп) +
+ 1; pi.......pn-i)P(l; Рп) =
= ipn-i(m-k)Pi(k-t рп\ (10)
А=0
и при любых а1^0, а2^0
П(/п, а, + а2) — У, П(т — k, а1)П(/г, а2). (11)
&=о
п п
Обозначим Предпдложим, что
Ип-1<4-1- (12)
Применяя формулы (9) —(12), оценим Vn:
оо 1
= 4 £|Р„(т)-п(>п, ап)| =
т=0
= 4Х Y^Pn-^tц~k^P^k', Рп1~
k
т
— ]?П(т — k, an_i)Xl(k, рп)
к
оо т
<4 Е Е|Р'-*(т“й)“П(т-^, а„-1)1Л(£; Рп) +
т“0 й“0
оо т
+ 4 £ £п(/и-6, an_i)\Pi(k-, pn)-n(k, р„)\^
т“0 ft=o
п-1
Теорема доказана.
Следствие. В схеме Бернулли при любых пир
Р{цеВ}- П((п, а) <,п^ = -~-,
теВ
где а — пр.
70
ГЛ. 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ В СХЕМЕ БЕРНУЛЛИ
§ 21. Локальная предельная теорема
Муавра — Лапласа
Биномиальное распределение (1) случайной вели-
чины р имеет Мц = пр и Dp. = (см. задачу 3 вгл.З).
Обозначим a = '\Jnpq среднее квадратическое отклоне-
ние. Доказываемая ниже теорема дает асимптотическую
формулу для биномиальной вероятности (1) при р, не
близких к 0 или 1.
Теорема 3. (Локальная предельная теорема Муав-
ра — Лапласа.) Если в схеме Бернулли а = -\/npq -> оо,
то для любого.ОЪ равномерно по всем |х| С вида
m — пр
х = ———, где m — целые неотрицательные числа,
pl = +о(1))_ (13)
(. ynpq J о
Доказательство. Пусть m — пр + ха. Оценим
логарифм вероятности
равный
log Р {р = пг} = log п\ — log ml — log (n — m)I +
+ tn log p + (n — m) log q.
Воспользуемся асимптотической при n -> оо формулой
Стирлинга
log nl = п log п 4- log д/2лл — п + 0П,
где 0П — Обозначим k = п —- m = nq — ха. Из
условия теорему следует, что т = пр (1 + — )-> ос,
fe = m?(l—£2-)->оо, поэтому можно применить фор-
мулу Стирлинга для оценки lognl, log ml, log k\. Имеем
log P {p = m} = n log n — tn log m — ftlog^ +
4-mlogp4-Alog<7 + ^log 2^ + ert-em-0fr. (14)
5 22. ИНТЕГРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 71
Так как log -^log-^-log (1 + Л£)-log (1 —^-)=
= 210g 1 + 0(4),
4‘ + v)
= 0(£)’ 7 = 0(^)- lo£(l + e)=O(e), e->0, то из
(14) получаем
log P {p = m} =
= — mlog —----k log — + log—7==-+o(—)• (15)
np nq <r V2n \ <r /
Далее, из (15) следует
log p {p = пг) = — (пр + xa)Jog (1 + —
— (nq — ха)log(1 — —) + log—=
\ а / a у 2л ха /
- log —- (np + xa) + 0 (4)) -
а -\/2л \ a 2<j2 \ a3 //
+ о (^.)) +о (I) -
что и доказывает асимптотическую формулу (13).
§ 22. Интегральная предельная теорема
Муавра — Лапласа
Для приближенного вычисления вероятностей P{mi^
р гп2} можно применять следующую теорему.
Теорема 4. (Интегральная предельная теорема
Муавра — Лапласа.) При о = -y/npq ->оо равномерно по
оо^а<6<^оо
Ъ х?
pfa< ---2 Дх->0. (16)
1, у npq ) у 2л J
1 “
Доказательство. Предположим сначала, что
| а | sgj С, fb | С. Пусть mt —] пр-±-а л]npq [, т2 =
— \пр + b *Jnpq ], где ]х[ —такое наименьшее целое
72
ГЛ. 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ В СХЕМЕ БЕРНУЛЛИ
число, что х ] х [, а [х] — такое наибольшее
число,, что [х]^х. Тогда
целое
(17)
mj
У Р {И = т}.
Р{а
и - "Р <• /,
yjnpq
Обозначим m — np-srXm'\/npq, тогда Дхт = хт+1 —
— хт=1/а. По локальной предельной теореме запи-
шем (17) в виде
2
тп2 хт
, I
(18)
Справа в (18) стоит интегральная сумма, сходящаяся
Ь х2
равномерно по а и b при о -> оо к интегралу
2
е dx\
отсюда получаем утверждение (16), когда
|6|^С.
Снимем теперь ограничение | а | С, | b | С. Обо-
о и — пр ..
значим g . Имеем равенство
р {Ш> С}= I - р {| |<С).
Как известно из анализа,
1
д/2л
dx= 1,
поэтому
с
1 г
-\/2л J
-с
- —
е 2 dx — I
dx.
Из (19) и (20) получаем
5 23. ПРИМЕНЕНИЯ ПРЕДЕЛЬНЫХ ТЕОРЕМ
73
Пусть задано е > 0. Тогда найдется такое С, что
х>
2
g
8
I
*211
(22)
е
что доказанному найдется
Зафиксируем его. По только
такое п\> что для всех п tii
1
g
8 *
С х2
е 2 dx
-с
откуда, в силу (21) и (22), для тех же п п.\ имеем
p{i^i>c}<4- (23)
[а, &] и обозначим
Берем теперь любой интервал [а,&] и обозначим
[4,B] = [fl,b]f)I—С, С]. Так как — С<Д<В<С,то,
как мы уже доказали, существует
п щ имеет место неравенство
А
2
4з неравенства
, ь
Р {Sn g= [а, 6]}--( е
V2n J
а
такое «2* что для всех
X'
(24)
х»
2 dx
х2
2
dx+ Р{&„е[4, В]}
+ ~т=- \ е
д/2л J
jx |> С
получаем, в '
= тах(П1,П2)
в х!
1 С " 2 ,
==- \ е dx
2л J
А
силу (22)— (24), что при п п0
ь
Р{£пе=[а, 6]}--^=- Je 2 dx <е
а
равномерно по всем а Ь. Теорема доказана.
§ 23. Применения предельных теорем
Предельйые теоремы Пуассона и Муавра—Лапласа
применяются для приближенного вычисления вероят-
ностей Р {|х = tn} и Р{/П1^р^т2} в схеме Бернулли
74
ГЛ. 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ В СХЕМЕ БЕРНУЛЛИ
при больших п. Приближение, даваемое теоремой Пуас-
сона, называется пуассоновским. Приближение, полу-
чаемое с помощью теорем Муавра— Лапласа, назы-
вается нормальным, так как функция ,L_ е 2 есть
-у2л
плотность нормального распределения (см. § ЗГ). Для
распределения Пуассона и интеграла
х _ ц»
Фв (х) - - - ( е 2 du, (25)
д/2л у
о ,
называемого интегралом Лапласа, имеются таблицы.
Пусть, например, нам нужно вычислить вероятность
P{^i Ц в схеме Бернулли с п независимыми
испытаниями и с вероятностью успеха р. Вычислим
.1111—пр ш.2—пр „
Хт, =*---р--, Хт. ==-r==r~ И положим
ynpq ynpq
ХШ2 X*
I Г —2*
Р {m, < ц < m2) ~ \ е dx = Фо (хт:) — Фу (xntl).
у 2JT J
При этом мы допускаем некоторую погрешность. Мож-
но оценить эту погрешность, но точная ее оценка очень
сложна, а более простые оценки слишком грубы. Эту
погрешность можно значительно уменьшить, если в прз»
вой части приближенного равенства немного изменить
пределы интегрирования, полагая
Р {/а, <р < т2) ~ Ф0 (х№+1/г) - Ф0(хЯ1_1/2), (27)
Г ПР Y -- /Иа + 1/2 — пр - __ пц- 1/2 —пр
гДе V+./2 у— •
Из табл. 6 видно, что приближенная формула (27)
дает значения вероятностей Р {mi ’С ш2) с точ-
ностью до трех-четырех знаков после запятой даже при
п порядка нескольких сотен. Обычно применяемая фор-
мула (26) такой точности не дает,
§ 23. ПРИМЕНЕНИЯ ПРЕДЕЛЬНЫХ 1т6РЕМ
75
Таблица 6
1 т\ m2 Точное значение по формуле <2) Нормальное приближение по формуле (26) Уточненное нормальное приближение по формуле {27)
га=100; / 7=0,5
40 60 0,9648 0,9545 0,9643
45 55 0,7287 0,6827 0,7287
55 65 0,1832 0,1573 0,1831
п — 300; ; = 0,5
135 165 0,9267 0,9167 0,9265
140 160 0,7747 0,7518 0,7747
160 180 0,1861 0,1238 0,1361
п = 500; р=О,5
230 270 0,9334 0,9264 0,9333
240 260 0,6523 0,6289 0,6523
260 280 0,1950 0,1819 0,1946
п = 1000; р =0,5
470 530 0,9463 0,9422 0,9463
530 560 0,03095 0,02882 0,03097
п —100; р = 0,25
15 35 0,9852 0.9791 0,9845
20 30 0,7967 0,7518 0,7960
30 40 0,1492 0,1238 0,1492
п = 300; р = 0,25
60 70 0,9615 0,9545 0,9612
70 80 0,5366 0,4950 0,5366
80 90 0,2510 0,2297 0,2545
п = 500: р = 0,25
105 145 0,9659 0,9611 0,9658
115 135 0,7219 0,6983 0,7218
135 155 0,1621 0,1499 0,1624
ТП2
Значения вероятностей Р fml «Ср < т2) = С^рт(1-р)п~т
m-mi
в схеме Бернулли.
76
ГЛ. 4. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ В СХЕМЕ БЕРНУЛЛИ
Задачи
I. В большом городе в год рождается 20 000 детей. Считая ве-
роятность рождения мальчика р = 0,51, найти такое число t, чтобы
с вероятностью 0,99 можно было утверждать, что среди рожденных
в течение года в этом городе детей число мальчиков превышает
число девочек не менее чем на t.
2. Сколько надо произвести бросаний правильной монеты, чтобы
с вероятностью 0,99 относительная частота выпадения герба отлича-
лась от 1/2 не более чем на 0,01?
3. В таблице случайных чисел каждая Цифра появляется неза-
висимо от других с вероятностью 1/10. Сколько надо набрать таких
случайных чисел, чтобы с вероятностью 0,999 среди них появилось
не менее 100 нулей?
4. В большом юроде в среднем в течение одного дневного часа
поступает один вызов на скорую помощь. С какой вероятностью за
3 дневных часа поступит более 10 вызовов?
5. Какова вероятность, что в группе, состоящей из 30 студентов,
никто Не родился в январе месяце? Вычислить эту вероятность по
точной формуле н по пуассоновскому приближению.
Глава 5. ЦЕПИ МАРКОВА
§ 24. Марковская зависимость испытаний
Очень часто реальные случайные явления можно
изучать с помощью следующей модели. Пусть состояние
некоторой системы описывается точкой фазового про-
странства E — {ei,e2, ..., ег}. В дальнейшем точки из
Е будем обозначать просто числами 1, 2, .... г. Пред-
положим, что время t дискретно и принимает значения
t = 0, 1, 2, ..., Т. Эволюция изучаемой системы опи-
сывается траекторией со = (w0, ыг), где <&t=i,
если в момент t система находится в состояние I. В опи-
сываемом случае вероятностное пространство (Q, Р)
определяется пространством траекторий Й={со}, алгеб-
рой всевозможных подмножеств й и вероятностью
Р, задаваемой элементарйымй вероятностями р(ы). Со-
бытия Л,(/) = {«: он = i}, i = 1, ..., г, при каждом t
определяют разбиение at, которое порождает алгебру
событий Исходя из принятой нами в § 11 термино-
логии, мы будем говорить, что
.9/0, •^2, • • •» (1)
есть последовательность случайных испытаний.
В § 11 мы описали модель последовательности неза-
висимых испытаний. В 1907 г. А. А. Марков ввел такой
класс зависимых испытаний (1), который может слу-
жить моделью многих случайных явлений. Этот класс
впоследствии изучался очень интенсивно и привел к
сильно продвинутой в настоящее время теории марков-
ских процессов. Простейшая модель марковского про-
цесса— цепь Маркова — определяется следующим обра-
зом. В последовательности испытаний (1) зафиксируем
какой-нибудь момент времени t. Алгебру событий j/t
назовем настоящим, алгебру ^-1, порожденную алгеб-
рами л/о, .... ^/-i, назовем прошлым, алгебру
78
ГЛ. О. ЦрПИ МАРКОВА
событий s^t+i, порожденную алгебрами ...,
будущим. Любое событие из также назовем про-
шлым, из — будущим, из — настоящим. Напри-
мер, событие {со: найдется такое k, что t<Lk<iT и
<0* = ®4+i} принадлежит будущему, а событие {а>: для
всех k, 0 k < t, ¥= г) - прошлому.
Определение 1. Последовательность испытаний
(1) мы будем называть цепью Маркова, если при любом
фиксированном настоящем »t = k прошлое •5^о’~1 и бу-
дущее независимы, т. е. для любых
/ = 1, 2, ..Т~ 1, Иез/о'1, Ве^Г+1
Р {АВ | ©, = 6} = Р {Л | = k) Р {В| at = &}. (2)
Поскольку из определения условных вероятностей
следует, что для любых событий А, В, С с Р (АС) > О
Р(ЛВ]С) .
Р(Л|С) Р(о|ЛС),
то условие (2) равносильно условию ,,
Р{В|В/ = Й, Л} = Р(В|В< = А|. (3)
§ 25. Переходные вероятности
Вычислим вероятность того’ что траектория <о —
;=(®о, ®1, со?) равна (i9, *(, ..., iT). Для этого вос-
пользуемся введенными выше обозначениями Д^/) —
=~ {<о: о); = ;} и теоремой умножения из § 6. Имеем
Р {(0 — ((0> • • •, <г)}~
г
= Р(А/о(0))ЦР(А1/<0 |Л4о<О) Аг,(1) •••
41з условия (3) получаем для цепей Маркова
р(л./(ом<е(о)д<1(1)... д<<_1а-1))=
х=Р(л</(01Л<_1^-0),
поэтому (4) запишется проще:
Р Л, • • •'» М}=Р (Л. (0)) Д Р(/Ц(/) IА^, (t - !)).
(5)
§ 25. ПЕРЕХОДНОЕ ВЕРОЯТНОСТИ
79
В дальнейшем мы будем рассматривать (Однородные
цепи Маркова, в которых условные вероятности
Р(Л/(/)|Л;(/-1)) = р,7,
называемое переходными вероятностями, не зависят от
I. Таким образом, чтобы вычислить вероятность любой
траектории со в цепи Маркова, достаточно задать на-
чальное распределение pt (0) = Р (Л,- (0)) и матрицу пе-
реходных вероятностей
Рп рп • • • Pir
Р21 Р22 • • • Р2Г
Р -— ........
РП Рп • • • Ргг
Вероятность (5) записывается тогда так:
' т
Р{® = (4, »!,...,/?)}= р<о(О)Д^_^. (7) •
1“ 1
Элементы матрицы переходных вероятностей обладают
следующими свойствами:
Ро>0> (8)
/“I
Любая квадратная матрица (6), элементы которой удов-
летворяют условиям (8), называется стохастической.
Введем переходные вероятности за t шагов:
Ро(0 = РМ/(* + 8)|Л;(8)}.
Матрица
Р(/) = 11р0(/)11
I также будет стохастической. Переходные вероятности
I удовлетворяют при любых целых t > 0, s > 0 уравне-
нию
i1 г
Pi,(t + Pik^Pbjls). (9)
< Это уравнение выводится с помощью формулы полной
J вероятности
I М/ + з) = Р(Л^+я)|А<(0)) =
) =Ер(Л(^ + ^МАО)^^»Р(лН5)М.(0)).
a *-i
80
ГЛ. 5. ЦЕПИ МАРКОВА
Так как Р (Л, (/ + s) | Д; (0) (s)) = Р (A}(t + s) IA k(s)) в
силу марковости и Р (Aj(t + s) | Ak (s)) = Р (А, (/) |Д* (0))
в силу однородности, то отсюда получаем (9).
Уравнения (9) можно записать в матричной форме
P(/ + s) = P(/)P(s),
откуда имеем Р(/) = ^'>где Р(1) — Р — матрица (6),
Предполагая Ри(0) = дц (6,7 = 0, если »#>/,
мы распространяем уравнения (9) на случай t 0,
s > 0.
Через начальные вероятности р,(0) и переходные ве-
роятности Pu(t) мы можем выразить с помощью фор-
мулы полной вероятности распределение вероятностей
Pi (0 = Р (Л (0) при любом t:
Pi (0=Е РИО) Pkl(t). (10)
*=i
Пример 1. Блуждание с поглощением. Пусть по
точкам 0, 1, 2, ..., N прямой блуждает частица. Время
t дискретно. Если в момент t частица была в точке i.
то в следующий момент t -f- 1 она независимо от ее по-
ложений в более ранние моменты времени с вероят-
ностью ptj попадает в точку /. Если ||р(/|| задается ра-
венствами рОо = Pnn =1, pt. ж — Р, Ph ж = 1 — р.если
1 i N — 1 и pi, = 0 при | г — /1 > 1, то мы полу-
чаем цепь Маркова, которая описывает блуждание час-
тицы по целым точкам отрезка [0, У] с поглощением
на концах.
Пример 2. Блуждание с отражением. Пусть пере-
ходные вероятности pi,i+\, Рщ-\ для 1 i N—1 и
Pii для |i — /|> 1 остаются теми же самыми. Если оп-
ределить еще poo = 1 — р, poi = р, Pnn = р, Pn, n-i = 1—
— р, то полученная цепь Маркова моделирует блужда-
ние частицы по целым точкам отрезка (— —, N +
с 'отражением на концах.
§ 26. Теорема о предельных вероятностях
Теорема 1. Если при некотором to все элементы
Ру (to) матрицы PZo положительны, то существуют пре-
делы
Vim рцЧ)*^, j=l,...,r. (11)
i->oo
§ 26. ТЕОРЕМА О ПРЕДЕЛЬНЫХ ВЕРОЯТНОСТЯХ 81
Предельные вероятности р/ не зависят от начального
состояния i и являются единственным решением системы,
г Г
S *kPki ~ xi’ J • • •’ г> (12)
л=1 ' 1-1
Доказательство. Обозначим
Mj (0 = шах ри (t), mj (/) = min plt (/).
i i
Так как m,(t)^ pkj(t)^Mj(t) при любом k, то из ра-
венства
Рч (t + i) =* S pikpki (0
следует, что при всех i
m^tXpi/tt + 1)<Л1/(0.
Отсюда вытекает
1ХЛ1Д/+ l)<Af/(O.
Таким образом, при /->оо имеются пределы у последо-
вательностей mj(t) и Докажем, что эти прадеды
совпадают. Пусть i и / таковы, что Ргл(Л-^о)з=гМН^*'
-Mo), Pik(t + tQ) = mk(t + ta). Вычитая друг из друга
равенства
А4 k (t + fo) “ Pik (t + to) Pit (to) Ptk (t),
fnk (t “Ь /о)= Pik (t + 6) = S Pjl (to) Plh W.
получаем
Al ft (t + /o) — mk (t + to) = S (pH (to) — Pjl (to)) ptk (t).
Разобьем сумму справа У на сумму £+ положит^ель-
ных слагаемых и сумму S отрицательных слагаемых.
Тогда
Al* (t -1-10) — mA(t + t0) < М/, (t) £+ (pa (t0) — pn (t0)) +
i
"}-mk(t)^ (Pn(to) ~ Pn(to))- (13)
82
гл. 5. ЦЕПИ МАРКОВА
Так как 0= ^(ра (/0) - Pjl О = £+ + то £“ =
I I
= — Е+- Обозначим Е + (р«/((о)_Pji (to))=di}. Из условий
теоремы следует, что все d,/ < 1, поэтому d = max с?(/<1.
i. i
Теперь из (13) имеем
Мк{t + /0) — тк (t 4-10)<d • (Мк(/) — mk (/))
и
0 < Мк (t) - тк (I) < d^ -> 0
при /->оо. Так как pik(t)^.Mk(t), то отсюда
следует утверждение (И). Перейдем в уравнениях
Pij(t+ 1)= Е Pik(i)Pkj
k—\
к пределу по /->оо. Получаем
Pi ~~ 2С PkPkj*
k*" i
г
Кроме того, Ер/=1>т- е. предельные вероятности р/
/ = !
удовлетворяют системе (12). Предположим, что какие-
либо %], .... хг удовлетворяют (12). Тогда они при лю-
бом t удовлетворяют системе
xi = Е XkPkj (0- (14)
Это доказывается по индукции:
Г г г
fcE xkpkj (t +1) = Е хк Е рыРц (0 “
= Е (Е ри (0 = Е xtPn
/ssl \fe=l / 1
Переходя в (14) к пределу по /->«>, получаем х,=
Г *
= Е xkpt = рР Теорема доказана.
1
ЗАДАЧИ
83
Из формулы (10) следует, что в условиях теоремы!
р, при t-+oo, причем предел не. зависит от пер-
воначального распределения рДО).
Л^ожно проверить, что цепь Маркова, описывающая
блуждание с отражением в примере 2, удовлетворяет
условиям теоремы. Предельные вероятности в этом слу-
чае можнЬ найти с помощью системы уравнений (12).
Задачи
1. В урне содержится 5 шаров,, белые и черные. Испытание до-
стоит в том, что каждый раз из урны случайно вынимается один
шар и взамен в урну возвращается шар, но другого цвета (вместо
белого — черный н наоборот). Найти матрицу переходных вероятно-
стей || рц || для цепи Маркова, состояниями которой является количе-
ство белых шаров в урне. Нафр вероятности перехода за два шага
р,,(2). Найти предельные вероятности Jim p.j(t) = p..
2. Модель перемешивания колоды карт. Пусть имеется три кар-
точки с номерами 1, 2, 3. Состоянием системы назовем последова-
тельность номеров этих карточек Щ'г/з. Предположим, что переме-
шивание прдисхоДит следующим образом: с вероятностями 1/2 со-
стояние itijis переходит в hiiiz или в itisiz. Найти матрицу вероят-
ностей перехода. Найти предельные вероятности p(i рр)
3. Полагая в примере 1 § 25 N ~ 3, вычислить вероятности пе-
рехода pu(t) за t шагов и пределы iim р(-, (/) = р(,.
t -> оо
4. Пусть случ-айные величины g2, ..., независимы1 и
P{‘s=1} = P' Р{^ = 0}=1?' Р+ <?=!• Доказать, что пары
Ui> Ы. Ь)......... (?n-1, £п) Образуют цепь Маркова. Найти
Переходные вероятности этой цепи за t шагов, t = 1, 2, ...
5. Образуют ли цепь Маркова значения случайных величин
/1' = W взяты из задачи 4, если 0 < р < I?
Глава 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
(ОБЩИЙ СЛУЧАЙ)
§ 27. Случайные величины и их распределения
Пусть (Q, st, Р) — произвольное вероятностное про-
странство. Теперь уже случайной величиной мы будем
называть не любую числовую функцию £ = £(со).
Определение 1. Числовая функция £ = £(со) от
элементарного события со е Q называется случайной ве-
личиной, если для любого числа х
{£<х} = {(о: g(®)<x}s^.
(1)
Смысл этого определения состоит в следующем. По-
скольку ие любое подмножество Q является событием
и все события составляют о-алгебру подмножеств st,
то естественно рассматривать такие функции ?==^(о)),
для которых имеет смысл говорить о вероятностях попа-
дания g в достаточно простые числовые множества,
в частности, в {£^х}. Свойство (1) гарантирует, что
при любом х неравенство {£ sg х) есть событие и, сле-
довательно, имеет смысл гбворить о его вероятности.
Определение 2. Функцию
F(x) = /4(x) = P{l<x}, (2)
определенную при всех х s R, назовем функцией рас-
пределения случайной величины
С помощью распределения (2) можно выразить ве-
роятности попадания £ в различные интервалы вида
х^х^х2, Xi<x<x2, х,<х^х2, х,^х<х2. (3)
Пусть X] < х2. Тогда из разложения события {£ х2}
на сумму несовместных событий {£ ^xj 4- {х, < g х2)
следует Р (£ < х2) = Р (£ <*i) + Р {*! < t < xi} и
P(x1<g<x2) = F(x2)-F(x1). (4)
§ 27. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ 85
Событие {£ < х} можно представить как счетную сумму
несовместных событий
п-1
откуда с помощью (4) получаем:
Ре<ж)-£ P{»_^±r<5<x-±}=FU-1)+
n-I
N
+ 7й))-
— lim F (x — -y) = F (x — 0). (5)
Здесь и Далее мы будем пользоваться обозначениями
F (х — 0) = lim F («/), F (х 4- 0) = lim F (у),
у\х у;х
F(-j- оо) = lim F (у), F(—oo)= lim F (у).
у-^<х> у-Ь-оо
С помощью (3), (4) и (5) нетрудно уже йолучить ОС'
тальные случаи:
p{g = x) = F(x)-F(x-0),
P(x1<g<x2) = F(x2)-F(x1-0),
P(x1<|<x2) = F(x2-0)-F(x1),
Р (Xj < x2) = F (x2 — 0) — F (x, — 0).
Теорема 1. Функция распределения F(x) обладает
следующими свойствами;
1) F(x) не убывает,
2) F(x) непрерывна справа,
3) F(+oo)=l,
4) F(—°о) = 0. [
Доказательство. Свойство 1) следует из (4).
Свойство 2) следует из аксиомы непрерывности 4°. Так
как события Вп = { х < £ ^х 4- -jj-| | 0, то Р (В„) =
= F (х 4- — F (х) -> 0, т. е. F (х 4- 0) = F (х). Свойства
ГЛ. 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИН СЛУЧАЙ)
86
3) и 4) вытекают из аксиомы счетной аддитивности,
сю
Так как Q — У, Ап, где Л„ = {и: п — 1 т0
п«= - ОО
оо -V
1=Р(О)= £ Р(4„)= lim У Р(Л„) =
—оо N->oo n = —jV-H
= lim [F^)-F(-A')]
Л’->оо (
и, следовательно, F(oo) = lim F(N)~ 1, F (— од) —
N~>oo ,
— lim F (— AZ) = O. Теорема доказана.
N->oo
Определение 3. <т-алгебра«$ числовых множеств,
порожденная всевозможными интервалами вида xj <.
< х < х2, называется борелевской-, множества В, вхо-
дящие в SS, также называются борелевскими.
о-алгебра борелевских множеств $ содержит всевоз-
можные интервалы вида (3) с конечными и бесконеч-
ными концами, их конечные и счетные суммы, все от-
крытые и замкнутые множества. Таким образом, о-ал-
гебра множеств & достаточно богата и содержит все
числовые множества, которые нам будут необходимы.
Назовем полным прообразом при отображении g
числового множества В множество тех со, для которых
£(<о)е В. Обозначая полный прообраз В через g-’(B),
имеем (В) = {со: £(со)е В}. Из свойств полных про-
образов
£-1(0)=0, £-‘(Я) = й (R — прямая),
г1 (П Вп)= П Г'Ш г1 (У s„)= У Г<(В„),
Г1(В1\В2)=Г1(В1)-Г1(В2)
следует, что совокупность £~ЦВ) для всех борелевских
множеств Ве$ является о-алгеброй событий —
Мы будем называть о-алгеброй, порожденной слу-
чайной величиной Можно установить, что Л^ порож-
дается множествами вида {со:£(са)^х} и состоит из
событий А вида
Л = Г1(В) = {®: £(со)с=В},
§ 27. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ
87
где Вей. Ниже мы покажем, что для каждого ВеЙ
определена вероятность Р{£еВ}, которую мы будем
обозначать РЕ(Я).
Определение 4. Функция Pj(B), определенная
для всех называется распределением вероят-
ностей случайной величины
С помощью (4) — (6) можно выразить вероятность
события {|еВ} для борелевских множеств В, предста-
вимых в видё конечной суммы интервалов вида (3).
В теории меры доказывается следующая
Теорема Каратеодори. Если на алгебре «5#0
подмножеств й определена вероятность Р, удовлетво-
ряющая аксиомам Г, 2°, 3* (причем аксиома счетной
аддитивности 3* формулируется так: если попарно не-
0°
совместные Ал Е ^0' и А=У <= .$/0, то Р(А) =
п-1,
<30 I
= У, Р (А„)), то эту вероятность можно однозначно про-
гг=1
должить на все множества из и-алгебры st-, порожденной
Нетрудно впДеть, что числовые множества, состав-
ленные из конечных сумм полуинтервалов (xl,x2], обра-
зуют алгебру <%q. Эта алгебра порождает о-алгебру бо-
релевских множеств Э§. Если задана функция распре-
деления F$(x), то она удовлетворяет условиям (7).С по-
мощью формулы (4) и аксиомы аддитивности мы мо-
жем по этбй функции распределения определить зна-
чения вероятностей P5(B)=,PUeB} для всех В Е $0.
Можно доказать, что распределение вероятностен Ре (В)
ст-аддитивно на алгебре множеств Отсюда и из тео-
ремы Каратеодори следует, что с помощью функции рас-
пределения (2) мы можем получить вероятность собы-
тия {£ Е В} для любого борелевского множества Ве$.
Итак, распределение вероятностей Р$ случайной вели-
чины £ однозначно определяется функцией распреде-
ления F^.
Таким образом, каждая случайная величина £ дает
такое отображение g = множества Й в числовую
црямую R, которое порождает новое вероятностное про-
< странство (R, <&, Pj).
') См., например, Халмой П., Теория меры. — М.: ИЛ, 19аД.
88
ГЛ. 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИЙ СЛУЧАЙ)
Из равенства Р {£ = х) = F (х) — F (х — 0) следует, что
в точках разрыва функцйи F (х) имеет место Р {§ = х}>0.
Так как при каждом целом п может быть не более п
точек х с Р(^ = х)^1/п, то у функции F (х) имеется
не более счетного числа точек разрыва.
Обозначим Xi, х2, ... всё точки разрыва F$(x). Если
I I 00
вероятности Р {£ = xk} — pk таковы, что У*, pk = 1, то
й=1
мы говорим, что случайная величина g имеет дискрет-
ное распределение. Примерами дискретных распределе-
ний служат:,
1) биномиальное
Р {l = k} = Cnpk(l — р)п~к, k = 0, 0<р<1;
2) пуассоновское
P{l = k} = ^e~a, 6 = 0, 1, 2, 0<а;
3) геометрическое
P{g=6} = p(l-p)k, 6 = 0, 1, 2........0<р<1.
Мы будем говорить, что функция p(x)=pj(x)' есть
плотность распределения случайной величины £, если
ДЛЯ Любых X) < Х2
Xj
Р {*1 < £ < Х2} = $ Pl (х) dx. (8)
Х1
Из определения (8) следует:
1. Fj (х) = (х) в точках непрерывности р^(х);
2. Fj(x) = pi(u)du\
~оо
Ха
3. Fi (х2) — Fi (Xi) = pi(u)du для любых хг < х2.
*1
Если распределение имеет плотность pi(x), то мы \
будем говорить, что случайная величина £ имеет абсо- 1
лютно непрерывное распределение. Через плотность \
Pl(x) можно выразить любую вероятность Р {£ е В}, i
§ 27. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ
89
если мы умеем вычислять интеграл по области В в сле-
дующей формуле:
Р{£еВ}= \pt(x)dx. (9)
в
Для множеств В, равных сумме интервалов, интеграл (9)
вычисляется обычным способом. Для того чтобы равен-
ство (9) имело смысл при любом борелевском множе-
стве В, нам нужно обобщить понятие интеграла, пе-
рейдя от интеграла Римана к интегралу Лебега (см-
гл. 7).
Отметим, что существуют непрерывные функции рас-
пределения F(x), не имеющие плотностей. Примером
такой функции служит канторова функция F(x), кото-
рую можно определить равенствами F(x) = 0 при х^
0, F(x) = 1 при х 1 и
F(x) = yF(3x) при О^х^у. у при Т<Х<у, + у F (Зх — 2) при у<х<1.
Непрерывный функции распределения, не имеющие
плотностей, называются сингулярными. В общем случае
любая функция распределения F(x) представима в виде
F (х) = (х) + a2F2 (х) + a3F3 (х),
где at О, Я] '+ «2 + и3 = 1, F\ (х)— дискретная функ-
ция распределения, F2(x)—функция распределения,
имеющая плотность (такие функции называются абсо-
лютно непрерывными), F3(x)—сингулярная функция
распределения.
Плотность распределения р(х) обладает следующими
двумя сврйствами:
1 со
p(x)^0, p(x)dx= 1, (10)
которые легко устанавливаются из определения (8).
Функции от случайных величин. Пусть g(x) отобра-
жает действительную прямую 7? в себя. Для любого
90
ГЛ. 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИЙ СЛУЧАЙ)
В = R полный прообраз £-1(В) определяется как мно-;
жество тех точек x^R, для которых g(x)^B.
' Определение 5. Функцию g(x} назовем борелев-
ской, если для любого борелевского множества В ^35
полный прообраз g_|(B)eJ?, т. е. тоже борелевский.
К множестру борелевских функций принадлежат, в
частности, непрерывные и кусочно непрерывные функ-
ции.
Теорема 2. Если £ — случайная величина, a g(x)—
борелевская функция, то ц = g(£) есть случайная вели-
чина.
Доказательство. Рассмотрим как
сложную функцию г) = ^(^((д)). Пусть В^.%. Так как
g(x) — борелевская функция, то g~l(B)= В^ Так
как т]_| (В) = g-1 (S[)e si, то ц —случайная величина.
Рассмотрим два примера вычисления функции рас-
пределения Fn(x-) и плотности рп(х) случайной вели-
чины Т] = g(l) по функции распределения F$(x) и плот-
ности рДх).
Пример 1. Пусть функция T) = g(£) монотонно воз-
растает, g~’(x) — обратная функция. Тогда
Fn(x) = Р {n<x) = P{g(§)<x} =
= (II)
Дифференцируя (11) по х, имеем (если g(x) дифферен-
цируема и имеется плотность р$(х))
откуда получаем соотношение между плотностями:
Рт) (х) = g' (g-i PS (S 1 (•*•))•
В частности, при g(x)—x3 имеем
Р>1 W ~ q 2'3 PE
ox
Пример 2. Пусть g(x) = x2, F^(x)—‘непрерывная
функция распределения с плотностью pj(x), г] = g2.
При х > О из равенств
Рц (х) = Р {т]< х} = Р < х} =
= Р{— Vx Vx} = F{(Vx) — Ft(— -y/x )
$ 27. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ
91
получаем
Pn W = 0’S (Vх ) Н" Pi (~ Vх")) •
2-ух
Рассмотрим несколько примеров абсолютно непре-
рывных распределений.
1. Нормальное (или гауссовское') распределение.
Мы говорим, что случайная величина | имеет нор-
мальное распределение с параметрами (а, о), —оо <
< а < оо, а > 0, если она имеет плотность
(х-а)!
pt (х) = - е~ .
v ' д/2л а
Нормальное распределение с параметрами (0, 1) с плот-
ностью
X2 3
р (х) е~~
называется стандартным. Плотность р(х) удовлетворяет
условию
ОО ОО
\ p(x)dx — —т=- \ е 2 dx—1.
J д/ 2л J
— оо —оо
2. Равномерное распределение.
Мы говорим, что случайная величина £ имеет равно-
мерное распределение на отрезке [а,6], если ее плот-
ность имеет вид
{С при а^.х^.Ь,
О при х<а или х>о.
оо Ь
Из условия p(x)dx — C dx = C(b — а)= 1 следует
— оо а
с = -т-!—.
Ь — а
3. Гамма-распределение.
Распределение с плотностью
10, х < О,
92
гл. 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИЙ СЛУЧАЙ)
где а>0и1>0 - параметры, Г (а)— гамма-функция,
называется гамма-распределением.
Плотность ръ(х) са=1 называется плотностью по-
казательного распределения.
§ 28. Многомерные распределения
Часто приходится рассматривать на одном и том же
вероятностном пространстве (Q, $£, Р) несколько слу-
чайных величии g2........£п. Так как множества {gA
*4 s «5^, т. е. являются событиями, то и их Пересе-
п
чеиие П {gA xk} s Поэтому существует вероят-
ность этого события, которая называется многомерной
функцией распределения
.....1п<хп} = РЕ1 ...^(х,....х„).
Многомерную функцию распределения мы будем иногда
записывать просто F(X], ..., хп), не указывая индек-
сами £|, ..., in.
Обозначим АА1...А F(xb .... хп) разность n-го по-
рядка по аргументам Х].....хп с приращениями Ль ...
..., hn. Последовательно эти разности можно опреде-
лить следующим образом:
AA1F(xb ..., Хп) =
= Г(х1+й1, х2, .... х„) —F(xb х2.....хп),
(xi, х2, .... хл) = Aa,(AA1F(Xi.х„)) =
=F (х, + х2 + й2, х3.....хп) — F (х, + h{, х2, ..., х„)—
— F(X), х2 + й2, х3...x„) + F(xb х2.....х„),
и т. д.
В общем случае имеет место равенство
АА(... hnF (xi, ..., хп) =
= £ (_1)"+е1+-+епГ(х1+0Л, .... х„ + епЛ„),
0i..9г°
где суммирование ведется по всем 6,- = 0 и 1.
С помощью F^ ... jn(xi, ..., Хп) можно вычислить
вероятность попадания в любой прямоугольник вида
§ 28. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ
93
xi < В/ ’С Xi 4- hh i — 1, .... tv.
P {*/ < £ xi H~ * = 1> • • > n} = Ай[ ... hnF (X|, ..., x„).
(12)
Доказательство формулы (12) можно провести после-
довательно:
P{xt <£i +hi, В2О2..............In <х„} =
= Р (Bi < + й|, Ва х2, .. ., Bn
— Р{В1<ХЬ •••> Вп Хп) = A/^F^ ... ?n (•'"l, Хп),
Р {х, < В1 <*1 + hl, Х2 < В2<^+Й2, Вз <А-3> .... Вп<Х„} =
=-Р{Х] <Bi<xi 4-Л], ВгОг + йз, В3< *з, • • > 1п<хп} —
Р {х i < Bi 4" h\, В2 х2, • •., Вп хп)
= Afta(AftlF5l... 6n(xi, х2.х„)) =
= A*lfcaFjI... gn(xi, х2.хп);
и т. д.
Из формулы (12) и из определения многомерной
функции распределения F(xb ... х„) вытекают следую-
щие свойства (которые доказываются аналогично одно-
мерному случаю):
1) F(xi,X2, ...» хп) по каждому аргументу не убы-
вает и непрерывна справа-,
2) F(—оо, х2, ..., xn) = F(X[, — оо, ...х„) =
= F(xI, ..., хП-1, — оо)==0;
3) F(4- оо, -J- со, ..., -J- оо) = 1;
4) при любых hi 0, .... hn О
Aft,...ft„F(x............... х„)>0.
Здесь, как и ранее,
F(— оо, х2, • •xn)= lim F(Х(, х2, ..., хп),
Х!->~оо
F(-|-oo,x2.....хп)= lim F(xn х2..........хп).
Xi-t+oo
Любая функция F(х„ ..., хп), удовлетворяющая свой-
ствам 1)—4), есть многомерная функция распределения
некоторых Bi, •••> Bn- Пример функции
(0 при х1 + *2<1,
1 (#1> Х2) — 1 t .
(. 1 при X] Х2 1,
94
ГЛ 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИЙ СЛУЧАЙ)
для которой выполнены свойства 1)—3) и не выполнено
свойство 4) (так как АИК(О, 0) = F(l, 1)— F(l,0)—
— F(0, I)-}- F(0, 0) =— 1), показывает, что свойство 4)
не вытекает из первых трех.
Из формулы (12) и свойства счетной аддитивности
вероятности следует, что
• • > xm)=Fli... in(Xl.хт, 4-оо, .... 4-оо).
Назовем ст-алгебру множеств «-мерного простран-
ства Rn, порожденную всевозможными «-мерными пря;
моугольниками вида а, < b2, i = 1, ,. ., п, боре-
левской и будем ее обозначать &п. Множества из
также будем называть борелевскими. Как это было и
в одномерном случае, многомерная функция распреде-
ления (xi, хя) позволяет нам при помощи
формулы (12) вычислять вероятности событий вида
g е В, где £ = (£[, ..., £я), В — прямоугольники и ко-
нечные их суммы. Аналогично тому, как мы это делали
в § 27, доказывается, что с помощью таких вероятностей
однозначно определяется вероятность события ЕеВ
для всех В^93п. События {и: |(®)еВ}„ где В^£".
образуют er-подалгебру <т-алгебры Мы бу-
дем называть ,.дн о-алгеброй, порожденной слу-
чайными величинами gi, .... g^. Функция Pj (В)=Р {£е
е В}, определенная для всех В е <%п, называется
п-мерным распределением вероятностей случайного век«
тора £ = (£1,
Дискретное многомерное распределение задается ко-
нечным или счетным набором значений х = (Х[, ..., хг.)
п неотрицательных р(х) с £р(х)=1. Вероятность
X
Р^(В)== Pf:sB) определяются в этом случае как
Ё Р(х).
х е В
Другой частный случай дают распределения с плот-
ностью. Многомерной плотностью распределения Pj(x),
х ==(%[, ,х„) называется такая функция, что
PE(B) = P{^eB) = Jpl(x)dx, (13)
в
где справа стоит «-мерный интеграл по области В. Ин-
тегралу справа можно придать смысл при любом Be
S 2в. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ
95
е поэтому формула (13), вообще говоря, действует
при всех В (= ^п. Из определения плотности р (х) сле-
дуют ее свойства:
00
p(x)>0, j p(x)dx — j ... j p(x)dx = 1. (14)
*-00
Функция p(x)’, удовлетворяющая (14), может быть
плотностью некоторого распределения.
Из определения плотности вытекают следующие ее
связи с функцией распределения:
... • • •> хп) =
Х1 хп
= ^ ... Ps,...^^!........un)dui ... dtin>
— oe — оо
р(%1, ....
dnF (xi....х„)
dxi ... дхп
В точках непрерывности х = (Х[, х„) плотности
p(xi,x2, .... хп) имеет место равенство
РUi <<xt + &.xt, i=l, ...,«} =
= p(x,, ..., xJAx, ... Ax„ 4-o(Ax, ... Дх„),
maxAx/->0.
i
Примером многомерной плотности служит плотность
р (х) равномерного распределения иа области S S Ra
конечного n-мериого объема |S| , задаваемая равен-
ствами
, \ I tV пРи х е S’
IS|
I 0 при x&S.
Вероятность Р {£ е В} в этом случае определяется от-
ношением объемов и S:
P(|e=B) = Hj|L.
По- этой формуле вычисляются так называемые геомет*
рические вероятности (см, § 5).
96
ГЛ, 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИЙ СЛУЧАЙ)
§•29. Независимость случайных величин
Случайные величины ..., называются не-
зависимыми, если независимы порожденные ими о-ал-
гебры
....
Это определение эквивалентно тому, что для любых
В, е Я
п
P{lieBI.......(15)
Z=1
Частным случаем (15) является равенство
7\...?n(xi....xn) = Fs,(xi) ... Fjn(xn), (16)
справедливое при всех х„ Из (16) нетрудно установить,
что при всех Xi и /г, > О
п
л (Xi, ..., хп) = П khfti (хг), (17)
что эквивалентно (15) для Bi = (xi, Xi -J- hi]. Как уже
отмечалось выше, значения вероятности на . всех интер-
валах однозначно определяют ее на борелевских мно-
жествах, поэтому из справедливости (17) вытекаетспра-
ведливость (15) для любых В/Таким образом, ра-
венства (16) или (17) можно взять за определение не-
зависимости случайных величин gi, .... £п.
Если случайные величины дискретны, то из (17) сле-
дует, что за определение независимости в этом случае
можно принять равенство
1 I п
P{L = 4, i = 1, .... «} = ПР{1= = 4 (18)
i = l
справедливые при всех возможных х,. Для распределе-
ний с плотностью p^...5n(xi, .... хп) за определение
независимости можно взять равенство
... 1п (Х1, • • •, Х,г) = (xi) ... Р1п (хп), (19)
так как из (19), в силу (13), вытекает (15), а из (17)
следует (19).
§ 29. НЕЗАВИСИМОСТЬ СЛУЧАЙНЫХ ВЕЛИЧИН
97
Если gi, независимы и gi(x)—борелевские
функции, то случайные величины .... gn(t,n)
также независимы, так как s£gi (j.j s
Аналогично можно определить независимость векто-
ров £, = 0^» как независимость порожденных
ими о-алгебр
^2, .... ^п,
где = ...$.г . Иначе это определение можно
записать в виде равенства
п
Р&еВ,., i=l, ..., п} = П Р & <= Bi},
i = l
справедливого для любых борелевских Анало-
гично, если |1, .. , Zn независимы, gt(x)—борелевские
функции, отображающие 7?Г/ в 7?s‘, то векторы gi(£i),
gs(b). •••, £„(£n) также независимы.
Формула композиции. Пусть £ и ц — независимые
случайные величины, р%, рп — их плотности. Плртность
совместного их распределения равна Р\х\(х,у) =
= Ръ(х)рц(у). Функция распределения суммы + п
равна следующему интегралу:
Л+г) (г) = Р R + П < г} = jj pj(x)pn(z/)dxdy. (20)
X+y^Z
Интеграл в (20) можно вычислять как повторный (для
непрерывных плотностей — это факт из анализа, в об-
щем случае—следствие теоремы Фубини, доказываемой
в теории интеграла Лебега), поэтому
СО Z — X оо
fUn(2')= $ Pi(x}dx j p^{y)dy= Fn(z—x)p5(x)dx=
— ОО — ОО — 00
00 Z 2 оо
= J Р^х) $ р^у — x)dydx~ J dy J Р%(х) Pli(y—x)dx
— оо 00 — 00 — 00 I
Формулы
I 00
^+n(z)= $ F1i(z — x)pi(x)dx 4
4 Б. А. Севастьянов
98
ГЛ. 6. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИЙ СЛУЧАЙ|
И
во
Р{+Т)(2)= 5 PtMp^(z — x)dx
—оо
носят название формул композиции или свертки. С по-
мощью их мы выражаем плотность pt+n(z)' и функцию
распределения Fg+4(z) суммы независимых случайных
величин через плотности и функции распределения сла-
гаемых.
Пример 3. Пусть £ и т] независимы, Fj (*)’—* функ-
ция распределения а т] имеет плотность
, . ( V-’— Для
(.0 в остальных случаях.
Применяя формулу композиции, имеем
оо Ь
Л+п(2) = $ А(2 — х)ръ(х)с1х = -^^ jFs(z-x)dx,
— оо а
откуда получаем, делая в интеграле замену г— х = и\
я-а
= $ Ft (u) du.
Z—b
Отсюда следует существование плотности
(х - а) - (г — Ь)
Р5+»)(2)— Ъ — а
Задачи
1. На прямоугольнике 0 х < а, 0 у с равномерным
распределением случайно берется точка (х, у}. Найти функцию
распределения и плотность площади £ прямоугольника с верши-
нами (0, 0), (0, у), (х, 0), (х, у).
2. На отрезке [0, /] независимо друг от друга берутся две слу-
чайные точки с равномерным распределением. Найти функцию рас-
пределения F(x) и плотность р(х) расстояния между ними.
3. Пусть случайные величины Ь с функциями распределения
Л(х) независимы. Найти функции распределения а) шах{£.. ^};
б) min{{ji, ..., £„}.
4. Пусть случайные величины £i, независимы и одинаково
распределены с функцией распределения F(x) в плотностью р(х).
Упорядочив их по возрастанию, образуем «вариационный» ряд
ЗАДАЧИ
99
g, i, ^12, -й ... Нанти плотность распределения £,{k) и дву-
мерную плотность распределения £(*> и g(;>, k < /.
5. На прямоугольнике 0<^x^a, Q^.y^.b случайно с равно-
мерным распределением берется точка. Доказать, что ее коорди-
наты (g, г|) независимы.
6. На круге х2 у- R - с равномерным распределением слу-
чайно берется точка. Показать, что ее координаты (g, т|) зависимы.
7. Найти плотность распределения суммы gi + g2 независимых
случайных величин, если их плотности р, ^=}e~Kixt х ^>о,
/’5/ (а) =0, х < 0.
8. Найти плотность распределения р„(х) суммы gi + ... + g«
независимых случайных, величин, каждая из которых имеет плот-
ность Хе~Кх, х^О.
9. Случайные величины gi, g2 независимы и имеют плотность е-*,
х 0. Найти функцию распределения г) = —дЦ— .
4*
Глава 7 МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
§ 30. Определение математического ожидания
Математическое ожидание случайной величины
£ = £((!)), заданной на вероятностном пространстве
(Q, si-, Р), определяется последовательно сначала для
простых случайных величин, затем для неотрицатель-
ных случайных величин и, наконец, в общем случае.
I. Мы будем называть случайную величину £ про-
стой, если она представима в виде
т
g = (со), (1)
/-1 ’
где события At, А2, .... Ат составляют разбиение, т. е.
т ।
AiAj = 0 при i =А= / и X Л; = £2. Для простой случайной
<=1
величины (1) определяется равенством
т
М£=£хуР(Лу).
/-1
II. Для неотрицательной случайной величины £ ма-
тематическое ожидание определяется как предел
Mg=limMgn (2)
гг->оо
(конечный или бесконечный), где gn(co)f £(ю) для каж-
дого шей, — последовательность простых случай-
ных величин.
III. В общем случае любая случайная величина £
однозначно представима в виде
где = Г = 1111{ко}. Полагаем
M£ = Ms+-Mr, (3)
§ 30. ОПРЕДЕЛЕНИЕ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ, НИ
если правая часть равенства (3) имеет смысл, т. е. если
Mg+ и Mg" не равны оо одновременно. Если Mg+ =
= Mg~ = оо, то мы говорим, что Mg не существует.
Если Mg+ = oo, Mg" < оо, то полагаем Mg = oo. Если
Mg“ = °°, Mg+< ос, то полагаем Mg = —
Определенное выше математическое ожидание Mg
обладает следующими свойствами.
1°. Свойство линейности.
Пусть Mg, Мп и Mg + Мп существуют и с — константа.
Тогда
М (g 4- И) = Mg + Мп, M(cg) = cMg.
2. Свойство положительности.
Если g 0, то и М; 0. Если Mg и Мп существуют
и g>n. т0 Mg> Мп-
3°. Свойство конечности.
Если Mg конечно, то и М|g | конечно. Если | g|П
и Мп конечно, то Mg конечно. Если Mg и Мп конечны,
то М (g + и) конечно.
Эти свойства мы докажем ниже параллельно с дока-
зательством корректности определения математического
ожидания. Здесь лишь заметим, что Mg всегда 'сущест-
вует и конечно, когда g —простая, и Mg существует для
всех неотрицательных g. И, наконец, заметим, что свой-
ство 3° вытекает из определения Mg=Mg+—Mg", M|g| =
= Mg+ + Mg- и из свойств 1° и 2°.
Корректность определения М|. Для того чтобы дан-
ное выше определение Mg было настоящим определе-
нием, нам надо убедиться в его корректности, т. е. не-
зависимости Mg от представления (1) простой случай-
ной величины g и независимости предела (2) от выбора
последовательности простых случайных величин gn f g.
I. Простые случайные величины.
Пусть имеется два представления одной и той же
случайной величины
m п
g=S-V//A/ = S Уь1вк, (4)
где {ДД й {BJ — разбиения. Поскольку
fe— I
m
при каждом / и В1=^ЛД при каждом k и для
/-1
102
ГЛ. 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
®<=лулв* В(®) = Ху = г/А, то
Ж = Е хуР (Ду) = Е S х? (А}Вк)=
/ = 1 / = 1 А-1
= Е Е^р(Л/В4)=Е^р(вд
fc-i j-i ,, k-i
Доказательство свойств.
Г. Пусть случайные величины £ и т] представимы
в виде (4). Так как {Л;5*}, / = 1> •••» т'> k —
= 1....п, — разбиение и для сое Л/В* 5(®)_+.л(®)=;
= Ху + ук, ТО
т п
откуда следует
М а + п) = Е Е (-V/ + Уk) Р (ЛуВ*) = Е/у 2 Р (А,Вк) +
+ Е Ук Е Р (л,вА) = Е Х/Р (Лу) + Е ykP (в*)=М£+Мть
Ы j-i j-l fe-1
«
Если £ представимо в виде (1), то cg= Е cxjlAt и
М(<ф = с1№.
2°. Если 5^0, то в (1) все Х/^0, поэтому М^^О.
Если то g = n + (5 —П) и М; = Мт] + М (£ — п)>
Мп, так как из £ — т]в>0 следует М(£ —п)^0-
II. Неотрицательные случайные величины.
Если £ 0, то всегда существует последователь'
иость неотрицательных простых £„ таких, что ^л(со)| £(<о)
при любом шей. За такую последовательность можно
взять, например,
п1П
Нетрудно видеть, что 0 sg £ и при £(ю) С «
U®)<M«>) + 4r-
следовательно, (со) f £ (ш) Для любого шей.
5 30. ОПРЕДЕЛЕНИЕ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ
103
Покажем теперь, что для любых двух последова-
тельностей 0 g„ f g, 0 т]ь 11) простых случайных ве-
личин
lim Mg„ = lim MiV (6)
П->со П-»оо
Докажем сначала лемму.
Лемма 1. Пусть т] и %п —простые неотрицатель-
ные случайные величины и g„ f g т]. Тогда
lim Mgn> Мд.
п->оо
Доказательство. Пусть е > 0. Обозначим Ап —
= {со; g„ (©) г] (<о) — е}. Тогда Ап | 0 при и->оо, сле-
довательно, Р(Л„)|0. Далее, из очевидных неравенств
g '_>g 1. >(п — с)/. —и — е/, —nl-r
®п дя V I I Дп I Ап I Ап
и свойства 2° математического ожидания
М?„>Мд-еР(Л„)-СР(Д„),
где число с выбрано так, чтобы т](со)^ с при любом
io e=Q. Имеем
—е —сР(А„),
а так как Р(ДП)|О, то
lim Mg,, > Мд — 8
Я->оо
при любом е > 0. Поскольку 8 произвольно, то отсюда
получаем доказыйаемое неравенство.
Используем теперь это неравенство для доказатель-
ства (6). Пусть g„fg, ЛгЛ? —Две последовательности
простых случайных величин. Зафиксируем m и применим
к g„tg^4m лемму. Получаем lim Mgrt^MT].„, откуда
п->оо
следует lim Mgn^ lim Мпп. Меняя местами g„ и т)^,
Л->оо п-»оо
приходим к равенству (6).
Доказательство свойств.
1°. Пусть 0<g„tg, 0<пЛп- Тогда £„ + иЛ£ + П
и по определению
М (g + д) — lim М (In + П«) = lim Mgn + lim Mn„ =
tl-Too П->оо
= Mg + Мп-
104
ГЛ. 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
Если g 0 и с 0, то из g„ f g следует с£п f eg и
М (с%) = lim М (с%п) = с lim Mgn = cMg.
2°. Из 0 g„ f g следует 0 Mgn f Mg. Если £ л. то
из g = л + (g — л) вытекает Mg = Мл + М (g — Л) Мл-
3°. При g^O имеем |g| = g и M|g|=Mg. Если
0 ^g л и Мл < °°> то из Mg Мл следует Mg <
III. Общий случай.
Так как разложение g = g+— g- единственно, то ма-
тематическое ожидание Mg = Mg+— Mg- определяется
однозначно, если оно существует.
Доказательство свойств.
1°. Из g = g+ — g-' следует с% — с%+ — eg- для с > 0
и cl — | с | g- — | с | g+ для с < 0. Отсюда М (eg) — eMg. До-
кажем теперь свойство аддитивности М (g + л) = Mg +
+ Мл- Заметим прежде всего, что из равенства g = gt —
— g2, где gi > 0, g2 > 0, следует gi = g+ + 6, g2 = g- +,
+ 6, где 6 0. В самом деле, из равенства g — g+ —
— g~ = gi — gsr вытекает, что gi — g+ = g2 — g- > 0;
обозначая gi — g+= 6, получаем g2 = g~ + 6. Далее, из
g = gi —g2 нетрудно получить Mg=Mgi —Mg2, если
Mgi, Mg2 конечны. Поскольку g + Л = (g++ Л+)— (g- +
+ Л-)> то из только что доказанного равенства имеем
М (g + л) = М (g+4-л+) - М (g-+ г)"),
откуда уже легко следует М (g + л) = Mg + Мл- Этот
вывод справедлив, когда Mg и Мл конечны. Случай
бесконечных Mg или Мл легко анализируется отдельно.
2°. Докажем, что из ^^л и существования Mg и Мл
следует Mg Мл- Случай Мл = —оо тривиален. Пред-
положим, что Мл > —оо. Тогда в разложении g =
= л + (£— Л) можно воспользоваться аддитивностью
математического ожидания Mg = Мл + M(g — л) и нера-
венством M(g — т])^0- Получаем Mg Мл.
3°. Так как из g = g+ — g~ следует |g| = gd' + g",
то из конечности Mg следует конечность Mg+ и Mg-.
Все остальные свойства 3° проверяются просто.
Мультипликативное свойство.
Теорема 1. Если g и л независимы и имеют конеч-
ные математические ожидания Mg и Мл> то
Mgл = Mg•Mл. (7)
5 30 ОПРЕДЕЛЕНИЕ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ
1СБ
Доказательство. Пусть | и ц независимы. Если
। ГП
g и л простые и представимы в виде 1 = £ хк1Ак, л =
= где Х'<х.2< ... < хт, у{ < у, < ... <уп,
то Р (AkBi) = Р (Л*) Р (В,). Поэтому
т п т п
М^л = М Е хкУ^AkBt = ftE xk.yF ~
т п т п
=Е Е адт)Р(е=Ы(Л) Е^Р(во=м^Мл.
fe-i i-i /г-, z-i
Если неотрицательные л независимы, то простые £л =
= gn(%) и Л'» = £п('П)> построенные по формуле (5),
тоже будут независимы. Поэтому М£„лп = Mg„ • Млл-
Так как £л f g, л« t Л. то £„лл t ?Л и М£„Лп t Mgn. Таким
образом, равенство (7) доказано для неотрицательных g
и л- В общем случае g = g+ — g_, л == Л+ — Л-- Так как
g* и л~ есть функции от £ и л> то они независимы. По-
этому
М (Г - Г)(П+-Л_)=МГл+-М|+л“-МГл++МГл~ =
= Mg+ • Мл+ — Mg+ • Мл- — Mg“ • Мл+ + Mg" • Мл- —
= (МГ - МГ)(Мл+- Мл“) = м? Мл.
Теорема доказана.
Следствие 1. Если gi, ..., gn независимы и имеют
конечные математические ожидания, то М&! .. Лл *=
= Mgr ... - Mgn.
Доказывается по индукции.
Интеграл Лебега. Данное нами определение мате-
матического ожидания есть не что иное, как инте-
грал Лебега от функции g = g(co) по вероятностной
мере Р. Для такого интеграла используют обозначения
g(со) dP (со), J g (со) Р (dco), ^ g(co)dp, ^gdP, причем при
Ц Q Q и
интегрировании по всему пространству Q иногда вместо
пишут просто . Интеграл Лебега по множеству
S2
100
ГЛ 7. МАТЕМАТИЧЕСКОЕ ОЖ! !,Т. М И1Г
Лес/ определяется как интеграл от g/д. т. е.
( g dP = j Е/д dP.
А --
Рассмотрим вероятностное пространство (R, <$, РД, где
R— прямая, о? — 0-алгебра борелевскнх множеств на
р.— распределение вероятностей случайной величи-
ны Е. Интеграл Лебега g (ад dP$ (.г) от борелевской
функции g(A') иногда записывается как
j g U) dfi (a)
и называется интегралом Лебега—Стилтьеса. Здесь
функция распределения g. которая порождав!
вероятностную меру Pt
Свойства сходимости. Докажем две теоремы о пере-
ходе к пределу под знаком математического ожидания.
Теорема 2. (Теорема о монотонной сходимости.)
Если 0 Д Е. 70 liHl Mg„ = ME.
Доказательство. Так как 0 sg g„ г=Е Е, то 0 Сб
< МЕ„ < ME и
lim Mg„<-Mg. 1 (8)
tl OO
Введем простые случайные величины так что 0 =<
Еп/. f Е„ при /? - >ос. Случайные величины ip. = max g„ft
। 1 il яД k
также будут простыми. Так как
OsCn><-= max E„t< max L, fe +1 = 1U+i>
1 C ti % k I-Д. n < к с 1
то последовательность i]fc монотонно возрастает. Обозна-
чим т) предел lim i]A.. При каждом1 k i]fc поэтому
к
lim Mrpv = Mi] С lim Mb- (9)
k oc A; -> cv>
Далее, при п Сб k гр, сб ip, полагая k—><x-, имеем
c,;^r] при всех п, откуда g 1] п Mg^Mn, что вместе
с (8) и (9) доказывает теорему. ,
§ SO. ОПРЕДЕЛЕНИЕ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ 107
Следствие 2. Если ряд In состоит из неотри-
гг= 1
рательных случайных величин, то
\п-1 / п = 1
(W)
Доказательство. Последовательность т)га =
11
= S Sfe частных сумм удовлетворяет условиям тео-
А=1
ремы 2, поэтому lim Мп^ = М lim а это —другая
П-»оо П“>оо
запись равенства (10).
Следствие 3. Если Мп конечно и события Ап | 0,
то
lim М1]/лп = 0. (11)
П->оо
Доказательство. Если | Мп | < оо, то М | и I < °°-
Разложим | т] | на сумму пга + п'. где т]'п = | и 1Zj,
П„ = I ПI!ап- Тогда М) п 1 = Мп„ + Мп' и 0 «Ст\'п J | п J.
По теореме 2 lim Мп' = М| п I, поэтому lim МПп = 0.
П->оо
Из | Мп/Лп|<М| nlA4„~*0 вытекает (11).
Теорема 3. (Теорема Лебега о мажорируемой схо-
димости.) Если limtrt = ? (в каждой точке ией) и
п-+<х>
|^га|^П> еде Мп < оо, то
limMgrt=Mg. (12)
П->оо
Доказательство. При любом е > 0 последова-
тельность событий Ап = {со: sup j lm (со) — g (со) | < г} та-
, m > п
кова, что Д’ 10. В сумм? 1, = ?„7Л + 17% слагаемые
9 тЪ " ft It ** ft 9 ft
оцениваются так:
<у. +е, -<|G
откуда
£ 8 п/д ^5 + 8 + П^Д
п п п п
М1-8 -2МП/7 <М^<Мб4-8 + 2Мп/д . (13)
Лд Ct Sift
108
ГЛ. 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
Переходя в (13) к пределу по п-^оо и применяя след-
ствие 3, имеем
Mg —lim М?п^ lim М£п^М£4-е.
Поскольку 8 >> 0 произвольно, отсюда получаем (12).
§ 31. Формулы для вычисления
математического ожидания
Как мы уже отмечали в § 27, случайная величина
| = £((о), заданная на вероятностном пространстве
(Q, Р), с точки зрения ее вероятностных свойста
вполне характеризуется своим распределением вероят-
ностен Р=, поэтому ее можно рассматривать опреде-
ленной на вероятностном пространстве (R, Pj) функ-
цией g==^(.r) = x, а е У?. Отсюда можно сделать вы-
вод, что математическое ожидание М£= j £(<°)Р (^ш) на
в
самом деле не зависит от вида функции g(co), qgQ, а
зависит только от распределения вероятностей Р?. В са-
мом деле, для неотрицательных случайных величин £
имеем Mg= lim М?я, где
П-> ОО
п-2п
(14)
k-\
Эту сумму можно выразить через закон распределения
Pj:
n-2n '
MS„ = £ Azzlp{{(-^i, £]}. (15)
Л-1
Предел lim М£га в (14) мы обозначали как интеграл
оо
Лебега g (со) dP (со); тот же предел в (15) будет интег-
со
ралом Лебега j xdPj(x); который также называют ин-
fl
$ ЗЕ ФОРМУЛЫ ДЛЯ ВЫЧИСЛЕНИЯ
109
тегралом Лебега — Стилтьеса и обозначают j xdF\(x).
о
Применяя то же рассуждение к и мы получаем
выражение для £ = £+ —
I
оо
М|= J xdFitx), (16)
1 —00
зависящее только от распределения случайной вели-
чины
Если М£ конечно, то в формуле (16) мы можем по-
нимать правую часть как несобственный интеграл Ри-
мана — Стилтьеса (в этом случае он сходится абсо-
лютно) .
Интеграл Римана — Стилтьеса от g(x) на конечном отрезке
(а, Ь] по неубывающей функции F(x) с конечным изменением
F(Ь) — F (а) определяется как предел
Ь п - (
\g(x)dF (х) = lim У g(^)[F(^+1)-F (Xfe)].
где = а + - ~ ° • fe, fe = O, 1,..., п, xk< x'k^xk+i. Несоб-
ОО
ственный интеграл g (х) dF (х) определяется как предел
— ОО
Ь
lim \ g (х) dF (х). Если F (х) имеет производную р (х) и F (х") —
а-> -оо J
b ->оо <*
X*
_ F (xz) = j р (a) du Для всех а С х' < х" С Ь, то g (х) dF (х) =
Xх
= g (х) р (X) dx.
Выведем формулы, по котором вычисляются
Ml и Mg(£) для непрерывных случайных величин. z .
но
ГЛ. 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
Теорема 4. Если случайная величина g имеет плот-
ОО
ность р^(х) и | х (a) dx < ос, то
— °©
оо
Ml = Xpk(x)dx. (17)
— 00
Доказательство. Мы будем предполагать, что
плотность р5(х)ир'(л) интегрируема по Риману и спра-
ва в (17) стоит несобственный интеграл Римана (дока-
зательство остаетёй справедливым и для интеграла Ле-
бега).
Рассмотрим сначала неотрицательную случайную ве-
личину 1 с функцией распределения
Р{?<х}=^(х) =
О при х < О,
Д(0) при х = 0,
х (18)
F (0) + \ р (и) du при х > 0.
о
Обозначим Л* = | -fe 2„ 1 < 1 < } и введем
тельность простых случайных величин
последова-
К 2п {Ак‘
*=1
Тогда Ml= lim М£п. Имеем
Л->оо
п2п >Ч2п
М1„ = £ р (и) du
(й-1)/2п
и
п2П */2П
1 v' k 1 С С
хр (х) dx — \ —2?;— p(x)dxs^ xp(x)dx.
k=l (t-l)/2rt 0
s 31. ФОРМУЛЫ ДЛЯ ВЫЧИСЛЕНИЯ
111
Переходя в неравенствах
п оо
\xp(x)dx — xp(x)dx
о о
к пределу по п->оо, устанавливаем справедливость (17)
для неотрицательных случайных величии. В общем слу-
чае £=£+ — и £+ и имеют распределения вида
(18) с плотностями (при х > 0) рЕ+ (х) — р (х) и (х) =
= р(—х). Имеем
Mg = M£+-Mr =
оо оо , оо
= J xp(x)dx—J хр(—x)dx = J xp(x)dx.
,0 O' —oo
Теорема 5. Если £ имеет плотность p^(x), функция
оо
g(x) непрерывна и интеграл j | g(x) |(х) dx сходится, то
— ОО
ОО 1 I
Mg(g)= J g(x)p^(x)dx. (19)
— 00
Доказательство. Сначала рассмотрим непре«
рывные функции g(x), равные нулю вне интервала
[a, ft]. Для каждого п — 1, 2, ... положим xnk = a-\-
+ — k,
1 п ’
( 0 при или х>6,
gn('X)~\ g(xnk) при X„,ft_1 <X<XrtA.
Пусть 8 > 0. Тогда найдется такое Ло> что для всех
п по и всех хе [а, 6] справедливо неравенство
|£я(*) — ё(х) |< в, т. е. gn(x)-*g(x) при п->оо рав-
номерно rio х. Кроме того, при и по
|g„(*)KlgWI4-e;
и g(x) ограничена. Применяя теорему Лебега о мажо-
рируемой сходимости, имеем
lim М^(У = М^(Э. (20)
п->оо
112
ГЛ. 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
С другой стороны,
п xnk &
Mg„(?) = £g(x„fc) $ p(x)dx=\gn(x)p(x)dx.
Отсюда и
п п0
*-1 xn,k-l а
из неравенства |gn(x) — g(x) | в имеем при
ь
J g{x)p(x)dx- Mg„(?)
а
5^8.
Отсюда и из (20) получаем равенство (19). Рассмот-
рим теперь неотрицательные g(x)^0. Положим
С g(x) при |х|<п,
0 при |x|>rti
Случайные величины т]л = £л(£) монотонно сходятся к
i] = g(gj, поэтому по теореме о монотонной сходимости
Отсюда и из
П со
Mg„(?)== jg(x)p(x)dx-> J g(x)p(x)dx
— П —оо ,
следует (19) для неотрицательных g(x). В общем слу-
чае g(x) = g+(x) — g~(x), где g+(x) = max{g(x) 0),
g~(x)= — min{g(x), 0). Имеем
Mg(?)=Mg+(?)-Mg~ (?)-
OO OO CO I
= J g+(x)p(x)dx— J g~(x)p(x)dx = ^g(x)p(x)dx.
— OO —OO —OO
Теорема доказана.
Теоремы 4 и 5 почти так же доказываются и в слу-
чае произвольного распределения Т\(х) с заменой (17)
и (19) на интегралы Стилтьеса (Римана — Стилтьеса):
оо
М? = xdFi(x), (21)
-оо
ОО .
Mg (?) =f= 5 g (х) dFi (х). (22)
§ 31. ФОРМУЛЫ ДЛЯ ВЫЧИСЛЕНИЯ
113
Равенства (21) и (22) имеют место, когда интегралы
сходятся абсолютно. Для дискретных случайных вели-
чин (21) и( 22) переходят в ряды
M£=ZxfcP{£ = xfc}, (23)
fe-i
Mg^)=^g(x/t)P^ = x/t}, (24)
k-i
причем равенства (23) и (24) имеют место, когда ряды,
сходятся абсолютно.
Замечание 1. Формулы (19), (22), (24) справед-
ливы и в более общем случае, когда борелевская функ-
ция g(xt, ..., хт) отображает Rm в /?*. Пусть случай-
ный вектор £=(£]........1т) имеет функцию распреде-
Н,1Я Л, ... 5т(+’ • • ” И ПЛОТНОСТЬ ...^(х,.........Х„)
(если она существует). Тогда имеют место следующие
формулы для вычисления математических ожиданий:
00
= 5 $£(*.- •••> •••> Хт),
— оо
Mg(£„ .... £m) =
ОО
= $£(ХР .... х,я)р61...6т(х,....Xm)dX! .. . dxm.
— оо
Доказательство аналогично тому, которое проводится
в случае формул (19), (22), (24).
Замечание 2. При вычислении математических
ожиданий.М£, Mg(£) очень часто используются приемы,
позволяющие обходить формулы (16), (17), (19),
(22) —(24), тем более, что нередки случаи, когда закон
распределения либо очень сложен, либо вообще не вы-
писывается в явном виде. Один из таких приемов со-
стоит в том, что случайная величина Jj, математическое
ожидание которой мы собираемся вычислять, представ-
ляется в виде суммы более простых случайных величин
(например, индикаторов): £ = 01 + 02+ ... + 0т и да-
114
ГЛ. 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
лее используется аддитивное свойство М| — Мв( + М02 4* ]
+ ... + Мбш. Другой прием вычисления математичекI
ских ожиданий связан с использованием производящих j
и характеристических функций (см. гл. 8 и 9).
В § 13 мы изучали некоторые свойства математи-J
ческих ожиданий в конечной схеме. В этой главе мы|
установили, что математическое ожидание М£ в общем
случае обладает теми же самыми свойствами, если толь-
ко предполагать в соответствующих местах существова-
ние или конечность М£. Так же, как в гл. 3, в общем i
случае определяются моменты k-ro порядка, централь- i
иые, абсолютные и абсолютные центральные моменты, ]
в частности дисперсия, ковариация, коэффициент корре-
ляции. Доказательства неравенств Йенсена, Коши — Бу- I
няковского, Ляпунова, Чебышева, данные в гл. 3, легко
переносятся и на общий случай: Аналогично доказа- !
тельство теоремы Чебышева (закон больших чисел) в
§ 18 дано в такой форме, которая годится и для об-
щего случая. Мы будем в дальнейшем пользоваться
этими результатами, не проводя здесь еще раз доказа-
тельств, которые были даны в гл. 3 в конечной схеме,
г], распре-
Вычислим Мл и Dt] случайной величины
деленной нормально с параметрами (0, 1):
1 1 - -
Мп = - ,— \ хе 2 dx = 6,
д/2Л J
хе~ 2
1 Г -----
Dr] = Мт]2 = —= \ х2е 2 dx~ — —^=-
е 2 dx— 1.
+-U
V211
При вычислении Dr] мы воспользовались методом ин- 1
। I
тегрирования по частям, полагая v = х, и =---г=е 2 , I
I
1 X2 1
dv — dx, du = —2. 1
I
Если г] распределена нормально с параметрами (0,1), I
то £ = оп4^а имеет нормальное распределение с пара- |
ЗАДАЧИ
115
метрами (а, о) и Mg = «, Dg = ff2. Таким образом, па-
раметры нормального распределения а и о равны ма-
тематическому ожиданию и среднему квадратическому
отклонению.
Вычислим Mg и Dg равномерного на [a, fe] распре-
деления. Имеем
е
и
Dg = Mg2 - (Mg)2 =
Вычислим Mg и Dg гамма-распределения.’
оо оо
.... С Л“х“ J 1 С „л_и . Г (а 4-1) а
M; J Г (а) е dx~lX(a)\Ue du~ ЛГ (а) — Л’
о о
ОО оо
Sja а+1 1 Г
Г (а) е ах Л2Г (a) J Х е ах .
о , о ,
_ Г (а 4- 2) а (а 4- 1)
= Л2Г (а) Л2
Dg = Mg2 - (Mg)2 = - £ = £•
Задачи
1. Случайная величина £ имеет нормальное распределение с па-
раметрами (0, <т). Найти ее моменты Mg”.
2. Найти Ме~& для случайной величины | в задаче 1.
3. Вычислить Мсп при натуральном п, если | имеет нормальное
распределение с параметрами (а, сг).
4. Случайные величины i='l,п, независимы,
= 0|( = (Т2. Найти дисперсию Dt]h, где Пп=|1?2 ..
5. Неотрицательные случайные величины .... независимы
и одинаково распределены. Найти математическое ожидание Мт]Л
116
ГЛ. 7. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
случайной величины
— ^ + ct
~ п •
l^i + na-
п • i=1
где а >• 0 — константа.
6. Случайная величина | имеет Г-распределение с плотностью
даха —I
—е~*х, х^О. Найти При каких р это математическое
1 (а)
ожидание конечно?
7. Случайные величины (£, г))— это координаты равномерно
распределенной точки в круге хг + Уг R* Найти их математиче-
ские ожидания и дисперсии.
Глава 8. ПРОИЗВОДЯЩИЕ ФУНКЦИИ
§ 32. Целочисленные случайные величины
и их производящие функции
I . I I
Дискретную случайную величину g, принимающую
только целые неотрицательные значения, будем назы-
вать целочисленной случайной величиной. Закон распре-
деления целочисленной случайной величины опреде-
ляется вероятностями
Pn = PU = «)> « = 0,1,2,...,, (1)
для которых
ipn=i. (2)
Закон распределения (1) удобно изучать с помощью
производящей, функции, которая определяется как сле-
дующее математическое ожидание:
<РЕ (s) = Ms'.
Через закон распределения (1) производящая функция
выражается суммой ряда
(s) = Д pnsn, , (3)
который абсолютно сходится при )s)^l. Поскольку
Рп = -^Ч>{пЧ0), п = 0, 1, 2, .... (4)
то между законами распределения {рп} и производя-
щими функциями равенства (3) и (4) устанавливают
взаимно однозначное соответствие. Определенная рядом
(3) производящая функция называется иногда вероят-
ностной производящей функцией. Производящей функцией
118
ГЛ. 8. ПРОИЗВОДЯЩИЕ ФУНКЦИИ
любой числовой последовательности <z0, fli, 02, ... назы-
вается сумма ряда
а0 + a(s + a2s2 +
если он имеет ненулевой радиус сходимости. Из (2) сле-
дует, что вероятностная производящая функция
в точке s = 1 равна 1.
Вычислим производящие функции распределений не-
которых целочисленных случайных величин.
1) Биномиальное распределение.
Р{| = m} — C^pmqn~'nf tn = 0, 1, 2.....п, p-[-q = \,
п
ф(5)=£ c.W"s"=(pS + ?)'.
m=0
2) Пуассоновское распределение..
ап
Р{1 = п} = ~е-а, л = 0, 1, 2......
00
<p(s)= е~а = ea(s~l>.
л-о
3) Геометрическое распределение.
P{l = n} = qnp, л = 0, 1, 2....p + q=l,
4>(s) = X qnpsa = -^-.
n-0
§ 33. Факториальные моменты
Вместо моментов М|г в случае целочисленных слу-
чайных величин удобнее иметь дело с факториальными
моментами M|w, где ||г) = |(| — 1) ... (| — г + 1),
£1°1=1, Через факториальные моменты М||г) можно
выразить моменты мг и наоборот. Например, первый
факториальный момент есть просто математическое
ожидание, а M|2=M|i2i + M| и, следовательно, D| =
= MV21 + Ml -(Ml)2.
Факториальные моменты легко вычисляются через
производные производящих функций в точке s = 1.
$ 33. ФАКТОРИАЛЬНЫЕ МОМЕНТЫ
ПЭ
Имеет место равенство
М^1 = ф«(1)( (5)
справедливое при любом целом неотрицательном г. Если
ряд (3), определяющий <p^(s), сходится в какой-либо
точке s >•1, то его можно дифференцировать почленно
в s = 1, и мы получаем
1 ь п
В противном случае мы определяем (1) либо как
lim <p,r)(s), либо как левую производную в s=l,
определяемую предельным переходом <p(fc)(l) =
= lim— ——* J----------------- последовательно при k —
ЛИ “
= 1, г, <p(0'(s)—<p(s). В обоих случаях получаем (6).
Поскольку
(7)
п
то (6) и (7) доказывают (5). Заметим, что в равен-
стве (5) обе части могут быть бесконечными.
Таким образом, Mg и Dg можно следующим обра.
зом выразить через производные q^(s):
Mg = <pUl), (8)
<9)
Вычислим с помощью (8) и (9) Mg и Dg биномиального,
пуассоновского и геометрического распределений.
1) Биномиальное распределение.
q>' (s) = np(ps + q)n~', Ф^(s) = n(n — l)p2(ps + ?)"Л
Mg = rap, Dg = ra(ra— l)p24-rap — n2p2 — npq.
2) Пуассоновское распределение.
ф' (s) = aea(s-|), ф" (s) = a2ea(s-l),
Mg = zz, Dg = a2 + a — a2 = a.
120 ГЛ 8. ПРОИЗВОДЯЩИЕ ФУНКЦИИ
3) Геометрическое распределение.
~ (1 -qs)1 ' ф? ~ "(1 - fls)3 •
Mg=f. D^+|--^.
Многомерные производящие функции. Аналогичным
образом можно определить многомерные производящие
функции. Пусть 5=(Вь ..., |г)—случайный вектор с
целочисленными неотрицательными компонентами &.
Обозначим
Ра = Р {£ = «},
где а = (аь ..., аг)—возможные значения вектора £.
Многомерной. производящей функцией называется
($Р .... О = . s®' = S РХ‘ • • • sarr-
а
Она обладает свойствами, аналогичными свойствам од-
номерных производящих функций. В частности, с по-
мощью производных q>t(si, ..., sr) вычисляются сме-
шанные факториальные моменты
+А„+ ... +А_
д 1 r<Pg (s„ s2.sr)
... .*
1 1 т ... -sf=l
Пример. Полиномиальное распределение
Р U = а) — Р? - - р°г, 04+ ... + аг = п,
Р! + ... +р,= 1,
имеет производящую функцию
фе(«1, ••>/г)=(р151+ ... +ра)я-
§ 34. Мультипликативное свойство
Теорема 1. Если %2, .... |п—независимые це-
лочисленные случайные величины, ф^ (s), k — 1, ..,, п, —
их производящие функции, то
<h,+ ...-н (5) = Пфе. («). (Ю)
StT ... TSn fc_j Sfc
§ 34. МУЛЬТИПЛИКАТИВНОЕ СВОЙСТВО
121
Доказательство. Из независимости gi, £2. •••
следует независимость $4 Из муль-
типликативного свойства математического ожидания
имеем равенство
мЛ+-+1»=м$5>... Л=ПмА
А=1
равносильное (10).
Если целочисленные В и т] независимы и рп =
= P{s = n}, qn = Р {п = п}, то распределение йх суммы
гп = р {В т] = п} по формуле полной вероятности опре-
деляется равенством
Л
гл=ЕРЙ = 4}Р{Ч=«-^} = Хр^. (И)
fe=0 k—0
Распределение {г„} называется композицией или сверт-
кой распределений {рп} и {qn}. Теорема 1 позволяет
нам иногда с помощью производящих функций находить
свертку распределений, не прибегая к формулам (11),
Например, из равенства
(pS + q)n'(ps+qy2 = (ps + q)ni+ni
вытекает, что свертка двух биномиальных распределе-
ний с одинаковыми р и разными числами испытаний щ
и н2 дает опять биномиальное распределение с тем же
самым р и числом испытаний П\ + п%. Аналогично, из
равенства
gfl, (5-1) . (5-1)-g'fli+flj) (5-1)
следует, что композиция двух пуассоновских законов с
параметрами ai и аг дает опять пуассоновский закон
с параметром ai -J- аг- Этим свойством пуассоновских
распределений мы пользовались в § 20.
Распределение с производящей функцией
можно интерпретировать как число испытаний в схеме
Бернулли до первого успеха. Обозначим в этой схеме
Ь число испытаний До r-го успеха включительно. Слу-
чайная величина представима в виде суммы =
= Т) + %2 + ••• + т„ где г, независимы, одинаково рас-
пределены н имеют производящие функции q> ($)= . ps -•
Ч 1 qs
(ti — число испытаний до первого успеха включительно,
122
ГЛ. 8. ПРОИЗВОДЯЩИЕ ФУНКЦИИ
12 — число испытаний от первого успеха до второго
успеха и т. д.). По свойству мультипликативности имеем
Kls)=v^r- <12’
Разлагая (12) в ряд, получаем
(-;).(-!)• sy=
а«=0
оо
__ „г г yv —г (—г — 1) . .. (—г — а + I) • (—1)а _а а
~ р s L--------------s« =
а=0
__ „г г V'’ (г-ра—1) (г-ра—2),. • Г а а_ г г V"' х>а а а
Р s / , а| s Ч — Р s / , ^r+a-lS Q >
а=0 а=0
откуда
Р {S, = п} = Crn~\prqn~r, п = г, г + 1, ...
Сумма случайного числа случайных величин. Пусть
Si. £г> ••• — последовательность целочисленных незави-
симых одинаково распределенных случайных величин с
производящей функцией ф^($) и v — независимая от них
целочисленная случайная величина с производящей
функцией <pv(s). Определим сумму случайного числа
случайных величин равенствами Sv = Si + S2 +. . ••
... + Sv при v > 1, So = 0.
Теорема 2. Производящая функция <ptv (s) ровна
суперпозиции
Ф^(5) = фДфь(«))- ,<13)
Доказательство. Вычислим <₽► (s) = Ms?v с по-
мощью условных математических ожиданий, используя
равенство
М{^1+ ••• +?v|v==re) = MsE1+- +^ = [фЕ (s)p
Получаем
<PCv (s) = = м [м (Л | v)] = м [ф£ (S)]v = фу (5))э
что и требовалось доказать.
5 35. ТЕОРЕМА НЕПРЕРЫВНОСТИ
123
С помощью (13), (8) и (9) вычислим математиче-
ское ожидание и дисперсию gv:
ЧР? v = ФС (фЕ <«)) Ф?<$) > Фц, <1) = фД1) 1),
= фт (<h («))IX ФГ + фу (h ^)) ф" (*)’
<v(l) =Ф?(1) - к (ОТ + «О U),
Mgv = Mv-Mg,
о?у=ф;,(1)-[фД1)]2+ф;(1)ф^(1) + м:л,-(м?д2=
= (Mv2 - Mv) • (Mg)2 4- Mv • (Mg2 - Mg) + Mv • Mg -
- (Mvj2. (Mg)2 = Dv • (Mg)2 + Mv • Dg.
§ 35. Теорема непрерывности
Докажем, что соответствие между законами распре-
деления {рл} и производящими функциями (3) не толь-
ко взаимно однозначно, но и взаимно непрерывно.
1 ОО 1
Теорема 3. Пусть <р (s) = У, p£(s", г — 1, 2, ..., —
п=0
последовательность вероятностных производящих функ-
со
ций, <р (s) — У pnsn — производящая функция последова-
тельности {рп}. Для того чтобы, при каждом п lim р^} = рп,
Г->оо
необходимо и достаточно, чтобы при всех 0 s < 1
lim q>r(s) = <p(s).
Г->оо
Доказательство. Предположим,что lim pj[> = рл.
Г->оо
Пусть 8 > 0 и 0 s < 1. В правой части неравенства
| фД$) — ф(«) | < £ [ р£* ~ Рл|1 «* <
fe=0
М-1 ОО М-1 N
|/4r)-pft| + S Ip^-pJ + tzt
fe=0 k=N k-0
124
ГЛ. 8. ПРОИЗВОДЯЩИЕ ФУНКЦИИ
выберем N таким, чтобы sN/(l — s) < е/2, а затем вы-
л-i
берем гй таким, чтобы S | Р(АИ — | < е/2 при г>г0.
Тогда при тех же г^г0 имеем I фг(в) — ф($) [ < е, что
и доказывает необходимость. Докажем теперь доста-
точность. Из ограниченной последовательности 0
выбираем сходящуюся подпоследовательность р^!)~*р0-
Из ограниченной последовательности вы-
бираем сходящуюся подпоследовательность p,lr2)->pl
и т. д. Из последовательностей
Р(п' Р(2, °. Р%- °, - • •
(1.2) (2,2) (3, 2)
Рп > Рп> Рп » ••
„(1.3) (2,3) „(3,3)
Рп ’ Рп ’ Рп ’ •
выбираем диагональную сходящуюся подпоследователь-
ность pjf’г), которая сходится к рп при любом п. Пред-
положим, что хотя бы при одном п последователь-
ность р*,и не сходится к рп. Тогда можно выбрать две
сходящиеся к разным пределам подпоследовательности
Рп,'~>Рп> Р{п "} “* Р'п- По первой части теоремы фг,(з)->
= X P*nsn и фг« ($) -> ф” (s) = У, p'*sn. Так как по
П п
условию ф,г(з)-*ф(з), то ф* (s) = ф” (s) = ф(s) И р‘ =
= Рп=Рп' т- е- lim Р{п=Рп-
Г-^оо
Замечание. Как показывает пример фг(s) = sr->
->0эф($), 0^s< 1, предельные величины рп могут
не образовывать распределение вероятностей, так как,
ОО
вообще говоря, 2рп^1. Если потребовать, чтобы
п=0
ОО
Нгпф($)= 1, то Ер„=1 ив пределе мы получаем рас-
sfl п-0
пределение вероятностей {р„}.
Применим теорему 3 к доказательству предельной
теоремы Пуассона (см. § 20):
_ / \
l™C”(v) 0-т) <“>
§ 36. ВЕТВЯЩИЕСЯ ПРОЦЕССЫ
125
Производящая функция биномиального распределения
а
для р — — равна
(*4+>-v)"=(i+v<s-»)”.
Из равенства
lim (1 +-£-($— 1)) =ea(s~1'1
по теореме 3 вытекает (14), что и доказывает предель-
ную теорему Пуассона.
§ 36. Ветвящиеся процессы
Проиллюстрируем применение аппарата производя-
щих функций на примере ветвящихся процессов. Пусть
имеются некоторые однотипные частицы, которые раз-
множаются независимо друг от друга. Пусть рп — ве-
роятность того, что одна частица превращается в п час-
ОО >
тиц, ф(а) = У, p„sn — производящая функция распреде-
п—0
ления вероятностей {рп}, Обозначим ц(/)-—число частиц
в t-м поколении и <pt (s) = Ms’1 (f) — производящую функ-
цию y,(Z). Предположим, что ц(0)=1. Тогда qt(s)=--
= <p(s). Пусть Iti, 'in, , ltn, ... — независимые слу-
чайные величины с распределением, определяемым про-
изводящей функцией <p(s). Тогда число частиц
в (/Д- 1)-м поколении, согласно нашему определению,
есть сумма £н+Д«2 + + Sb ц(0 случайного числа не-
зависимых случайных слагаемых — это число по-
томков fe-й частицы t-го' поколения). По теореме 2 от-
сюда вытекает, что
Ф«+1(«) = Фг (<₽(«))- (15)
е. <p2(s)= ф(ф($)), Фз(я)= ф(ф(ф(«))) и <p((s) есть
t-я итерация функции <p(s). Соотношение (15) позво-
ляет нам вычислить Мц(/) = А (/). Обозначим <р'(1) —
А. Продифференцируем (15) по s в точке 1. Полу-
чим A(t + 1) = А (t) - А, откуда
А(/) = А'. (16)
126
ГЛ. 8, ПРОИЗВОДЯЩИЕ ФУНКЦИИ
Поведение ветвящегося процесса существенно опреде-
ляется значением параметра А — средним числом непо-
средственных потомков одной частицы. Из (16) мы ви-
дим, что при t -> ОО
А (/) -> 0, если А < 1,
Л(/)-><х>, если А > 1,
A (/) = 1, если А = 1.
Назовем ветвящийся процесс докритическим, надкрити-
ческим или критическим, если соответственно А < 1,
А > 1 или А — 1.
Рис. 11. Графики производящих функций qp (s) докритического и кри-
тического ветвящихся процессов.
Если ц(/) = 0, то мы будем говорить, что ветвя-
щийся процесс выродился к моменту времени t. Вероят-
ность этого события равна
Р {р.(/) = 0} = Ф/(0).
Так как {р, (/) = 0} s {р. (I + 1) = 0), то Р {ц (/) = 0} не
убывает и при t -> оо имеет предел
, lim Р {ц (/) = 0} = q,
который мы назовем вероятностью вырождения. Пре-
дельная вербятность q — это вероятность того, что про-
цесс выродится в каком-либо поколении. Предположим,
что <p(s) s. Докажем следующую теорему.
Теорема 4. Для того чтобы q < 1, необходимо
и достаточно, чтобы процесс был надкритическим.
Доказательство. Соотношение (15) можно
записать иначе:
<p<+i(s) = <₽(<pt(s)).
(17)
ЗАДАЧИ
127
Подставляя в (17) s = О, имеем
ф/+1(0) = ф(Ф<(0)). (18)
Переходя в (18) к пределу по /-> оо, имеем
<7 = ф(9)>
так как 9=11Шф<(0). Таким образом, q есть решение
уравнения
(19)
5 = ф(я).
Это уравнение всегда имеет решение s= 1. Если других
решений в [0, 1] нет, то отсюда следует, что q= 1,При
А 1 других решений уравнения
(19) иет, так как при всех 0 s <
< 1 выполнено неравенство s <
<ф($) (см. рис. 11). Действитель-
но, 1—ф(з)=ф'(0)(1—s), где
$ < 0 < 1, поэтому ИЗ ф'(0) < 1
вытекает
Рис. 12. График произ-
водящей функции <р ($)
надкритического вет-
вящегося процесса.
При
вторая производная
ф"(«У > 0, поэтому уравнение s =
= ф($) не может иметь более Двух
корней в [0, 1]. Так как ф(0) ^Ои
при А > 1 существуют «i < 1, для
которых ф(«1) < $i, то найдется ко-
рень 0 s0 < 1 уравнения (19)
(рис. 12). Докажем, что в этом
случае q — «о. В самом деле, нетрудно установить, что
Так как Фж(0) > ф«(0), то из (18) вытекает, что
ф, (о) < ф(фДО))
при любом t, следовательно, <₽/ (0) < So при всех t и
q== lim фДО)^ао < 1. Таким образом, вероятность q не
<->оо
может быть равна 1, а так как она есть корень урав*
пения (19) , то q = so < 1. Теорема доказана,
Задачи
1. Найти производящую функцию равномерного распределения,
сосредоточенного в точках 0, 1, 2...N — 1. С помощью произвол;
вых производящей функции вычислить математическое ожидание и
дисперсию этого распределении.
128
ГЛ. 8. ПРОИЗВОДЯЩИЕ ФУНКЦИИ
2. Функция 1——s есть вероятностная производящая
функция. Найти соответствующее распределение. Что можно сказать
о его математическом ожидании? J
3. Дана производящая функция <р (з) = У, р = Я} з" случа^
п ‘
оо
нон величины g. Найти производящую функцию A (s) = У аяз"|
п=0 I
для вероятностей ап = Р {g > я}. ।
4. Пусть число потомков одной частицы в ветвящемся процессе
определяется производящей функцией
4 (1 — з)
й-C-rt + i'
Ф (s) = 1
Найди ее Лю итерацию <p(s). Найти вероятность вырождения ф
Г л а в a 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
§ 37. Определение и простейшие свойства
характеристических функций
В предыдущей главе мы познакомились с аналити-
ческим аппаратом производящих функций, который ус-
пешно используется в задачах исследования свойств
распределений целочисленных случайных величин. В об-
щем случае аналогичную роль играют характеристиче-
ские функции. Для их определения нам нужно понятие
математического ожидания распространить на комп-
лексные случайные величины. Пусть £ = £ 4- «Ъ где £
и т} — пара действительных случайных величин, у кото-
рых существуют и конечны М£ и Мч- Тогда математи-
ческое ожидание комплексной случайной величины оп-
ределим как сумму
MC = Mg + ZMn. (1)
Основные свойства математического ожидания (напри-
мер, свойства аддитивности и мультипликативности)
естественным образом переносятся на случай (1). Оста-
новимся лишь на доказательстве неравенства
IMSKMEI. (2)
Если случайная величина £ простая, т. е. принимает
лишь конечное число значений £ = z* = х* + iyk, при-
чем P{£ = z*} = p*, то (2) есть простое следствие свой-
ства модуля комплексных величин:
I MS I=,| £ zkPk | < IZ* I Рк ±= мс. (3)
Пусть £ = £+ —£~, И = П+— <Г, а £*, п* — последова-
тельности простых случайных величин, для которых
£16*» П? t Ч* И. значит, = =
~Чв->Ч« Тогда £„->£, и по определению Мп
5 Б. А. Севастьянов
$ 37. ОПРЕДЕЛЕНИЕ И ПРОСТЕЙШИЕ СВОЙСТВА 131
130 ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
имеем I
М£ = lim M£n, I
оо
где £n = gn + Й1л- В силу (3) при любом п
|М;„|<мщ|. I
Покажем, что lim М|£„|=М|£|. В самом деле, из Я
П->оо Л
! t« 1 I I + I I = С + + Лд + ’h I
+ r W + tr=l£l + l’ill
и ?„-*? по теореме Лебега о мажорируемой сходи- и
мости вытекает так как мы рассматри-^
ваем лишь случай М|£ |< оо, М |т]1 < °°- |
Определение 1. Характеристической функцией!
случайной величины £ мы будем называть функциюД((У 1
от действительного аргумента t, равную Л
h(/) = Me“*. (4)1
Раскрывая в (4) е‘ч> по формуле Эйлера е/ч> == cos <р 4-’ I
Ч- i sin ф, мы имеем I
fl (0 = М cos It + iM sin У. (5) I
Иногда мы будем вместо писать просто f(t). Если |
/;Дх) есть функция распределения £, a pi(x)— ее плот- 1
ность (если она существует), то по общим формулам
вычисления математического ожидания имеем:
ОО оо 1
Ы0 = $ ettxdFM \eltxPl(x)dx. (6)
' — oo — oo J
Если распределение £ дискретно, то 1
(7)1
Из (6) и (7) видно, что характеристическая функция I
fl(t) вполне определяется функцией распределения |
F\(x) случайной величины £. |
Перечислим несколько простейших свойств харак- I
теристических функций, I
1) 1/(0 1^1 пРи каждом действительном
Доказательство просто получается из неравенства
(2), так как |ei<5|=l и | f (t) | = | Ме‘‘» M|eit£ |= 1.
2) /(/) равномерно непрерывна по t.
Для доказательства этого свойства установим сна-
чала справедливость следующей леммы, которая нам
понадобится далее.
Лемма 1. При действительных ф и любом целом
п 1 имеют место неравенства
П-1
/с!
(8)
Доказательство. Поскольку | ег<р | = 1, то
I» /
>iudu = |е'ф--1|<^ du =| ф |. Далее доказываем (8)
ио индукции. Пусть (8) справедливо при некотором п.
Тогда, так как
Д<р _ А (/<р)*
е Lt kt
k-0
ил , [<р|я+'
—г du — —v-r;.
п! (п -f 1)1
Для доказательства 2) рассмотрим событие А =я
= {|д| X} и в правой части церавенства
l/G4-A)-/(0l = |M^(ew-l)|^
<М|?й6-1|/л + М|е,Л6-1|7_
где I и I- — индикаторы событий А и Л, применим
неравенство (8) при п — 1 при оценке первого слагае-
мого и [е‘‘$—11 2 при оценке второго слагаемого.
5*
132
ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Тогда
|/(/ + h)~/(OKI й|-МП |/л + 2М7-<
<| h |Х + 2Р {|11> X}.
Пусть 8 > 0. Выбирая сначала X таким, чтобы Р{| g I >
а затем полагая 6 = -^-, получаем, что
| / (/-Hl) — f (0 | < 8 при | Й I < д.
3) Если т] = а&4- Ь, где а и b — константы, то
fn(t)=el,bh(at).
Легко вытекает из определения:
f п (0.« Me"11 = Me"<a£+i) = eltbMeiiai = eiibft (at).
4) Если gi, £2, ..., независимы, то
(9)
Из независимости g2, .... In следует независи-
«Ц, »s,
мость e , e , ..e , применяя к ним свойство муль-
типликативности математического ожидания, получаем
11 У, n hi п
fi+. „ (/)=м. « -МД.^-ДМЛ
5)ft(-0=A(0-
Вытекает из elti = e К£ и свойства 3).
6) Обозначим тп = М£"- Если тл конечно, то суще-
ствуют все производные fk) (/) с k^n и
= 00)
Кроме того, имеет место разложение
^4-^(0, (11)
fc=0
еде Rn(t)= o(tnX при t-*- оо.
§ 37. ОПРЕДЕЛЕНИЕ И ПРОСТЕЙШИЕ СВОЙСТВА
133
Доказательство. Если мы k раз формально
продифференцируем (4), то получим равенство
ОО
^\t) = ikMlkeitl = ik J xkeitxdF^x).
— 00
(12)
Полагая в (12) t — 0, приходим к (10). Для обоснова-
ния законности дифференцирования под знаком мате-
матического ожидания в (12) рассуждаем по индукции.
Пусть формула (12) справедлива при k <. п. Поскольку
--------h---------/ -----Л------(13)
| £ |*+* и м | Г+1 < оо,
I **
то в правой части (13) по теореме Лебега о мажорируе-
мой сходимости можно перейти к пределу по й->0. Та-
ким образом мы доказываем справедливость (12) при
Л-(-1. Для оценки остаточного члена Rn(t), в (11) при-
меним лемму 1 к разности
|Яп(01= Me
щ _ V <№к
Zu fel
fe=0
Ul у» (it®* .
Zu Zsl
fe-0
IMn+1 „,,,*+!,
(и + 1)1 M ‘ ' Ia
+2Mmic/A,
(14)
где A — событие, введенное в 2) (здесь в первом сла-
гаемом мы .воспользовались неравенством (8), а во вто-
ром — неравенством
Так как Ia — 1 при ]£]X, то из (14) получаем
l^n+l^n+t
(п. + 1)1
21МЯ
nl
|V)|<
А
134 ' ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Пусть е>0. Выбираем сначала X таким, чтобы М| £
<, а затем б — 8- • Тогда при |/|<б имеем
11 !п
|/?п(/) е, что и требовалось.
7) Если (s) = — производящая функция це-
лочисленной случайной величины, то
= (15)
Следует из определения.
Вычисление характеристических функций некоторых
законов распределений.
1) С помощью формулы (15) получаем характери-
стические функции следующих распределений целочис-
ленных случайных величин:
а) Биномиальное распределение
P{^nt}^^pm{\-p}a-m, m~0, 1, .... п,
h(/) = (pe‘'+l-p)n.
б) Пуассоновское распределение
PU = n) = ~e-a, п — 0, 1, 2, ....
h(0 = exp(a(e“ — 1)).
в) Геометрическое распределение
P{l = n) = pqn, zi = 0, 1, 2, ..., q~l—p,
2) Вырожденное распределение Р{£ = С} = 1,
Ш = еас
3) Нормальное распределение. Если случайная ве-
личина I имеет нормальное распределение с парамет-
рами (0, 1), то
f (0 = ( eitx~x’'2 dx. (16)
•V 2rt J
—00
$ 37. ОПРЕДЕЛЕНИЕ H ПРОСТЕЙШИЕ СВОЙСТВА
135
Дифференцируя равенство (16) по t, получаем
)'(/)=-= ( xe‘tx~x‘12 dx.
V 2л J
— оо
Интегрируя по частям, приходим к дифференциальному
сравнению
f(/) = —~[—eitx~x!/2 I +it f eitx~x'№ dxl = -//(/).
V 2л I ] J I
I- —00 — 00 J
Решая это уравнение с начальным условием f(O)=l,
получаем
f(/) = e-‘V2.
В общем случае нормальйого распределения с парамет-
рами (а, о) имеем, согласно свойству 3):
(17)
4) Равномерное на (а, Ь) распределение
f (/) = —I— \ eif* dx = °• (13)
1 ' ' о — a j it {b — a) ' '
a
Отметим частные случаи (18). При а = —I, b = I имеем
da)
При а = 0, b = L имеем
5) Гамма-распределение с плотностью
1 — t"
Ра (х)= г (а) 6 ’ *^0"
Обозначим fa(t) характеристическую функцию, соответ-
ствующую ра(х), Поскольку Pa+fi(x) есть свертка Pa(v)>
136
ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
И Р₽(х):
х X х
Pa+fJ(x)= J Pfi(x-y') po(?/)d?/=r^ г Jya~\x-yf-ldy=
о о
ra+p-l -х J ra+p-l
= Г(о)Г(Р) $z (1~Z) dz= r(a+w;e , x>0,
0
то, в силу 4), fa+ft (/) — fa (/) f&(t). Вычислим сначала
eo oo
fi (x)= eitxpi (x) dx = eltx~x dx. Интегрируя по частям,
oJ о
получаем
/, (/) = J eitx-*dx = - Zx-x<| + it J eltx~x dx±=l+ ith (0
a oo
и
(20)
Из (20) для любого целого п имеем
(0= (i-Д)" •
Из f j (/) = [7цп(/)]" получаем — it)~'ln, и, далее,
fmln (0 = [fi/« (0]m = (1 - И)~т,п- Таким образом, для лю-
бого рационального а > 0
fa(0 = d (21)
Так как плотность р<х(х) непрерывно зависит от а и, как
мы увидим в §39, из pan (х)-> ра (х) следует fa (t)fa(f),
формула (21) справедлива для всех а>0. Заметим,
что при дробных а из многозначной функции (21) вы-
деляется однозначная ветвь, для которой fa(0)= 1.
§ 38. Формулы обращения
для характеристических функций
В § 37 мы установили, что каждой функции распре-
деления F$(x) соответствует характеристическая функ-
ция Пусть существует непрерывная плотность
Pt(x). Тогда характеристическая функция вычисляется
$ 38. ФОРМУЛЫ ОБРАЩЕНИЯ
137
по формуле
оо
fc(/) = $ eltxPi (х) dx, (22)
— 00
т. е. )6(/) есть преобразование Фурье функции pi(x)\
В анализе доказывается, что при f6(/)e L\, т. е. при ко-
»
вечности интеграла | fi (/) | dt, имеет место формула
-оо
обращёния для преобразования Фурье (22):
оо
ps(x)= 27 $ e~ltxh(t)dt. (23)
-00
Исходя из этой формулы, мы докажем формулу обра-
щения в общем случае. Сначала докажем несколько
вспомогательных утверждений.
Лемма 2. Пусть g и т| независимы. Если g имеет
функцию распределения F(x), а т| равномерно распре-
делена на отрезке [а, Ь], то существует плотность
р^+ъ (х), которая выражается формулой
_ _ F (х — а) — F (х — 6)
Pl+< Ь — а ‘
Доказательство. По формуле композиции
оо Ъ
Fl+n(x) = J Ft(x — y)pn(y)dy=~b~^F(x~y)dy==>
-оо а
х-а
= J F^dz' (24>
х-Ь
Исходя из (24), мы можем для любых Xi <. х2 записать
[Xt-a xi-a
J F(z)dz — J F(z)dz «
Xi-Ь Xi-Ь -*
Xi
J b — o *
x,
откуда и следует утверждение.
133
ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Замечание. Если q равномерно распределена на
[—I, /], то
Лемма 3. Пусть £ и rj независимы, g имеет ограни-
ченную плотность р^(х) = р(х) и q имеет плотность
Рп(х). Обозначим ре(х) плотность суммы | ф- 0г), где
О — параметр. Тогда в точках непрерывности р(х)
имеет место равенство
Sim pa (х) = р (х).
е-*и
Доказательство. По формуле компз.-.нкпи имеем
оо
Pe(x) = р(х-р)рп(-|)-^-,
откуда
00
Ра(х)-р(х) = J [р(х-у)- р(х)]р1)(^)-~
— ОО
и
|pe(x)-p(.t)|< J lp(x-p)-p(x)|pn(f}-^- +
1.71 <#
+ J |р(х — у) — p(x)IPn(f)-^. (25)
I t, . ^'9
Пусть х — точка непрерывности р(х). Зафиксируем лю-
бое 8 >• 0. Тогда можно выбрать такое б > О, что при
|р)^б выполняется неравенство |р(х — у) — р(х)|^
=Се/2. Так как плотность р(х) ограничена, то суще-
ствует такая константа С < оо, что р(х)^С.
Тогда из (25) следует
1р0(х)-р(х)|<| J рД|)^. + ср{|гЦ>|}.
\У 1<9
Выберем 90 > 0 так, чтобы Р || т] Тогда
при всех |9|^0о имеет место неравенство
|Ре(х)~р(х)1< е.
§ 38. ФОРМУЛЫ ОБРАЩЕНИЯ
139
Формулу обращения в общем случае дает
Теорема 1. Пусть —характеристическая
функция и F^(x)—соответствующая функция распреде-
ления. Тогда, если точки х-|-/ и х — I являются точ-
ками непрерывности функции F^(x), то
<r->0 n J *
“CO
(26)
Доказательство. Пусть случайные величины £,
р, % независимы, g имеет функцию распределения F^(x),
р имеет равномерное распределение на интервале
(—1, 1), £ имеет нормальное распределение с парамет-
рами (0,1). Тогда по лемме 2 g +/р имеет плотность
РМ=----------н---------
a £4-/п + °£ имеет характеристическую функцию
• „ р!<!
г /л\ 81П tl а f
1
поэтому ее плотность ро(х) выражается по формуле
обращения (23):
®° сг’Р
$ e~ixth(t)^-e~~di. (27)
“ОО
По лемме 3
если хф-l и х — I — точки непрерывности F\(x). Пере-
ходя к пределу в (27) и пользуясь равенством (28), по-
лучаем (26).
Теорема 2. Каждой характеристической функции
соответствует только одна функция распределения
Ъ(х).
Доказательство. В формуле (26) разность
Fi(x2)— Ft(xi) для точек х2 = х + I и xt — х — I не-
прерывности /6(х) однозначно определяется по /$(/).
Полагая в разности Fj(x2)—F^(xi) Xi->— оо по точ-
кам непрерывности хь мы однозначно определяем Ft(x2)
140
ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
в точках непрерывности хг, а так как в любой точке
/^(х) —lim F(x2),
где предел берется по точкам непрерывности х2, то
fj(x) однозначно определяется ^(0- Теорема доказана.
§ 39. Теорема о непрерывном соответствии
между множеством характеристических функций
и множеством функций распределения
В § 38 мы установили, что между множеством функ-
ций распределения {Л(х)} и множеством их характери-
стических функций имеется взаимно однознач-
ное соответствие. Покажем, что это соответствие не
только взаимно однозначное, но и взаимно непрерывное.
Определение 2. Мы будем говорить, что после-
довательность функций распределения Flt(x) слабо схо-
дится к F(x), и писать
Fn(x)=*F(x),
если Fn(x)->-F(x) в каждой точке непрерывности пре-
дельной функции.
Если Fn(x)— функция распределения Е(х) —
функция распределения £, то мы будем также иногда
говорить, что слабо сходится к £, и обозначать !•„ => £;
иногда мы будем говорить, что сходится к £ по рас-
пределению. Из слабой сходимости Ф ё следует, что
Р Oi «->00,
если только Р {ё=х1}==Р ft<=х2}=0. Пример Р {ёп= ~]=
"1> Р{ё = 0}==1 показывает, что из ёп^ё не выте-
кает сходимость Fj*(x) ->Fs(x) в каждой точке, так как
£ц(0)=0и^(0) = 1.
Одно из самых важных свойств характеристических
'функций содержится в следующих двух теоремах. Пусть
Fn(x), f(x)—функции распределения, f(/) —соот-
ветствующие им характеристические функции.
Теорема 3. (Прямая предельная теорема.) Если
FSx)> то fnlfy+fity в каждой точке Ц '
t 39. ТЕОРЕМА О НЕПРЕРЫВНОМ СООТВЕТСТВИИ 141
Теорема 4. (Обратная предельная теорема.) Если
jn(t) сходится в каждой точке t к некоторой функции
j(t), непрерывной в нуле, то Fn(x)=^ F(x) и f(t) есть
характеристическая функция распределения F(x).
Доказательство этих теорем будет следовать из лем-
мы и двух теорем Хелли.
Л е м м а 4. Если Fn(x)'-+ F(x) на всюду плотном на
прямой множестве D, то Еп(х) =^> F(x).
Доказательство. Пусть х — точка непрерыв-
ности F(x), х', х" &D и х' < х < х". Имеем
F„(x')<F„(x)<FnU").
и
F(x')= lim F„(x/XlimF„(xX
n->00
< ПЖ Fn (x) < lim Fn (x") = F (x"). (29)
П+ОО n^°°
Так как F(x')^ F(x)^ F(x") и разность F(x")—F(x')
может быть сделана как угодно малой, то из (29) сле-
дует lim Fn(x)==F(x), что и требовалось доказать.
00
Теорема 5. (Первая теорема Хелли.) Из всякой
последовательности функций распределения {F„} можно
выбрать слабо сходящуюся подпоследовательность.
Доказательство. Пусть D — {х*} — всюду плот-
ное на прямой счетное множество. Из ограниченной по-
следовательности 0^Fn(Xi)^l выбираем сходящуюся
подпоследовательность F\n(x\), предел которой обозна-
чим F(xi). Из ограниченной последовательности 0
Fj„(x2) sgj 1 выбираем сходящуюся подпоследователь-
ность F2„(x2)->F(x2) и т. д. Далее выбираем диаго-
нальную подпоследовательность Fnn(x), для которой
Fn,i(x*)-> F{xk) для любой точки x* е D. По лемме 4
отсюда вытекает Fnit (х) =► F (х).
Замечание. F(x) может не быть функцией рас-
пределения. Например, если Fn(x) = 0 при х < п и
Fn (х) = i при х п, то Fn (х) => F (х) s 0.
Теорема 6. (Вторая теорема Хелли.) Если g(x) —
непрерывная ограниченная функция на прямой uFn(x)=>-
F(х), F(o©) — F(—оо)=1, то
<х> оо
lim g(x)dFH(x) = \g{x)dF(x). (30)
—oo
142
ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Доказательство. Пусть а < Ь — точки непре-
рывности F(x). Докажем сначала, что
lim
ъ ъ
J S (х) dFn (х) = J g (х) dF (х).
а а
(31)
Пусть е > 0. Разделим [а, Ь] точками непрерывности
а = Хо, .... Xjv-i, xN — b функции F(x) на 1акие от-
резки [xft_b x*], что |g(x) — g(Xfe) | < е для точек хе=
e[xft_b xft]. Это сделать можно, так как g(x) равно-
мерно непрерывна на [а, 6], а точки непрерывности
F (х) расположены всюду плотно. Определим ступен-
чатую функцию
ge(x) = g(xk) на хе(х*_1, х*],
для которой |ge(x)—g(x)|^e на хе [а, 6]. Тогда
ъ ь
J g (х) dFn (х) — J g (х) dF (х)
а а
b
< 51 s № ~ Se (х)1 dFn (х) +
а
+ \gedFn—^g6dF + Jlg(x) — gB(x)\dF(x)
[N "I
E [F„ (xft) - F (xk) - (Fn (xft_,) - F (xfc_,))] .
'J
где M — sup | g (x) |. При n -> oo последнее слагаемое
X
может быть сделано как угодно малым, откуда и сле-
дует (31). Для доказательства (30) выберем X >• 0 та-
ким, чтобы Г(—Х)<е/4 и 1 — F{X)<Z е/4 и чтобы
точки ±Х были точками непрерывности F(x). Тогда,
так как Fn(±X)—*F(±X), можно выбрать п} таким, что
при п «о Fn(—Х)< е/2 и 1 — Fn.(X)<e/2. Оценим
5 за Теорема о непрерывном соответствии
143
разность
со со
J g (х) dFn (х) — $ g (х) dF (х)
— СО — оо
х X
< g(x)dF(х)— g(x)dFn(x) +
-X -X
g(x)dFn(x) + g(x)dF(x) <
I х \> х I х । > x
x x
J g (x) dF (x) - J g (x) dFn (x) + Af6 + Afe/2.
(32)
-х
На основании (31) заключаем, что правая часть (3'2)
может быть сделана как угодно малой, что и доказы-
вает теорему.
Доказательство теоремы 3. По теореме 6
из Fn(x)=>F(x) вытекает fn(t)—^eiixdFn-*^eitxdF==>
= Можно доказать, что эта сходимость будет рав-
номерной на каждом конечном интервале t.
Доказательство теоремы 4. По теореме 5
из последовательности Fn(x) можно выбрать подпосле-
довательность Fnrl(x)=> F* (х). Докажем, что F*(x) —
функция распределения, т. е. что 7?*(оо) = 1, Г*(—ьо)==0.
Для этого мы используем неравенство
Р{1|1<*}>
(33)
где f(t) — характеристическая функция £, X > 0, т > 0.
В частности, при хХ — 2
2
-1.
(34)
144
ГЛ. 9. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Докажем, (33). Имеем
т
М еа* dt
-т
(Л|5|<х} + Лш>х}) СМ/{|£|<х} +
+ ^M/{|6|>x} = P(|g|<X}+^(l-P{lg|<X}),
откуда и следует (33).
По предположению f(t) непрерывна в нуле, поэтому
существует такое то > 0, что при 0 < т то
*с
4-
—I
> 1 — е/4.
Так как в каждой точке t, то существует
такое п0, что при п п0
t tX
\M)dt- ^f^dt
-% -t
(теорема 3 § 24 о мажорируемой сходимости). Тогда
при п > л®
•с
W >1-8/2.
и по неравенству (34)
Р{11»1<2/т} =
= Fn (2/т) - Fn (-2/т) >2(1- е/2) -1 = 1-8,
т. е. Fn (2/т)—Fn(—2/т) > 1 — в, следовательно, Г*(Ч-оо)=
“=1, f‘(—оо)=0. Докажем теперь, что F„=>F. Пред-
положим, что РпФ-Р. Тогда существуют две подпос-
ледовательности Fn-=>F* и Fn’=>F*\ По прямой пре-
дельной теореме fn, но так как то
/*в/** = /. Теорема доказана.
ЗАДАЧИ
145
Задачи
1. Найти характеристическую функцию распределения, задавае-
I —1x1
мого плотностью -g-e 1
2. Плотность распределения случайной величины £ задана фор-
мулами
I х 1₽-1
I Lil__е* ж СО
I 2Г (₽) * < 0>
с положительными а и (3. Найти характеристическую функцию (О-
3. Пусть М<) и —характеристические функции, 0 р 1.
Доказать, что —P)h(t) тоже будет характеристи-
ческой функцией.
4. Если f (t) — характеристическая функция, то Ref(t) также
будет характеристической функцией. Доказать.
б. Пользуясь простейшими свойствами характеристических функ-
ций, показать, что функции: ») sin t, 6} sin t + 1, в) г) I cos /1
не могут быть характеристическими.
6. Показать, что характеристическая функция (0 случайной
величины В вещественна при всех t тогда и только тогда, когда
распределение £ симметрично (т. е. £ и —£ имеют одинаковые рас-
рределенив).
§ 41. ТЕОРЕМА ЛЯПУНОВА
147
<1
Глава 10. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ’
ТЕОРЕМА i
§ 40. Центральная предельная теорема 1
для одинаково распределенных >
независимых слагаемых
Ранее мы доказали, что распределение числа ycne-i
хов ц в схеме Бернулли при и-> оо и постоянном 0 <
.<. р < 1 обладает следующим предельным свойством:
X ,
lim Р ( ц Сл 1 2 du. (1):
П->оо ( J J
— 00
Функцию нормального распределения будем обозначать!
х '''
Ф(х) = —\ е~“’/2 du. Функция нормального распре-!
деления Ф(х) выражается через интеграл Лапласа
X I
Ф0(х) = —7==^ \ e~u',2du, введенный в гл. 4, следующим
л/2л J
0 I1 . ’
образом: Ф (х) = у + Фо (*)• Этот результат является'
очень частным случаем так называемой центральной
предельной теоремы. Пусть £2, In, ... — послед
довательность независимых случайных величин. Мы буч
дем говорить, что для этой последовательности выпол-J
йена центральная предельная теорема, если при любом
х справедливо следующее предельное соотношение для
сумм — £i + |2 + .. • + I»: |
lim Р(х) = Ф(х). (21
П->оо I VDC# J 1
Так как в схеме Бернулли число успехов можно
представить в виде суммы ц = pi + ц? 4- ... + |х4
независимых случайных величии с Р {ц, — 1} = /м
p{ii; == 0} = 1—р, то результат (1) есть частный слу-
чай центральной предельной теоремы (2).
Для справедливости центральной предельной тео-
ремы (2) на случайные величины £1, £2, .... &», ... надо
налагать те или иные дополнительные условия.
Мы докажем центральную предельную теорему сна-
чала для одинаково распределенных случайных величин.
Теорема 1. Если случайные величины &, £2, • . •
независимы, одинаково распределены и имеют конечные
и Щ(- = о2>0, то
lim Р f ?+ ••• +кгД£<х)=Ф(х).
П->оо 0 П J
Доказательство. Используем аппарат характе-
ристических функций. Обозначим £„ — £1+^2 + ... +
п
Ik =^>k — ak, In = , тогда £„ = ~Пусть
а yn. a
— (0 “ характеристическая функция Так как
Mbft = 0, Mjl = Dgfc —a2, то, в силу свойства 6) в § 37,
f(0=l-y + 0(/2)
при t->0 и, следовательно, при любом фиксированном t
имеем
М-> ОО.
Отсюда вытекает утверждение теоремы.
§ 41. Теорема Ляпунова
Центральная предельная теорема имеет место так-
же при некоторых условиях и для неодинаковых незави-
симых слагаемых. Мы докажем ниже эту теорему в ус-
ловиях Ляпунова.
Пусть теперь k = 1, 2, ..., независимы и имеют
не обязательно одно и то же распределение. Обозначим
М£а = ak, Dg* = bl, М | В* — a* f = c*
148
ГЛ. 10. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
И
n п п
Ап — Ёак, Вп— tbl, С?п = с4-
4-1 4-1 4-1
Теорема 2. (Теорема Ляпунова.) Если £2, м«
независимы, ak, bk, сц конечны и Сп/Вп-*-0, то
lim Р I +J». < х } = Ф (х). (3)
Я-»оо * °а J
Доказательство. Положим = — ak,
*=fjA(O. Так как М‘^ = 0, М||4|3==сЗ < оо.то
+ (4)
где
(это доказывается так же, как свойство 6) из § 37).
В силу независимости 1ь характеристическая функций
1 »
L=~равна произведению
" 4-1
V’-DMx)-.
А—•!
Логарифмируя, получаем
1об7(п(0-£|»г/Д-£).
4-1
Из разложения
1о8(1+х)-Ё<=!£^
4-1
следует, что
log(l 4-х) = х4-а(х),
где при | х | 1 /2
|а(х)| =
4-2
(6)
(7)
(8)
$ 41. ТЕОРЕМА ЛЯПУНОВА
149
Из условия теоремы вытекает
я :П
В‘п
(9)
(мы здесь воспользовались неравенством (MI6 Г)1/г<
<(M|gr+)Mr+,)). Таким образом, Ь\/Вп -*0 прип —► «>
равномерно по 1^А<п. Пусть Г>0 и Сог-
ласно (4) и (5)
(ё7)==1 + е*(в7)’
где, в силу (9),
(Ю)
Выберем «о таким, что 1в* (7^7) | <4 ПРЙ п и ПРИ'
меним в правой части (6) представление (7) с оцен-
кой (8). Получаем
п п
logV)—4+S r,(J-)+Хад (У, (11)
fc-l Л-1
где ]G»| 1. Используя в (11) оценки (5) и (10),имеем
при Т:
п
|i<»gf6/o+4| < £ h (•£) |+
а
+ max
->0,
поэтому
lim/t (0 = е“.
П-»ое П
йто равносильно утверждению (3),
150
ГЛ. 10. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
§ 42. Применения центральной
предельной теоремы
Доказанные выше предельные теоремы имеют боль-
шое теоретическое и прикладное значение. Основным
в условиях этих теорем является то, что в сумме £я =
= 61 + 62 + ••• + 6п каждое слагаемое g* дает малый
в общую величину суммы случайный вклад. В част-
ности, это выражается тем, что Dgft/D£„-► 0 при и->оо
равномерно по 1 k п. В приложениях часто ис-
пользуют предположение о том, что встречающиеся при
расчетах случайные величины имеют приближенно нор-
мальное распределение. На предположении нормаль-
ности построена так называемая теория ошибок изме-
рения, в которой изучаются методы учета случайных
ошибок при измерениях тех или иных параметров в
экспериментах. В антропологии, например, обработка
результатов измерения параметров человеческого тела
также ведется на основе предположения нормальности
распределения этих параметров. Основанием для пред-
положения нормальности в этих случаях служит боль-
шой статистический материал, накопленный при, изме-
рениях. Центральная предельная теорема дает гипотезе
нормальности некоторое теоретическое обоснование,так
как часто на величину какого-либо параметра в реаль-
ном явлении влияет много случайных независимых фак-
торов, причем влияние каждого из них невелико, а сум-
марно они дают некоторый ощутимый эффект. Известно
ироническое высказывание одного статистика на этот
счет: «Каждый уверен в справедливости нормального
закона распределения, экспериментаторы,— потому, что
они думают, что это математическая теорема, матема-
тики— потому, что они думают, что это эксперимен-
тальный факт». Это изречение лишний раз нам напоми-
нает, что математические теории строятся не на самих
реальных явлениях, а лишь на их математических моде-
лях. Поэтому в применениях теории вероятностей, кйк
и вообще математики, надо никогда не забывать о здра-
вом смысле и всегда заботиться о том, чтобы рассмат-
ривалась подходящая модель, правильно отражающая
соответствующее явление.
5 42. ПРИМЕНЕНИЯ
151
Рассмотрим несколько примеров на применение цен-
тральной предельнбй теоремы. При этом мы будем при-
держиваться следующей терминологии. Если последо-
вательность случайных величин такова, что при не-
которых Ап и Вп
lim Рр" ~ <И=Ф(х), (12)
П->ОО I ап )
то мы будем говорить, что случайная величина^ асимп-
тотически нормальна с параметрами (Ап, В„) или просто
(Ап, Вп)-асимптотически нормальна, а равенство (12)
будем использовать в допредельной форме для прибли-
женной оценки вероятности, полагая
р{ А Л ,~Ф(х).
I £>п )
Пример 1. Ошибки измерения. При измерении не-
которой величины а мы получаем приближенное значе-
ние Сделанная ошибка 6 = | — а может быть пред-
ставлена в виде суммы двух ошибок
б = (|-М£) + (М|-а),
первая из которых £ — М£ называется случайной ошиб-
кой, а вторая — а — систематической ошибкой. Хоро-
шие методы измерения не должны иметь системгЙйчэ-
ской ошибки, поэтому мы будем далее полагать Мь = а.
Случайная ошибка б имеет нулевое математическое
ожидание Мб = 0. Пусть D6 = о2. Для уменьшения этой
ошибки производят и независимых измерений ......
и принимают за оценку измеряемой величину а среднее
арифметическое й =^-Ui + ••• +?«)• Какая при этом
допускается погрешность? По центральной предельной
теореме сумма £1+ ... +£п одинаково распределенных
независимых случайных величин с Mbi = a, Щ( = о2>0
(ап, асимптотически нормальна. Поэтому й при
больших п (а, о/Vи)-асимптотически нормальна и
1 eVr"/j
Р{|(2-а|<е} J е 2 du. (13)
1Б2
ГЛ. 10. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Из (13) формально можно было бы сделать вывод, что
с помощью как угодно грубых методов измерения полу-
чаются при больших п как угодно точные результаты.
Это противоречит здравому смыслу. В чем тут дело?
По-видимому, измерение грубыми методами не подчи-
няется той модели, на основе которой получена фор-
мула (13). И, действительно, при крупном масштабе
деления измерительного инструмента нельзя гаранти-
ровать отсутствие систематической ошибки.
Часто, отвлекаясь от ошибки округления, прини-
мают, что каждое измерение имеет нормальное рас-
пределение с параметрами (а, о). Тогда (13) из при-
ближенного равенства превращается в точное.
Пример 2. Логарифмически-нормальное распреде-
ление. В антропологии обычно рост или вес человека
определенного возраста и пола считают случайной ве-
личиной, имеющей нормальное распределение. Однако
во многих случаях с гораздо большим основанием мож-
но считать, что логарифмы этих параметров имеют нор-
мальное распределение. Если случайная величина т| та-
кова, что | = logr] имеет нормальное распределение, то
говорят, что р имеет логарифмически-нормальное рас-
пределение, или, породе, лог-нормальное распределение.
Лог-нормальности роста и веса можно дать некоторое
теоретическое обоснование. В самом деле, вес, напри-
мер, получается в результате воздействия многих неза-
висимых причин, однако эти причины воздействуют на
вес не аддитивно, а мультипликативно, т. е.
T) = iliTh •• • Пп-
где тр— близкие к единице независимые случайные ве-
личины. В этом случае
п
log n = log ть
и log г) в силу центральной предельной теоремы имеет
в пределе нормальное распределение.
Пример 3. С помощью центральной предельной
теоремы можно доказывать и чисто аналитические фак-
ты. Докажем, например, что
ЗАДАЧИ
153
В самом деле, пусть есть случайная величина, имею*
щая распределение Пуассона с параметром п. Тогда
П t.
*-1
Поскольку ?п==^+ ... + L, гдеё4 независимы, М|*=1
и распределены по закону Пуассона, то t,n асимптоти-
чески нормальна с параметрами (и, -т/п)', поэтому
Р V2.
Задачи
1. В-предположении, что размер одного шага пешехода равно*
мерно распределен в интервале от 70 см до 80 см н размеры раз-
ных шагов независимы, найти вероятность того, что за 10 000 шагов
он пройдет расстояние не менее- 7,49, км и не более 7,51 км.
2. Пусть случайные величины |i, £а, ... независимы я одинаково
распределены, М^-0, .Показать, что для последовательности
z.Bi, Хг?2..Хп£п, где Х„ —числовая последовательность, удо-
влетворяющая условию
. max Х|
------>о, (14)
1
справедлива центральная предельная теорема. Построить пример,
показывающий', что при нарушении условия (14) центральная пре*
дельная теорема может не выполняться.
3. Случайные величины gi, £», . • •, £п, ... независимы и имеют
следующее распределения:
р (£п'“* 0} — 1--ТР
пр
При каких аир выполнено условие теоремы Ляпунова?
4. Случайные величины gn, г]» независимы и имеют пуассонов-
ские распределения с М£п — Мт|п = Хп. Найти
11m р(
П->оо ( у П , )
5. Случайные величины gi, (=2.5», ... независимы н равно*
мерно распределены на отрезке [0, 1]. Найти вероятность того, что
fl. <jo_
11 ik ** 2'°° ’
1 1
Глава 11. МНОГОМЕРНЫЕ
ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
§ 43. Определение и простейшие свойства
Пусть случайный вектор g = (g,, имеет много-
мерную функцию распределения ... ц (xi, ..., х&) =
— Р {?i ^хь • • •> которую мы иногда будем
обозначать кратко ГДх), полагая х = (хь ..х>>). Анало-
гично, плотность ... (xi, ..., Xk), если она сущест-
вует, будем обозначать рДх). Многомерной характери-
стической функцией случайного вектора g назовем
= .....М = (1)
Л
где / = (/b /Д (/, t) = S tala- Характеристическая
11-1
функция определена для всех t с действительными ком-
понентами ta. Характеристическая функция (1) опреде-
ляется с помощью fE(x) и рДх) следующим, образом:
f 5 (О = $ ж> РЕ (л:) rfx,.
где интегралы берутся по всему ^-мерному простран-
ству /?fc.
Свойства характеристических функций.
1) При всех t Rk | f (t) | 1, f (0) — 1.
Очевидное следствие из | е'^> ^|= 1.
2) f(t) равномерно непрерывна по t.
Доказательство. Обозначим событие А—
= {|^а|^Х, а, = 1, ..., k} и напишем неравенство
l/(/ + 0-f(OI = l Ме<<‘-Е>(е‘(ЛЛ)- 1)|<
<М|ег^>- 11 = М | е1 я - 1 |/4 +
+ М1 ei 5> - 1 | Ix Д М | (h, у 11А + 2iW7 <
< А'| К | + 2Р {g [- X,
г
s 43. ОПРЕДЕЛЕНИЕ И ПРОСТЕЙШИЕ СВОЙСТВ,X 155
k
где j h 1 = У I А,, I И [— X, Xp — прямоугольник
а-1
{х: | ха |< X, а= 1, .... k}.
Пусть дано е > 0. Выбираем сначала X так, чтобы
Р {£<£[—X, Я]"} < е/4. Тогда при всех | Л | < е/ (2Л')
|/(/ + A) — f(t) | < е, что и требовалось доказать.
3) Если 5(1), 5(2), ..., %(п)—независимые случай-
ные векторы и £= £(1)+£(2)+, ••• ,4"В(П)> то
1 1 п
Доказывается с прмощью мультипликативного свой-
ства математического ожидания.
4) Характеристическая функция для вектора (5ь ...
5m), m < k, гголучается из характеристической
функции (/], •., tk) следующим образом:
.....= In:, 0, 0).
Очевидно.
5) = ....t).
k k '
Вытекает из У, 5а • t =* t У 5а.
а=1 а=1
6) Для независимости 5ь ..., I* необходимо и до-
статочно, чтобы
k
h,... ц Ui. • • • > **) = П ha
а» i
Необходимость следует из мультипликативного свой-
ства математического ожидания. Достаточность будет
следовать из доказываемой ниже формулы обращения.
7) Если т) = Cg — линейное преобразование
k
Ла ~ сар1р> а — 1» • • •» т,
с матрицей С =||сар||, а = 1, .... m; ₽ — 1, ...» А, то
fn(O = fl(C')>
156 ГЛ. |1. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
где С* — сопряженная С матрица, преобразующая век
тор t ...» tm\ по формулам
m
S £аЛ> Р == 1 > • • • > k-
а-1 р
Доказательство,
m m k
i 2 1 S 2 см'«
№М«Ме “-1 = Me'<*•C5) = Me ^“1 M =
k m
= Me f>-ipa=i aM = Me'(c*'-« = f5(C7).
Замечание 1. Если m — k, детерминант |C| =#= (
и имеется плотность р^(х), то t] = Cg также имеет пЛог
ность рц(у), которая связана с р$(х) формулой
Рт)(^) = -|^-РЕ(С~'г/). (2
В самом деле, для любого Ле / имеем Р (£е Л} =
«= Pl(x)dx. Делая в интеграле замену х — С~'у, полу
А
чаем
Р{|<=Л}= J Р1(с-1^)|с-1|^ =
СА
— Р 01 <= С А} « J Ръ (у) dy
СА
откуда следует (2).
Замечание 2. Из 3) и 7) следует, что при преоб
разовании T] = Cg + fci имеется следующая связь межд]
характеристическими функциями и.[л:
8)
Очевидно.
Обозначим моменты
mO|...eft = M##...#.
9) Если конечны все mat... ак с А + ... + ак = г, т<
Л д°к(О, ...,:0)
/Пах...ак —I —2Г--—~, a = ai+ ...+<Ц <г,'(3.
.,.ш4*
$ «. ОПРЕДЕЛЕНИЕ И ПРОСТЕЙШИЕ СВОЙСТВА
157
и
т Л /“*
но=Ё>л Е "••••*+*<* <4>
а=<> 0,+ ... +аг=а
где Rr(t)= о(|/|г) при И = |/>|+’ • • 1М-*0-
Доказательство. Равенство (3) доказывается
так же, как в одномерном случае. Для доказатель-
ства (4) опять введем событие Л = {|£а| === Я, а=1, ...
.... k] и в правой части неравенства
Ю)1 =
('л+'л)
воспользуемся неравенством
i
<1^1'21 при
е L, а! ^=(/4-1)1 Р
а-0
1 — г и 1 — г — 1. Получаем
I (A g) Г+1
/л+2
И|К; П|'/д
г!
<Х7+-'1)Г'+217ГМ(1е'1+ +1Ш'л-
Для каждого е > 0 выбираем сначала X так, чтобы
второй член был* <1е|/|г/2. Тогда при 111 to =
= с (г-f- 1)!/(2Хг+]) получаем |Яг(О | < в |
Примеры.
1. Если Р{<| = с}=1, то
2. Пусть (л....Sk) = Ms^ .... s5/-много-
мерная производящая функция случайного вектора £=
= (£!>•••,Ы- Тогда fe(/i, ..f*}«<Pt(e\ • • •> е‘‘к)>
В частности, для полиномиального распределения
<P£(sb ...» Sfc) = (p1S1+ ... +pfeS*)”
и
h(fl> - - •> 1к)~ (pie{t> 4~ • • • + Рк^ *)"•
15(4 ГЛ. II. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
3. Пусть gi, .... 5* — нормально распределенные не-
зависимые случайные величины с Msa = aa И D§a = 6a.
Тогда
k k
. V . _ 1 V . л
§ 44. Формула обращения
Мы будем исходить из следующей формулы обраще-
ния для преобразования Фурье, доказываемой в ана-
лизе. Пусть случайный вектор | = (|i, £0 имеет
непрерывную плотность р$(х) и характеристическую
функцию Li (т. е. | (/) \dt < оо). Тогда
к!1
= (5)
( Rk
Основываясь на (5), докажем формулу обращения в
общем случае. Пусть п—01ь •••• Л*) имеет независи-
мые компоненты, причем т]а имеет равномерное в
(—/а, /а) распределение, а 0 = (0ь .... 0*)— случай-
ный вектор с независимыми нормально распределен-
ными компонентами с M0a = O, D0a=l. Образуем век-
тор £ = £4-т]4-о-0. Его характеристическая функция,
если 5, т], 0 независимы, равна
k У tl
Ь(О = Ь(ОД 2“"1
a=l
Поэтому по формуле (5)
= (6)
' я*
Обозначим Д(х, 0 прямоугольник с вершинами xa±Za,
a= 1, ..., k. Так же, как в одномерном случае, дока-
зывается, что при о->0
§ 45. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
159
в точках непрерывности х предельной плотности. По-
этому из (6) получаем общую формулу обращения
Р{|<=Д(х, /)) =
* . £ £
= -L-lim \ *>М/)П Sin';a<° g 2 (7)
п °-*0 £ a-1 ta
справедливую для всех тех прямоугольников Д(х, Z),
для которых вероятность попадания £ на границу равна
нулю. Поскольку в (7) Д(х, Z) можно выбирать так, что
ха и 1а образуют всюду плотное множество, то мы по-
лучаем из нее следующую теорему единственности.
Теорема 1. По характеристической функции f^(t)
функция распределения восстанавливается однозначно.
§ 45. Предельные теоремы
для характеристических функций
Пусть случайный вектор g, = (gj 1,/,) имеет функ-
цию распределения F^ ... .xk) = F (xit ..xt).
По этой функции мы оцределяем одномерные функции
распределения F^a(x). Обозначим Da множество точек
разрыва Fia(x). Как известно, Da не более чем счетно.
Множество D — Dx U • • • U Dk также не более чем счетно.
F (хь .... xk) непрерывна во всех точках х = (хь .... xk),
если никакое ха & Ь, так как при h = (ft,.hk) с ha О
0<F(x 4- ft) — F(x) = P{laOa4- ha, a= 1, .... ft) —
— P{iaOa> a=l. •••> ft}<
<Z[Pia(xa + ha)-Fia(xa)l
и аналогичное неравенство можно написать при fta < 0.
ft-мерный прямоугольник Ха<.1а^Уа, a=l, ...,ft,
Назовем прямоугольником непрерывности, если никакое
ха или уа не принадлежит D. Для прямоугольника нел
прерывности вероятность
р{ха < < Уа, а=1..........ft} = AA, ...hJ(Xp •••> xk),
fta == Уа Xa,
непрерывна по всем своим аргументам ха, Уа-
160 ГЛ. 11. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Определение. Мы будем говорить, что последо-
вательность Fn(x) слабо сходится к F(x), и писать
Fn (x)=>F(x),
(8)
если Fn(x)-*- F(x) в каждой точке непрерывности пре-
дельной функции.
Если Fn(x) — функция распределения F(x)-~
функция распределения £, то при Fn(x)^> F(x) мы бу-
дем также говорить, что слаба сходится к g, и обо-
значать £„=>£; иногда мы будем говорить, что £л схо-
дится к £ до распределению. Из слабой сходимости сле-
дует, в частности, что Р {£„ е А}-> Р {£ е Д} для лю-
бого прямоугольника непрерыйиости Д по предельному
распределению. Если £л сходится к g по распределению,
то это значит, что распределения и g близки друг к
другу. Требовать в (8) сходимости в каждой точке
было бы неразумно, так как, например, при k — 1, = ,
= l/n,g = 0 Ftn(х) =>(х), но F5n(0) т4 Ft(O), в тоже
время £л и g близки друг к другу. Нетрудно доказать,
что из Fn(x)=^F(x) и непрерывности F(x) во всех точ-
ках следует равномерная сходимость Fn(x)->-F(x).
Одно из самых важных свойств характеристических
функций содержится в следующих предельных теоре-
мах. Пусть Fn(x), F(x)— функции распределения,
f(t) — соответствующие им характеристические функции.
Теорема 2. (Прямая предельная теорема.) Если
Fn(x)=>-F(х), то fn(t)-> f (t) в , каждой точке t^Rk.
Теорема 3. (Обратная предельная теорема.) Еслиj
fn(0 сходится в каждой точке i <= Rk к некоторой функ-
ции f[t), непрерывной в нуле, то Fn(x)=^ F(x) и f(f}
есть характеристическая функция F{x).
Доказательство этих теорем вытекает из следующей;
леммы я двух теорем Хелли.
Лемма. Если D — всюду плотное множество Rk и
Fnlx)-*- F{x) для всех х из D, то Fn(x)=$ F(x).
Доказательство. Будем писать хгС у, х < у,
если при всех а ха уа или ха < уа соответственно.]
Пусть х —.точка непрерывности Тогда для любых?
§ 45, ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
161
х', к" е D,x' <х< х", имеем
Fn(x')<Fn(x)<Fn(x"), _
F(x') = lim F„(x')<lim F„(x)Cliin F„(x)<
n->°° n-><x>
C lim Fn(x") = F (x").
ra->oo
Поскольку F(x') F(x) sC F(x") и разность F(x")—
— F(x') может быть сделана как угодно малой, имеем
lim Fn(x) — F (х).
П->о°
Теорема 4. (Первая теорема Хелли.) Из всякой
последовательности функций распределения {F„} молено
выбрать слабо сходящуюся подпоследовательность.
Доказательство. Пусть D ={хп}—всюду плот-
ное в Rk счетное множество. Из ограниченной последо-
вательности 0^F„(xi)^l выбираем сходящуюся под-
последовательность F\n(xd)-+ F(xi) (так мы дбозначаем
предел). Из ограниченной последовательности 0
=^Лп(х2)<1 выбираем сходящуюся подпоследователь-
ность F2n(x2)->- Т(х2) и т. д. Далее выбираем диаго-
нальную подпоследовательность Fnn(x), для которой
Fпп (xk) ~* F (xk)
для любого Xk^D. По лемме отсюда вытекает F„n(x)=>
^F(x).
Замечание 3. F(x) может не быть функцией рас-
пределения. Построить пример.
Теорема 5. (Вторая теорема Хелли.) Если g(x)—
непрерывная ограниченная функция на Rk и Fn(x)=^
=ф F (х), то
lim
П->ОС
Доказательство. Пусть А—прямоугольник не-
прерывности F(x). Докажем сначала, что
\g(x)dFn(x)= \g(x)dF(x). (9)
lim \ g(x)dFn(x)= V g(x)dF(x). (10)
„^oo J J
Пусть |g(x) | Al. Выберем e > 0. Разобьем А иа пря-
моугольники непрерывности Да с центрами хЛ и поло-
6 Б. А. Севастьянов
162 ГЛ 11. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
жим ge(x) = g(xa), если хеАа. Выберем разбиение
столь мелким, чтобы для любого хе Д
lg(x) — £е(*)1<8 '
Хато можно сделать из-за равномерной непрерывности
g(x) на А). Тогда
\g(x)dFn(x)-\g(x)dF(x) < \gedFn—^gedF
Л Л Д Д
+
+ hgU) —££(*)МЛ>+ (ifoW-g(x)|dF(x) < '
д 1 д
N
<2е + Л1.2 IP{U^M-PaeAa}|,
a-l
где Лг— число прямоугольников разбиения. При п->оо
последнее слагаемое может быть сделано как угодно
малым, что и доказывает (10). Для доказательства (9)
выберем столь больщой прямоугольник непрерывности
А, что F(A)^s 1—е (через F(A) мы иногда будем обо*
значать Р {£ е Л) для случайного вектора £ с функцией
распределения F(x)). Тогда существует такое по, что
для всякого п по Рп(Д)^1—2е, следовательно,
F(A)^e, Fn(A)^2e. Далее, (9) вытекает из (10) и
gdF
^gdFn — gdF .
д д
Доказательство теоремы 2. По второй тео*
реме Хелли из Fn(x)=^F(x) вытекает fn (/)= е*<**»>dFn-+
д*
-> / (0 = j (i’х) dF в каждой точке Не-
кк
трудно доказать, что сходимость равномерна на любом
ограниченном множестве /.
Доказательство теоремы 3. По первой тео-
реме Хелли из Fn(x) можно выбрать подпоследователь-
$ 45. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
163
несть Fnn(x)=^ F*(x). Надо доказать, что F*(x) — функ-
ция распределения. Это вытекает из неравенства
Р {I Ъ\<Х, а=1,
(И)
В частности, при хХ = 2
Р{||а|<Х, а=1......k}>
т
-1. (12)
Докажем (11). Пусть A ={|£al^ X, а=1, k}.
Имеем
<Р(Д) +^р-р(Д)).
откуда вытекает (11).
По предположению f(t) непрерывна в нуле, следо-
вательно, для любого е > 0 существует такое то. что
при 0 < т То
Так как fn(t)-*-f(t)' в каждой точке t, то существует
такое по, ЧтО при и п0
XX XX
J... \ J...
-X -х -х -X
2ft-2Tfte
6*
164 ГЛ. 11. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
(теорема 3 § 30 о мажорируемой сходимости). Тогда
при п п.й
Т г
7ГТ t--
2лт J J
-т -т
\ 1 е
I —g и по пера*
венству (12) Р 11 La a=l...........k}^ 2 0 ~т)~*
— I — I — е, следовательно, F(Rk) =1.
Докажем теперь, что Fn=>F. Предположим, что
Fn4>F. Тогда существуют две подпоследовательности
Fti'=>F' и Fn»=^F*~. По прямой предельной теореме
,^-*Г и но так как по условию теоремы
>f, то f*~f** — f и по теореме 1 F* = F**. Теорема
доказана.
§ 46. Многомерное нормальное распределение
и связанные с ним распределения
Мы будем говорить, что случайный вектор g —
= (gi, ..., L) имеет нормальное (или гауссовское) рас,
пределепие, если его характеристическая функция имеет
вид
Н(1) = еЦ*’а^-1Ви\ . (13)
где а = (О], .... ak) — вектор, а В==||Ьа₽11—симметрии’
ная k X A-матрица неотрицательно определенной квад*
k
ратичноп формы
(Bt, /)= Е ЬаВУв>0 *)• Мы
а, Р-1 1 р
будем
также говорить, что случайный вектор с характеристи’
ческой функцией (13) (а, В)-нормален.
Из (13) следует, что каждая компонента L имеет
характеристическую функцию
ha(t) = e
ltaa
baa fi
2
т. e. нормально распределена с ML = aa, Dga = 6aa*
Далее нам, удобно будет перейти к центрированному
*) В случае В *= 0 распределение (13) вырождается в констан»
ту а. В этом вырожденном случае распределение также удобно при*
числять к нормальному.
§ 46. МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
165
вектору g = g — а, для которого
Поскольку конечны все Mga> то конечны и смешанные
моменты МеаЁр, поэтому их можно ВЫЧИСЛЯТЬ с помощью
производных характеристической функции в / = 0. По-
лучаем
(0)
COV (sa> — M£a£p — — ~ W’
таким образом,1 B=||6ap||—это ковариационная мат-
рица (gi, .... Ь).
Далее мы будем g обозначать просто g, Одно из
важных св йств нормального распределения состоит
в том, что любое линейное преобразование ц = Cg нор-
мально распределенного вектора g с Mg=0 и || Cov(ga, g^ij ==
— В приводит к нормально распределенному вектору ц
с Мп = 0 и ||Cov(na. Пр)11 = СВС*. Это следует из свой-
ства 7) § 43, по которому
Г /л f О™;' -±(ВСЧ,СЧ) -±(СВСЧ,Ц
— t)~e 2 ~е 2
Пусть С — такая ортогональная матрица, что
СВС* =
Тогда
0 0 ... dkk
U) = e
k
I E U
a = l
(14)
t. e., Hi, •••! независимо распределены, причем при
daa > 0 Ha имеет нормальное распределение с парамет-
рами (О, V^aa), а при daa = 0c вероятностью! р® = 0.
Если матрица В имеет ранг k, то матрица D также
имеет ранг k, т. е. все daa > 0. В этом случае т] имеет
166 ГЛ. 11. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Л-мерную плотность
Р^(У 19 • • • 9 У к) —
= П - -1______е 2d«a =_______-_____
11 ^2лс1ал (2n)W2V|£|
а-1
Поскольку £ = С-1т1 и |С|=1, то по формуле (2) из
§ 43
, . . 1 -1(О-1Сх, Сх)
Pl(x)-p^Cx)
1 -±(C*D-lCx,x) 1 -1 (в~1х, х)
(2л)*й ViBT 6 ~ (2л)ад V5 6 ’
так как B~l = C*D~lC, |В| = |£)|. Нормальное распре-
деление (£i, .с плотностью (15) называется не-
вырожденным. Если В диагональна с одинаковыми диа-
гональными элементами, то нормальное распределение
называется сферическим. В этом случае плотность (15)
зависит лишь от расстояния точки х от начала коорди-
нат. Если же ранг г матрицы В меньше k, то daa > О
для а=1........г, dr+i, r+i — ... =dkk = O (при соот-
ветствующем преобразовании С). В этом случае, как
уже говорилось выше, Р {г)г+| = ... = = 0} = 1, т. е.
все распределение сосредоточено на пространстве мень-
шего числа измерений, определяемого равенствами
k
= а = г+ 1, ..., k.
Выбирая на этом подпространстве координаты
k
apgp, а= 1, ..., г, мы получаем, в силу (14),
р-i
на этом подпространстве плотность
/ч( ... Ч,(х1>
(2л)г/27<*11 ••• drr
1 Г X1
__ V °
2 d
е ан аа.
В этом случае нормальное распределение называется
вырожденным.
Если мы в общем случае г k к случайным вели-
чинам т|ь тр применим еще линейное преобразова-
§ 46. МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
167
ине 0j = ila/V^aa. так что (01....9г) будут незави-
симы и (9, 1)-нормальны, то мы приходим к следую»
щену утверждению.
Теорема 6. Для того чтобы случайный вектор £ —
= (?:, £*) был нормально распределен, необходимо
и достаточно, чтобы имело место представление
Г
sa S SagSp Н“ ®а»
3 = 1
где Ugapll—некоторая матрица, Mga = aa> а 0]...0г —
независимые нормально распределенные случайные ве-
личины с параметрами (0, 1).
Одно из самых важных свойств нормального рас-
пределения состоит в том, что оно выступает в роли
предельного распределения для достаточно общей схемы
сумм независимых случайных векторов. Мы докажем
здесь методом характеристических функций следующую
предельную теорему.
Теорема 7. Пусть £,, g2, ..., %п, ... — последова-
тельность независимых одинаково распределенных случай-
ных векторов g„ = (£ni...c,nk) с Msn* = 0 и конечными
Cov(£„a, grt0) = 6a0- Обозначим = ... Тогда
функция распределения случайного вектора >_,га.
-V п
слабо сходится, к нормальной функции распределения с ну-
левымц математическими ожиданиями и матрицей кова-
риации В=|| II-
Доказательстйо. Обозначим f(f) характеристи-
ческую функцию |„ = 1п — а. Поскольку М^п = 0 и
М|„Хр = 60р, то по свойству 9) § 43
Поэтому при любом t
k
г z t \-in ~~2 S fraf/a,B
откуда, в силу теоремы 3 § 45, следует доказываемое
утверждение.
168 ГЛ. 11. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Частным случаем этой теоремы является
Теорема 8. Пусть £ = (|1( .... £*) имеет полино-
миальное распределение с вероятностями исходов р =.
~(pi.....рк) и п испытаниями. Распределение век-
тора (I — пр)/-у/п при п-*- оо слабо сходится к нор-
мальному с нулевым средним и матрицей ковариации
llfiagpa — PaPpll, еде — символ Кронекера.
Доказательство. Случайный вектор § предстал
вим в виде суммы гр + rfe + •. • + Цп независимый век-
торов Па = (11а1. Па2. •••>ПаА). где Пар=1. если при а-м
испытании произошел исход р и 0 в противо-
положном случае. Поскольку Мт]ар—Рр и Cov(riap, r)av) =
= Pp6pY—PpPv> то применима теорема 7, откуда и следует
утверждение.
Замечание 4. Из слабой сходимости £„ к пре-
дельному вектору £ следует, что для любого прямо-
угольника непрерывности А предельного распределения
Р{ГлеА}->Р{?еД}. (16)
Ясно, что из (16) вытекает справедливость аналогич-
ного утверждения для конечных сумм таких прямо-
угольников и для множеств, которые можно прибли-
зить этими суммами. Другими словами, для любого из-
меримого по Жордану множества Ас Р {£е <ЭА} = О, где
дА —граница А, при £л => £
Р {£л е А} -> Р {£ е А}. (17)
Можно доказать, йто (17) справедливо для любого бо-
релевского А с Р {£ едА} = 0. Так же, как в одномер-
ном случае, мы используем обычно предельное соотно-
шение (17) в допредельной форме, считая, что при до-
статочно больших п левая часть (17) приближенно
равна правой.
Сферическое нормальное распределение. Как уже го-
ворилось выше, распределение £ = ....с плот-
ностью
-жД-?
08)
§ 46. МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
169
называется сферическим нормальным распределением.
Это распределение инвариантно относительно любого
ортогонального преобразования г) = С£, так как
- — (C*f, с*п (t, п
= г = е 2
т. е. fn(O = fl(0- Из сферическбго нормального рас-
пределения мы выведем несколько стандартных распре-
делений, имеющих большое зйачение в математической
статистике и других приложениях теории вероятностей,
^-распределение. Рассмотрим сферическое распреде-
ление (18) с а=1. Найдем распределение случайней
величины
Xt = Б? + • • • +
Найдем сначала плотность (х) случайной величины
(она нам понадобится дальше). Вероятность события
х < %* < х + dx можно получить из A-мерной нормаль-
ной плотности (18) с о=1, интегрируя ее по А-мер-
ному сферическому слою радиуса х и толщины dx. В ре-
зультате, поскольку (k—1)-мерный объем (k — 1)-мер-
ной сферы радиуса х пропорционален х*-1, получаем
_ **
P4(x^Ckxk~le
Для определения СА воспользуемся тем, что по свойству
со
плотности \р„ (x)dx=l, откуда получаем
J
О
ОО k
сАхк~'е~~dx = 2T’1 Г(|) Cfc=l
<г
и
х»
1 2
рх. W ;------------е • х > °- <19)
21 г(4)
170 ГЛ, и. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Используя связь между плотностями р и р;>, имеем
4-1 _ А
р2(х) = -^р (VD = -^--------/ 2, х>0. (20)
А 2^х Л - (k\
2 ГЫ
Распределение с плотностью (20) называется ^-распре-
делением с k степенями свободы,. При k = 2 имеет
показательную плотность ув 2, х 0. Плотность (19)
при k — 3 называется плотностью распределения Мак-
свелла и дает в кинетической теории газов распредели'
вне абсолютной величины скорости частиц.
Распределение Стьюдента. Пусть случайные величи-
ны go. |i....независимы и нормально распреде-
лены с параметрами (0, 1). В статистике мы часто бу-
дем использовать случайную величину
называемую отношением Стьюдента. Распределение слу-
чайной величины называемое распределением Стыо-
дента с k степенями свободы, Имеет плотность
— 00 < X < оо. (21)
Плотность (21) можно вывести следующим образом.
Обозначая x*=zV S la, представим xk в виде отно-
V а = 1
шения двух независимых случайных величин
__ Го
у •
распределение которых известно (числитель имеет нор-
мальное распределение (0, ), а знаменатель — рас»
$ 46, МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
171
пределение (19)). Функция распределения S*(x) слу-
чайной величины т* равна интегралу
5И*) = Р {•**<*}= P^^/k(u)pn(v)dudv =
— <х. о>0
V
= ак $$ 2^к ) dudv,
— <х, о>0
г
где
1 1
->/2лГ -у - 1 , k ч
2 ru)
От переменных (и, v) перейдем к новым переменным
(у, z) по формулам
u = yz, v = z. (22/
Якобиан преобразования равен
<5 (и, и)
^__ = 2, ПОЭТОМУ
откуда следует (21). Заметим, что плотность (21) при
1 ~2
/г-> оо сходится к нормальной плотности ~==-е
F-распределение. Пусть |ь т)ь .... Ли — не'
зависимые (0,1)-нормальные случайные величины.
172 ГЛ. И. МНОГОМЕРНЫЕ ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Обозначим
р
Распределение FPQ имеет плотность
х > 0, (23)
и называется F-распределением Фишера. Для вывода
(23) воспользуемся тем, что — F
есть отношение двух
РЧ
независимых случайных величин, имеющих распределе-
ние %2 с р и q степенями свободы соответственно. По-
этому
£_> Д-1 U+v
1 с Г 2 2 ---2~
= \\ « и е dudv.
и >0, и >0
Делая опять под интегралом замену переменных (22),
получаем
[Г V1 I-1
и и е dudv —
«>о, Р>0
г £_1 F £±£_i г(1+»>
= j у2 dy^z2 е 2 dz —
о о
ЗАДАЧИ
173
откуда уже нетрудно вывести (23). Просто связанная
с FPq случайная величина
. (24)
gl + ... +gp + 41 + ••• + Яд
имеет более симметричное 0-распределение с плот«
ностью
Р._! «_!
7^71).^ (1-x)‘ • (25)
Функции ^-распределения, распределения Стьюдента и
/•-распределения табулированы.
Задачи
1. Случайные величины gi, g2 — координаты точки, равномерно
распределенной в треугольнике g< 0, g2 >> 0, gi 4-^2 1. Найти
их двумерную характеристическую функцию.
2. Пусть f(t)—характеристическая функция случайной вели-
чины gt. Найтн характеристическую функцию gi, ga, если g2=l — gi.
3. Случайные величины gi, gj имеют сферическое нормальное
распределение с плотностью
1 -у (**+«’)
2пв
Найти вероятности Р {| g К 1, | ЛI < 1} и Р {g’ + г]2 < 1}.
4. Случайные величины g0, g", gp ..., g„ независимы и имеют
нормальное распределение с параметрами (0, 1). Выразить через
распределение Стьюдента распределение случайной величины
5. Доказать, что случайная величина (24) имеет плотность
Р-распределения (25).
Глава 12. УСИЛЕННЫЙ ЗАКОН
БОЛЬШИХ ЧИСЕЛ
§ 47. Лемма Бореля — Кантелли.
Закон «О или 1» Колмогорова
Пусть на вероятностном пространстве (Q, .9/, Р) оп-
ределена последовательность событий Л„ел£. С каж-
дой такой последовательностью можно связать события
А* — {со: со <= Ап для бесконечно многих п},
Л, — {со: соеЛ„ для всех, кроме конечного числа п},
которые называются соответственно верхним и нижним
пределами последовательности {Лп}. Мы будем обозна-
чать
Л* = limsup Л„, Л, = lim inf Лп.
п -> оо /2 -> оо
Нетрудно видеть, что
оо оо
Л‘= П U Ат, Л,= и fl Ат,
n=-t т^п п-1 гп>л
поэтому Л* и Л„ принадлежат .9/, т. е. являются собы-
тиями. Если Л* = Л« = Л, то мы будем говорить, что А
есть предел Ап, и будем писать А — lim Ап. Если ввести
П->00
индикаторы 1ал, то легко видеть, что
Ia' — Пт sup I а <=> А* — lim sup Лп,
л->оо п п->оо
/л. — lim inf I а <=► Л, — lim inf Ап,
П+оо П
/л==Ит/л <=>Л = ПтЛп.
П->оо П->оо
Монотонные последовательности An всегда имеют предел.
Если Л( s Л2 s ..., то Лп t Л, = Л’= U Лп, а если
п
<47. ЛЕММА БОРЕЛЯ - КАНТЕЛЛИ
J75
А, Э Л2 э ..., то Ап | А* = Л. 4= П Ап. В этих случаях из
п
аксиомы непрерывности легко получить Р(л„)Т P(U лп)
и Р(ЛП)|Р(П Л„}. Поскольку для любой последова-
тельности {Л„}
Вп = U Ат | А* == lim sup Л„ и С„ = П 41 А =
m>n п->о» ш>-п
— lim inf Л„,
П->оо
то
Р {lim sup Ап) — lim P (B„), P {lim inf A„} == lim P {C„}.
n->co n->oo n->OO n->OO
Условия, при которых вероятность события
А* = lim sup Лв равна нулю или единице, дает ниже-
П-> оо
следующая
Лемма 1. (Лемма Бореля—Кантелли.) Если
£р(лп)<оо, (1)
п-1
то Р(Л*) = 0. Если Л1,Л2, ... независимы и
£р(Л„) = оо, (2)
п»1
то Р(Л*)=1.
Доказательство. Рассмотрим случайную вели-
чину
СО 1
п-1 "
равную числу тех номеров п, при которых происходит
Ап (т. е. £((o) = k, если ровно для k номеров п а> е Лп).
По теореме о монотонной сходимости
оо со
м/4=Ер(лд
П-1 п п-1
поэтому из (1) следует М£ < оо, т. е. случайная вели-
чина с вероятностью 1 конечна, а так как Р(Л‘) =
= Р{с —«>), то первая часть леммы доказана. Для
176
ГЛ. 12: УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
доказательства второй части воспользуемся независи-
мостью А1( А2, ... в соотношении
Z сю \ / о° Ч '
Р {А*} = lim Р ] U4 =l-nmP П А,Л =
п-><у> к т—п ) п->°о к j
( k \ k
ж=1— lim limp] f] > = 1,—lim lim Ц(1—Р(Лт))=
n->co k->oo к m J fe->oo tn ~n
00
= 1- lim П (1-P(AOT))=1,
tl -> OO rn — n
так как ряд (2) расходится.
Следствие. Если Ah А2, ,независимы, то Р(А*)
равно 0 или 1 в зависимости от того, сходится или рас-
ходится ряд
п
Это следствие является частным случаем более об-
щего закона «О или 1» А. Н. Колмогорова.
Пусть на вероятностном пространстве (Q, $6, Р) опре-
делена последовательность g1( £2. ••• независимых слу-
чайных величин. (Это означает, что любая конечная
их совокупность |1Г £2.Ъы независима.) Ранее мы у;-.е
определяли о-алгебру ц, порожденную случай-
ными величинами £|, .... как о-алгсбру всех событии
А, представимых в виде А = {и; (®)> ..|п(®))} <= В,
где В <= &п—борелевские множества из пространства Р"-
Диалогично определяются s ... Объеди-
нение всех ^п, ’„+1. ••• есть алгебра событии;
Минимальную о-алгебру, порожденную этой алгеброй,
Обозначим ^inin+l Последовательность ...,
•Я^п+1&п+2 ..•> ••• есть последовательность невозраста-
оо
юших о-алгебр. Назовем о-алгебру Ч? = П ^„Бв+1 ...
остаточной о-алгеброй последовательности {l-J; события
Де? также будем называть остаточными. Эго название
отражает тот факт, что любое А не зависит от
любого конечного числа случайных величин £2.....1м
н определяется лишь «бесконечно далекими» значениями
последовательности |г, ... Примерами остаточных
событий являются { X сходится^, | 2. расходится|-
§ 48. РАЗЛИЧНЫЕ ВИДЫ СХОДИМОСТИ
177
Теорема 1. (Закон «О или 1» Колмогорова.) Если
£i> 52> ••• — независимые случайные величины, то всякое
остаточное событие А имеет вероятность Р(А), рав-
ную 0 или 1.
Доказательство. Если А е то Лг ^п5п+1 ...
при любом п. Так как и <s^„+1... независимы,
то Р (АВ) = Р (Я) Р (В) для любого В е ... при
каждом п. Следовательно, А не зависит от любого
а так как , то А не зависит
от самого себя, т. е. Р(АА) = Р (А) = Р2 (А), откуда п
следует утверждение.
Следствие. Если £2, ... независимы, то L,
либо сходится с вероятностью 1, либо расходится с ве-
роятностью 1; то же самое справедливо для ряда X L-
П
§ 48. Различные виды сходимости
случайных величин
Сходимость почти наверное. Мы будем говорить, что
последовательность gi, §2, ... сходится почти наверное
п. и,
(п.н.) к случайной величине g, и писать если
P{lim £„ = £}= 1,
1 rt->oo
т. е. вероятность события
{и: lim (со) =£ g (и)}
п-> <"
равна нулю.
п.н.
Покажем, что сходимость £п—*"6 эквивалентна
тому, что для каждого 8 О
lim Р{ю: sup|lm— £|> е)=0, (3)
п->оо гп > п.
В самом деле, событие {&п-> £} можно записать так:
оо со
{in ъ} = f) U П { I £ 1 У } 1
П=1
178
ГЛ. 12. УСИЛЕННЫЙ закон больших чисел
а противоположное событие представимо в виде
со оо
а„7Ч)=и П U {iu-si>7-}.
г-1 п— 1 m>n
Для того чтобы PU/iT4^}, необходимо и достаточно,
чтобы при всех г
, ОО X
р] П U {i^-*i> 1} н)
L п-1 гп>п )
а так как
то из (4) следует, что при любом г 1
lim P{supHm-g|> М = О,
n->oo m>n ' '
что равносильно (3).
Сходимость по вероятности. Мы говорим, что схо-
дится по вероятности к £ (и обозначаем —> fc), если для
любого е > О
РШп —£1>е}->0, п->оо.
Доказанный рднее закон больших чисел для сумм
£n=£i+ • • • +£п независимых одинаково распределенных
случайных величин с Mgt = a и Dgj — a2 < оо дает при-
мер сходимости по вероятности ——>а, так как Ve>0
Р{|^п—а 1 > е } О* П-+оо.
Поскольку (I £п — I > е) s ( sup | £т — £ | > е), то из
m > п
. п. и р
условия (3) вытекает, что gn —влечет за собой %„—*
Мы будем говорить, что последовательность случай-
ных величин £п фундаментальна по вероятности, если
У*> О
РШп — £ml>e}->0, /1, /п->оо.
§ 48. РАЗЛИЧНЫЕ ВИДЫ СХОДИМОСТИ
179
Теорема 2. Для того чтобы —>g, необходимо и
достаточно, чтобы последовательность g„ была фунда-
ментальна по вероятности.
Доказательство. Если gn J* g, то из неравенств а
Р{1 g„~ U 1>е)<Р {|g« — g 1> у} + Р [lU- gl>|}
вытекает фундаментальность {gn}. Для доказательства
достаточности воспользуемся следующей леммой.
Лемма 2. Если последовательность фундамен-
тальна по вероятности, то из нее можно выбрать подпо-
следовательность, сходящуюся п. н.
Доказательство. Положим П\ = 1 и по индук-
ции определим и* как наименьшее N > пь-\, для кото-
рого
PflSr-gJ>
I Z J a
при всех r, N. Тогда
поэтому по лемме Бореля —Кантелли с вероятностью 1
осуществляется лишь конечное число событий |grtft+l—
оо
- ЧI > тг- Поэтому ряд gi + X — Ч) сходится
А-1
°°
с вероятностью 1. Полагая g = gi + 52 (g«fe+l — g«ft) для
тех со, для которых ряд сходится, и нулю в остальных
точках, получаем gn^^^-g. Лемма доказана.
Докажем теперь достаточность в теореМе 2. Если
фундаментальна по вероятности, то в силу леммы су-
ществует случайная величина £ и подпоследбватель-
ность gnft, gn^^-ig. Но в этом случае gn-Л g, так как
Р {I gn - g 1>е) < Р {| gn~gnft |>у}+Р {| gnft~g |><}“*0.
Докажем еще одно следствие сходимости по вероятности.
180
ГЛ. 12. УСИЛЕННЫЙ закон больших чисел
Теорема 3. Если -Л-1, то функция распределения
Fin{x) слаб° сходится к функции распределения Fi(x).
Доказательство. Обозначим событие {|£п~*
— £1^ в}= Ап. Так как при о е А„
S — 8 £ + 8,
то при любом х мы имеем
а„<х} = а<х+в}ил,
откуда следует
ра<х-е}-р(л„)<р{^<х}<
<Р{?<х + е} + Р(Л„),
Р{-<х-е} < lim Р U„ <х}< lim PU„ <х}<
п->«> «•*“
<PftO + e}.
Если х — точка непрерывности Fi (х), то из (5) получаем
lim Ft (х) — Fi(х), что и требовалось доказать.
П->оо П
Если Fi* (х) слабо сходится к вырожденному распре»
делению, то имеет место обратное утверждение.
Теорема 4. Если Fi =>Fi и Fi вырождено в точке с,
то Л с.
Доказательство. Так как F$ (с + е) -► 1 и
Fi* (с — е)-+ 0, то Р {с — 8 < <£ + eJ L т. е.
Р {I In — с | > е) ->0, что и требовалось доказать.
Следующий пример показывает, что сходимость п. и.
сильнее сходимости по вероятности. Пусть пространство
элементарных событий — это отрезок Q= [0,1], собы-
тия — это борелевские множества на нем, вероятность —
мера Лебега. Для 2* п < 2*+* определим
п — 2*
М®) =
2*
<® <
n + 1 — 2*
2й
0
в остальных точках.
§ 49. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
181
Так как при любом 1 >е>0 Р {I I > в} =-4-, то
। 2
gn_^.Q, но в то же время Р —'т4 0} = 1.
Сходимость в среднем. Мы будем говорить, что по-
следовательность сходится в среднем порядка г > 0,
если
M|g„-sr-*o, л->0. (6)
Если г — 2, то сходимость (6) называется сходимостью
в среднем квадратическом. Сходимость в среднем по-
рядка г будем обозначат^ Из неравенства Чебы-
шева
Р{1 In - £1 > е} <
Г
8
г °
вытекает, что сходимость —* £ влечет —* g.
величин.
сходимости случайных
Таким образом, мы установили соотношения между
разными видами сходимости случайных величин (см.
рис. 13).
§ 49. Усиленный закон больших чисел
Исходя из неравенства Чебышева
P{ISn-MCJ>x}<-^-.
примененного к суммам £п — ... '+ независи-
мых случайных величин gi, .... мы доказали ранее
закон больших чисел (теорема Чебышева), который
165
ГЛ. 12. усиленный закон больших чисел
можно сформулировать так: если gu g2, ... независимы
и Dg* ограничены, то
Др. (7)
В случае, когда gi, g2, независимы и одинаково рас-
пределены, сходимость по вероятности (7) имеет место
при более слабом условии конечности М£п = «.
Теорема 5 (Хинчин). Если gi, g2, ... независимы,
одинаково распределены и Mgn = a конечно, то имеет
место закон больших чисел-.
gi + ... + _
---------------
п
Доказательство. Характеристическая функция
/(/) случайной величины g*— а представима в окрест-
ности нуля в виде f(t)== 1 Н-o(t), поэтому, обозначая
1' = ^ + ... -\-Лп~па, имеем
откуда следует слабая сходимость £'п1п к нулю, что
равносильно (см. теоремы 3 и 4 § 48) £'/« Д 0.
Оказывается, можно доказать в условиях теоремы 1
более сильное утверждение, принадлежащее А. Н. Кол-
могорову. Это так называемый усиленный закон боль-
ших чисел, утверждающий, что
п
Далее нам понадобится неравенство Колмогорова,
усиливающее известное неравенство Чебышева.
Теорема 6. (Неравенство Колмогорова.) Пусть
.... In независимы и имеют конечные Mg* и Dg*. Тогда
P{max|g*-Mg*|>x}<-^-, (8)
KfeCn *
ede g* = gi -j- ... + g*.
Доказательство. Далее будем считать Mg* = 0.
Это не ограничивает общности, так как всегда можно
перейти от g* к g* — Mg*. Введем случайную величину
§ 49. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
183
v = min {k: | х]. Если max | [к | < х, то положим
V = n + 1. Так как g«>£2 Е hv=k}, то
fe-i
Mgn Е M£rj/{v=fc) =
K=1
— E M (?! r|- • • • + Ik + 54+1 + • • • + D2 (v^.4)
£=1 I
>E M (?! + ... + gj2 /(v-4} +
1 /e-l
+ 2 £ M (?| + ... + ^t)/{v=fcj (£*+i + • •. + g„).
k=* 1
Случайная величина /{v„fe} зависит лишь от g(.......%к,
поэтому (?, + ...+ %k) /{v=fc} не зависит от gA+1...g„ и
MG, + ...+y/1v.M(U1 + -+y»
= М (g, + .. • +Q/{v_ft} • M(gft+1 + ... +Q = 0.
Так как для <ое{у = А} имеем Zk^x и P{v^n} =
— Р { max | С* |>х}, то
1С4<п,
Md > Е МЙ/{v=k} *2р {v < n} = Х2Р { max | & | > х}.
fc=l , 1
Неравенство (8) доказано.
Докажем теорему об усиленном законе больших ЧИ'
сел для независимых разно распределенных случайных
величин.
Теорема 7. Пусть £(, g2, ... независимы, Mg„ = О,
Dg„ = o2n и
Тогда
^.+ -•+gnJL^Oj (9)
Доказательство. Обозначим = £i + ...
••• .+ £« По критерию (3) из § 48 сходимость (9) равь
184
ГЛ. 12. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
носильна условию
Р I sup I-&-1 > е ] ->0, п->оо, (10)
л I j
при любом е >• 0. Обозначим Ап событие
Лп = { max |%|>е).
'•2П-1<4<2П‘ 1 '
Тогда (10) равносильно
Pi U и—>оо. (11)
(. к=п )
По неравенству Колмогорова
Р(Л„)<Р{ max |^|>е.2п-1}<
2П“1<*<2'1
<Р{ max |Sft|>e.2'*-1}<4-r^Jr.
Далее
оо оо 2^
£р(Л»)<4е-’Ё2-“ £>’<
Л-1 /г=1 л=1
оо оо 2
Л=1 п-1
так как У 2-2А <2 • 2~2к‘. Из сходимости ряда У, Р(Л*)
4=fto к
следует (11), так как
р( U лЛсЕ р(Л)->о, «-оо.
Ч *-п k=n
Докажем следующую вспомогательную лемму.
Лемма 3. Митематическое ожидание 5 кбнечно.
со
тогда и только тогда, когда У Р{15 !>«} < СО.
п-1
§ 49. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
185
Доказательство. Если Ms конечно, то н М]g[
конечно, н наоборот. Из очевидных неравенств
2 (га—1)Р{га—1 <|£|<п}<М|||<
п= 1
nP{n-l<|g|<n)
П=1
и соотношений
У гаР {га — 1 < I £ |<га} =
П=1
= £рш1>п}<1 + £ рш1>«},
п—О n—1
Z (га-l)P{n-1 <|||<га} =
П“1
== 2 »Р {га — 1 <|g|<n}-Pa>O}=f P{|g|>n}
п=1 »“1
вытекают неравенства
2 p{iii>«}<misi<i+2 рш1>«},
п-1 п-1
откуда следует утверждение леммы.
Для независимых одинаково распределенных слу-
чайных величин справедливо более сильное утвержде-
ние, дающее необходимое н достаточное условие уси-
ленного закона больших чисел.
Теорема 8. (Усиленный закон больших чисел Кол-
могорова.) Пусть gi, g2. ... независимы и одинаково
распределены. Для того чтобы
£1 + Еа + • + Еп а
п
необходимо и достаточно, чтобы существовало конечное
М1п = а.
Доказательство. Достаточность. Введем слу-
чайные величины °
Г _р». если It» К».
0, если |g„|>ra,
186
ГЛ. 12. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
и £„ = £1+ ... +L- Случайные величины g2, •••
также независимы, так как есть функция %п. Из ра-
венства
заключаем, что теорема будет доказана, если мы пока-
жем, что справа все три слагаемых с вероятностью, 1
сходятся к нулю. Третье слагаемое неслучайно и бес-
конечно мало, так как оно равно среднему арифмети-
ческому
п
£-=1
сходящихся к нулю -> 0, k-><x>, членов.
Обозначим = {£„#= jn}. Имеем
Е P(4)=EP{lU>«bEP{lM>»},
п-1 п-1 п-1
где последний ряд сходится в силу конечности M£i по
только что доказанной лемме. Поэтому по лемме Бо-
реля — Кантелли лишь для конечного числа номеров п
In- Следовательно, в (12)
Еп — Ёп П~ Н’ л
п
Осталось доказать 0, Применим теорему 3.
Для этого докажем, что
Поскольку D|„ < М|д < Е &2Р {k — 1 < I £ К Л}, то
k m 1
я-l n-1 й-1
оо
*“1 п>А
s 4S. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
187
Так как
dx 1 у» 1 1 . 1 _ k + 1
п2 ) хг ~ k ’ Т0 2u п2 А А2 А2
n>k b n^i
И
оо _ СО
п-1 й“1
оо
<£ (А4- 1)Р{*-1 <||11</г}<
л-1
оо
<2 + £ (k- 1)Р{А-1 <|?1|<A}<2 + M|g1|<oo.
Г„ и. rt.
Необходимость. Если — —*а, то
п
ll=sIn _ 1 . Сп-1 п н; о
п п п п — 1 ’
т. е. с вероятностью 1 осуществляется лишь конечное
число событий 4г
I fl
это влечет за собой
1. По лемме Бореля — Кантелли
£ Р{|^1>п}=£р{1^1>«}<оо.
п-1 п-1
Следовательно, по леммё этого параграфа конечно М|ь
Следствие. В схеме Бернулли для числа успехов
имеет место не только закон больших чисел
но и усиленный закон больших чисел
п
Следствие вытекает из теоремы 8, так как цл ==
= £i+ ••• +£п. где gi.In независимы и Р{^ =
= 1} = Р, Р{^ = 0}=1-р.
188
ГЛ. 1?. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
Задачи
1. Случайные величины я = 1, 2, .... независимы и одина-
ково распределены. Доказать, что с вероятностью 1 произойдет лишь
конечное число событии Ап = { | I V» } тогда и только тогда,
когда DEn конечна.
2. Доказать, что сходимость Ел к | почти наверное или по ве«
роятности влечет за собой сходимость в том же смысле К /(5),
если /(х)—непрерывная функция.
3. Если f(x)—непрерывная ограниченная функция, то из
Р
—► I следует сходимость f(E„) к f(g) в среднем r-го порядка
при любом t > 0. Доказать.
4. Показать, что в условиях теоремы 7 можно получить более
сильное утверждение о сходимости
4* • •• п- ” Q
п '
где — некоторая последовательность, стремящаяся к бесконеч-
пости.
5. Случайные величины gt> 5г.5 л. ••• независимы, одина-
ково распределены, M^i конечно. Независимые от них случайные
величины 0|, 02, 0„, ... йезависимы между собой н удовлетво-
ряют условию 10П | 1 и М0П = О, я=«1, 2, ... Справедливо ли
утверждение:
В||1 + ... + Bn5n п- и* 0р
п
Глава 13. СТАТИСТИЧЕСКИЕ ДАННЫЕ
§ 50. Основные задачи математической статистики
В гл. 1 говорилось, что теория вероятностей зани«
мается изучением математических моделей случайных
явлений. Имея подходящую математическую модель ка-
кого-либо случайного явдения, мы можем рассчиты-
вать вероятности тех или иных событий и по этим ве-
роятностям мы можем, пользуясь статистической устой’
чивостью частот, предсказывать частоты этих событий.
Если вероятностная модель выбрана правильно, то та-
кие предсказания будут выполняться со случайными
ошибками, которые также можно рассчитывать в рам-
ках выбранной модели.
Математическая статистика выделяется из теории
вероятностей в самостоятельную область, хотя основ-
ные методы и приемы рассуждений в ней остаются
теми же самыми. Причиной этого является специфич-
ность задач математической статистики, являющихся в
известной мере обратными к задачам теорйи вероятно’
стей. Если в теории вероятностей мы считаем заданной
модель явления и производим расчет возможного реаль-
ного течения этого явления, то в математической ста-
тистике мы исходим из известных реализаций каких-
либо случайных событий, из так называемых статисти-
ческих данных, которые обычно носят числовой харак-
тер. Математическая статистика разрабатывает различ-
ные методы, которые позволяют по этим статистическим
данным подобрать подходящую теоретйко-вероятност-
ную модель. Например, пусть имеется п независимых
наблюдений в схеме Бернулли и пусть в пг из них про-
изошло событие А. Поскольку модель в схеме Бернулли
определяется числом испытаний п и вероятностью
P(A)t то на этом примере мы сталкиваемся с одной
из задач математической статистики: как по m осу-
ществлениям события А в га независимых испытаниях
определить вероятность р>=»Р(А)?
190
ГЛ. 13. СТАТИСТИЧЕСКИЕ ДАННЫЕ
Перечислим те основные задачи, которые решает ма-
тематическая статистика, на примере схемы Бернулли.
а) Проверка статистических гипотез. Из каких-либо
априорных соображений мы можем предполагать, что
р = р0, где ро — некоторое фиксированное значение. По
„ m
относительной частоте — мы должны решить, справед-
лива гипотеза р = ро или нет. Поскольку при больших
m
п относительная частота — близка к р, то статистиче-
ский критерий по проверке гипотезы р — Ро должен
основываться на разности — р0|. Если она боль-
шая, то, по-внднмому, гипотеза неверна, если же она
мала, то у нас нет основания отвергать гипотезу р = ро.
б) Статистическое оценивание неизвестных парамет-
ров. Иногда нам требуется по наблюденному m указать
то число р, которое можно принять за вероятность р
в схеме Бернулли. В нашем примере естественно взять
Р = ~. Оценка должна быть в том или ином смысле
близкой к оцениваемому параметру.
в) Доверительные интервалы. Иногда нас интересует
не точное значение неизвестного параметра р, а тре-
буется указать тот интервал р р р, в котором с ве-
роятностью, близкой к единице, лежит параметр р. Та-
кой интервал (р(т), р(/п)), концы которого случайны
и зависят лишь от наблюдаемого значения tn, назы-
вается доверительным интервалом.
В последующих главах мы уточним понятия, связан-
ные с этими основными задачами, и рассмотрим эти
задачи применительно к некоторым вероятностным мо-
делям.
§ 51. Выборочный метод
Терминология многих статистических задач связана
со следующей уриовой схемой. Пусть имеется урна с,
карточками, на„которых нанесены числа Ai, Х2, .... Х.у.
Из уриы случайно выбираются п карточек с числами(.
Xi, Х2...хп. Полученный набор чисел
*i. хг, ..., хя (1)
5 81. ВЫБОРОЧНЫЙ МЕТОД
191
называется выборкой объема п из генеральной сово-
купности
Xlt Х2, .... Х„. (2)
Как известно, выборка может быть без возвращения,
когда каждое подмножество {Xi{, Xtn] мощности п
из всего множества (2) появляется с вероятностью
1/Слг, и с возвращением, когда каждый упорядоченный
набор (Xit, .... где могут быть повторения, появ-
ляется с вероятностью \/Nn. Нетрудно видеть, что в слу-
чае выборки с возвращением Xi, ..., хп являются ие-
зависнмыми*случайными величинами с законом распре-
деления случайной величины g, котбрая с одной и той же
вероятностью 1/N принимает каждое из значений (2),
если все X/ различны:
P{g = Xz} = ^, /=1, ..., N.
В этом случае мы говорим, что (1) есть независимая
выборка объема п, или независимая реализация объема
п случайной величины g.
Упорядочивая выборку (1) по возрастанию, мы по-
лучаем вариационный ряд
*(1) <*(2) < • • •
С любой выборкой (1) можно связать так называемое
эмпирическое, или выборочное, распределение, приписы-
вая каждому значению х, вероятность \/п. Эмпирической
(или выборочной) функцией распределения будет
п
А-1
Поскольку выборка (1) случайна, то эмпирическая
функция распределения при каждом х есть случайная
величина. Математическое ожидание (среднее), диспер-
сия, моменты эмпирического распределения также бу-
дут случайными величинами и будут называться соот-
ветственно эмпирическими (или выборочными) матема-
тическим ожиданием (средним), дисперсией;моментами.
192
ГЛ. 13. СТАТИСТИЧЕСКИЕ ДАННЫЕ
Таким образом, выборочное среднее есть среднее ариф*
метическое элементов выборки
ь-i jj
и выборочная дисперсия равна
п 1
k-i
Выборочные моменты и центральные моменты порядку
г определяются выражениями
п п
4-Е^> 4Е(х<-*)\
i=i i=i
В прикладных курсах математической статистики
большое место занимает так называемая описательная
статистика, в которой излагаются рациональные способы
задания статистических данных и вычисления сводных
характеристик типа (3) и (4). Например, еслихг=а +
п п
+Ус то х—а + у, где у = £ уь и s2~ Е У2~(а~У)2-
i-l 1=1
Эти формулы облегчают вычисления в случае, когда
числа Xi большие. Подбирая подходящее а, мы сводим
все вычисления к арифметическим действиям над чис-
лами yt с небольшим числом знаков.
«Выборочная» терминология сохраняется и в том
случае, когда генеральная совокупность (2) не состоит
из конечного числа элементов N, а просто есть некий
генератор независимых случайных величин xt с каким-
либо распределением1). Такой идеализацией в стати-
стике пользуются или при очень больших W (например,
при статистических обследованиях в демографии, эко-
номике, социологий), или в том случае, когда элементы
выборки (1) можно получать какой-либо однородной
*) В математической статистике случайнее величины обознача-
ются часто буквами xi, у/ и т. д., являющимися элементами вы-
борки.
§ 51. ВЫБОРОЧНЫЙ МЕТОД
193
процедурой любое число раз (например, результаты из-
мерений, размер деталей при массовом их изготовлении
и т.'д.). 1
В дальнейшем мы будем в основном заниматься не-
зависимыми выборками. Относительно беспорторной вы-
борки докажем лишь рледующую теорему. Обозначим
Л' .V
1 = i I -1
среднее и дисперсию генеральной совокупности (2).
Теорема 1. Эмпирическое среднее х бесповторной
выборки (1) имеет следующее математическое ожида-
ние и дисперсию-.
Мх = Х, Dx = ^--^-. (5)
Доказательство. Воспользуемся формулами
Mx--^£Mxz, Dxz = V£dxz + 2 £Cov(xz,Xy)j.
< = 1 М-1 i<i '
(6)
Вычислим Mxz, Dxz Cov(xz, Ху). Поскольку для вы-
числения нам нужны лишь двумерные распределения
X/, X/, рассмотрим конечное вёроятностное пространство
(Q, &1-, Р), где,элементарные события ® = (/г, /), 1
и элементарные вероятности р (и) = .
Случайные величины xz, Ху определим равенствами
xz(fe, l) = Xk, Xi(k,l) — Xi.,
Тогда
N N
Mxz = 4-£xft = x, Dxz = 4-£(^-a)2 = s2
k=i k=i
и при (#=/
Co v (xz, Xy) = N {N[_ f- £ (Xk - X) (Xt - X) =
k=£l
L fe=l l£=1 j j
7 Б. А. Севастьянов
ГЛ. 13. СТАТИСТИЧЕСКИЕ ДАННЫЕ
Подставляя полученные значения в (6), получаем фор-
мулы (5).
Замечание. Для выборки с возвращением дис-
персия х равна S2/n. По неравенству Чебышева при
_ р —
?7^и-*оо \ты получим х-—► Л как в случае выборки
с возвращением, так п в случае выборки без возвра-
щсиия.
Загачи
I. Из конечной генеральной совокупности {Х(, Х.;, Хд,}
берутся последовательно две бссповторные выборки .... хП)} и
Ду, . ytl), /I. + п.,<Х. Найти ковариацию и коэффициент корре-
П]
АЯЦИИ -’ежду срсдичмн X = — X. Я 1] = у{.
!—1 1=1
". Найти математическое ожидание Ms2 выборочной дисперсии
tl I п
s- = — У2 (xi — х)~> где -ё = ~ У для бесповториой выборки
1=1 i“1
?.....х из конечной генеральной совокупности (.Yp X,,, -Д,).
3. Найта математическое ожидание Ms2 выборочной дисперсии
п ।
№ ==-— у (у. — л)? если, X], .... хп—.независимая выборка из
i ~ I
распределения с /Дисперсией Dx.— о2.
4. Вычислить и если вариационный ряд
.. С получен из независимой выборки Л'р хп с равномер-
ным распределением в (0, а).
Глава 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
§ 52. Статистические гипотезы
Пусть случайная величина £ или случайный вектор
5 — (|ь . .., £„) имеет плотность р(х;0), зависящую от
параметра 0, одномерного или многомерного, прини-
мающего значения из некоторого множества 0. В част-
ности, если р(х;0)—одномерная плотность и независи-
мая выборка
Л-1; х2, .. хп (1)
получена нз распределения с этой плотностью, то «-мер-
ная плотность, соответствующая выборке (1), равна
произведению
1 п
Р(Х1.....Хп-, 0) = П р (Л-Ъ‘0).
ь=1
Хотя мы будем далее говорить о р(х;0) как о плот-
ности, все сказанное с очевидными видоизменениями
будет применимо и к дискретным случайным величи-
нам с законом распределения
р(.г; 0)==Р{£ = л-},
где х принимает счетное или конечное число значений.
Значение параметра 0 вполне определяет плотность
р(х;0). Те или иные предположения о значениях пара-
метра 0 мы будем называть статистическими гипоте-
зами. Статистическая гипотеза называется простой,
если она состоит в том, что 0 = Оо, где 0О — некоторое
фиксированное значение. Если же наше предположение
заключается в том, что 0 е= во, где 0О—подмножество
множества параметров 0, .состоящее более чем из од-
ной точки, то мы говорим о ,сложной гипотезе. Рассмот-
рим примеры.
! (х-аР
Пример 1. Пусть р (х‘, а, о) = —=^-е 2°г —плот-
-у2я а
ность нормального распределения, зависящая от дву-
7*
196
ГЛ. 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
мерного параметра (а,о). Гипотеза (о,о) —(0,1) яв-
ляется Простой, а гипотеза а — а0, где аа фиксиро-
вано, — сложной.
Пример 2. Пусть р(х\ 0) = C;VIO>:(1 — 0)”“* — веро-
ятность х успехов в схеме Бернулли с п независимыми
испытаниями. Примером простой гийотезы служит 0 —
= 1/2, а примером сложной— 0 > 1/2.
Задача проверки статистических гипотез ставится
следующим образом. Известно, что выборка (1) полу-
чена из распределения, имеющего плотность вида
р(х;0). Относительно параметра 0 имеется,некоторая
основная, или проверяемая, гипотеза На: 0 €= 60- Мы
должны построить такой статистический критерий, ко-
торый позволяет нам заключить,, согласуется ли выбор-
ка (1) с гипотезой Но или нет. Обычно критерий строит-
ся с помощью критического множества. Из множества X
всех возможных значений х — (хь ,.., хп) выборки (1)
выделяется такое подмножество S, называемое крити-
ческим, что при х S гипотеза Но отвергается, а в ос-
тальных случаях она принимается. Критическое множе-
ство S выбирается таким, чтобы вероятность Pft(S) =
= Q)dx выборке х попасть в S при гипотезе Но
s
была мала. Получаемый с помощью критического мно-
жества S статистический критерий называют иногда
S-критерием. Естественно, что множество S, удовлетво-
ряющее этому требованию, можно выбрать многими спо-
собами. Более определенный выбор возникает в том
случае, когда нам задана конкурирующая, или альтер-
нативная, гипотеза Ну. 0^01. Мы будем рассматри-
вать главным образом случай двух простых гипотез:
проверяемой гипотезы Но: р0(х) — р(х\ 0О) и конкури-
рующей гипотезы Ну. pt(x)= р(х-, ОХ. Есть задачи,
в которых гипотезы Но и Hi равноправны. Так обстоит
дело при разбиении множества каких-либо объектов
на два вида по значениям определенных параметров.
Однако очень часто в реальных задачах гипотезы Но н
Н} выступают неравноправно. Например, размер годной
детали, изготавливаемой на заводе, есть случайная ве-
личина, имеющая нормальное распределение с параме!-
рами (ао, Оо)- Предположим, что дефектная деталь имеет
§ 53. УРОВЕНЬ ЗНАЧИМОСТИ И МОЩНОСТЬ КРИТЕРИЯ
197
соответствующий размер также нормально распределен-
ным, но уже с параметрами (а, Оо), где а^а0. Техни-
ческий контроль, на который поступают изготовленные
детали, исходит из того, что детали должны быть год-
ными, и поэтому проверяет гипотезу Но, т. е. их год-
ность. В этом случае Но — основная гипотеза, и на конт-
роле надо уловить те детали, которые изготовлены в ус-
ловиях конкурирующей гипотезы Щ.
§ 53. Уровень значимости и мощность критерия
Рассмотрим две простые гипотезы: проверяемую Яэ:
0 = 0о, и конкурирующую Н\: 0 = Oi. С каждым S-кри-
терием связаны ошибки двух родов. Ошибка первого
рода — отвержение гипотезы Но, когда она верна; при-
нимая гипотезу Но в случае, когда верна конкурирую-
щая гипотеза Hi, мы делаем ошибку второго рода. Обо-
значив
Р((В) = р(х; ^i)dx, / = 0, 1. (1)
в
Тогда вероятность ошибки первого рода S-критерия
равна
/ <x = P0(S), (2)
а вероятность ошибки второго рода равна
P = Pi(S), (3)
где 5 = X\S. Иногда мы кратко вероятности ошибок
первого и второго родов будем называть просто ошиб-
ками первого и второго рода.
Задача построения S-критерия для проверки про-
стой гипотезы Но при конкурирующей гипотезе Нх ста-
вится следующим образом. Вероятность ошибки пер-
вого рода а называется уровнем значимости S-крите-
рия. Функцией мощности W/ = W/(S;0) S-критерия на-
зывается следующая функция от 0:
U7(S;0) = $ p(x',Q)dx, (4)
з
т. е. вероятность отвергнуть гипотезу Но, когда истин-
ное значение параметра равно 0. Как видно из (2), (3)
198
ГЛ. 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
и (4), вероятности ошибок первого и второго рода сле-
дующим образом выражаются через функцию мощ-
ности:
а = 17 (S; 6), 1 - р = W (S; б).
Итак, сначала задается уровень значимости а и рас-
сматривается множество J'a всех S-критернев с уров-
нем значимости а. Среди этих критериев выбирается
критерий 5*, для которого мощность при 0 = 01 прини-
мает наибольшее значение, т. е.
17 ($*; 0J = a, 7(S';01)= max W (S; 0,). (5)
Критерий S*. удовлетворяющий условиям (5), назы-
вается оптимальным, или наиболее мощным, критерием.
Оптимальный критерий,'удовлетворяющий (5), не всегда
существует, поэтому нам удобно будет обобщить поня-
тие статистического критерия. Для этого опишем S-кри-
терпй с помощью функции ф(х), определённой следую-
щим образом:
Ф(Л'!={^
если хе S,
если х S.
(6)
Мы можем истолковывать ф(х) как вероятность от-
вергнуть гипотезу Но, когда выборка приобретает зна-
чение х. Критерии, описываемые функцйей вида (6), на-
зываются нерандомизированными. Введем понятие ран-
домизированного критерия (от англ, random — случай-
ный). Пусть задана функция ф(х), такая, что Ощ
-'Сф(л)-'С 1 Для всех х. Мы предполагаем, что с каж-
дым значением выборки х связывается некий случайный
эксперимент (рандомизация) с двумя исходами 1 и О,
причем вероятность 1 равна ф(х), а вероятность 0 равна
1 — ф(х). , В зависимости от исхода этой рандомизации
действует и наш рандомизированный критерий. Если
выпала 1, то Но отвергается; если выпал Q, то Но при-
нимается. Функцию мощности этого критерия, который
можно назвать ^-критерием, обозначим 1К(ф, 0). Она
равна
IT (Ф, 0) = Ф (х) р (х; 0) dx = МЙФ (У,
где М0 означает математическое ожидание по распре-
делению р(х; 0), a g — случайная величина, плотность
§ 54. ОПТИМАЛЬНЫЙ КРИТЕРИЙ НЕГ1МАНА — ПИРСОНА 199
которой равна р(х;0). Уровень значимости ф-критерия
равен
а = W (<р; 0э) = Мо„ф (е),
а вероятность ошибки второго рода равна
Р =1-1Г(ф; 0j)= 1 -м01ф(£).
Рассмотрим множество Уа всех ф-критериев с фик-
сированным уровнем значимости а. Мы будем называть
Ф*-критерий оптимальным, или наиболее мощным, если
^(Ф*;9о) = «. Г(Ф*;0,)= max W (ф; 0J. (7)
‘Ре^а
Задача (7) всегда допускает решение.
§ 54. Оптимальный критерий Неймана — Пирсона
Обозначим р0 (х) — р (х; 0О), рх (х) — р(х; 0j), Моф =
= Ф(х)ро(х)</х, М1Ф=^ф(х)Р1 (x)dx. Оптиглальный кри-
терий (7) можно искать среди критериев, которые опре-
деляются отношением правдоподобия рДх)/р0(х).
Теорема 1. (Теорема Неймана — Пирсона.) Для
любого 0 а 1 существуют такие числа с О и
О е Ь чт0 у*-критерий с функцией
1,
Ф*(х) =
е,
О,
если р] (х) > сра(х),
если рДх) = сра(х),
если Pi (х) < сро(х),
(3)
определяет оптимальный критерий с уровнем значи-
мости а, удовлетворяющий (7).
Доказательство. Пусть 0 < а < 1; Случаи
а = 0 и а = 1 проверяются отдельно, и мы не будем
здесь этим заниматься. Рассмотрим функцию от с
g(c)=p{P1 а)>сроа),ш
в предположении, что верна гипотеза Но. Функция
есть функция распределения случайной величины
Р1(£)/ро(&)» поэтому она непрерывна справа и g(°p\ =
200
ГЛ. 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
— 0, g(0—) = 1- Определим са из условия
, g(c!1)<a<g(ca-0).,
Если ^(ca)<g(ca — 0), то выбираем
___________________________« ~ g (Cg)
° g (Cg - 0) - g (Cu) •
Если g(ca) = g(ca— 0), то полагаем ea = 0. В случае,
когда g(c)t=a для целого отрезка Ci с с2, прини-
маем за са любую точку этого отрезка, например, са-
мую левую. Полагая с и е в (8) равными найденным
са и еа, строим функцию ф*. Докажем, что полученный
Ф*-критерий имеет уровень значимости а и обладает
свойством оптимальности (7). Докажем сначала, что
уровень значимости фЛкритерия равен а. Имеем
МоФ* = J p0(x)dx +
р, (A)>capo(jc)
Р\ (*) = ГаР0(^)
= g Ю + -g(CaaJ0';Lrg-(Tj' • - °) - £ <с«)>=«•
Пусть ф — любой другой критерий с Моф^а. Покажем,
что тогда M^*>M ,ф. Рассмотрим интеграл
J (ф* (х) — ф (х)) (рг (х) — спр0 (.г)) dx. (9)
Разобьем его на два слагаемых
$ (ф* — Ф) (Pi — сар0) dx + $ (ф*—ф)(р,— capo)dx. (10)
(р*>ф ф*<ф'
В первом слагаемом интегрирование производится по
точкам х, для которых, ф* (х) > <р(.г) 0, поэтому в
этом интеграле pi(x)~^ Са.ро(х), т. е. подынтегральная
функция неотрицательна. Аналогично, во втором интег-
рале (10) ф*(х) < ф(х) 1, поэтому р] (х) сар0(х), и
подынтёгральная функция также неотрицательна. От-
сюда заключаем, что интеграл (9) неотрицателен, т, е,
\ (ф* — ф) Pi dx > са \ (ф* — у)р(4х,
§ 55. ОПТИМАЛЬНЫЕ КРИТЕРИИ
201
или
Mj<p* —М1ф>са(а —МоФ)>О,
что и требовалось доказать.
Замечание. Теорема справедлива и для дискрет-
ных распределений 'ро(х) и р\(х). В доказательстве
в этом случае надо везде интегралы заменять суммами.
§ 55. Оптимальные критерии для проверки гипотез
о параметрах нормального и биномиального
распределений
Йусть (1) есть независимая выборка из нормального
распределения с параметрами (а, о). Пусть о известно,
а относительно а имеются две гипотезы:
гипотеза Но: а—а0,
гипотеза Нр я = п;>п0.
Построим оптимальный критерий Неймана — Пирсона,
В этом случае
п
','м = 'Еу®рг<! '•
и д
-^ = ехр{пх(а1-а0)--^г(^-^)}, (11)
где х — выборочное среднее. Из (11) следует, что об-
ласть значений х, для которых pi(x)/р0(х) > С, опреде-
ляется неравенством х > при некотором Как из-
вестно, среднее х распределено нормально с парамет-
рами (а, Определим теперь ошибки первого и
второго рода:
°° и-
а=Р{х>С1 |/70)=^= е“ т/«=1-ф(^1=227п1
^2л сЛ 4 ° 7
—(12)
р = Р{х<С1|/71} = -71= \ =
’ —со
(13)
202
ГЛ. 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
Обозначим uY то значение, для которого
1-Ф(«у) = у. (14)
Ну носит название квантиль нормального распределе-
ния. Тогда из (12) и (13) и uY = —Hi_Y вытекает
Cl — во / Ci—/
—— у/п = иа, —— д/н = - Нр,
Ci ~аа + иа —j=r — a\ — «р —^=-
Равенство (15) дает тот объем выборки, который при
оптимальном критерии обеспечивает ошибки первого и
второго рода аир (если правая часть (15) — нецелая,
то за п надо брать ближайшее большее целое чцсло).
Рассмотрим теперь следующие две гипотезы;
Но: а —0, о — о0,
Яр а — 0, о — О! > а0.
В этом случае отношение правдоподобия
Pi W °” ( 1 ( 1 1 \ чг» ,)
—;— = „ ехР s ~ I ~т--г I / х-. >
Ро (х) °i ( 2 V 05 of ) fa J
приводит к критическому множеству
п
Поскольку случайная величина
9 П 2
__ у» Xi
а2 2-1 ~а^
i-i
имеет при гипотезе (0, а) ^-распределение с п степе*
ними свободы с функцией распределения
X
Кп (х) =\kn {и) du, х > О,
о
§ 55. ОПТИМАЛЬНЫЕ КРИТЕРИИ
203
и плотностью
1 -1-1 -—
kn(x) = —--------х1 в х>0,
то ошибки первого и второго рода определяется из ра-
вепств
Постройм оптимальный критерий в схеме Бернулли.
Пусть 0 < р0 < Pi < 1- Рассмотрим следующие две ги-
потезы:
Но: р0(х) = Су^1-р^-х, х = 0, 1,..., п,
Н- р^^Су^-р^, х = 0, 1....п.
Оптимальный критерий для проверки гипотезы1 Нп про-
тив конкурирующей гипотезы Н\ строится, исходя из
неравенства
Р1 (х) _ Г pi (1 — Ро) 1* (' — Pl)" Q
Ро (х) L Ро (1 — Pi) J (1 — роУп ’
которое равносильно неравенству д- Ct при некотором
С). Для вычисления ошибок первого и второго
рода воспользуемся тем, что число положительных
успехов х асимптотически нормально с параметрами
(пр, -\/пр(1 — р)). Имеем
°=Р> с'1 н«’ - Р t 1 я" J1
Р==Р(Х<С |/7|} = р{-тХ~’,Г1.-:Т <--.-‘^^1 ДЛ.
lVnpi(* —pi) V»pi('—ро >
Отсюда, используя квантиль nv. определенную (14), по-
лучаем при заданных а и 0 границу
Ct ~ пр0 + иа -\'npo(l — Ро) « «Р1 — «р V«Pi О — Pi)
204
ГЛ. 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
и необходимый объем выборки
(“а д/М1 “ Ро) +“(3 д/PlG “ Pl))2
(po-pi)2
§ 56. Критерии для проверки сложных гипотез
из нормального распределения
W(a), i
Рис. 14. Функция мощностй U7 (а) кри-
терия х > + иа —
уп
мости а и будет наиболее
На примерах выборок из нормального распределе-
ния разберем те задачи, которые возникают при про-
верке сложных гипотез.
Пример 3. Пусть независимая выборка (1) взята
с параметрами (а, о),
причем , о известной
Рассмотрим простую
проверяемую гипотезу
Но: а — а0 и односто-
роннюю сложную кон-
курирующую гипотезу
Ht: а > ао. Действуя
так же, как в § 55 при
различении двух про-
стых гипотез, находим,
что критерий х> С\ =
= tz0+ «ао/д/п будет
иметь уровень значи-
мощным для любой
простой гипотезы ах > а0. Функция мощности этого
критерия W(a) будет иметь график, изображенный на
рис. 14, и ошибка второго рода |3(а)=1— W(a) при
а | аа в пределе равна 1—а. Поэтому по критерию x>Ci
мы можем лишь с малой ошибкой а отвергнуть гипо-
тезу Но. В случае х Ci мы не имеей больших осно-
ваний утверждать только на основе выборки (1), что
а = ай, а не а > а0, так как при а, близких к ао, ве-
роятность события х Ci близка к единице. Поэтому
при х С1 мы говорим, что выборка (1) не противо-
речит гипотезе Но, и если эта гипотеза имеет какое-
либо обоснование, независимое от выборки (1), то вы-
борка в этом случае ее подтверждает.
Пример 4. Пусть гипотеза Но остается прежней,
а конкурирующая гипотеза будет Двусторонней Я;:
а 5^ а0. В этом случае для значений а = at < а0 и
§ КРИТЕРИИ ДЛЯ ПРОВЕРКИ СЛОЖНЫХ ГИПОТЕЗ
205
а — 6Z] > ай теорема Неймана — Пирсона дает разные
оптимальные критерии х < С] и х > С], т. е. не су-
ществует такого критерия с уровнем значимости а, ко-
торый максимизировал бы функцию мощности tt^(a) во
Рис. 15. Функция мощности W (а) двустороннего критерия
всех точках а =# а0. В этом случае применяют двусто-
ронний критерий,, по которому гипотеза Но отвергается,
когда
|х — а0|>
п
Функция мощности такого критерия равна
W (а) = 1 -
а» - а .
—— Хп +иа/2
-jrLr е
ао —а /—•
—— V» -«а/2
2 dx.
Уровень значимости этого критерия равен а, а график
имеет вид, изображенный на рис. 15.
Пример 5. Пусть имеются две независимые выбор-
ки: выборка хр х.2, .... х из нормального распределе-
ния (0, и выборка z/p у2, ...,упг из нормального
распределения (0, сг2)- Рассмотрим основную гипо-
тезу Но". о1==о2> и конкурирующую гипотезу Т/р с^сгг-
205
ГЛ. 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
Статистика
(16)
имеет при гипотезе Но F-распределение Фишера. Кри-
терий можно построить'на основе статистики (16). Пусть
Fy — такая квантиль F-статистики (16), что
P{F>Fv|/70} = y.
Будем принимать гипотезу Но тогда и только , тогд i,
когда
Fi-a/2 F Fa/2.
Этот критерий имеет уровень значимости а.
§ 57. НеПараметрические критерии
В математической статистике часто требуется про-
верить гипотезу, что независимая выборка
Aj, Х2....х„ 1 (17)
взята из генеральной совокупности с функцией распре-
деления /’(%), Относительно конкурирующей гипотезы,
кроме независимости х,- в (17), других предположений
ие делается. В этом случае применяются так называе-
мые непараметрические статистические критерии, кото-
рые строятся на основе какой-либо статистики g(/i, ...
..., .V. , F), зависящей от F, причем распределение этой
статистики при справедливости основной гипотезы из-
вестно точно или асимптотически при гг->оо: Обычно
статистика положительна, и при любой конкурирующей
гипотезе се значение возрастает. Выбирается такое ga,
чтобы g Ух ga при основной гипотезе выполнялось с ве-
роятностью ошибки первого рода а. Основная гипотеза
принимается, если g <; ga, и отвергается, если g gx.
Одним из наиболее известных таких критериев является
^-критерий Пирсона.
Выберем точки с0 — — сю < zt < z2 < ... < гг_[ <
<zt — со. По известной функции F (х) вычисляем веро-
§ 57. НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ
207
ятности pk—F (zk) — F k—\...........г. Обозначим
v* число тех х. из выборки (17),, которые удовлетво-
ряют условию 2t_| Тогда при справедливости
основной гипотезы случайные величины
V,, v2, ..., vr (18)
имеют полиномиальное распределение
Р {*/ = «/’ 1 = 1, .... г}=П1, у^Р,1 ••• Рг,
nt + ... + пг = п. (19)
Первоначальную задачу мы редуцируем теперь к про-
верке гипотезы о том, что частоты (18) получены из
полиномиального распределения (19) с вероятностями
исходов
Pl> Pi...Рг-
Статистика, на основе которой строится критерий, на-
зывается ^-статистикой Пирсона и определяется сум-
мой
. ' . , (20)
ы
Теорема 2. Распределение при п->оо слабо схо-
дится к ^-распределению с (г—1)-й степенью свободы
с функцией распределения
Доказательство. Из теоремы 8 § 46 следует,
что случайный вектор = (rlirl), • ••, с компонен-
тами
Н ~ llPk
(21)
сходится при п -> оо к нормальному распределению с
нулевыми средними и матрицей ковариации
II Cov (т]ь Л/) II = ii hi — ^PkP/II
210
ГЛ., 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
и в случае, когда F(x) .задает равномерное распределе-
ние н.‘. отрезке [0, 1].
Пусть1 gi, — независимые случайные величины
в каждая из них имеет функцию распределения F(x;.
Предположим, что F(a)==0, F(b)=l и 0 < F (х) < i
при а<.х<Ь, причем а и b могут быть и бесконеч-
ными. Обозначим через В множество, состоящее из тех
точек а < х < Ь, для которых при любом е > 0 F'(x)<
< Г(х-|-е). Нетрудно видеть, что при любом 0 < у < !
существует единственная точка х^В, для которой
F(x) — y. Примем это х за значение обратной функции:
•’ -А '(//).
Введем случайные величины = F~! (£ft), k — 1, ...
..., п. Они независимы, так как ti, ..., независимы,
и равномерно распределены в (0,1), так как события
{>]* у} и С~ F~{ (у)} равносильны и при любом
О < у < 1
Р <У} = Р < /? '1 (У)} = F 1 (у)) = У-
Обозначим брлсе подробно эмпирические функции рас-
пределения для выборок £1, 1..,
п
Рп(х;^,..., tn) = -
П П|> • • Пп
п
Гп{у, п., =
Положим у = Г(л), х е В. Тогда из равносильности со-
бытий {ёй л-} и {г|й у} следует
F„(y;rn, •••, .... D- (25)
Верхнюю грань в (24) можно брать по х^В, поэтому,
в силу (25), с вероятностью 1
Dtl = sup | Fn (x; . .. ,£„) — F (x) | =
x s В
= sup I Fn{y; r][....Г),) — y\,
0<y<!
что нам и требовалось доказать.
А. Н. Колмогоров доказал, что при п->оо для лю-
бой непрерывней F(x) имеет место следующая предель-.
ЗАДАЧИ
211
пая теорема:
lim Р{л//7£>п<х} = Л-(л)== £ (-1)'ге-2^', х>0. (2G)
П -> оо /г == — оо
На основе предельного соотношения (26) строится ие-
параметрический критерий Колмогорова. Пусть Аа — а-
квантиль предельного распределения (23)
1 — 7< (/?,,) = «.,
Тогда гипотеза о том, что выборка (17) вздул in рас-
пределения с функцией F (х), принимается, если -\!п Dn^.
^.ka, и отвергается, если л//; D,, > Уровень значи-
мости этого критерия равен приближенно а.
0 той же самой предельной функцией /((х) связан
критерий Смирнова. Он состоит в следующем. Пусть
х|( х и z/p уп — две независимые выборки,
первая имеет функцию распределения F (х), вторая —
G (х). Обозначим
Д1,.п2= 1 sup I F„t (х; хь ..х„,)—F,tl(x; Уь • • , У-,.) |.
— оо <_ X < оо 1
Н. В. Смирнов доказал, что если F(x) = G(x) и
непрерывны, то при nit п2 -+ оо, — -► т, 0 < т < оо, слу-
„ / П1П2 г, ,
чайная величина Оп<.П! в пределе имеет тот
же закон распределения /((х), определенный рядом (26).
Эта предельная теорема позволяет нам строить крите-
рий по проверке гипотезы о том, что выборки xi, . . ., хЛ1
и г/i, ..., уК1 взяты из одного и того же распределения.
Задачи
1. Имеется независимая выборка Xi, .... хп. По гипотезе Но
все Xi равномерно распределены в [0, 2], по гипотезе все Hi равно-
мерно распределены в |1, 3]. Построить критерий с наименьшей
величиной max(a, 0), где а и р — вероятности ошибок 1-го и
2-го рола.
2. Пусть х,. х,— независимая выборка из распределения
с плотностью Хе~}‘х, х Ут-’О. Построить оптимальный критерий про-
верки гипотезы Н>. = ?.> при конкурирующей гипотезе Нс.
/, = У < /., с уровнем значимости а. Вычислить мощность U7 этого
критерия.
3. Пэ лзум независимым выборкам: %,.хп из нормального
распределения (щ, о,) и yi....уП1 из нормального распределения
210
ГЛ. 14. СТАТИСТИЧЕСКИЕ КРИТЕРИИ
и в случае, когда F(x) задает равномерное распределе-
ние на отрезке [0, 1].
Пусть Ед, — независимые случайные величины
и каждая из них имеет функцию распределения F(xj.
Предположим, что F(a) = 0, F(b)=l и 0 < F (х) < !
при а < х -С о, причем а и b могут быть и бесконеч-
ными. Обозначим через В множество, состоящее из тех
точек а < х С Ь, для которых при любом е > О F (х) <
< F (х Ч-в). Нетрудно видеть, что при любом 0 < у < I
существует единственная точка х е В, для которой
F(x) = y. Примем это х за значение обратной функции:
Введем случайные величины = F~l (£J, k = 1, ...
..., п. Они независимы, так как Ei, ..., независимы,
п равномерно распределены в (0. 1), так как события
и {gA Cl F~l (у)} равносильны и при любом
0<//<1
Р {п* < у} = Р <F-1 (у)} = fCf-1 (у)) = у.
Обозначим более подробно эмпирические функции рас-
пределения для выборок £|, ..., с,,
п
£п) =
4=1
И П1, • • Пп
I п
Fn(y;ni, , ть) =
4 = 1
Положим y = 'F(x), х е В., Тогда из равносильности со-
бытий {gA X-} и ,{щ у} следует
.... nn) = F„(x;^.....U- (25)
Верхнюю грань в (24) можно брать по ХЕЙ, поэтому,
в силу (25), с вероятностью 1
Dtl = sup | Fn (x; ... ,1„) — F (x) | =
x В
= sup I Ftl(y, П1, • ••> nJ — y\,
0<У<1
что нам и требовалось доказать.
А. Н. Колмогоров доказал, что при п-»-оо для лю-
бой непрерывней F(x) имеет место следующая предела
ЗАДАЧИ
211
пая теорема:
1 со
lim P{V'7n„<х} = /{(х) = Е (-1)^-2^ х>0. (26)
П -> оо }• = — оо
На основе предельного соотношения (26) строится ве-
параметрический критерий Колмогорова. Пусть ka.— а-
кван'Гиль предельного распределения (2G)
1 — К (/?а) = а.
Тогда гипотеза о том, что выборка (17) взята из рас-
пределения с функцией г (х), принимается, если д//г
«С/г,,, и отвергается, если л//г D„ > ka. Уровень значи-
мости этого критерия равен приближенно а.
С той же самой предельной функцией /((х\ связан
критерий Смирнова. Он состоит в следующем. Пусть
Xj, ..., х и у{, ..., уп—две независимые выборки,
первая имеет функцию распределения F (х), вторая —
G (х). Обозначим
On„m= sup | F„,(x; хь ..., xj—FHj(x; г/1( ..., г/,.,) |.
— оо <1 X О оо
И. В. Смирнов доказал, что если F(x) = G(x) и
непрерывны, то при пь п2’-> оо, — -> т, 0 < т < оо, слу-
„ / П\Пг 1 „
чайная величина ~ Dn,,ni в пределе имеет тот
же закон распределения К (х), определенный рядом (26).
Эта предельная1 теорема позволяет нам строить крите-
рии ио проверке гипотезы о том, что выборки хь .. ., хП1
и у......уп. взяты из одного и того же распределения.
Задачи
1. Имеется независимая выборка Xi..• хп. По гипотезе Ня
все xi равномерно распределены в [0, 2], по гипотезе все /У, равно-
мерно распределены в |1, 3]. Построить критерий с наименьшей
величиной max (а, р:, где1 а и р —- вероятности ошибок 1-го и
2-го рода.
2. Пусть ж....х., — независимая выборка из распределения
с плотностью ,г Уь 0. Построить оптимальный критерий про-
верки гипотезы Нт % = >.я при конкурирующей гипотезе Hi:
X = Н < л,, с уровнем значимости а. Вычислить мощность № этого
критерия.
3. Пэ лзум независимым выборкам; хь .... х„ из нормального
распределения (<ц, сп) и уь ..., уп, из нормального распределения
214 , ГЛ. 15. ОЦЕНКИ ПАРАМЕТРОВ
стику дополнительные условйя, обеспечивающие ее бли-
зость к параметру 0.
Оценка 0 = 6 (х,, ..хп) называется несмещенной,
если при любом возможном О
МО = 0, (3)
т. е. среднее значение 0 равно 0. Значение свойства (3)
можно пояснить на примере большого числа N незави-
симых выборок объема п из одного и того же распре-
деления. Обозначим 0,- значение оценки (2) для i-й вы-
борки. Если оценка несмещенная,то М0;=0, б-.........0V,
независимы и одинаково распределены. Тогда по уси-
ленному закону больших чисел
9, + ... +8V ГТ.и.
Л- е-
Если конечна дисперсия D6; — <т2, то по центральной
предельной теореме разность
е, + ... + о v
будет (0, а/д/Л^)-асимптотически нормальна, т. е. при
больших N неравенство
ё, -Р +ёу «g/2q
n ' ° '' л/~Ы
выполняется приближенно с вероятностью 1—а (здесь
Па/2 — квантидь нормального распределения, опреде-
ленная формулой (14) из §55).
Приведем примеры несмещенных оценок. Если вы-
борка (1) взята из семейства с конечным r-м моментом
mr—^xrdF(x), то выборочный r-й момент
п
i-i
будет несмещенной оценкой тг, так как
п
Мт, — — Мх1/ = тг.
1 = 1 I
§ 58. СТАТИСТИЧЕСКИЕ ОЦЕНКИ И ИХ СВОЙСТВА
215
В частности, выборочное среднее х есть несмещенная
оценка математического ожидания а = j xdF(x). Выбо-
рочная дисперсия
52 =
i=i
не является несмещенной оценкой дисперсии а2 =»
= (х — a)2 dF (х), так как s2 можно представить в виде
п
S2 = ~ У (х< - а)2 - (х - а)2.
i»l
Отсюда
Ms2 = о-2 - а2> (5)
а2
поскольку М (х\ — а)2 = а2, М(х — а)2 = —. Равенство (5)
дает нам возможность построить несмещенную оценку
дисперсии
1 п
<6>
1 = 1
Заметим, что из несмещенности оценки $? для а2 не сле-
дует несмещенность оценки Sj для а. Поэтому при боль-
шом числе N выборок (1) для оценки о предпочтительнее
I N N
пользоваться оценкой zt а пс 1fEs4’ где
* = i * =* 1
— значение выборочной несмещенной дисперсии (6)
для z-й выборки. Заметим, что обычно вместо s2 в (6)
пользуются обозначением s2. Очень часто нас интере-
суют асимптотические свойства оценок 6Л = 6П (Х|, ...,х„)
для выборок (1) объема п-+оо'. Оценка (вернее, по-
следовательность оценок 0„) называется состоятельной,
если при п—>оо она сходится по вероятности к пара-
метру 6
216
ГЛ. 15. ОЦЕНКИ ПАРАМЕТРОВ
Примером состоятельной оценки может служить выбо-
рочный r-й момент иг, в (4), так как при конечности тг
по усиленному, закону больших чисел thr тг при
п->оо, а следовательно, и тг —* тг.
Для установления состоятельности оценки 0„ полезна
следующая
Теорема 1. Если М0„->0 и D0n-»O при п->ео, то
оценка 6„ — состоятельная.
Доказательство. По неравенству Чебышева при
любом е > О
Р{|0п-М0„|>8}<^->0. (7)
Из (7) и неравенства
I О,. -0 KI - М0„ 1 + 1 М0„-0|
следует, что при п -> оо вероятность события | 0„ — 01 > е
стремится к нулю, что и требовалось доказать.
С помощью теоремы 1 во многих случаях легко до-
казывается состоятельность оценок 0Я.
§ 59. Условные законы распределения
Рассмотрим сначала случай, когда вектор g = (gi,
, £я) имеет дискретное распределение
Pfi = 4 = PtW = pW = p(xI, .... хп),
где х=(хь .... хп) пробегает конечное или счетное
множество возможных значений £, р(х)^0,
X
Пусть имеется функция t(x)=t(xl, хп). Условным
распределением f при условии t(£,)=t назовем сово-
купность условных вероятностей при фиксированном I:
p(xi/)=pa=xi/a)=o=
Р {t = x, f _ р(х),
риа)=Л 2 рм' (8)
х': t (x')=t
Не более чем счетное число вероятностей (8) отличны
от нуля; t мы выбираем такими, чтобы знаменатель
§ 59. УСЛОВНЫЕ ЗАКОНЫ РАСПРЕДЕЛЕНИЯ
217
= У g (х) р (х | /) =
в (8) не был равен нулю. Если g(x)— числовая функ-
ция от векторного аргумента х=(хь .хп), то ц —
~£(1) будет случайной величиной. Ее математическое
ожидание равно
Мп = Mg (s) = Е g М р (х).
X
Условное математическое ожидание М {^(g) = 0
определим с Помощью условного распределения (8):
M{£(g)|/Q) = /} =
Е s (х) Р (х)
t _________
Е р w
х\ t {X)^i
Как видно из (9), условное математическое ожидание
М {g(g) |/(£) = /} есть функция от t. Обозначим ее gi(t}.
Подставляя вместо t случайную величину т = /(£), мы
получаем, что условное математическое ожидание есть
случайная величина £i(t). Вычислим математическое
ожидание от g} (т):
M£i(x)== Е gi(0P{T = 0 = Е £1(0 Е Р(х) =
г t х: t (x)=t
= Е Е £(х)р(х)= Е £(х)р(х).
t Х-. t(X)=f X
Таким образом, мы показали, что
Mg(&)=м [м {g© |/а)=оз. (ю)
т. е, при вычислении математического ожидания от
g(£) сначала можно вычислить условное математиче-
ское ожидание g(%) при условии /(g) = /, а затем осред-
нить это условное математическое ожидание по вероят-
ностям условий.
Формула (10) сохраняет смысл и в том случае,
когда g имеет не дискретное распределение, а, напри-
мер, имеет плотность p(x)=p(xj, ..., х„). Пусть плот-
ность р(х) непрерывна в точке х. Тогда при А,->0,
i — 1, ..., п,
Р {Xi < Ь < Х{ + А,-, 1=1......П} =
= р(х)А] ... А„ + о(А1 ... AJ.
218
ГЛ. 15. ОЦЕНКИ ПАРАМЕТРОВ
Вычислим условную вероятность
Р {Х\ < < -^1 “Г Л 1, • • > Хт <С Сщ < Хт Am | Х{ <С
< li < Xi + Л,-, i = т + 1, ..., п} =
Р5, ... £„(*!» •••. *П)А1 ••• ДП + о(Л! ••• Ап)
~~ pim+l ••• in ......*«> Л-+1 • • • Д„ + °(Д,п + 1 • • • Д„). ’
Переходя к пределу по А; -* 0, получаем
Д, .,, Дт Р (Х1 < < Х1 ...........хт< ът Хт -f* l-’Q <
< St < Xt + A,-, i = m + 1, ..., n} ->
....Xn) ....
_»----------- ------------- , (11)
+ i •••£/>' m+1’ ’•’ n)
где
pim+l ...u^n’+1’ • •• >xn) =
oo oo
J * " * S P^1 in^l’ ’ ' ' ’ Xm> xm+ 1’ • ‘ • i -'•n) dXi . . . d-Хщ
— oo — oo
Предел левой части (11) естественно назвать условной
плотностью gi, ..., при заданных gm+1, ..., gn:
•" £rnHm+i •” Хт 1х«+1......А'п)=3
_ ...1п(х1 •••> хт< Хт+1.хп)
Pim+i "• '' ’’ Хп)
Математическое ожидание
Mg(^, ...,Д„) =
==$••• •••> хп)р^ ... In Ui..xn)dxi ••• dxn
можно вычислять по формуле (10), вычислив сначала
условное математическое ожидание
М {£(U .... UlU+i = *f?i+ b • • > — £n} —
== $ J gUi.........xn)X
<X1- xm\xm +1,...,Xn}dXi.. .dxm =
§ 69. УСЛОВНЫЕ ЗАКОНЫ РАСПРЕДЕЛЕНИЯ
219
п осредняя его затем по ...е (^т+р •••> хп~):
М{М№, .... EJ|?,n+1.....£„]} =
“Г-- S 'W-•••• dx.\--
-Лгц„ ...-.„It,,+]..л,С'............-Г-1Х«+....
.... x„) dxi ... dxm =
= j • • • j g(-ti, ‘ xn)p(xt, • • •> xn)dx{ ... dxn —
= Mg&, ... U, (12)
Формулу (12) можно вывести и в более общем случае.
Пусть имеются дифференцируемые функции /1 = /[(х),
h — h(x), ..., tm — tm(x). Предположим, что к ним
можно подобрать функции у, — у,(х), /= 1, •••> н — т,
такие, что преобразование С, задаваемое функциями
ti = ti(x),
У/^У^х), J=1.......n — tn, (13)
взаимно однозначно в соответствующей области. Тогда
плотности рДх) и рх ъ(1, У\ где тг = М£), — y^l),
'Г = (т), .... тт), т} = (Пь •••> Пп-m), t = •••> tm)> У =
= (У\, ...» Уп-т), будут связаны равенством
(х) = рТЛ1 (/, у) | J I, (14)
где J — якобиан преобразования С. Пусть имеется функ-
ция g(h, ..., §п). Вычислим условное математическое
ожидание g(£i, ..., t,n) при условии т = /. Обозначим
xlt(t,y) = xk, k= 1, ..., п\ x(t,y) — (xi(t, у), ...
...,xn(t,y)) функции, задающие обратное преобразо-
вание С-1. Тогда
M{g,(l)|T = n =
= 5 ... \g(x(t, y))pv^(y\t)dyi ... dyn_m =
220
ГЛ. 15. ОЦЕНКИ ПАРАМЕТРОВ,
М[Мк(е)|т}] =
= 5 ••• $ М{^(;)|т = /}Рг(/)й/1 ... dtm =
==$••• J g (х (t, у)) рк х (у, t) dt{ ...' dtm dyt ... dyn_m =
= $•••$ S (*i.....О Pg,... in(*v • • • xn) dxi- - dxn =
= Mg® (15)
(здесь мы воспользовались равенством (14)).
§ 60. Достаточные статистики
Понятие достаточной статистики играет важную роль
в теории оценок.
Определение 1. Пусть |=(|ь •••> М—вектор-
ная случайная величина, распределение которой р(х;0)
зависит от параметра 0, и /(х) — (Л(х), .... tm(x))-~
векторная функция (набор т статистик) от х — (хь ...
».., хп). Мы будем называть /(х) достаточной статисти-
кой, если условное распределение g = (£t, .... £п) при
условии f(g) — t не зависит от параметра 0.
Мы будем далее ийеть в виду два случая, разобран-
ных в § 59: либо pj(x;0) — дискретное распределение
вероятностей, либо ,гк(х; 0)—«-мерная плотность и су-
ществует взаимно однозначное преобразование С: х =
= (Х1, ..., Хп) в (t,y) = {t.... у I.....Уп-m), за-
даваемое формулами (13).
Как мы увидим ниже, оценки, завирящие только от
достаточных статистик, обладают преимуществами по
сравнению с другими оценками. Во-первых, они исполь-
зуют не всю информацию, содержащуюся в выборке (1),
а лишь ту ее часть, которая существенна для оценки
параметра. Во-вторых, каждой несмещенной оценке 0
с конечной дисперсией соответствует другая несмещен-
ная оценка 0, зависящая од достаточной статистики, с
D§ < D0.
Прежде всего докажем критерий факторизации, по-
зволяющий легко находить достаточные статистики.
§ 60, ДОСТАТОЧНЫЕ СТАТИСТИКИ
221
Теорема 2. Если распределение р(х;0) предста-
вимо в виде
р (х-, 0) = £ (* (х); 0) /г (х), (16)
то t(x) есть достаточная статистика.
Доказательство. Рассмотрим сначала дискрет-
ное распределение. Согласно формуле (8) условная ве-
роятность g — х при условии /(с)= t равна
х: t ca=t
Если выполнено (16), то из (17) получаем
.. 1> It-, 0) h (х) h (х)
Po{XU)~ g(f. 6) X AU) — £ Л(х)'
x: t ix)=-t x: t |x)-f
t. e. /(a) — достаточная статистика. Если, наоборот,
условная вероятность ре(х|/) = р(х]/) не зависит от па-
раметра 0, то из теоремы умножения вероятностей имеем
р(х; е) = р(х \t)pl (/; 0),
где pi(/;0)—распределение t, Tl е. имеет место пред-
ставление (16).
Если р(х; 0)—плотность, то будем предполагать, что
имеется преобразование (13) и плотности р^(х; 0) и
pt, т1((, у; 0) связаны соотношением (14). Тогда услов-
ная плотность т) при условии т = t, равная
РП|Х(^ 10 =
Pt. г, (О’ •••> *т< У\’ Уп-т)
••• Рх. id*...*tn> Уь •••• Уп-т}^У\ dtJa-m
в силу (14) и (16), представима в виде
__g(f; 6) h (x(t, ц))/-' У))
... g (6 6) Л (х (t,y)) (х (t, у)) dyi ... dyn-m
_ __________h(x(t,!d)J-l(x (/, ,ф)____
'(..Д Л(х(Сд))7-1 (х (t, у)) dyi ... dyn-m
ji.ujiiiiklUiikiUJiiliiuhMiiiUihL
222
ГЛ. 15. ОЦЕНКИ ПАРАМЕТРОВ
и, следовательно, не зависит от 0. Так как
М {gU)| т = /} = J ... Jg(x(/, y))p1}lz(y\t)dyl ... dyn_n
не зависит рт 0, то взяв g(x)=l для хеВ и g(x) = 0
для х<£ В, где В е $п — борелевское множество из Rn,
получаем, что Р {g е В | т = /} не зависит от 0 при любом
В <= &п, т. е. t — достаточная статистика. Пусть, наоборот
не зависит от 0. Тогда из
Р^,Х(У’ 0) = Рг11т^И)рх(^; 9)
и (14) имеем
р^х; &) = р^х(у\ t)px(t; 0)| J |,
т. е. плотность р^(х;0) представима в виде (16). Тео-
рема доказана.
Второе из указанных выше свойств достаточных ста-
тистик вытекает из следующей теоремы. ,
Теорема 3. (Теорема Колмогорова — Блекуэлла.)
Пусть t — достаточная статистика семейства распреде-
лений р(х;0), а ё (х)—несмещенная оценка параметра
О с конечной дисперсией, построенная по выборке (1).
Тогда условное математическое ожидание ё йри фикси-
рованном t
б=-М{0|/}
будет несмещенной оценкой 0 с дисперсией D0^D0.
Доказательство. Из свойства (15) имеем
Мб = М[М(0|/)] = М0 = 0,
т. е. оценка 0 несмещена (6 действительно является
оценкой, так как не зависит от 0, поскольку t — доста-
точная статистика). Вычислим D0:
D0 = М (0 - е)2 = м (0 - б + ё - 0)2 =
= М (ё - О)2 -ь М (б - 0)2 4- 2М (0 -б) (0 - 0). (18)
Так как
М (0 - б) (б - 0) = М [М (0 - б) (0 - 0) | /] =
= М[(б -0) • м {(0 - 6)1 /}].
§ 61. ЭФФЕКТИВНОСТЬ ОЦЕНОК
223
а М {(б — 0) |/} = 0, то из (18) получаем DO^DO. Тео-
рема доказана.
Пример 1. Пусть выборка (1) взята из схемы Бер-
нулли (xt = 1, если в i-м испытании был успех, xi = О
в противоположном случае). Параметром в этом случае
служит вероятность р. Вероятность появления выбор-
ки (1) равна
Р(х; р) = П = - +х«(1 -рГх'~ -
откуда по критерию факторизации следует, что число
успехов Л'1... + хп есть достаточная статистика.
Пример 2. Пусть (1) —независимая выборка из
нормального распределения с параметрами (а,о).Тогда
по критерию факторизации
р (х; а, о) =--!—— exp f-----Ц- У (х: — а)21 =
(2л)'1'2 а" Ц 2а2 j
=-----\— ехР I------У ( У -м — 2а У х, 4- паЛ I,
(2л) а" 1 [ 1 )}
п п
т. е- Ух. и £ х2 - достаточные статистики.
§ 61. Эффективность оценок
Как мы видели в § 60, несмещенные оценки 0 пара-
метра 0 с меньшей дисперсией предпочтительней осталь-
ных оценок. Естественно поставить вопрос о нахожде-
нии оценок с наименьшей дисперсией. Некоторый под-
ход к решению этого вопроса дает неравенство Рао —
Крамера. Пусть р(х;0) = р(хх, ..., Л'„; 0)—плотность,
зависящая от параметра©, а 0 = ф(х) = ф(Х1, ..., х„)—
оценка параметра 0 пб выборке хь ..., хп, не обяза-
тельно несмещенная. Обозначим g (0)=M0=^ ... ф(х)Х
Xp(x;0)dx. Предположим, что выполнены некоторые
условия регулярности, при которых интегралы
^р(х; 0)а’х=1, ф(х)р(х; 0)dx = g(0)
t 61. ЭФФЕКТИВНОСТЬ ОЦЕНОК
225
224 ГЛ 15 ОЦЕНКИ ПАРАМЕТРОВ
можно дифференцировать по параметру 0. В этом слу-
чае справедливы равенства
Sf) Г)
. (19)
dx — g'{Q). (20)
Математическое ожидание (здесь g имеет распределе-
ние p(g, 0))
/ (0) _ м ()!=J (р (д, 0) Л (21)
носит название информации Фишера относительно се-
мейства р(х-, 0).
Теорема 4. (Неравенство Рао — Крамера.) Если
семейство плотностей р(х\ 0) и оценка 6 = ф(х) таковы,
что выполнены условия (19) и (20), то имеет место не-
равенство
об>К<-'' <22>
Доказательство. Условия (19) и (20) перепи-
шем в эквивалентном виде:
С / !°Ц ” И: р) , л
р(х;9)-----jq dx^O,
С 2 , (23)
\ <р (х) р (х; 0) --п^- dx = g' (9).
Умножим первое из тождеств (23) на g'(O) и вычтем
его из второго:
J [ф (х) — g (0)] Р (х; 9) с/№ g (0). (24)
Полагая в (24) <pj (х) = ф (х) — g (0), <р2 (х) = применим
неравенство Коши — Буняковского
[J Ф1(х)ф2(х)р(х;,0)4/<]’<
С J Ф[ (х) р (х; 0) dx • j q>2 (х) р (х; 0) dx.
Имеем отсюда:
[g' (9)I2 = [ J (ф (х) — g (0)) д Р- Р (х; 0) dx] <
< (Ф (х) — g (9))2 р (х; 9) dx • (д1°| р у р (х; 9) dx,
а это равносильно неравенству (22).
Замечание 1. Теорема 4 остается справедливой,
' если под р(х; 0) понимать вероятности дискретного рас-
пределения, а под интегралами— суммы.
। Замечание 2. Если тождества (19) можно еще
раз дифференцировать по 0:
то информацию Фишера (21) можно записать в другом
виде:
7 (8) = - М !’ Р (х; е) dx. (25)
т4 и > др „ д7р
В самом деле, обозначая р = Р имеем
й I"'1 п />' 1 дг log- р р" / р’ А 2
ТТ * р ’ д&‘ р \ р ) '
откуда
S Р dx J Р" dx — 5 (У“)2 Р dx ==~J (0)>
что и утверждалось.
Замечание 3. Из первого тождества (23) следует
М - = 0, поэтому информацию Фишера (21)
можно записать иначе:
/(0)=0(Х!«ЛЩ).
Замечание 4. Если лц, .... хп независимы, то их
совместная плотность pn(xi, ..., хГ1; 0) есть произведе-
ние одномерных плотностей:
Р„(Х(...xrt; 0)--=lIp(xi!; 9).
। А.= 1
8 Б. А. Севастьянов
ГЛ. 15. ОПЕНКИ ПАРАМЕТРОВ
В этом случае информация Фишера/„(0)== М
зависит от п линейно:
/п(0) = п/1(0), (26)
где /\ (0)= Д ]°"э^Х’ 9) ) р(х; 0) dx — информация Фи-
шера одного наблюдения xk, а (22) превращается в не-
равенство следующего вида:
DO > IglfflE.. (27)
nJi (0) . >
Формула (26) следует из
Л. (е) - в(£ .Д?» у'" ) = i В .
\>=1 / i=i
Замечание 5. Если оценка 0 несмещенная, ,то
g(0)E=O', и в неравенствах (22) и (27) числитель ра-
вен g'(0) в - 1.
В условиях теоремы 4 неравенства (22) и (27) дают,
оценку снизу дисперсии оценок 0. Ниоткуда не следует,
что эта оценка достигается, однако во многих важных
случаях, как мы увидим ниже, она является' нижней
границей дисперсии 0 хотя бы в асимптотическом смыс-
ле при п -> оо.
Пример 3. Пусть , ..., хп — независимая вы-
борка из нормального распределения с параметрами
(а, о), а — известно. Так как logp(x;a) =—-~-^2а------
1 & log р х — а , , . М (Е — а)2
— log-V2n;o, - да-'- = то Jn(a) = n—^-4 =
Для оценки d = x имеем D<2 = —= —Дт-т, т. е.
<г п nJi (а)
в этом случае в (27) достигается равенство.
Ниже мы всегда будем предполагать, что выпол-
нены условия теоремы 4.
Определение 2. Назовем эффективностью оцен-
ки 0 отношение
е(0)
; IgA(6)]a
D0 • 1 (0) ’
§ 61. ЭФФЕКТИВНОСТЬ ОЦЕНОК
227
Оценка 0 с эффективностью е(0)= 1 называется эффек-
тивной.
Эти определения обычно применяют к несмещенным
оценкам.
Оценка х в примере 1 эффективна. Если неравен’
ство в (22) или (27) для некоторой оценки превращает-
ся в равенство, то эффективность оценки 0 — это отно-
шение минимально возможной дисперсии к дисперсии
данной оценки:
min D0t,
Эффективность всегда удовлетворяет неравенствам 0
^е(б)^ 1. Конечно, при нарушении условий теоремы4
неравенства (22) и (27) могут не выполняться и могу г
существовать «сверхэффективные» оценки 0 с диспер-
сией D0» убывающей при п
Пример 4. Пусть хь ..
ка из распределения с плотностью
( е-(х-9)
р(х; 0) = | 0
В этом случае нарушается условие (19) и оцен£а'0 =
= min xk обладает «сверхэффективностью», так как
1
М0 = 0+|,
оо быстрее, чем О .
хп — независимая выбор-
х>0,
%<0‘ LP(k
Важным понятием в теорйи статистических оценок
является также асимптотическая эффективность. Будем
предполагать выполненными условия теоремы 1.
Определение 3. Асимптотической эффективностью
е0(9п) оценки 0п = 0„(хь ..., х„), построенной по неза-
висимой выборке ........хп, назовем предел
eo(0) = lim ,
’ п-^оо nJi (0) D0n
если он существует. Оценка 0П называется асимтоти-
чески эффективной, если ев(0„)=1.
8*
................................................................... .«.I
228
ГЛ. 15. ОЦЕНКИ ПАРАМЕТРОВ
Таким образом, если 0 — несмещенная оценка с асим-
птотической эффективностью еа (0), то ее дисперсия D(
при больших п асимптотически равна [е0 (8) • nJt (О)]-1.
Для асимптотически нормальных при п-»-оо оценок
0П полезно другое определение асимптотической эффек-
тивности.
Определение 4. Если оценка 0„ при п->ос
асимптотически нормальна с параметрами 10, —7=-1,
\ /
то ее асимптота ческой эффективностью называется от»
ношение
еа (0П)
1
Л (0)а§ ’
т. е. в этом случае за математическое ожидание и дис-
Персию оценки 8 мы принимаем математическое ожида-
ние и дисперсию аппроксимирующего нормального за-
кона распределения. Аналогично, если ео(0)= 1, то
оценка будет называться асимптотически эффективной.
С понятием асимптотической эффективности асимп-
тотически нормальных оценок мы встретимся в следую-
щем параграфе.
§ 62. Методы нахождения оценок
До сих пор мы занимались свойствами оценок пара-
метров, не затрагивая вопроса о способах их нахожде-
ния. Сейчас мы познакомимся с некоторыми методами
нахождения оценок.
1. Метод моментов. Пусть Xi, ..., хп — независимая
выборка из распределения с плотностью р(х; 01, .... 0Г),
зависящей от г параметров 0,.....0Г. Предположим,
что все моменты
mk (0л, .... 0r) = j xkp (х; 0„ ..., 0r) Jx, k — 1, ..., г,
конечны и что система уравнений
6А = тА(0„ .... 0Г), &=1,
§ 62. МЕТОДЫ НАХОЖДЕНИЯ ОЦЕНОК
229
однозначно разрешима, причем ее решение
Ь. — т-ЧЬ., b), &==1, ...» г,
Ч । Ч \ 13 ч ।
дается непрерывными обратными функциями tn~l. При
этих условиях имеет место
Теорема 5. Оценки 0*, k = \, ..., г, получаемые
как решение системы
mk = mk$\.....8Д k = l,...,r, (28)
где thk — — Xi — выборочные моменты, состоятельны.
i=l
Доказательство. Согласно нашим предположе-
ниям система (28) имеет единственное решение О/, =
= mkl(thl, ..тг}, причем т~1 — непрерывные функ-
ции. По усиленному закону больших чисел mk сходятся
п. н. к tnk, а из непрерывности функций т"1 отсюда
следует» что 0fe при ц->оо п. н. сходятся к 0fe. Теорема
доказана.
Метод нахождения оценок, описанный в теореме 1,
носит название метода моментов. Этот метод дает со-
стоятельные оценки, но часто их эффективность и асимп-
тотическая эффективность меньше единицы.
2. Метод наибольшего правдоподобия. Пусть Xi, ...
..., хп—независимая выборка из распределения с плот-
ностью р(х;0), зависящей от параметра 0. Совместную
плотность
L(x; 0) = p(xt; 0) ... Р(хп; 0),
рассматриваемую как функцию параметра 8, называют
функцией правдоподобия. Оценкой наибольшего правдо-
подобия называется оценка 0 = 0(хь ..., хп), которая
обращает в максимум функцию правдоподобия:
L(x; 0) = maxL(x; 0).
е
Если функция правдоподобия 1(х;0) дифференцируема
по 0, то оценку наибольшего правдоподобия 0 можно
найти, решив относительно 0 уравнение правдоподобия
д- 6- = 0. (29)
230
ГЛ. 15 ОЦЕНКИ ПАРАМЕТРОВ
Установим некоторые свойства оценок наибольшего
правдоподобия. Будем предполагать, что выполнены
следующие условия:
1) Пусть параметр 0 изменяется в интервале 01 <
'< 0 < 02 и истинное значение параметра 0О лежит
внутри этого интервала. Предположим, что в этом ин-
др д2р д3р
тервале существуют производные “цщ
2) Интеграл j р(х; 0)dx можно два раза дифферен-
цировать под знаком интеграла, так что
3>'М-\ У Г> te 9) ‘Н... > »• | W.
и М0Д (£) = Н (х) р (х; 0) dx М, где М не зависит от 9.
Теорема 6. При выполнении условий 1), 2), 3)
уравнение правдоподобия (29) имеет решение 0, кото-
рое при п-^ее сходится по вероятности к 0О. Эта оцен-
ка наибольшего правдоподобия асимптотически нор-
мальна и асимптотически эффективна.
Доказательство. Уравнение правдоподобия (29)
равносильно уравнению
1 0L _ д log L _ v д log р (ху, 0) п
L 00 дО ~~ 2-1 00 ~ °’
k-i
г, 0 log р (х: 0) , _ „
Разложим ------------ по формуле Тейлора в окрест-
ности точки 0О:
О log р __ д log р | , /п п ч д2 log р | ,
~ |в=9. + (° “ ~о&- |9=е, +
+ (9-26о)-2 ад (х), (31)
где [б| гС 1. Разделив (30) на п и воспользовавшись
разложением (31), имеем
7 ^41— = (0 - 0О) +1 а • в2 (0 - %)2, (32)
§ 62. МЕТОДЫ НАХОЖДЕНИЯ ОЦЕНОК
23
где
1 A dlogp(xfe; 0) 1 п А сЮ | '9=9 ’
k=i .
1 А д3 log р (xk; 0) I
Bi = пЕ ' Ц
k^l
п
В2 =
А-1
По закону больших чисел BQ-—* MSo = O, В1 —>
=е= - Jj (^ (см. (25) из §61), В2-^*МВ2, |МВ2КЛ1.
Пусть теперь h > 0 и е > 0 фиксированы. Выбираем па
таким, чтобы при всех
Р{| Во1^Й2} < |, Р{В1>-^-} <|.
Р{|В2|>2Л4}<|. (33)
Обозначим через 5 событие, состоящее в том, что од-
повременно выполняются неравенства
|В2|<2Л1.
В силу (33) Р(Х)<е и Р (S) > 1—в. При 0 —0j±/i
уравнение (32) преобретает вид
Во Т Bth + 4 bBJr = 0, (34)
В множестве S ,
рр + ~бВг/г2|<(Л! + 1)/г,
и при /г < 9-А-?°т знак левой части (31) определяется
Z "fl)
। гч , 1 д 1о2 L
знаком члена -+-В./г. Так как ——— непрерывно за-
висит от 0, то в интервале (9а — h, 0О + Л) при
с вероятностью е существует корень 0. Таким
образом, мы доказали первую часть теоремы. Пере-
232
ГЛ. 15. ОЦЕНКИ ПАРАМЕТРОВ’
пишем равенство
в0 + в, (в - е0) + 41 (0 - 0О)2 = о
А д log р (хк; 6) |
п 56 1е=е3
„ ,--------—-----------. (35)
(0-0°)7л(%)
в следующем виде:
1
п =-------
— 01 _ 1 Дй ° ~ °°
Л (во) Т 2 /Ибо)
Числитель в (35) по центральной предельной теореме
асимптотически нормален с параметрами (0, 1), а зна-
менатель при п->-оо сходится по вероятности к 1. По-
этому случайная величина (0 — 0о) д/Л (0оМ асимптоти-
чески нормальна с параметрами (0, 1), что и доказы-
вает теорему.
Задачи
1. Случайная величина ц подчиняется биномиальному закону
распределения Р {р = k] = С^рк (1 — р)п~к. Найтн несмещенные
оценки & и о2 математического ожидания а = пр я, дисперсии
а2 = npq этого распределения, считая параметр р неизвестным.
2. Случайная величина £ имеет геометрическое распределение
Р {£ = £} = pqk, q = 1 — р, k = 0,1, 2, ... Найтн выраженные через £
несмещенные оЦенкн & и а2 тех же величин а — пр и а2 = npq, что
я в задаче 1.
3. Случайная величина £ имеет распределение Пуассона Р {£=£}=
= П (а; £) =-£j-е-а. Найти несмещенную оценку <рт (£) вероят-
ности П (та; 0) = е~та в законе Пуассона со значением параметра
та, где т = 2, 3 ...
4. Пусть Xi, Хг, , хп — независимая выборка из семейства
распределений 1F. Найтн достаточные статистики в случае, когда
. . ап _а
есть: а) семейство пуассоновских распределении Рп==~м~е •
п = 0, 1, 2, ...; б) семейство показательных распределений с плот-
ностью Ке~кх, х 0; в) семейство равномерных распределений
с плотностью
. . , если 0<х<с.
р (х) = < с ’
( 0 в остальных случаях.
ЗАДАЧИ
233
5. По независимой выборке Xi, ..., х„ из нормального распре-
деления с параметрами (а, 1) построена несмещенная оценка a = xi.
п1
Найтн несмещенную оценку 4 = М (xi | х), где х =s~ xi доста-
»=1
I I
точная статистика.
6. Пусть xi, хп — независимая^ выборка из равномерного
в (0, 0) распределения. Найти оценку 0 наибольшего правдоподо-
бия параметра 0.
Глава 16. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
§ 63. Определение доверительных интервалов
Пусть
X], Х„ (1)
— выборка (далее мы всегда будем предполагать, что
она независимая) из некоторого распределения с плот-
ностью р(х; 0) = р(хь Хп, 0), зависящей от пара-
метра 0, который может изменяться в интервале 0О <
< 0 < 01. Пусть y(xi, ...,хп) — некоторая статистика
(т. е. функция от выборки), и Г(д:; 0) = Р {ц ^х) —
функция распределения случайной величины ц —
— у(х\, •••> х„), когда выборка (1) имеет распределе-
ние с плотностью р(х\......х,,;0). Предположим, что
Г(х; 0) есть убывающая функция от параметра 0. Обо-
значим xY(0) квантиль распределения Г(х; 0), т. е. ко-
рень уравнения
F (х; 0) = 1 — у.
В этом случае квантиль xY(0) есть возрастающая функ-
ция от 0. Зададимся малым числом а > 0, например,
а = 0,05 или а = 0,01. Пусть а = ои -j- При каж-
дом 0 неравенства
Xl-cu (0) П S-С Хоц (0)
(2)
выполняются с вероятностью 1 — а, близкой к единице.
Обозначим функцию, обратную к xY(0), т. е. решение
уравнения
У = xv (0),
через
0 = Х7’(«/).
Тогда неравенства (2) можно записать иначе:
xa;' (nXO^xfJJr)).
(3)
§ 63 ОПРЕДЕЛЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ
235
Таким образом, неравенства (3) при любом 0 выпол-
няются с вероятностью 1 —а. Обозначим (т]) = 0 (ц),
A'r_'a,(n) = 0(1]) и запишем (3) в следующем виде:
P0{O(n)<0<6(n)} = l-a. (4)
Интервал в(т]) 0 0 (л) называется доверительным ин-
тервалом, для параметра 0, а вероятность 1 — а — дове-
рительной вероятностью. Следует различать смысл не-
равенств (2) и (3). В неравенстве (2) п£>и любом 0
случайная величина г] попадает в указанный интервал
с вероятностью 1 —а. В неравенстве (3) параметр 0 не-
случайный, а концы интервала случайны, поэтому пра-
вильнее будет говорить, что при любом 0 доверитель-
ный интервал (со случайными концами) покрывает
параметр 0 с доверительной вероятностью 1—а. Дове-
рительный интервал (4), кроме доверительной вероят-
ности 1 — а, имеет еще одну характеристику — среднюю
длйну М[б(р) — 0(т|)]. Мы должны стараться среди всех
доверительных интервалов с доверительной вероят-
ностью 1—а выбрать тот, который имеет наименьшую
длину. Если статистика г\ — у(х}, ..., хп) уже выбрана,
то мы можем варьировать разложение а на сумму
«1 + «2- 1 '
В дальнейшем мы встретимся со следующими двумя
случаями.
Случай 1. Функция распределения F(x\ 0) имеет вид
F(x — 0). В этом случае F (х — 0) убывает с ро-
стом 0. Легко видеть, что при этом ху (0) = 0 Д- ху (0) и
х~1 (у)—у—ху(0), поэтому доверительный интервал (3)
имеет вид
П —ха1(О)<0<п —х,_а2(0). (5)
Случай 2. Параметр 0 положителен, и F (х; 0) =
= ^(тг)’ В этом случае F (-jy) при х>0
убывает с ростом 0, и ху(0) =0xv(1), х~1 (у) = •
Доверительный интервал (3) в этом случае имеет вид
•и 11
*а,0> *1-^0) ’
236
ГЛ. 16. ДОВЕРИТЕЛЬНЫЕ ЙНТЕРВАЛЫ
§ 64. Доверительные интервалы для параметров
нормального распределения
Пусть независимая выборка (1) взята из нормаль-
ного распределения с параметрами (а, о).
а) Доверительный интервал для а при известном а.
Возьмем за статистику г] среднее арифметическое х. Это
разумно, так как х есть достаточная статистика отно-
сительно а и является эффективной оценкой а. Как из-
вестно, х имеет нормальное распределение с парамет-
рами (а, Обозначим, как и раньше, через mv
квантиль нормального распределения, т. е,
1 — Ф(му) = у,
Пусть а == ai аг. Так как «i-y = —uY, то неравенства
а
-у/п
а —- и —^= х а 4- и
(6)
выполняются с йероятностью 1—а. Разрешая неравен-
ства (6) относительно а, имеем доверительный интер-
вал для а
х — и —~ = а ^.а а = х 4- и —(7)
,Vn - ' аг -у/тт ' '
являющийся частным случаем (5). Доверительная веро-
ятность (7) равна I—а, а его длина (uaj-f-ua) —=•.
Эта длина будет наименьшей, если взять а.х = аг = а/2.
Пусть, например, a2>ai; тогда uat > иа2. Пусть Д>0
таково, что а2 — Д > a1 -j- Д; тогда uai > иа4д > иаг-д >
> «а2. Из неравенств
1
Д=1-Ф(иа2)-(1-Ф(«а2_д)) =
, “%"*
= ’ \ e--dx
“аг
2
uai-Д
,— е 2 (и . — u ¥
2д X — A си/’
t е~~ dx
ф.п J
“a(+A
^=-е~ 2 («а1-«а1+Д)
§ 64. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
237
имеем
2 2
uai-К __ %+л
Па,—Д —' Wai A д/2л 6 2 , <С Д д/2зх в 2 Uai Uai+&
ИЛИ
Wai — Д 1 Wai + Д Wai ”I Wa„'
т. е. при «xi =/= «2 доверительный интервал не имеет наи-
меньшей длины.
б) Доверительный интервал для а при неизвестном о.
Прежде всего докажем важное свойство выборочного
среднего
п
x=itx‘
i = l
и дисперсии
, п
s2=t=tE<x‘^*)2
i=i ।
для выборки (1) из нормального распределения.
Теорема 1. Статистики х и s2 для выборки (1) из
нормального распределения независимы. Случайная ве-
личина s2(n—1)/а2 имеет ^-распределение с (п — 1)н
степенью свободы.
Доказательство. Случайные величины х' =
х, — а
= —---- независимы и имеют нормальное распределе-
п
1 К" 8
ние с параметрами (0, 1). Обозначим Xх = — / х', s' ~
i-i
п
= -~Г\ У*, (х( — *')2- Тогда х = а ~{- ax', s2 = a2s'*. Дока-
i-1 2 2
жем, что х7 и s' независимы и что s' (п — 1) имеет
^-распределение с (п— 1)-й степенью свободы. Случай-
ный вектор (хр х') имеет сферическое нормальное
распределение с плотностью
[п
—- V x'i I • (8)
2 iTl J
f-
"'"''I'......................1.1..
238
ГЛ. 16. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
Пусть у — Сх' — ортогональное преобразование, задан-
ное соотношениями
у1==^ х' = -^=- + ... + (9)
уп уп •
yk = ^ckix\, /г = 2...n.
Всегда можно подобрать коэффициенты Cki так, чтобы
равенства (9) задавали ортогональное преобразование.
Тогда г/i, у2, .... уп также будут иметь сферическое
нормальное распределение с плотностью (8). Так как
п , п
= -у/п *' и У х' = X (из-за ортогональности
i = 1 i = 1
преобразования С), то
(zi-l)s'2= £(х' —х')2= £ xf —пх2 =
> п п
поэтому (п — l)s'2 имеет распределение %2 с (п—1)-й
степенью свободы. Теорема доказана.
Следствием только что доказанной теоремы является
Теорема 2. Пусть (1) — выборка из нормального
распределения. Статистика
называемая отношением Стыодента, имеет рас-
пределение Стыодента с (п—1)-й степенью свободы.
Доказательство. —--------уп имеет нормальное
распределение с параметрами (0, 1), a s/a не зависит
от х и равно д/х" _,/(« — 1), где ^1_1 имеет ^-распре-
деление с (п — 1)-й степенью свободы. Поэтому отноше-
ние (10) имеет распределение Стыодента с (и—1)-й
степенью свободы. Теорема доказана.
Для построения доверительного интервала для а при
неизвестном о воспользуемся отношением Стыодента
(10). Пусть Sn(t)—функция распределения Стыодента
§ 64. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
23)
с п степенями свободы. Обозначим ty(ri) квантиль рас-
пределения Sn(0> т. е. корень уравнения
S„(/) = l-y.
Так как распределение Стыодента симметрично, то
f1_Y(n)= —/7(п) и при построении доверительного ин-
тервала надо брать а\ — а2~ а/2. Нерайенство
-----l_/a/2(n — 1)^х — а< —~tai2(n— 1)
уп \п
выполняется с вероятностью 1—а. Это дает нам дове-
рительный интервал
X----г=- tai2 {fl — 1) <2 X z=r ta/2 {fl 1 ).
-уп 'S/п
в) Доверительный интервал для о при известном а.
Статистика
г = 1
является достаточной для параметра а и имеет ^-рас-
пределение с и степенями свободы. Обозначим через
7(„(х) функцию распределения -ц/а2 и через &Y(n) кван-
тиль К,,(а), т. е. корень уравнения
К/г(.г)=1-у.
Пусть а ~ ai -{- а2. Тогда неравенства
k. П (п) ^.^2 kn (п)
выполняются с вероятностью 1 — а. Это дает довери-
тельный интервал
а/Ут «С о А/ ь—У~г • (Н)
V *а2(") V fci-a.t'O
Можно доказать, что этот интервал будет иметь наи-
меньшую длину среди всех доверительных интервалов
этого вида с доверительной вероятностью 1 — а, если щ
и а2 выбраны так, что плотность А„(х) = ^(х) удовле-
творяет равенству
240
ГЛ. 16. доверительные интервалы
г) Доверительный интервал для а при неизвестном а.
В этом случае за основную статистику ц возьмем эмпи-
рическую дисперсию. По теореме 1 --------~г--- имеет
Х2-распределение с (м— 1)-й степенью свободы. Это
приводит к доверительному интервалу, аналогич-
ному (11):
s V - 1) д/At_,ai (л-1/
с доверительной вероятностью 1—(оц + схг)- 1
§ 65. Доверительные интервалы
для вероятности успеха в схеме Бернулли
Той же самой процедуры построения доверительных
интервалов можно придерживаться и в том случае, когда
основное распределение дискретно. Продемонстрируем
это на схеме Бернулли. Пусть р.— число успехов при о
испытаниях в схеме Бернуллд. Функция распределения
т
F {т-, р) = Р {и т} = Ckr.pk(l - рГ~\
рассматриваемая в целых точках т == 0, 1, 2, ..., п,
убывает с ростом р, так как
~Г(иг;р) =
т т
= X С\ . kpk~' (1 - рГк - - k) pk (1 - р) п-к-' =
л=о *=о
I I
1 и/i Ji-m—I . А
= — пСп-\р (1 — р) <0.
Обозначим mv(p) такое наименьшее целое число, для
которого
1 — F (ту (р); р) > 1 — у.
Тогда шу(р)—1 есть такое наибольшее число, что
F(mv (р)— 1; р) <у.
Пусть ой + а2 = а. Тогда с вероятностью — a
mi-ъ (р) та.(р).
§ 65. СХЕМА БЕРНУЛЛИ
241
Обозначим решение уравнения у — ту(р) относительно
р через т~1(у). Тогда неравенства
Р = (И) < Р < тГ-!а, (И) = Р, (12)
задающие доверительный интервал, выполняются с ве-
роятностью ^1 — а. Число 1—а называется в этом
случае коэффициентом доверия. Для нахождения гра-
ниц доверительных йнтервалов (12) можно пользовать-
ся таблицами бинрмиального распределения, но такие
таблицы громоздки и не очень распространены. По-
этому часто используют предельную теорему Муавра —
Лапласа об асимптотической нормальности
у/пр(\ — р)
для построения приближенных доверительных интерва-
лов. Неравенство |г) [ ua/2 при больших п выполняется
с вероятностью » 1 — а. Это дает
Р „ . /р (! — Р) Н । „ л / Р (1 — Р) /,пЧ
~ — «a/2-Д/ ~ Р < ~ + На/2/\/ ~ , (13)
однако неравенства (13) не задают доверительного ин-
тервала, так как в них имеется справа и слева зависи-
мость от р. Поскольку > р, то из (13) получают дове-
рительный интервал
Другой подход к построению приближенного довери-
тельного интервала для р основан на следующей тео-
реме.
Теорема 3. Пусть последовательность £л такова,
что Ms„ = a, D£„ = а2п->0 и распределение £л асимпто-
тически нормально с параметрами (а,ап). Предполо-
жим, что функция g(x) ограничена, |g(х) | К, и имеет
непрерывные производные g'(x), g"(x) в окрестности
точки х — a, g'(a)=^=(). Тогда случайная величина т)л—-
~ g{in) асимптотически нормальна с параметрами
(g(a), |g'(a) Ы-
242
ГЛ. 16. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
Доказательство. Пусть при | х — а [ < е имеет
место разложение Тейлора
g(x) = g(a) + g'(a)(x — a) -j-r(x)(x — а)2, (14)
где |г(х) К/Ci при некотором < с». Обозначим Ап~
= {«>: 1(®) — а | < ст)/4). Для п^па таких, что стп^е4,
мы можем, пользуясь разложением (14), написать
п„=г(У'лп + г(М'^= . '
= Ь, (г (») + s’ И (S, - «) + г (Q (г, - оу)+i^e (у.
Тогда т)п = г)„ + бп, где
^n = g<a) + g'(a)^n — a),
^-g («) ~ §' <«) fl) {ап +
,(15)
Так как правая часть равенства
n';-g(e) _ g'<«) ~«
I g' (a) I ffn ~ I g' (a) I aZ
имеет в пределе нормальное распределение с парамет-
рами (0, 1), то т]' асимптотически нормально с пара-
метрами (g(a),| g'(а) |стп). Докажем, что — —*0. Для
ап
этого обратимся к (15) и докажем соответствующую
сходимость по вероятности к нулю для каждого сла-
гаемого. По неравенству Чебышева (32) из § 17
рй<4=,?!-
По неравенству Чебышева (31) из § 17 для любого 8
Аналогично доказывается Р {I g (ь«) I !ап > 8СТ„} Далее
по неравенству Чебышева
|g' (a) | М1 g — a) I/—
P{lg'(a)|-
ест„
§ №. СХЕМА БЕРНУЛЛИ
243
и по неравенству Коши — Буняковского
МIS» - “ I Ч < VM (J, - а)! MZJn < а,
поэтому
I (а) I о?/4
Р {I g (а) | • | s„ - а 1> еа„| <---0.
И, наконец,
Р {|'л/(М(8.- °)" |
Итак, мы доказали,
ni е-Оп ч
Ьп Р
что —и~—>-0. Так как в сумме
ап
справа
Ч,, - fi (а)
I s' (а) I Он
Ч„ ~ 8 (?) 6„
распределение первого слагаемого сводится к нормаль-
ному с параметрами (0,1), а второе по вероятности
П,, — Р |''Й
стремится к нулю, то распределение j j~~yj-g"~ сходится
к нормальному с параметрами (0, 1). Теорема доказана.
Применяя эту теорему к случайной Ьелпчипе
т)„ = 2 arc-sin ,
получаем асимптотическую нормальность т]„ с пара-
метрами ^2 arcsin д/р > д/тт)’ так ках случайная вели-
чина ц„/п асимптотически нормальна с параметрами
(р, дУ Р^ ~ Р^ Y а функция 2 arcsin Vх удовлетворяет
условиям теоремы 3 и
(2 arcsin л/х Y — —= 1 —.
Выбирая квантиль нормального распределения ил/2, мы
можем построить доверительней интервал для р, исходя
из того, что неравенство
Л • / Н О • /— и^
2arcsin л/-----2arcsin VР —=
V п
244
ГЛ. 16. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
выполняется при больших п приблизительно с вероят-
ностью 1 — а. Отсюда получаем неравенства .
2arcsin
иа!2
и приближенный доверительный интервал
sin21 arcsin
_ Цд/2 |
2-Vn” Z
Задачи
1. По независимым выборкам xt......xrti и yt, из двух
нормальных распределений с параметрами (at, at) и (аг, аг) соот-
ветственно построить доверительный интервал с доверительной ве-
роятностью 1 — а для разности at—аз, если at и аг известны.
2. Построить доверительный интервал для той же разности
at— аз, что и в задаче 1, если at = вз «= а, где а неизвестно.
3. С помощью теоремы 3 для параметра а пуассоновского за-
кона построить приближенный доверительный интервал с довери-
тельной вероятностью 1 — а по независимой выборке Xt, Хг, .., х».
4. По независимой выборке Xt, ..., х, из равномерного распре-
деления 6(0,0) построить доверительный интервал для параметра О
с доверительной вероятностью 1 — а.
ОТВЕТЫ К ЗАДАЧАМ
Глава 1
1
6. —= 0,017650 .... 7. а) 1/3; б) 1/5. 8. 0,025.
С49
5 Pfe plO-fe
9-1/3- 10- X.....IOC£~
fe-0 С2«
10-9-8-7
11. а) ю< °’504; б) -
в) Cfc?0 4-4-10-9 0,063;
104
12. pi (а — 2г)2
"" а2 * Р2
ЛГ2
а
1 (Сю)2
= “ + 0,67186.
2 2С'“
d- 10.9-8
'• —----------=0,432;
10
; г) WO’-
4г лг2
а2
4г2
а2
Рг =0,
13. 4- (1 - 2г/а)2. И. 1 - я/4.
О
Глава 2
1 67 2 М (N — М) (Л4-1) 41 , 4г 4г2
’ Д'(Д' — 1) (IV-2) • (а -1-6) л* а а2'
6. 1/п. 7. 2/п. 8. а/(а 4- 6 — 2г).
9. а) 1 - 3<73 4- 2<?4; б) 1 — 4<?3 4-3<Д 10. 1/3.
11. 6л (1 - л/4)4• 4-5 = 0,000039.
Гл4ва 3
1. р {| = 6} = 1/28 при 6=0,1,11,12.
Р{£ = 6}=2/28 при 6 = 2,3,9,10;
Р {£ = 6} = 3/28 при 6 = 4, 5, 7, 8;
Р{£ = 6}=4/28.
2. Р {П = О} = РЬ = ± 7з/2} = 1/3.
3. а) М£ = ир, Dg = npg;
24 6
ОТВЕТЫ К ЗАДАЧАМ
DJ = n
N — n АГ +
др—Г; в) М| = —
6. MJ
«Рр DJ. = пр. (1 - pf), Cov (gp
б) Mj = n
DJ=-^=J-
ь 12 ’
п
4=0 ' ___
= -npzPy, z¥=/., 8. V0,l =0,316227... 9. 49/4.
11. Р {450 < р 550} > 0,9.
Глава 4
1. / = 71. 2. 16587. 3. 1340. 4. 0,00029.
5. (1 — 1/12)30 = 0,07351; е-30/12 = 0,08208.
Глава 5
, 5 — i i n
’• P/7 = ° Для остальных «,/;
,n. 5+10z—2<2 /(г — 1)
Pa ~~ 25 ’ P‘- l-z ~ 25 ’ pi- i+2 ==
= (5--<y4------z), остальные (2) = 0; Py ~ C5/25, 7=0, 1,2, 3, 4, 5.
2. Переходные вероятности ры^ piiiiiu Zsil( = 0,5, осталь-
ные Piti:h.hhl^°’ все пРеДельиые вероятности pZi/2/j = 1/6.
3. роо (0 = Рзз (0 = 1. pio(t)^q--—^pq
Г-1 Г-1
2’-(p<7)L2j п .^.I'-lpqr-21 п , а = „(p^l ;
- 9 V-pq ' Р13 (0 ~Р \- pq ’ Р23 (t) Р 1-77
~2
Р20 (0 =
при нечетных t: ри (/) = р22 (t) =± 0, Р12 (0 = Р • (Р<7) 2 > (0 = J
= q-(pq) 2 ; при четных t: р12 (/) = р21 (/) ==,0, ри (/) = р22 (i) = I
,..л</2. _* ?2 _• Р Я _• Р2 I
-(P<7)jP2O“ 1_р9- Р-а--}—^’ Р>з = Т^'
Роо = Рзз=1> остальные р*у=О.
4- Pap, ро (1) == ?, Pap,pi(l) = P, Рар,увО) = 0 при при
t > 1 Рар, оо (0 = q2, Рар, 01 (0 = Рар, 1 о (0 = Р<7. Рар, 11 (0 = Р2-
5. Нет.
Глава 6
!0 при 2 < 0, '
2Н-г1па&-21п2
1
ab
при
при
О ab,
ab < г;
ОТВЕТЫ К, ЗАДАЧАМ
247
, . ( -Д- 1п' при 0<z<a&,
at> z
v 0 в остальных случаях.
2. F (х> = (2/х - x*)ft*, 0 < х С /;
р (х) = 2 (/— х)//2, 0<х<Л
3. а) fi(x). ... .£„(х); б) 1 - П (1 - F/(х)).
i = l
4- W —-w^)F '*’* “ F ? W-
X (1 - г Шп~‘ P (*) P (y), x<y, pi(kfylt (x, у) = 0 при x > у.
е-Кх_е-'^х
7. При P^i+^2 {JQ==3 ^*1^*2 2,1 ~~*' * при
Zj = Л? = %: pii+b (х) = Л2хе~Ч х > О.
8- Рп(х)*=-у Х_ е~Кх, х>0. 9. Fn(x) = x, 0 < х 1.
\п и*
Глава 7
1 Mg2ft+I = О, Mg2" = ^-а2". 2. e°>12.
2 "n t
[rt/21
Zriknn-lk (2fe)! 2fe
c"a ' wa •
Л = и
n I n
4- °п„=П(°/ + а/)-П4
J“1 j=l
5. Mt)„ =t= 1/n.
(Ar — 1) s,v — A's'v
6. = при а + P > 0.
VT'(a)
7. = Mi] = 0, Dg = Dn = fl2/4.
Глава 8
sN - 1 ,/v (Лг-I)s’v-A’s’^’^' + l
’• ф (s) = ‘---Sv^iT---------’ ф (s) =
_(Af-D (^-2)s^-2^(^-2)S^-| + ^(^V-l)s^ ~2. Um ,s> = j
K(s- 1Г ’ s*r ’
q>' (1) = lim (₽'(s) = 4 1 , <p" (1) == lim q>" (s) = -—
s‘i 2 sfi
у I № — 1
Mg = q/(l).=.^—L d^A—L.
2. p {£ = n} = (2«)!/22л (n!)2 (2n — 1), n = 1, 2.Mg = oo.
3
248
ОТВЕТЫ К ЗАДАЧАМ
ОТВЕТЫ К ЗАДАЧАМ
249
з. (1-ф (S))/(1-S). 4. ф, (э) = 1-Л' (1-S)/[^_J|(1_S)+1]
при Л=/=1; Ф4 (s) = 1 — (1 — (*—«) + 1) при А = 1; = 1
при А 1; <7—1 — 2А (А — 1)/В при А > 1.
Глава 9
1. (1 + П-1. 2. 1[(1+70“Р+ (!-«)"“].
Глава 10
1. 2Фо (УПГ) = 0,99947. 3. 0 < 0 < 1, 2а > ₽ - 1.
и,
4. —L=- \ е du. 5. 0,99952.
V 2 л
Глава 11
1 -ТГ[^rS-r1--1]- 2-
а. Р1П1<1, 1ч1<4 = 0,46594, Р (V + д2 < 1} =0,39347.
Глава 12
5. Справедливо.
Глава 13
N
1. COV (х, у) = - V(-/_ £ (Х{ - Х)\ р (х, у} _
f = l
£(*i-X)2. 3.
^-а*.
п
2. Критическое множество оптимального критерия: Х| + х2 + ..
СЮ
... + х„<%пх, п> r^e n z^T \ xn~le~x dx = 1 — а. Мощность:
»• и л*-u>’ 1 f »7 j I
х1-а
Хо
ТТ '-а
F(W=T^ J Xn-'e~xdx.
О 1
П|
3. Критическое множество: х — у ua<J, где х = — хр у =
i-l
. «2 „2 ' 2
1 т-л О] а2
= — ? У„ о2 ----------1---, и — а-квантиль нормального распре-
П2 L-1 ** П1 п2 “
i-l
делений.
Vr (^1 — 100)2 f
4' х “ Zj Too—~ ~ 5,86 < '^°4 5 * * * 9) ~16,9, поэтому данные
i=0
таблицы не противоречат гипотезе случайности.
Глава 15
1.4 = И( б2 ~ И 2- d = n/a=Ql- 62 = n7{E-i}-
3. Фт (I) = (1 - т^- 4. а), б) X! + Х2 + ... + хд; в) max х{.
5. Т=х. 6. 6= max х..
1<<<я 1
Глава 16
42
, - al CT2
1. x-y-ual2 ^ + -^al-a2^x~y+ua/2 - +
где «a/2 — a/2-квантиль нормального распределения, x «
П| «2
_____П\пг_____
(N-m){N-n2) •
N
2. -.
n(W-l)
4 Mr — ka П, - fe(«~ fe+1)
n + 1 ’ k («+l)!(« + 2)
Глава 14
1. Если min х.<1, то принимать H если max x, >&
Ki<n 1 , 0 i<i<n ‘
то принимать Hi; в остальных случаях с вероятностью 1/2 приия*
мать Но. В этом случае max (a, 0)=2-n-1. 'i
2. X—у - fa/2 («1 + П2 2)
;п-1)+а2-(п2-О
п, - 1) -W2-(.
fil + fl-2 — 2
где х, у
250
ОТВЕТЫ К ЗАДАЧАМ
'll щ
те же, что в задаче 1, sj = -L- £ - х)2, s2 = -L- £ (!/~^)2.
i ™ 1 । i = 1
<а/2 (П1 + п2 ~ 2) — «/2-квантиль распределения Стыодента с Д-
+ п2 — 2 степенями свободы.
3. (л/х 2^') , где x=(xt+.. .+хп)/п,
\ 2 V/? / \ 2 уп /
иа/2 — а/2-квантиль нормального распределения,
max х.
. к;<п *
4. —=-------max х„
ТАБЛИЦЫ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ 1 251
252
ТАБЛИЦЫ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
Продолжение
фь*г*ь-фффо4,'*4’«$*~-фф ос0Г2“2Ф-^соффь*ооооф Он^ооооцосъффффффф
со - cd со о ф ф осо-*юсо — союфь»соооф соь.сососоосг)оа^а>сплсл
Г- СОсООООтН — О О М М О> Ю СП ФЮФЮоО—СОтГфЬ-Ь-ОООО CONcOOOcOCDCD^CrjOQQffi
со СООСОф-Л-со-и-сСЛиэсГ) 00 Ю Ф rt* оОФсО^ФЬ-Ь-ОООО ^ь-сооосооспо^оола)
доли tO оо^оомооффофосо^ф ь^ф^!''Фо4^фь.ь-сосо CON^OOcOOCDO^OOCnj)
Сотые —«оофооф’^ь-фффь-^оо ь-софсоь-фо4^<ффь-оооо Ф^ь«оосооа>Фа>оола>
со тГе^ООЗ*’— — LOCQb-OOISCQOO фСОООСОЬ»ФС4’^ФФЬ-ООоО ^N!*coooojia>cj)j>a>oj)
G4 ффсофооооо4 — фь-фо4ь- иэе^оософфеатгФФь-оооо фь.ъ»ооооооффффффф
ффооф,'Гфффффюо4ь*. тГ-Г-С1С>Ф01тГ1ЛСОЬ.СООО фь-|>ооооооффффффф
О г-н СО 04 — — СО 00 СО СО Ф М* — ь- •чр — Г«О4ФФ—«СОФФЬ-ОООО ФЬ-Ь-ООООООФФФФФФФ
К ОС^СГ>>Ф’-^<МСО^Г10 ON 00 о <э ~ of 04 04* 04* 04 04 of 04* 04* 04* CO*
1 ф
о
Ф
о ф
ф*
ф S
о
ф ф
ф
о о
1O
ф
ф
ф
Ю и
со ^^4
ф оо
ф —
00
о о
со 00
ф 00
ф
о
Ф о
04 ф
ф ф
ф
о й
04 ф
ф ф
ф OI
ю о
—
ф ^а«
ф 04
СО
ф 1 Ф
04
ф со
ф of
00
ю ф
о N*
о ф
ф* 04
04
Ф
о Ф
о Фш
о сО
1 О
о а
ЛИТЕРАТУРА
Боровков А. А. Теория вероятностей. — М.: Наука, 1976.
Гихмаи И. И., Скороход А. В., Я дрен к о М. Н. Теория ве-
роятностей и математическая статистика. — Киев: Вища школа,
1979.
Гиедеико Б. В. Курс теории вероятностей. — М.: Наука, 1969.
Колмогоров А. Н. Основные понятия теории вероятностей. —
М.: Наука, 1974.
Крамер Г. Математические методы статистики. — М.: Мир, 1975.
Леман Э. Проверка статистических гипотез.—М.: Наука, 1964.
Севастьянов Б. А., Чистяков В. П„ Зубков А. М. Сбор-
ник задач по теории вероятностей. — М.: Наука, 1980.
Феллер В. Введение в теорию вероятностей и ее приложения. —
М.: Мир, т. 1, 1964; т. 2, 1967.
Ш и р я е в А. Н. Вероятность. — М.: Наука, 1980.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Алгебра событий 16
Байеса формула 29
Борелевекая а-алгебра 86
— функция 90
Борелевское множество 86
Вероятностное пространство 16
--- конечное 19
Вероятность 11, 16
— апостериорная 29
— априорная 29
Выборка без возвращения 21
— с возвращением 22
Гипотеза конкурирующая 196
— простая 195
— сложная 195
— статистическая 195
Двумерное распределение 52
Дисперсия 47
— остаточная 58
Доверительный интервал 235
Достаточная статистика 220
Закон больших чисел 63
— «0 или 1» Колмогорова 177
Индикатор 42
Интеграл Лебега 105
— Лебега — Стилтьеса 106
Интегральная теорема, Муав-
ра — Лапласа 71
Испытание 35
Квантиль 202
Ковариационная матрица 165
Ковариация 57
Композиция 98
Коэффициент корреляции 57
Критерий Колмогорова 209
— Смирнова 211
— Хг- Пирсона 206
Лемма Бореля — Кантелли 175
Локальная теорема Муавра —
Лапласа 70
Математическое ожидание 45,
100
Матрица переходных вероятно-
стей 79
Метод моментов 228
— наибольшего правдоподобия
229
Моменты 47
— абсолютные 47
---, центральные 47
— факториальные 118
— центральные 47
Независимость 30
— алгебр 33
— испытаний 35
— разбиений 33
— случайных величин 54, 96
— событии 30
— о-алгебр 33
Неравенство Йенсена 48
— Колмогорова 182
— Коши — Буняковского 49
— Ляпунова 48
— Рао — Крамера 224
— Чебышева 61
Оптимальный критерии Нейма-
на — Пирсона 199
Отношение правдоподобия 199
Оценка 213
— асимптотически эффективная
227
— несмещенная 214
— состоятельная 215
— эффективная 227
Ошибка второго рода 197
— первого рода 197
Mtuawi акгажакшкти 1ЯИ1а>ияджямига1агтпжпг—га|’гли ' ЕГТ"
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
255
Переходные вероятности 79
Ц.чотность 88
Производящая функция 117
Распределение абсолютно не-
прерывное 88
— биномиальное 38, 65, 119
— гамма 91
— дискретное 88
— логарнфмнческн-нормальное
152
— г многомерное 92
--- нормальное 164
— нормальное 91
— — сферическое 168
— показательное 92
— полиномиальное 39
— пуассоновское 119
— равномерное 91
— сингулярное 89
— Стьюдента 170
— хи-квадрат 169
Свертка 98
Случайная величина 41
--- простая 101
— — целочисленная 117
Событие 12
Среднее значение 45
Стохастическая матрица 79
Схема Бернулли 37
— полиномиальная 38
— Пуассона 66
Сходимость в среднем 181
— по вероятности 178
— почти наверное 177
с'-алгебра 16
— остаточная 176
Теорема Бернулли 63
— Лебега о мажорируемой схо-
димости 107
— Ляпунова 147
— Муавра — Лапласа 70, 71
— Неймана — Пирсона 199
— о монотонной сходимости 106
— о предельных вероятностях
80
— Пуассона 66
— Хелли 161
— центральная предельная 146
— Чебышева 62
Уравнение регрессии 58
Уровень значимости 197
Усиленный закон больших чи-
сел 182, 183, 185
Условная вероятность 26, 59 1
Условное математическое ожида-
ние 60, 217
Формула композиции 97, 98
— обращения 136, 158
— полной вероятности 28
Функция распределения 84
— — многомерная 92
Характеристические функции 129
— — многомерные 154
Цепь Маркова 77
Частота 10
Элементарное событие 15