Автор: Радченко Т.А. Радченко Ю.С.
Теги: теория вероятностей и математическая статистика математика статистика математический анализ математическая статистика издательство воронеж
ISBN: 5-85815-046-2
Год: 1997
Текст
УДК 519.21
Р 15
Радченко Т.А. , Радченко Ю.С. Теория вероятностей и математиче-
ская статистика .( Конспект лекций). - Воронеж: ВГУ, 1997. - 240с.
ISBN 5-85815-046-2
Данный конспект лекций содержит систематическое изложение
основных разделов теории вероятностей и математической стати-
стики. Теоретический материал оформлен в виде лекций и предна-
значен для изучения студентами естественных факультетов, готовя-
щихся профессионально использовать теорию вероятностей и мате-
матическую статистику в прикладных исследованиях.
Библиография 15 назв..
Рецензент:
профессор, академик МАИ С.В. Бухарин
Печатается по решению
Редакционно-издательского совета
факультета прикладной математики
и механики Воронежского
государственного университета
УДК 519.21
ISBN5-85815-046-2
© Воронежский университет
Предисловие
Данный конспект лекций является результатом многолетнего опыта
преподавания курса теории вероятностей и математической статистики на
факультете прикладной математики и механики и проведения практикума
по математической статистики на физическом факультете Воронежского
госуниверситета . Курс лекций, подкрепленный практическими,
самостоятельными и лабораторными занятиями, рассчитан на подготовку
специалистов, умеющих профессионально использовать теорию
вероятностей и математическую статистику в прикладных исследованиях.
В связи с этим структура изложения материала отражает стремление
авторов с одной стороны обеспечить математическую строгость
изложения, с другой - раскрыть вероятностную сущность случайных
явлений. "Последнее тем более важно, что теория вероятностей, будучи
разделом математики, содержит черты и естественнонаучных дисциплин,
как правило, в ней строятся модели реальных явлений" [1].
Математическая подготовка студентов названных факультетов
позволила отойти от традиционной схемы изложения, согласно которой
вначале рассматриваются опыты с конечным числом равновозможных
исходов, классическое определение вероятности, т.е. теория вероятностей
начала века. Исходные понятия вводятся непосредственно на базе теории
множеств и аксиоматики Колмогорова [2]. Это позволяет, используя
современный математический аппарат, реализовать единый подход к
построению вероятностных моделей случайных явлений различной
физической природы и существенно экономит лекционное время.
Лекции написаны на основе базовой программы курса "Теория
вероятностей и математическая статистика" и содержат изложение
вопросов, необходимых для решения прикладных задач в различных
областях. Теоретический материал представлен в виде отдельных лекций,
сгруппированных по тематике в 15 разделов, составляющих две части
курса. Нумерация теорем, примеров и формул для каждой лекции своя.
Нумерация рисунков двойная ( номер лекции, номер рисунка ).
3
Содержание первых пяти разделов первой части традиционно
включается в том или ином виде в учебники по теории вероятности
(случайные события, случайные величины, функции случайных величин,
характеристические и производящие функции, предельные теоремы). Два
следующих раздела являются связующим блоком между первой частью
курса и второй .13 разделе VI на основе материала, изложенного в
предшествующих разделах, получены распределения случайных величин,
часто встречающиеся в прикладных задачах математической статистики.
Раздел VII содержит методы моделирования на ЭВМ случайных величин и
событий.
Вторая часть курса включает изложение основ выборочной теории,
теории точечного и интервального оценивания, проверки гипотез о
параметрах и виде функции распределения, теории регрессии (разделы
¥111 - ХШ). Сформулированы задачи и затронуты методы
непараметрической статистики (раздел X1Y), которые находят все более
широкое применение как в точных науках, так и в гуманитарных областях.
Подбор и последовательность изложения материала осуществлены
исходя из требований: осветить вопросы, представляющие наибольший
практический интерес; обеспечить согласованность разделов
теоретического курса с темами практических и лабораторных занятий.
Последние предусматривают использование персональных ЭВМ и
интегрированной системы программирования MathCAD, для чего
необходим материал, включенный в раздел XY и Приложения.
Теория вероятностей и математическая статистика - постоянно
развивающиеся области науки, поэтому, естественно, в двухсемесгровом
курсе невозможно рассмотреть все их аспекты. Значительная часть
вопросов предполагает самостоятельную работу студентов и дальнейшее
углубление знаний в рамках других курсов.
Авторы выражают глубокую признательность студентам и
выпускникам факультетов ПММ и физического: Славновой О., Репину В.,
Сохнышеву С., Радченко М. И др., выполнившим набор текста лекций .
Искренне благодарны авторы декану факультета ПММ Юргеласу В.Р
,без помощи и поддержки которого данный труд вряд ли был бы
опубликован.
4
|Ш Часть 1. Теория вероятностей.
Раздел I. Случайные события.
Лекция 1. Предмет теории вероятностей. Случайные со-
бытия.
Теория вероятностей (ТВ) - математическая наука, изучающая зако-
номерности массовых случайных явлений.
Массовое явление - явление, которое можно наблюдать (по крайней
мере гипотетически) неограниченное число раз.
Случайное явление - явление, которое при одних и тех же условиях
может иметь различные исходы (реализации) и заранее нельзя указать, ка-
кой исход реализуется.
Результаты отдельных наблюдений за случайным явлением непредска-
зуемы, но при многократных наблюдениях выявляются определенные зако-
номерности. Эти закономерности и являются предметом изучения ТВ.
Примеры массовых случайных явлений: подбрасывание монеты; игра
п кости; стрельба по мишени; измерение некоторой физической величины;
прием радиосигналов на фоне шумов; испытание сложной техники на отказ
и т.д.
Случайные явления чрезвычайно разнообразны, наблюдаются практи-
чески во всех сферах человеческой деятельности и в природе. Случайные яв-
ления издавна привлекали внимание исследователей. Размышления о слу-
чайном (например, "золотые правила" игроков в азартные игры) были уже в
древнейшие времена, но математические вычисления вероятностей (шансов)
появляются в письменных источниках лишь с XV века. Начало формирова-
ния ТВ как науки, связывают с именами двух великих ученых Б. Паскаля и
5
П. Ферма, предложивших в середине XVII века решения ряда задач, связан-
ных с азартными играми.
Начиная с этого времени и по настоящий момент ТВ развивается как
в направлении расширения круга изучаемых явлений и решаемых задач,
так и в направлении привлечения новых математических методов, исполь-
зуемых при их решении [3,4 ].
Современная ТВ, аксиомы которой были сформулированы в 1933г.
академиком А.Н. Колмогоровым, использует разнообразный математиче-
ский аппарат : теорию множеств, интегральное и дифференциальное исчис-
ление, векторную алгебру, теорию комплексных переменных и т.д.
Построение вероятностной математической модели слу-
чайного явления
Общим для всех случайных явлений является их непредсказуемость в
отдельных наблюдениях. Поэтому для их описания и исследования не-
обходимо построить математическую модель, адекватно отражающую эту
особенность. Для построения вероятностной математической модели введем
некоторые определения.
Опыт (эксперимент, испытание) - наблюдение какого-либо явления
при выполнении определенных (фиксированных) условий.
Событие - факт, регистрируемый в результате опыта.
Случайное событие - такое событие, которое при проведении данногс
опыта может произойти, а может и не произойти.
Пространство элементарных событий Для данного опыта всегда
можно выделить совокупность случайных событий, называемых элемен-
тарными, таких, что в результате опыта обязательно происходит одно i
только одно из этих событий.
Пример: Подбрасывается игральная кость. Может выпасть одна i
только одна из граней с числом очков 1,2,3,4,5,6. Выпадение отдельной гран!
-элементарное событие.
Элементарные события называют также исходами опыта.
6
Совокупность всех возможных в данном опыте элементарных событий
(исходов) называется пространством элементарных событий. Обозначение
: £2 = {со.}, где О - пространство элементарных событий .
Таким образом, любому опыту можно поставить в соответствие про-
странство элементарных событий. Если производится наблюдение за неслу-
чайным (детерминированным) явлением, то при фиксированных условиях
всегда возможен лишь один исход. В этом случае £2 состоит из одного эле-
ментарного события. Если наблюдается случайное явление, то даже при фик-
сированных условиях возможны разные исходы, поэтому £2 состоит более
чем из одного элементарного события. Пространство элементарных событий
£2 может содержать конечное, счетное или несчетное множество элементар-
ных событий.
Примеры £2,-
1) Подбрасывается игральная кость. Элементарное событие - выпаде-
ние какой либо грани. £2 ={1,2,3,4,5,6} - конечное множество.
2) Измеряется число космических частиц, падающих на площадку за оп-
ределенное время. Элементарное событие - число частиц. £2={1,2,3,...} -
счетное множество.
3) Производится стрельба по мишени (без осечки). Элементарное собы-
тие - попадание в некоторую точку плоскости, координаты которой (х,у) . П
= {(х,у)} - несчетное множество.
Выделение пространства элементарных событий представляет собой
первый шаг в формировании вероятностной модели случайного явления.
Случайные события
Наряду с пространством элементарных событий важнейшим понятием
ТВ является понятие случайного события.
Как уже отмечалось, событие - факт, регистрируемый в результате
опыта. Этот факт может иметь место при наступлении исходов, обладающих
определенными свойствами. Данные исходы образуют подмножество в <2.
Можно сказать, что случайному событию А соответствует некоторое под-
множество пространства элементарных событий £2, элементы этого под-
7
множества обладают определенными свойствами и реализация каждого из
них приводит к наступлению события А. Подмножество обозначают той же
буквой, что и событие А.
Таким образом, случайное событие можно определить, используя по-
нятие пространства элементарных событий,следующим образом:
Случайное событие А - подмножество А в пространстве элементарных
событий. Подмножество А может содержать один исход, ни одного исхода,
счетное, несчетное число исходов, все пространство элементарных собы-
тий.
Примеры случайных событий:
1) Подбрасывается игральная кость. Событие А={выпадение четной гра-
ни}. Этому событию соответствует подмножество А={2,4,6}. Событие
В={выпадение "6"}, этому событию соответствует подмножество В={6}.
2) Измеряется число космических частиц, падающих на площадку. Собы-
тие А= {число частиц превышает N),этому событию соответствует под-
множество целых чисел A={N+1, N+2,...}.
3) Производится стрельба по мишени. Событие А={попадание в десят-
ку}. Ему соответствует подмножество А={(х,у)|л/х2 + у2 <г}, где г - радиус
центра мишени.
Классификация событий
1. Событие называется невозможным, если оно не может произойти в
данном опыте. Невозможному событию соответствует пустое множество.
Обозначение 0.
Пример: 0={выпадение "7"} при подбрасывании одной игральной кости.
2. Событие называется достоверным, если оно обязательно происходит в ре-
зультате опыта (не может не произойти). Достоверному событию соответст-
вует все пространство элементарных событий. Обозначение Q.
Пример: П := {выпадение не более, чем "6"' при однократном подбрасывании
одной игральной кости}.
8
Т События Ai,Аг,—.Ап называются несовместными, если в данном опыте
никакие два из них не могут произойти вместе.
Пример: А1={выпадение "6"}, А2={выпадение нечетной грани}. А] и А2 - не-
совместные события в опыте по подбрасыванию одной игральной кости.
<1 Событие В называется подсобытием или частью события А, если при по-
явлении события В обязательно происходит событие А. Обозначение
Вс А.
Пример: Подбрасывается игральная кость. А={выпадение четной грани};
В {выпадение "6"}. В- подсобытие А. Говорят также, что событие В влечет
Til собой событие А.
'> События А и В называются эквивалентными, если они могут появиться и
нс появиться только вместе. Обозначение А=В. В этом случае Ас В и
В а А.
<> Событием, противоположным (дополнительным к) событию А называ-
с । ся событие, заключающееся в непоявлении события А. Обозначение А.
Пример: А={выпадение четной грани}, А={выпадение нечетной грани}.
Очевидно А=А.
События Ai,A2,...An образуют полную группу событий, если в результате
опыта обязательно происходит хотя бы одно из них.
Опираясь на классификацию событий, можно сделать следующее замечание.
Замечание: Элементарные события образуют полную группу несовме-
стных событий.
Действия над событиями
I Объединением или суммой событий А и В называется событие С, со-
стоящее в появлении хотя бы одного из этих событий. Обозначение:
С ЛUB; или С=А+В - для несовместных событий А и В. Объединение по-
следовательности событий {A,} i=l,n - появления хотя бы одного из них.
п п
Обозначение С = {JAj; или С = Aj - для несовместных событий.
j=i j=i
2 Пересечением или произведением событий А и В называется событие С,
состоящее в одновременном появлении события А и события В. Обо-
9
значение: С = АГ)В, или С = АВ. Произведение событий {Aj} 1=1, п - со-
бытие, состоящее в появлении всех п событий А; одновременно. Обозначе-
п
ние С = QAj .Замечание: Если А и В - несовместные события, то
i=l
С = АГ)В = 0.
3. Разностью событий А и В называется событие С, состоящее в появлении
события А и не появлении события В. Обозначение: С=А-В=А\В. Очевид-
но А-В = АВ.
Свойства действий над событиями
1. Объединение и пересечение коммутативны:
AUB = BUA; АПВ = ВПА,
А+ В = В +А; А-В = В-А.
2. Объединение и пересечение ассоциативны:
(AUB)tJC = AU(BUC) = (AUC)UB = AUBUC, ,
(АПВ)ПС = АП(ВПС) = (АПС)С|В = АПВПС. *
3. Объединение и пересечение дистрибутивны:
(AUB)DC = (АПС)и(ВПС).
4. Для любых А и В справедливо: AUB = АВ.
Доказательство: A\JB- появление хотя бы одного из событий А или В,
это означает не появление одновременно А и В, т.е. не появление АВ.
И п
Обобщение на п событий: (J Ai =Q A, |
i=l i=l
5. Для любых А и В справедливо
АПВ=АЦВ
Доказательство: А Г) В - одновременное наступление А и В т.е. событие
противоположное появлению хотя бы одного из событий А и В. (!
Обобщение на п событий:ПА, = (JA,
Замечание: Свойства 4 и 5 - принцип двойственности (или прави
ло де-Моргана): Операции объединения и пересечения меняются местам!
при переходе к противоположным событиям.
10
6. AUA = Q 1
} Действия с противоположными событиями.
7,АПА = 0 J
8, Объединение (сумма) полной группы событий Аь-.Ап есть событие досто-
п
верное: |JА, = Q.
i=l
9. Разложение события на два несовместных события. Любое событие А
можно представить в виде суммы несовместных событий:
А = АПО = АП(вив) = (АПВ)и(АПв) = АПВ + АПВ.
Нетрудно видеть, что операции (действия) над событиями тождествен-
ны операциям над множествами. Это объясняется тем, что событие связано
с подмножеством множества всех исходов опыта и появляется при реализа-
ции одного из исходов, принадлежащих этому множеству.
Примеры
Пример 1:
Электрическая цепь между М и N составлена по приведенной на рис
1.1 схеме, где а и Ь, могут случайным образом выходить из строя. Событие
А;;{элемент а в цепи работает}; событие В;= {элемент bj в цепи работает}.
Представить пространство элементарных событий <2 для состояния цепи. За-
писать выражения для событий С={цеш> не разорвана} и С ={разрыв цепи},
используя события А и В, и действия над событиями.
Решение: Элементарные события - всевозможные состояния цепи.
Поэтому Q={ ab1b2,ab,b2,...,ab1b2} где а,b - работающие элементы,а,b - не
работающие. А={ аЬД.аЬД.аЬД.аЬД};
Bi={ab1b2,ablb2,ab!b2,ab1b2 };
11
B2={ ab.b,, ab.b,, ab.b,, ab.b,};
C={ablb2,ab1b2,ab1b2 }
C = A(~| (B,UB2); С = АГ|(В,UB2) = AUjB,UB2) = A 11(5,Г|В2)
Пример 2: X и Y договорились о встрече между 12 и 13 часами. Каж-
дый из них приходит случайно, ждет 20 минут и уходит. Представить про-
странство элементарных событий и подмножество, соответствующее собы-
тию А={встреча состоялась}.
Рис. 1.2.
Решение: Пусть х и у - соответственно моменты прихода X и Y в ми-
нутах отсчитываемые от 12 часов. Тогда элементарные события - всевоз-
можные комбинации (х,у), которые можно представить в виде точки на плос-
кости, причем 0<х<60 и 0<у<60 . Вероятностное пространство - квадрат,
сторона которого равна 60.£2 = {(х,у)]0<х< 60,0<у< 60} См . рисунок 1.2.
Событию А соответствуют точки области g: А = {(х,у)||х- у|< 20}
Лекция 2. Вероятность и её свойства.
Любому случайному событию можно поставить в соответствие число-
вую характеристику, определяющую степень возможности появления этого
события, которая называется вероятностью.
Понятие вероятности является одним из основных понятий при по-
строении вероятностной модели случайного явления. Используя введенное
12
ранее пространство элементарных событий, дадим современное определение
вероятности, базирующиеся на аксиоматике Колмогорова.
Пусть задано некоторое пространство элементарных событий Q, и не-
которая система А(] множеств А которые являются событиями, AeQ . С
помощью операций ЦП и \ можно из элементов А 0 построить новую систему
множеств, которые также являются событиями. Присоединяя к этим
событиям достоверное Q и невозможное 0, получаем систему множеств А,
которая является алгеброй, т.е. такой системой подмножеств из Q, что:
]. QeA.
2. Если АеА, то и А еА.
3. Если АеА и ВеА, то AUB еА и АПВ еА.
_______________________________ н п
(Для п событий: Если Ai6A, i = 1,п,то |JА, еА и QA, е А).
i=l i=l
Таким образом, алгебра - класс множеств, замкнутый относительно конечно-
го числа операций дополнения, объединения и пересечения.
Система F множеств А называется о-алгеброй, если 1) QeF; 2) Если
__________ 00 Г»
AeF, то A £F; 3“) Если AjeF, то [JA, е F, и QA, е F,
i=l i=l
Т.е. &-алгебра - класс множеств, замкнутый относительно счетного числа
операций дополнения, объединения и пересечения.
Замечания: 1). В условиях 3) и За) достаточно одного утверждения, другое
можно получить на основе условия 2) и принципа двойственности .
2). Замкнутость классов А или F позволяет производить соответствующие
действиями над событиями (множествами), оставаясь в пределах класса.
Если задано пространство элементарных событий О и какая-нибудь ал-
гебра или о-алгебра его подмножеств, то говорят, что задано измеримое
пространство (О,А) или (Q,F).
На измеримом пространстве задается числовая функция Р(А), которая
называется вероятностью и удовлетворяет трем аксиомам.
13
Аксиомы вероятности
(аксиомы Колмогорова)
А1 Аксиома неотрицательности,
P(A)>0, VAeF или VAeA.
Каждому событию А соответствует неотрицательное число - вероятность
этого события.
А2. Аксиома нормировки.
P(Q)=1.
Вероятность достоверного события равна 1.
АЗ. Аксиома аддитивности.
Если заданы Ai,A2,...An, такие, что A;Aj=0 при , то
( п \ п
Р UAi =£P(Ai).
4=1 ' i=l
Вероятность суммы несовместных событий равна сумме их вероятностей.
Замечание: Функции множеств, обладающие свойством АЗ при п < от
называются аддитивными, а при п = от - счетно-аддитивными мерами.
Определение: Вероятность - неотрицательная, нормированная к единице
мера, заданная на измеримом пространстве событий, характеризующая сте-
пень возможности появления событий.
Соответствие между событиями и их вероятностями называется распределе-
нием вероятностей. Таким образом, Р(А), как функция множеств AeF(A),
определяет распределение вероятностей на F (А).
Пространство элементарных событий Q с заданной на нем алгеброй А (и л ио-
алгеброй F) подмножеств и определенной на A(F) вероятностью Р называется
вероятностным пространством. Обозначение вероятностного пространст-
ва (П,А,Р) или (Q,F,P). Вероятностное пространство определяет вероятност-
ную модель рассматриваемого случайного явления.
14
Свойства вероятности (следствия из аксиом)
1,Р(0)=О. Вероятность невозможного события равна 0.
Доказательство: Из того что 0+Q=Q и аксиом А1, АЗ следует:
P(0+Q)=P(0)+P(Q)=P(Q), так как Р(0)=О.
2. Р(А)=1-Р(А)
Доказательство: Из А+А=Г2, АА=0 и аксиом А2, АЗ следует:
P(A)+P(A)=P(Q), Р(А)=1-Р(А).
3. Если Ас:В , то Р(А) <Р(В).
Доказательство: Разложим В на два несовместных события: В=АВ+АВ.
Если АсВ , то АВ=А, поэтому Р(В>Р(А)+Р( АВ)=> Р(В)*Р(А).
4. Р(А)<1 для VA.
Доказательство: Из того, что AcQ , а также из предыдущего свойства и А2
следует
Р(А)<Р(П)=1.
5, Теорема сложения вероятностей.
Для любых А и В справедливо
Р( AUB >Р(А)+Р(В)-Р(АВ) . (I)
Доказательство:
A U В=А+В А , Р( AUB )=Р(А)+Р(В А ). (2)
С другой стороны В=АВ+ А В ; Р(В)=Р(АВ)+Р( А В)5 откуда Р(В А )=Р(В)-
Р(АВ) . Подставляя это выражение для Р(В А) в (2) получаем:
Р( AUB )=Р(А)+Р(В)-Р(АВ).
6. Теорема сложения вероятностей для п событий:
p(UAij = £P(Ai)-SP(AiAj)+ £ P(AiAjAk)±...+(-l)n-1P(A1...An)
4=1 / i=l i<j i<j<k
(3)
15
Доказательство: Методом математической индукции. При п=2 теорема до-
казана. Пусть она верна для п-1 события, покажем, что она верна для п собы-
тий.
п-1
Обозначим В= (jAj , тогда
i=l
(п X п-1 _
Я СК ХР(МЛ-Н КА]а2...а1Ь])+
Ч--1 ' '
р(ап)-р(а1ап+а2а11+...+а^1ап).
В свою очередь для событий (п-1) вида А;Ап, i=l,n -1 :
/п-1 X п-1 1 ,
Р UAiAn = £P(AiAn)- £P(AiAkAJ+...+(-l)n~2P(AlA2...An) (5)
✓ i~l 1£&к£п-1
Подставляем (5) в (4), получаем утверждение теоремы.
7. Аксиома непрерывности.
Функция множеств Р(А) непрерывна.
п
Пусть AtdAjciAj-.cA.c.... Так что (JAj = Ап и limAn=A , тогда
i=l
limP(An) = P(A).
n->00
Доказательство: Согласно определению
A=|jAn = А] +(А2 -А1) + (А3-А2)+...= 2;(А2~Аи),еслиАо=0.
n=l j=i
Р(А)=£р(аз-Ан)= limf pjAj-Aj_,)= lim[p(An)-P(A0)]= Jim P(An)
j=1 ' J J ' n->00 ' Z n->ool J n-»00
8. Если ВсА, to P(A-B)=P(A)-P(B).
Доказательство:
A=B+(A-B);P(A>P(B)+P(A-B)=>P(A-B)=P(A)-P(B).
Определение вероятности, как меры измеримого пространства собы-
тий, позволяет по заданным (или определенным из эксперимента) вероятно-
16
стям одних событий, находить вероятности других, более сложных событий,
используя действия над событиями и свойства вероятности. Однако данное
определение не задает конкретную величину вероятности событий. Ее можно
получить теоретически лишь в некоторых частных случаях, а в общем случае
оценить экспериментально. Оассмотрим частные случаи, в которых вероят-
ности событий можно рассчитать теоретически.
Классическое определение вероятности.
Это определение используется, когда число возможных исходов опыта
конечно и каждый исход равновозможен (например, при подбрасывании пра-
вильной игральной кости).
Пусть Q состоит из п равновозможных элементарных йобытий, т.е.
l’(Wj)=p, где Wi - элементарное событие, i=l, п. Элементарные события несо-
п
вмсстны и образуют полную группу событий, поэтому: = Q и
i«l
р( 2Lw, j = 22P(wi) = пр; Р(П)=1, Откудар=— .
М=1 J i=l п
Вероятность любого события А, которому соответствует в пространстве
элементарных событий, некоторое подмножество А, содержащее пА исходов,
определится следующим образом: А= ^wi Поэтому:
i:wlieA
Р(А)= £P(Wj) = nAp = X т.е.;
jWjeA п
Р(А)=—. (6)
')го классическое определение вероятности'. Вероятность некоторого собы-
тия А есть отношение числа исходов пА , благоприятствующих наступлению
события А, к общему числу возможных исходов п.
17
Классическое определение вероятности удовлетворяет аксиомам Колмогоро-
ва: А1) Р(А)=—->0; А2) Р(£>)=— =1; АЗ) Если А и В несовместны и им бла-
п п
гоприятствуют соответственно пд и пв исходов, то
Р(А+В>^~Нв =Р(А)+Р(В).
п
Классическое определение вероятности является частным случаем аксиома-
тического определения вероятности.
Для подсчета числа исходов п и пЛ используют формулы комбинаторики.
При этом необходимо, чтобы выполнялись условия применимости класси-
ческого определения: конечное число равновозможных исходов в опыте. -
Пример 1: В урне находится ш белых шаров и к черных. Из урны на-
удачу вынимается один шар. Найти вероятность события А={вынут белый
шар} .
Решение.’ Общее число возможных исходов опыта n=m+k, число исходов,
благоприятствующих событию А есть Пд=т. Отсюда в соответствии с (6)
m
m + k
Пример 2: Одновременно подбрасывается две монеты. Найти вероят-
ность события А={хотя бы на одной монете выпадает герб}.
Решение: С первого взгляда может показаться, что в опыте три воз-
можных исхода: {два герба}, {две решки}, {герб и решка}. Однако эти собы-
тия не равновозможны: Последнее вдвое вероятнее двух первых, т.к. герб и
( решка могут появиться на разных монетах. Равновозможные исходы:
' {Г,Г},{Р,Р},{Г,Р},{Р,Г}; следовательно, п=4. Исходы, приводящие к событию
з
А: {Г,Р},{Р,Г},{Г,Г}, п=3 .Поэтому Р(А)=~.
Геометрическое определение вероятности
Эго определение используется, когда опыт имеет несчетное множество
равновозможных исходов. В этом случае пространство элементарных собы-
18
гий можно представить в виде некоторой области G. Каждая точка этой об-
ласти соответствует элементарному событию. Попадание точки в
любое место области G равновозможно. Если некоторому событию А соот-
ветствуют точки, составляющие некоторую область g внутри G, то
Р(А)=—(7)
mesG
где mes g - мера области g Геометрическое определение вероятности (7),
также как и классическое, удовлетворяет аксиомам Колмогорова и является
частным случаем аксиоматического определения вероятности.
Пример 3: X и Y условились встретиться между 12 и 13 час. Пришед-
ший первым ждет другого 20 мин, после чего уходит. Какова вероятность
встречи X и Y, если моменты их прихода независимы и равновозможны в те-
чение часа.
Решение: Пусть х и у моменты прихода X и Y соответственно относительно
12 часов, т.е. хе[0,60], уе[0,60]. Все пространство элементарных равновоз-
можных исходов можно представить в виде внутренних точек квадрата (см.
рисунок 1.2). Событие А={встреча состоялась} произойдет, если |х-у|<20 .
Точки, соответствующие этому событию образуют область g на рисунке. По-
этому вероятность события А можно определить как отношение площадей
Р(Л)-5г _^-40\ 6а-4\„5
So 602 62 9
Статистическое определение вероятности
(Статистическая оценка вероятности)
Рассмотренные выше частные случаи, позволяющие рассчитать вероят-
ность, встречаются далеко не всегда. Наиболее часто имеют место более
сложные случайные явления с неравновозможными исходами в опыте. На-
блюдая за такими явлениями в многократно повторяющемся опыте, можно
19
установить, что существует объективная характеристика степени возможно-
сти появления случайного события (вероятность), которая проявляется в час-
тоте появления события.
Частота появления события. Многократно производится опыт (т
раз).Некоторое событие А появилось цА раз. Частота появления события есть
отношение — . При ш»1 частота появления А сохраняет почти постоянную
m
величину. На этом основано статистическое определение вероятности.
Р(А)= lim (8)
ш-уоо щ
Эта вероятность удовлетворяет аксиомам Колмогорова и пригодна для опре-
деления вероятности любых событий.
Замечание: Необходимо четко различать число проведенных опытов
(испытаний) и число возможных исходов: например при подбрасывании мо-
неты - число исходов 2, число проведенных опытов может быть любым, тео-
ретически даже -> оо.
Несмотря на то, что (8)пригодно для всех случаев, однако его нельзя
использовать как определение понятия вероятности, т.к.:до проведения опы-
тов нельзя утверждать, что существует вероятность; 2) нельзя вводить харак-
теристику на основе предельного перехода. Статистическое определение ве-
роятности - это способ экспериментальной оценки объективно существую-
щей вероятности
В заключении остановимся на вопросе, что же отражает, от чего зависит
эта объективно существующая характеристика случайного события
вероятность . Опыт, в котором может появиться случайное событие заключа-
ется в наблюдении за некоторым явлением при определенных, фиксирован-
ных условиях. Если изменятся условия опыта, то изменится и вероятность
появления события. Можно сказать, что вероятность отражает объективно
существующую связь между условиями опыта (эксперимента) и случайными
событиями.
I Лекция 3. Условная вероятность. Независимость собы-
I тий.
I Определение: Пусть задано вероятностное пространство (Q,A,P) и на
нем произвольные события А и В. Если Р(В)>0 , тогда условная вероят-
I нпеть события А при условии, что произошло событие В есть:
I р(А|В)=^^ (1)
Р(В) 1 }
1 Поясним смысл условной вероятности. Вероятность события А - это
< Мерн объективной возможности данного события при определенных условиях
м опыта. Совокупность условий, определяющих опыт, обозначим у (так, в опы-
III । подбрасыванием монеты у определяется формой монеты, высотой под-
брасывания и т.п.). Таким образом, вероятность события А можно записать
inn. Р(А)=Р(А|у) , указывая этой записью зависимость вероятности от сово-
купности условий опыта. Обычно условия опыта в обозначениях вероятности
in* попользуется, они оговариваются при проведении опыта и Р(А), называют
(ччуеловной вероятностью события А.
Допустим, что при данных условиях у произошло событие В. Тогда на-
। |уилсние В можно считать дополнительным условием. Вероятность наступ-
ШЧ111Я А при совокупности условий (у,В) и есть условная вероятность
Р( А|В) Р(А|у,В).
llllIfWEL Опыт имеет п равновозможных исходов. Из них наступлению собы-
III и В благоприятствует m исходов, событию АВ - к исходов. Чему равна ве-
роятность Р(А|В)?
Решение:
I) Исходное пространство элементарных событий содержит п равновозмож-
иых исходов. Нас интересует вероятность события А при дополнительном ус-
иниии, что происходит событие В. Поэтому следует перейти к новому про-
i ipaiiCTBy элементарных событий, состоящему из тех исходов, которые при-
водя! к событию В. Число таких исходов т. Число исходов, благоприятст-
21
20
’Г
вующих наступлению А в новом пространстве прежнее к. По
определению вероятности
v
Р(А|В)=—
1В
2) Можно получить этот же результат по-иному, не переходя к новому про
странству элементарных событий. В соответствии с (1) и на основе классиче
ского определения вероятности нетрудно получить:
Вероятность событий при фиксированной совокупности условий у в отличи
от условной вероятности называют безусловной. Разница между условными 1
безусловными вероятностями состоит лишь в различии совокупности уело
вий. Безусловная вероятность есть частный случай условной, если условие В
достоверное событие.
Условная вероятность (1) удовлетворяет аксиомам Колмогорова:
1) Р(А|В)>0, т.к. Р(АВ)>0 и Р(В)>0.
Р(А|В)>0, т.к. Р(АВ)>0 и Р(В)>0.
2)
Р(О|В)=1, т.к. Р(О|В)=^ПВ^ = = 1.
Если АПС=0, то Р((А+С)|В)=Р(А|В)+Р(С|В).
3) Если А А <
Действительно:
P((A+C)|B>Z«A±C)B) = Р(АВ) + Р(СВ) = Р(А1В) + р(с1в).
Свойства условных вероятностей.
1)Р(В[В)=1.
Доказательство: Р(В|В)=^^52 = - [
" Р(В) Р(В)
2)Р(0|В)=О.
P(0|B)=^ = ® = O.
Р(В) Р(В)
1) Вели ВсА, то Р(А|В)=1.
П/А1ГЛ Р(АВ) Р(В) .
Доказательство: Р(АВ)=——- = = 1.
Р(В) Р(В)
-I) Р(Л|В)+Р(АВ)=1.
Доказательство:
р( А|В)+Р(А|В)=®^^ = Р«А + А)В) = Р(В) = к
Р(В) Р(В) Р(В)
МI ’(A UC |В)=Р(А|В)+Р(С|В)-Р(АС|В).
Доказательство: Представим в виде несовместных событий АЦс=А+АС;
(' ЛС+АС, тогда
1'( Л ЦС |В)=Р(А|В)+Р( А С|В) и Р(С|В)=Р(АС|В)+Р(АС|В),
о. куда P(AUC |В)=Р(А|В)+Р(С|В)-Р(АС|В).
lh свойств условной вероятности следует, что на "закрепленном", то есть оп-
ределенном некоторым условием множестве В, условная вероятность Р(«|В)
обладает на пространстве (Г)Г)В,АПВ), где АГ)В={АПВ.’АеА}, теми же
свойствами, что и вероятность на исходном пространстве (Q,A).
Теорема умножения вероятностей
Теорема 1: Если на заданном вероятностном пространстве
1'(Л)*Р(В)>0, то вероятность совместного появления событий А и В равна
произведению вероятностей одного из этих событий и условной вероятности
другого при условии, что первое произошло:
Р(АВ)=Р(А)Р(В|А)=Р(В)Р(А|В). (2)
Доказател ьство:
11о определению условной вероятности:
23
Р(А|В)=Р(АВ)/Р(В) и Р(В|А)=Р(АВ)/Р(А). Откуда I
Р(АВ)=Р(А)Р(АВ>Р(В)Р(А|В). I
Теорема доказана. 9
Замечание. Формула (2) применима и в том случае, если одно из событий 1
невозможное, например Р(А)=0. Тогда Р(А|В)=0 и Р(АВ)=0. 1
Обобщение теоремы умножения на п событий. I
Теорема 2: Вероятность совместного появления п событий равна вероятности1
одного из них, умноженной на условную вероятность второго относительно!
первого, на условную вероятность третьего относительно произведения двух
первых и т.д. ... на условную вероятность последнего относительно пересече-
ний всех предыдущих: *
P(Ai А2... А>Р(А1)Р(А2|А1)Р(А3|А1А2)...Р(АП|А1 А2... Ап.0. (3)
Доказательство: I
n I
Обозначим Bj=p]Aj. Тогда I
i=j 1
Р(А1...АП)=Р(А1В2). • (4).
По теореме 1, с учетом принятого обозначения :
P(A1B2)=P(Ai)P(B2|A1)=P(Al)P(A2B3|Al)=P(A1)P(A2|A1)P(B3|A1A2)=P(A,)P(A2|A1
)• Р(АзВ4|А1 А2)=. ..Р(А1)Р(А2|А1)Р(Аз|А1 А2). ..Р(АП|А| А2.. .Ап.!).
Что и требовалось доказать.
Независимые события
Определение: Пусть имеется вероятностное пространство^,А,Р). Со-
бытия А и В (АеП и Ве£2) называются статистически независимыми, ес-
ли
Р(АВ>Р(А)Р(В), (5)
(обычно слово "статистически" опускается и говорят, что А и В независимы,
если справедливо равенство (5)).
|| Свойства независимых событий
|йши Р(В)>0, то для независимых событий А и В:
Р(А|В>Р(А). (6)
JfyHtitiiniejiiicmeo:
P(A|B)=^ = ^m^ = P(A).
Р(В) Р(В) 4 7
Иногда определение независимости событий дают на основе (6):
События А и В называются независимыми, если появление одного из них не
циингг па вероятность появления другого.
I) Исли Л и В - независимы, то независимы А иВ; Аи В; А и В .
шательство:
Донижем первое утверждение.
Прплсншим В=АВ + АВ, тогда Р(В)=Р(АВ)+Р(АВ)=>
Р( А В)=Р(В)-Р(АВ)=Р(В)( 1 -Р(А))=Р(В)Р( А ).
Дтопагсльство второго утверждения аналогично.
Донижем третье утверждение.
Р(А В)=Р(АЦВ)=1-Р(АиВ)=1-Р(А)-Р(В)+Р(АВ)
14 Л) Р(В) = (1 - Р(А))(1 - Р(В)) = 1 - Р(А) - Р(В) + Р(В) => Р(АВ) = Р(А)Р(В).
I) I lycib Аи В, независимы, независимы также А и В2, причем В]В2=0. То-
I ди независимы А и Bi+B2.
Дакаштельство:
|’(Л(В|ЬВ2))=Р(АВ1+АВ2)=Р(А)Р(В1)+Р(А)Р(В2)=Р(А)(Р(В1)+Р(В2))=
Р(А)Р(В]+В2).
4) Дна несовместных события всегда зависимы, т.к. появление одного исклю-
чи? г появление другого.
Если А и В - несовместны, причем Р(В)Р(А)>0, то
Р(А|В)=Р(В|А)=0.
24
25
Доказательство:
Р(В) Р(В)
Независимость событий в совокупности
События Aj, А2Ап называются независимыми в совокупности, есл
каждое из них не зависит от каждого из остальных и всех их возможных п<
ресечений, т.е. для любой комбинации событий AjiAj2,...Ajt, где r<n, a (ji,...j
- выборки из чисел (1,2,...п) справедливо равенство:
P(nAjk) = riP(Ajk)-
k=l k=l
Например, при п=3 независимость в совокупности означает
совокупности равенств:
Р(А1А2)=Р(А1)Р(А2); Р(А1Аз)=Р(А1)Р(А3);
Р(А2А3)=Р(А2)Р(Аз); Р(А1А2А3)=Р(А1)Р(А2)Р(Аз).
(7)
Замечание: Попарная независимость не влечет независимость в
купности. Это видно из следующего примера.
Пример: Бросают две правильные монеты. А={на первой монете вып;
герб); В={на второй монете выпал герб}; С={на одной и только одной мои
те выпал герб}. События А,В,С - попарно независимы, но не являются нез
висимыми в совокупности.
Действительно: Р(А)=1/2; Р(В)=1/2; Р(С)=1/2; Р(АВ)=1/4; Р(АС)=1/
Р(ВС)=1Д, но Р(АВС)=0. Т.е. в совокупности эти события статистически з
висимые. Однако, появление любых двух из них исключает появлеи
третьего.
Статистическая независимость во многих случаях, но не всегда,опред
ляется физической независимостью событий. Однако физическая и статист
ческая независимость - разные понятия.
26
Формула полной вероятности.
Теорема 3: Пусть на заданном вероятностном пространстве определе-
Ий полная группа несовместных событий В|,В2,...Вп, вероятности которых
ню. . Событие А может появиться при появлении одного из событий
W. причем условные вероятности P(A|Bi) известны. Тогда вероятность Р(А)
определится следующим образом:
P(A) = XP(Bi)P(A|Bi). (8)
1=1
(I) формула полной вероятности.
Доказательство: Событие А можно представить в виде
а=ап=а(£в^=£ав;,
1=1 1=1
I ,lt Hi- несовместны, то ABi - тоже несовместны, поэтому
Р(А)= 2}P(ABj) = 2 P(Bj)P(A|Bj). Что и требовалось доказать.
i=l i=l
Задача о звездочете.
Как следует разложить два белых и два черных шара по двум урнам,
чinfill! при случайном выборе урны вероятность вынуть из нее белый шар бы-
ли пииболыпей?
Решение: Обозначим В, ={выбор i-ой урны}д=1,2, А={вынут белый шар}.
Условные вероятности P(A|Bi) зависят от того, как разложены шары.
Ийриант I. Все шары положили в одну урну.
Р(А|В1)= ~=|; Р(А|В2)=0; Р(А)= 1 * 2 +°* 1=1 •
Ниринпт II. В одной урне все белые шары, в другой все черные.
Р(А|В1)=1; Р(А|В2)=0; Р(А)=|+0=|.
Ийриант Ш. В каждой урне по одному белому и одному черному шару.
Р(А|В,)=Р(А|В2>= 1; Р(А)=
X W £
Ийриант IV. В одну урну положили черный шар, остальные шары - в дру-
|уюурну.
27
9 9 11
Р(А|В,)=О; Р(А|В2)= -|;Р(А)= |*у=- .
Вариант V. В одну урну положили белый шар, остальные - в другую.
Р(А|В()=1; Р(А|В2)= |;Р(А> 1*1+Ь|=|.
Ответ: наибольшая вероятность Р(А) в пятом варианте раскладки шаров.
Формула Байеса
Теорема 4: Пусть имеется полная группа несовместных с<
ВЬВ2,...В„. Известны Р(В>), i = 1,..п. Событие А, для которого Р(А)>0,
произойти с одним из Bi. Известны P(A|Bi) i = l,..n. Тогда апостер
вероятность Р(Вк|А) определяется формулой
Р(Вк|А> МЫ-
SP(Bi)P(A|Bi)
(9:
k = l,..n.
Доказательство: По определению P(BJA)=
Р(АВк) „ ,
——На основе фор
Р(А)
мулы полной вероятности и теоремы умножения вероятностей получаем:
ВДА)=-МЫ
£р(В;)Р(А|В;)
Формула (9) называется формулой Байеса. Вероятности Р(Вк) называ
ются априорными (a priori - до опыта) вероятностями; Р(Вк|А) - апостериор
ными (a posteriori- после опыта). События Bi часто называют гипотезами.
Пример: В урне лежит шар неизвестного цвета, с равной вероятность»
белый или черный. В урну кладут белый шар, перемешивают и вынимаю'
наудачу шар. Он оказался белым. Какова вероятность того, что в урне остал
ся белый шар?
Решение: Обозначим событие А={вынут белый шар}, В]={в урне ос
тался белый шар}={в урне был белый шар}, В2={в урне черный шар}. Оче
видно P(Bi)=P(B2)= р Р(А|В1)=1; Р(А|В2)= . Необходимо найти Р(В)|А).
28
. Г- пт,», Р(А|В,)Р(В,) Р2 2
формуле БаиесаР(В1 А)=------------ 7 --------- = —-—т .
Р(В,)Р(А|В,) + Р(В2)Р(А|В2) 3
2 2 2
Ц 2
||Н₽т P(Bi|A)= Таким образом, апостериорная вероятность события В!
Ццвдсчюнно больше априорной.
Лекция 4. Схема независимых испытаний Бернулли.
Независимость опытов( испытаний, экспериментов)
11усть имеется два произвольных эксперимента (опыта) G, и Gj и соот-
Цшшующие им вероятностные пространства <Qi,F),Pi>,<Q2,F2,P2>- Рас-
IMtn pHM составной эксперимент G с вероятностным пространством <G,F,P>,
I ив 11 Q1X.Q2 - прямое произведение Qi и Q2, ас- алгебра F порождена со-
Лы1и>1ми B=BixB2, где B1eF1, B2eF2.
Замечание: Прямым произведением Q|x£22=£2 называется пространст-
во Q, элементами которого являются упорядоченные пары элементов про-
nipiiiiCTB Qi и Q2 Т.е., если Q]={wi(l)}, a £12={w1(2)}, то £2={wj(l) Wj(2)},
ГЛг w,(l) и Wj(2) -любой элемент Q| и Г22 соответственно.
Испытания Gi и G2 независимы, если для любых В=В]хВ2 выполняет-
|.ц равенство
РОз^своР^).
I Imледовательность п испытаний Gj,G2,...Gn называется независимой, если
Р(В)=Р1(В1)Р2(В2)...РП(ВП),
1дс В BixB2X...Bn, BkeFk, <£2k,Fk,Pk> - вероятностное пространство соответ-
ствующее k-му эксперименту (к = 1,..п).
Схема независимых испытаний Бернулли
Рассмотрим п независимых испытаний GK, к = 1,..п, в каждом из кото-
рых событие А может появится с одной и той же вероятностью Р(А)=р и не
29
появиться с вероятностью P(A)=l-p=q. Такая совокупность испытаний назы-|
вается схемой независимых испытаний Бернулли. 1
Вероятность появления события A m раз в и испытаниях. 1
Вероятностное пространство отдельного эксперимента в схеме незави-1
симых испытаний Бернулли <Qic,Fk,Pk>> где пространство элементарных со-|
бытий Qk={A,A). Совокупность п испытаний представляет собой составной!
эксперимент с вероятностным пространством <Q,F,P>, где Q-{w>) - про-|
странство элементарных событий, элементы которого w, - упорядоченные со-|
вокупности из п элементов А и А, например: I
АА.....АА = W| |
п 1
АА.. .....АА = w2 и т.д. |
п I
Т.к. эксперименты независимы, то Р(ААА...А)=р*р*....*р=рп - вероят!
ность того, что п раз появится событие А. I
Р(А А А... A)=q*q*...*q=qn - вероятность того, что А не появится ни разу. 1
P(AA...A...A..A)=pmqnm - вероятность того, что в первых (n- т) испытаниям
n-m m • я
событие А не появится, авт- появится. 1
Нас интересует вероятность события Вт={А появилось в п испытаниям
m раз, независимо от порядка их появления), поэтому: I
р(в1П)= XP(w,) = OV'm, 1
i I
где С"-число сочетаний из п элементов по ш, С“=—~; m=0,n. ’
m m!(n-m)!
Обозначим Pn(m)=P(Bm), тогда
Pn(m)=C™praqk-m, (1)
(1) - формула Бернулли или биномиальный закон распределения вероятно-
сти.
События Вт, т=0,п, составляют полную группу несовместных событий, по-
п
этому: £Pn(m) = l. (2)
m=0
к Вероятность того, что при и испытаниях событие А произойдет не бо-
HVk рпз:
Иг к п
|г Pn(m<k)=SPn(m) = l- £Pn(m). (3)
II' m=0 m=k+l
Вероятность того, что при п испытаниях событие А произойдет больше
Pn(m>k)=iPn(m) = l-fp„(m). (4)
m=k+l m=0
Пример 1: В группе 10 студентов. Вероятность присутствия на занятии
Ммдого из них р(А)=0.9. Какова вероятность того, 'что на занятиях будет
НрНеу штвовать более 7 человек?
Решение: Р,о(8) = с,8„(о.9)®о.12 = — (о.9)8(о.1)2« 0.194.
812!
I»ti(9) = Cf00.990.1 « 0.387; Р10(Ю) = О.910 « 0.349.
I’„(in > 7) = 2P>o(m) «0194 + 0.387 + 0.349 = 0.932.
J,io(m>7)=O.932.
Цйипероятнейшее число успехов в схеме независимых испыта-
ний Бернулли.
Наступление события А в испытаниях называется успехом. Исследуем,
Мк изменяется вероятность Pn(m) от числа успехов т. Рассмотрим отношение
РцО11 '• 1) = c;"+!pm+1qr'mJ = п!т!(п-т)! р = (n-т) р
Рц(|п) C™pmqn~m (m + l)!(n-m-l)!n! q (m + l)q
Kilk следует из (5):
I 1 1)>Рп(т), если (n-m)p>(m+l)q, т.е. np-q>m.
11)<Pn(m), если np-q<m.
Л)1'|,(|111 l)=Pn(m), если np-q=m, таким образом, с увеличением m вероятность
вначале увеличивается (когда m<np-q), а затем уменьшается (когда
Ih-np-q). Наибольшая вероятность Pn(mo)=P(mo+l), когда mo=np-q. Значе-
30
31
ния то и то+1 - наивероятнейшее число успехов в схеме независимых испы
таний Бернулли. Если np-q - не целое число, то Pn(m) достигает максимум пр
[np-q]+l=mo, где [•] - целая часть числа.
Пример 2: Каково наивероятнейшее число присутствующих на заняти-
ях студентов из примера 1? Очевидно: то=[10*0.9-0.1]+1=9 человек.
Рю(9)=0.387 - максимальная вероятность.
Обобщение формулы Бернулли.
Если в каждом из п независимых испытаний может произойти одно и тольк
одно из событий А1,Аг, . А1, т.е. пространство элементарных событий k-го ис
пытания есть Qk={AiA2..Ai } и вероятность появления события А, ест
P(Ai)=pi, то вероятность того, что в п испытаниях событие Aj появится mi раз
событие А2 появится т2 раз,... событие Ai появится mi раз определяется вы
ражением:
Pn(mI,m2,...m1) = —РГ^2 -Pi"11
in । inij .
(6) - полиномиальное распределение вероятностей = п.
Предельные теоремы в схеме независимых
испытаний Бернулли.
(6)
<hwvia
pn(m)
Хт
т!
(7)
ЛЮбых m-0,1,2....
tutnejibcmeo:
P„(m) =------------
p"(l-p)“’m =—-—f-
m!(n-m)!\n.
A"' (n - m + l)(n - m + 2).,,n \ n>
nJ n” f /I?
\ n>
При n >'«: (n-m+l)(n-m+2)...n -> nm;
1---1 -> e ; 11
\ n
n.
n.
л m
^-е-х
ш!
Формула (7) является законом распределения Пуассона.
Формулой (7) для приближенных расчетов Pn(m) следует поль-
♦оии । вся при п»1 и р«1.
/) 1ч ли Х»1, то Шо-Х.
при П—>00.
f tunCMa 2.(Локальная теорема Муавра),
Обозначим х= ™~_2?Р-. Если п->«з, р - фиксировано, причем рХ) и р^1,
Jnpq
ц> равномерно для всех х, хе(-<»,да)
Несмотря на простоту формулы (1) для подсчета вероятности числа ус-
пехов в схеме независимых испытаний Бернулли, непосредственное вычис-
ление по ней связано порой с большой вычислительной работой.
Поэтому, в те времена, когда ЭВМ еще не существовали, были получены
формулы, позволяющие рассчитывать приближение Pn(m) при п->оо.
Теорема 1. (Теорема Пуассона). Если п->оо, р->0, причем пр=Х, где Х>0, то
вероятность
Доктательство:
Pn(m)->-=L=e
72mipq
2
(8)
Используем формулу Стирлинга п!=^—л/2лп в выражении для Pn(m) (1):
33
32
При п»1 допустимо разложение
Подставляя (10) в (9), получаем:
, . / I--- \( Гч 1 qx2 | ’ <-- V Гр 1 рх2 |
InA =-Ix-Jnpq + пр) х ~-----—— +1 —x-Jnpq + nql х |—+-------
' \ у пр 2 пр) ' \ у nq 2 nq J
2 2д/п
при П-> СО
InA -»——х2 ,
“ 2
т.е. Ап-Ае 2
а сомножитель
Таким образом Рп(т) =ехр(-х 2 /2)/Т^ВД , что и требовалось доказать.
Замечания: 1) Формула (8) описывает распределение Гаусса, или нормальное
распределение. 2) Как следует из (8) наивероятнейшее число успехов опреде-
ляется из условия х=0, т.е. mo=np- При этом Рп (т„) = 1/-Jnpq .
Раздел II. Случайные величины .
Лекции 5,6. Случайные величины и их законы
распределения.
Случайной величиной Е, называется величина, которая принимает в
1>г1ультате опыта одно из множества возможных значений и до опыта
невозможно указать, какое значение она примет.
11римеры случайных величин: скорость молекулы газа, давление на опоры
пешеходного моста, число вызовов на телефонной станции за какой-то интервал
времени, координата точки попадания снаряда, длительность телефонного
рп в овора и т.п.
Хотя до проведения опыта для нельзя указать, какое из возможных значений
iiii.i примет случайная величина, но с каждым возможным исходом опыта
(ысмсптарным событием ) можно связать одно и только одно из возможных
шипений случайной величины. В то же время одно и то же значение случайной
величины может соответствовать различным исходам.
Пример Г. Подбрасываются две монеты и подсчитывается число
выпавших гербов. Число выпавших гербов - случайная величина Е, .
•иементарные исходы опыта Q = {ГГ, ГР, РГ, РР}.
< по гветствующие значения Е,: 2, 1, 1, 0.
Пример 2: Производятся испытания по схеме Бернулли и подсчитывается
число успехов. Число успехов Е, - случайная величина.
' (иементарные исходы опыта составляют множество Л = {со,}, где и, -
всевозможные последовательности из элементов А и А длиной п. Возможные
в.... {0,1,2,... п}.
34
35
Математическое определение действительной случайной
величины
Пусть < Q, Л, Р > ,или <Q,F,P>- некоторое вероятностное пространство.
Случайной величиной £ , заданной на этом пространстве со значениями в R,
называется измеримая функция Е, ~ Е,(и), отображающая пространство
элементарных событий й в некоторое множество действительных чисел
(пространство значений случайной величины).
Из измеримости функции Е,(<а) следует, что борелсвскому множеству В в
пространстве ее значений соответствует одно определенное множество Ав
элементарных событий, принадлежащих вероятностному пространству, т.е.
Ап = {® : Е, = ^(ю) 6 В } е А.
Измеримость Е,(о>) позволяет вычислять
Р{и : В } --Р(Е с В). (1)
Замечание: Явный вид функции Jj(co) чаще всего неизвестен и i
прикладных задачах теории вероятностей не нужен. Важна измеримость это?
функции, что позволяет установить соответствие между множествами значение
случайной величины В и вероятностью принять случайной величине значенш
из В (1). Это соответствие называется законом распределения случайно?
величины. Случайная величина задана, если задана область ее возможны»
значений и закон распределения.
Значения, которые принимает случайная величина Е, будем обозначать х.
Если задан закон распределения, то говорят, что случайная величин;
подчиняется этому закону, или случайная величина распределена по этому
закону.
Дискретные и непрерывные случайные величины
В зависимости от характера множества возможных значений случайной
величины можно выделить дискретные и непрерывные случайные величины.
Дискретной случайной величиной называется величина с конечным или
счетным множеством возможных значений ( число вызовов на телефонной
станции, число космических частиц попадающих на площадку и т.п.).
36
Непрерывной случайной величиной называется случайная величина, множество
возможных значений которой - непрерывное множество ( скорость молекул
। аза, координаты точки попадания снаряда и т.д ).
Формы законов распределения.
I. Дискретная случайная величина.
1. Ряд распределения - таблица, в которой представлены возможные
значения случайной величины и вероятности, с которыми случайная
величина принимает эти значения.
X) х2 ... Хп
Pl Р2
P>=PU=Xi).
< Невидно, что £Pj = 1 - это условие нормировки.
i
Графическое представление ряда распределения называют
многоугольником распределения.
“Р
Х1 Х2 Х3 Х4 х„
Рис. 2.1
2. Функция распределения. По определению, функцией распределения
i пуча иной величины называется функция F(x), заданная на всей числовой оси
и представляющая собой вероятность того, что случайная величина примет
иычеиия, меньше х.
F(x)=P(£<x), -оо < х < оо. (2)
Типичный вид графика F(x) дискретной случайной величины:
37
Рз."
Pa:
Xj x2 x:
p,=P(£ = Xi), i=J,...,n.
Рис. 2.2
Пример!: Биномиальный закон распределения (Е, ~ Bi (п,р)). |
Пусть Е, - эго число появлений события А в п независимых испытаниях Р(Л): р.,
Записать ряд распределения и функцию распределения дискретной случайной
величины £,. I
Решение: Ряд распределения:
Pt) Р1 р2
p,n=P(^-=m)= Pn(m)-Cnm pm q"""1
Функция распределения:
'О, х < О
F(x) =
[И
SCnmPmqn'm> 0<х<п.
1, х > л
Пример 2: Для примера 1 построить многоугольник распределения и F(x) при
п=4, р=1/2.
Решение: В этом случае р0 =р4=1 /16; pi=p3 =4/4; рг=3/8.
0 12 3 4
П716 1/4 3/8 1/4 1716~
38
Функция
распределения
II. Непрерывная случайная величина
/. Функция распределения. В соответствии с определением F(x) = Р(£, <
х). Для непрерывной случайной величины, область возможных
значений которой - интервал, полуинтервал, полуось или вся числовая
ось, функция распределения F(x)-Р(Е<х) - непрерывная, заданная на
всей числовой оси функция. Ее типичный вид:
Рис. 2.5
г Плотность вероятности, или плотность распределения случайной
вгпнчины - предел отношения вероятности попадания случайной величины в
малый интервал к длине этого интервала, когда длина интервала стремится к
nvino:
. .. Р(х<£<х + Ах)
f(x)=lim-----------------~ o')
Если представить случайное событие {£, < х+Ах} в виде суммы
несовместных событий {£, < х+Лх} = {£, < х} + {х < £ < х+Ах}, то по аксиоме
вдцитивности и согласно определению функции распределения получим:
Р(х < t < х+Ах) = F(x+Ax) - F(x). ( 4 )
11одставляя (4)в(3)и устремляя Ах->0, получим:
39
Здесь dF(x) определяет вероятность попадания случайной величины в
бесконечно малый интервал [х, x+dx) и называется элементом вероятности.
График плотности вероятности называют кривой распределения.
Из ( 5 ) следует, что dF(x)=f(x)dx. На график dF(x) - площадь под кривой
распределения в интервале [х, x+dx). Вероятность попадания в интервал
конечной длины представляется в виде площади под кривой f(x) в этом
интервале и определяется интегралом:
ь
Р(а < Е, < b) = J f (x)dx . (6)
а
Пример: Равномерное распределение. (E~R(a,b))_ Пусть ^-координата
точки, положение которой равновозможно в интервале [а,Ь]. Найти F(x) и f(x).
Решение: Используя определение функции распределения и
геометрическое определение вероятности нетрудно получить:
О,
F(x) = х - а
----, а < х < b
b - а
Рис. 2.7
Используя ( 5 ), находим:
1 r
----------, хеГа.Ь],
f(x)=<b-a
О, хф.Ь].
Рис. 2.8
40
1акой же результат можно получить, используя геометрическое определение
Игрой I поста и определение плотности вероятности ( 3 ):
Р(х<ф<х + Ах)
f(x) = lim——--------'
М-,0 Дх
Ах _ 1 _
(Ь-а)Ах Ь-а
х е[а,Ь].
Как следует из вышесказанного, формой закона распределения, общей,
► ак для дискретных, так и для непрерывных случайных величин, является
функция распределения. Рассмотрим свойства этой функции.
Свойства функции распределения .
I 1(х) 0 (из определения).
! Монотошюсть(неубывающая функция).
I cjih X) < х2 , то F(xi) < F(x2).
, Ц оказательство:
xj с {£, < х2}, поэтому из 3-го свойства вероятности следует:
Р(: Xi) < Р(£, < х2), т.е. F(xi) < F(x2). Что и требовалось доказать.
' !'(;>1- b) l-(b)-Ka).
Доказател ьство:
11редставим {^ < Ь} в виде суммы несовместных событий:
|1. • Ь}={£, < а}+ {а < ^ < Ь}, по аксиоме аддитивности:
>'|'l. <b)=P(^ < а)+Р(а< < Ь}, откуда:
l'(a < Е, < b)-F(b)-F(a). Что и требовалось доказать.
•I 11снрерывность слева.
Inn F(xn) = F(x)
»„ >х -О
Д о казател ьство:
Выберем возрастающую последовательность X! < х2 < ... < хп < ..,
। «одящуюся к х. Обозначим Ап={ хп < £ < х}. Очевидно, что для i > j
' Л, и Р] Ап = 0. По аксиоме непрерывности (см. св-ва вероятности)
п=4
IimP(An) = P(0) = O. (9)
П-->00 4
41
С другой стороны: <
limP(An) = lim(F(x)-F(xJ) = F(x)-limF(x„).
л—л—П—
Учитывая ( 9), получим
limF(x ) -- F(x). Что и требовалось доказать.
Х-->со
5. Предельные значения F(x).
limF(x) = 0; limF(x) = l.
Х-+-<о Х->®
Доказател ъство:
По определению F(x)=P(^ < х) . При х->-а> {Е, < -ю} - невозможное событие,
т.е. limF(x) = 0.
При х—> «о {£< от) - достоверное событие, т.е. liml (x) — 1,
Х“>00
Замечание: Если а и b - соответственно наименьшее и наибольшее и;
возможных значений случайной величины, то 0 и F(brO)=l. Поскольку {Е
< а} - 0 и {^ < b+O}=Q.
6. Функция распределения может иметь не более, чем счетное число скачков.
Доказательство:
F(x) имеет скачок Со в точке х=хо, если F(xo+O)- F(xo-O)= Со > 0.
Ввиду монотонности F(x) и ограниченности области ее возможных значений
предельными значениями 0 и 1, скачков размером Со > 1/2 может быть ш
больше одного. Скачков размером 1/4 <С0<1/2 - не более трех, размером 1/2’
<Со<1/2п"’ не больше (2"-1).
Все скачки можно пронумеровать, расположив их по убыванию величины
скачка и повторяя равные значения скачков столько раз, сколько этих скачков
имеет место, и пересчитать. => Число скачков счетно. Что и требовалось
доказать.
7. Р(Е, = x)=F(x+0)-F(x-0)>0 для дискретной случайной величины, если х- однс
из возможных значений случайной величины.
Р(Е, = x)=F(x+O)-F(x-O)=O для непрерывной случайной величины.
8. F(x) дискретной случайной величины £ возрастает в точках возможны?
значений этой величины xi , х2 , ... , хп скачком соответственно на величинь
Р1=РЙ=Х1), p2=Pg=x2),..., рп=Р(£=х„).
9. F(x) непрерывной случайной величины - непрерывная функция.
42
Свойства плотности вероятности.
I f(x) > 0 (изопределения). 2. j l(x)dx - 1 (условие нормировки).
Ь х
I l’(a<^<b> jf(x)dx. 4. F(x)= Jf(x)dx.
s л A dF(x)
Примеры случайных величин и их законов
распределения.
I. Непрерывные случайные величины.
1. Нормальная (гауссовская случайная величина)
Примером случайной величины распределенной по нормальному закону
|||11|>1ется случайная величина, значение которой формируется множеством
|м шообразных факторов: рост, вес человека, координаты точки попадания
। наряда, ошибки измерения и т.п. Обозначение: N(a,cr ).
Случайная величина с, распределена по нормальному закону (закону
Гаусса), если ее плотность вероятности имеет вид:
f(x) = -y—^--е 2а , -<я<х<оо, (Ю)
43
Функция распределения нормальной случайной величины:
х х 7 ’
F(x)= J f(z)dz Je 2o? dz (=)
-ao -VZTtOT
r t_(z~a)
Сделаем замену переменных i -------, тогда:
о
х~а
1 ?
fе
v27t .
где
1 z 4
®(z) = -y=jс 2 dt _ интеграл вероятности.
(х-а\
2 dt = Ф----1 (П)
Рис. 2.11
Будем использовать обозначение для нормальной случайной величины
£,~N(a,a). При а=0, ст=1 нормальное распределение называется стандартным
Ф(г)- функция распределения стандартной нормальной величины.
Найдем вероятности, часто используемые в приложениях.
1 Р 1 а В — з а — а
I)P(a<£<p) = -y L [e 2r- = f е 2 dt-Ф(р-- )- ф((Х .d).
х/2ло„ д/2л„2а а а
а
44
а+а _!?_?)_
f е 2tj2 dz =
Л 1
а + а) - • , • •
72ло _а+а
1 ? — 9 ° —
Jе 2dt [с 2 dt.
у2л а 72л 0
I lti| ।яду с таблицами интеграла вероятности существуют таблицы функций:
1 2 2 -‘~
<l»(,(z)--=je2dt и <Z>0(z) = 7==-- Jc 2 dt
72л о 72л q
Функции Ф(г ), <l>o(z ), ф)(г )-называют функциями Лапласа. Все они связаны
мг-кду собой.
^>(z)--=2 0o(z).
<2
о Л-
[ е 2 dt +
z
1
72л
",<z)=®
^}с^Л='-+Ф0(2)
'Замечание: При использовании таблиц, необходимо обращать внимание,
h ik.iM из названных функций в ней представлена.
Исследуем на четность эти функции:
ф
И 'l’o(-z)= J je 2 dt .
72л о
1 z --
< jc 2du= <I)„(z)
“V Z7C Q
' I ( >ЧСВИДНО, ЧТО Ф0(-7 )= - Фо(2 ).
1 “z -
i) <l>(-z) = -7= fe 2dt = i-
72k _jK)
t2
1 -о» _А_
[ е 2dt =
72л Jz
1 7 “Уз
—== [е 2dt
72л Д
45
2. Экспоненциальный (показательный ) закон распределения.
^~Е(а).
Примерами такой случайной величины могут служить: время безоз
Работы аппаратуры, длительность телефонного разговора, интервал в
между редкими событиями.
Плотность вероятности экспоненциальной (показательной) слу
величины имеет вид:
О, х < О
Ас ах , х>0, а>0.
Найдем константу А из условия нормировки:
«5 , СО
Jf(x)dx = 1 теА|с“х
-со О
А_ -ах |°° _ А _ J
2 ’° ~ а ~
т.е. А=а, таким образом экспоненциальный (показательный) закон
Распределения имеет плотность вероятности:
f(x)== а ехр(-ах), х > О,
Функция распределения:
О, х < О
1-е'“х, х>0
(12)
(13)
Графики плотности вероятности и функции распределения:
Рис. 2.12
46
L
II. Дискретные случайные величины.
1. Индикатор случайного события А.
Это случайная величина, которая принимает значение 1, если событие А
происходит и 0, если не происходит, т.е.
[X] =1, со е А.
Можно сказать, что 2,-число появлений А в опыте. Если вероятность
появления события А в опыте Р(А):р, то ряд распределения этой случайной
пелпчины выглядит следующим образом:
О 1
Ер р
(И)
Многоугольник
распределения
-F(x)
Функция распределения
1(х) = <1-р,
(15)
Рис. 2.14
2. Распределение Пуассона. £ ~П(Х).
Этому распределению подчиняются: число появлений редких событий на
некотором интервале, например, число вызовов на телефонной станции в
период малой загрузки, поток заявок в системах массового обслуживания.
47
Случайная величина £, распределена по закону Пуассона , если ее р:
распределения имеет вид:
О 1 2
Ро Pl Р->
где pm=P(^=m)=—-е \
(16)
Функция распределения:
F(x)
(17)
012345 6 789 х
Рис. 2.15
Найдем предельное значение F(x) при х-> :
оо 1 ш оо л m
У = е“х У = 1
пУогп- т%т!
Вероятность того, что Е, находится в некотором интервале:
[ь] N _ М
P(a<^<b>F(b)-F(a>IPm- LPm- ДРт.
т=0 т=0 т=[а]+1
3. Геометрическое распределение.
Этому закону распределения подчиняется величина, представляющая с
число опытов, проведенных до первого проявления некоторого события А,
для отдельного опыта Р(А)=р, P(A)M-p=q. Ряд распределения этой случа
величины;
О 1 2 . . . m
Ро Р1 Р2 ... Pm
pin=P(E,=rn)=qmp.
48
функция распределения имеет вид (17), только рп1-иное. Проверим условие
прмировки:
(°°] [да] п
т=0 т-0 1 Я
III. Дискретно-непрерывные (или смешанные) случайные
величины.
Рассмотренная ранее классификация случайных величин на непрерывные и
крсгные является несколько упрощенной. Многообразие случайных величин
Н<> исчерпывается дискретными и непрерывными случайными величинами.
Г\шествуют, например, смешанные или дискретно- непрерывные случайные
И личины. Для них - область возможных значений - непрерывное множество, но
И ч) имеет конечное или счетное число скачков, т.е. существует конечное число
tn-u-к, где P(E,=x)=F(x3)-F(x-) > 0. Примеры таких случайных величин:
(щ чайное напряжение на выходе ограничителя, положение механических
l ib H-м имеющих “мертвые точки”, например, угол поворота калитки и т.п.
I пучайиые величины, рассмотренные ранее, область возможных значений
hmopi.ix - непрерывное множество и у которых F(x) - непрерывные функции,
Ниилвают абсолютно непрерывными.
Пример дискретно-непрерывной случайной величины.
11екоторый прибор испытывают в течение времени Т. ^-время
huoi казной работы прибора при испытании. Если прибор некондиционен, он
Вппнывает в момент включения. Вероятность этого Р(Е,=О)=ро. Прибор может
Проработать все время испытания Т, вероятность этого события Р(^-=Т)=рт. Если
II < Т, то плотность вероятности времени безотказной работы убывает с
упгпичением времени по экспоненте, т.е.
f(x)T=c ехр(-ах), 0 < х < Т.
Найти функцию распределения для рассматриваемой величины Е,.
Решение: В соответствии с условием задачи и определением функции
распределения:
49
F(x) = P(E,<x)
О, х<0
Ро> х = 0 +
(19)
сс
р0 + Рт+|О-е-“х), х = Т+
[1, х>Т
Предельное значение “1” достигается в точке х=Т+, поэтому константу
находим из условия нормировки;
Ро +Р1 + ~(1-С
а
a(l-Po-Pi)
с = -------
1еи'*
График функции распределения ( 19 ).
Рис. 2.16
Лекция 7. Числовые характеристики случайной
величины.
11аиболее полно случайная величина задается ее законом распределения,
Hinpi.iii указывает какие значения может принимать случайная величина и с
MMimii вероятностями. В ряде практически важных случаев столь полное
НПИсппие не требуется, а достаточно указать числовые характеристики
МушИной величины. Числовые характеристики - это числа, получаемые по
|Н1|п*дгпенным правилам из закона распределения. Среди этих характеристик
IlniiOouce важными являются математическое ожидание, дисперсия и моменты
|Мнн1'н1ых порядков.
I. Математическое ожидание.
Дня произвольной случайной величины Е с функцией распределения
,1 х) математическим ожиданием называется интеграл:
ME,-= JxdF^(x).
(1)
|h прицеленного в Приложении 3 определения интеграла Стильтьеса и свойств
фц|М11И1 распределения следует, что:
паи дискретных случайных величин математическое ожидание представляется
в нмл<* суммы:
п п
ME- fxdF^(x) = £xi[F(xi-O)-F(xi+O)] = ^xipi , (2)
IV. Сингулярные случайные величины.
Для сингулярных случайных величин функция распределения
непрерывна, но точки ее роста образуют множества нулевой меры. Известим
примером такой функции является канторовская функция [ 4 ]•
F(1
I дв х, значения, которые может принимать Е,, р; =Р(Е=х,),
пни непрерывных (абсолютно непрерывных) случайных величин (поскольку
»Ч<*> t r.(x)):
ME,-- Jxf^x)d(x).
Пример 1: Найти математическое ожидание Е> равномерно
|ч« вределенной на отрезке [а , Ь].
51
—-—, х е[а,Ь]
Ь-а
О, xg[a,b]
. г dx b2 - а2 а + b
' b-a 2(Ь-а) 2
Нетрудно видеть, что при равномерном распределении значени
случайной величины Е, в интервале [а , Ь] математическое ожидание равв
средней точке этого интервала. Математическое ожидание называют ец
статистическим средним случайной величины, или просто средним значением.
Пример 2: Найти математическое ожидание если E~N(a;nj.
Vх) =
00 7.1,1 л .с0 тп7т 00 т,т-1
ME, = Еп7 ---е^е-ДД- = ле-?-- Х
т=0 т=1 Ш-
Математическое ожидание функции случайной величины.
Дня произвольной однозначной функции случайной величины ф(Е,)
|Ц|Нм>11ичсское ожидание определяется следующим образом:
M'l'b’J j4y(x)dF(x) =
J4z(x)f(x)dx, ^-непрерывная ел. величина,
fdx)“7:k
-с
2о
-00
ME, = J -Д=-е
2°2 dx -
Z2
оо _
, f (oz + а)е 2 dz =
1
°° Дч'Сх )р- ^-дискретная сл. величина,
Li—1
: III определения математического ожидания, данного выше, вытекают
чине свойства математического ожидания.
х - а
Заменим z~-----
х= zo+a, тогда:
= f ze 72 dz + Ге 72 dz = а
л/2я Д J2n Д
(Первый интеграл равен нулю, а второй определяется из условия нормировки
,2
72 dz +
л/2 7Г Д
2 dz = 1).
законе распределения параметр а
Таким образом, в нормальном
математическое ожидание или среднее значение случайной величины.
Пример 3: Найти математическое ожидание случайной величины
распределенной по закону Пуассона (Е, ~ П(Х)).
Решение:
Xi О 1 2 . . . m . . . am
?•--------------------------------------- р = — е“х
S Pi Ро Pl Р2 . • Pm • • *m m!
Свойства математического ожидания.
t Mi г, где с-неслучайная величина.
иппельство:
Me = J cdF(x) - с J dF(x) = c(F(co) - F(-°o)) = с.
-00 —О0
I Hiiiiciiiюсть математического ожидания:
п
... Ж)= 2>Ифк(£) , где Cj; - не случайные величины, то
fel
п
мж)-ЕскмФк(о.
k=i
flUMi иппельство:
52
53
co n n 00
= J £ck<pk(x)dF(x) = £ck J(pk(x)dF(x) =
-ook = 1 -co
= £скМфк(О.
k-1
3. McE,==cME, ( Неслучайная величина выносится за знак математ)
ожидания). Это свойство вытекает из свойства (2) при n l и <pk (Q^E,.
4.
Доказательство см. в примере! лекции 10.
II. Дисперсия случайной величины. !
По определению, дисперсией случайной величины Е, называв
математическое ожидание квадрата отклонения случайной величины от МЕ3:
D^=M^W= J(х - МО2 dF(x) . (5)
-00
Па основе свойств математического ожидания можно переписать (5):
DE --- М(Е,-МЕ,)’- ME2 <2М(М^)+(МО2== М^2 -2Мс, М^+(МЦ2=
==ме,2-(мо2 . (6)
Опираясь на свойства интеграла Стильтьеса, дисперсию для дискрет
случайной величины можно записать в виде:
п , " 2 ( и Л2
Db-^(x, --Mq)2p1.-.^ IF-I L x,pj . (7)
1 ! i I -rl /
Для непрерывной случайной величины
” 7 2 ( 00 А2
DV j(x - M^)2f(x)dx = Jx f(x)dx_ Jxf(x)dx . (8)
-00 “СО X—00 У
Пример J: Найти дисперсию для если E,~N(a,o).
Решение: Используя (8), запишем
54
(х-а)2
.2
1 ® —У— 2 to
B? , fc 2°2 (х-a)2dx = =—== ft2e 2dt =
V27CCT л/2я
|||)|сг|>ируя по частям: Judv - uv-fvdu, где u=-t, v=e 2 , dv=-te 2 dt, du=-dt,
IIihiv'ihm:
2 ( И
П . 1c 2
/2л Г
2 00 _ t
+ -^L= [e 2dt = o2.
V2k1
IИМ1М образом, 1)фУ
Пспичина о называется среднеквадратичным отклонением.
Пример 2: 11айти дисперсию £,~П(Х).
Решение: Используя (7), запишем:
Л 1П
|х, У(ш л)2 ск
„1:0 т!
со tri 2 л т
т=0 т!
ОС Л Ш
- 2.7.У, е х
£ т!
4
z.yA”e^±
,,^от> ra=I т! m=i т!
со
т = 1
^тс -X
т!
□о т
: У Z e z
iZo т!
n а т-2
У к-----е
пйСт-г)!
<-’У-1)^1, П|
ти](т- 1)!
Г’1
оо т, т
е'~х + X2 £ — е“х = X2-2z?tXiX2- X.
т=-.о т!
Iiikhm образом, [)£," ?.. Дисперсия и математическое ожидание пуассоновской
< ly'i.iiinoii величины равны параметру распределения X.
Свойства дисперсии.
I 1)£,>0. (Ввиду неотрицательности интегрируемой функции).
J Дисперсия неслучайной величины равна 0.
Доказател ьство:
Dc==M(c-Mc)2=M(c-c)2=O.
55
F
3. D(c(,)=c2DE,.
Доказател ь ство:
О(сУ=М(сУсМу2=Мс2(УМУ2-с2М(уму2=с2Пу
4. О(Е,1+У)=ОУ+ОУ±2М((У-МУ)(У-МУ)).
Доказательство:
П(У±У)=М(У+У-МУ+МУ)2=М(^1-МУ)2+М(У-МУ)2±
±2M((^-M^)fe-M^)>D(^)+Dfe)±2M(^, -МУ)(У-М^)).
III. Моменты случайной величины.
Начальным моментом к-го порядка случайной величины £, называет!
числовая характеристика, определяемая следующим образом:
otk = М£к = JxkdF(x). (9)
— СО
Ек к
Xj р, ; для непрерывной
i=l
ак = Jxkf(x)dx.
2) Центральным моментом к-го порядка называется числовг
характеристика, определяемая следующим образом:
цк=М£-Мук= J (х - М^)к dF(x) =
—со
Если ввести в рассмотрение центрированную случайную величину £--(£-1
° к I
МУ, то можно записать Цк=М^ . Нетрудно видеть, что математическое
ожидание - это начальный момент первого порядка. Оно характеризует среднее
значение случайной величины. Дисперсия - центральный момент второго]
порядка. Она описывает разброс (рассеяние) вокруг среднего значения. Чтоя
описывает моменты более высоких порядков ?
56
£(Xi-MOkPi
i (10)
J(x - MOk f(x)dx
цз - характеризует несимметричность распределения. Коэффициент
им метрик у, - это нормированный центральный момент 3-го порядка:
Рис. 2.17
)i.i - характеризует удельный вес больших отклонений и определяет
Принтер кривой распределения вокруг максимума (ее "островершинность" или
" I уповершинность").
Рели взять за эталон стандартное нормальное распределение, то можно
определить коэффициент эксцесса (отличия от эталона) как:
Рис. 2.18
Пример 4: Найти коэффициент эксцесса у случайной величины, равномерно
распределенной в интервале [0,1].
Решение:
(tl = M^=fxdx = |, p2=J(x-|)2dx = J(x2 -x + |)dx = -1-,
0 z о 2 о 4 12
57
ш = f(x- ' )4dx = f (x4 2x3 + ~x2 x + ---)dx = —,
1 f 2 Jn 2 2 16 80
y2= 144/80 -3 = 1,8-3 =-1,2.
IV. Квантиль распределения.
Квантилью распределения порядка р называются точки Хр, для которых
F(xp)=p .
(13)
Таким образом, квантиль распределения - это решение относительно :
уравнения (13).
Для непрерывной случайной величины квантиль распределена
определяется однозначно. Для дискретной случайной величины возможв
неоднозначное определение хр.
а) Если существует интервал [а,р] на котором F(x)=p, то все точки этоп
интервала могут служить значением квантили.
Ь) Если F(xp)<p, a F(xp+0)>p, то хр - квантиль распределения порядка р.
Медиана - квантиль распределения порядка 1/2.
Мода - значение случайной величины, при котором плотност
вероятности достигает максимума. Если кривая распределения имеет одю
максимум - то распределение унимодальное , если больше одного
полнмодальное.
Лекции 8,9- Многомерные (векторные) случайные
величины, их законы распределения и числовые
характеристики.
Многомерной случайной величиной (векторной случайной величиной
или случайным вектором ) называется упорядоченная совокупность скалярны;
случайных величинЕ, = = • Лп)’ гДе £i " координата или компонент
случайного вектора.
58
Примеры векторных случайных величин: 1) число и средняя энергия
Миепщ, падающих на Землю; 2) уклонение точки падения снаряда от центра
Мишени по двум координатам; 3) концентрация различных веществ в пробе
|ипдуха, минерале, воде и т.п.
Математическое определение случайного вектора.
Пусть задано вероятностное пространство <£2,F,p>. Упорядоченная
t (нмжуиность измеримых функций ^i=^i((o), Е,2=£2(со),.. . , Е,п=£,п(<о), заданных на
пом вероятностном пространстве, называется случайным вектором
(*1'кк>рной случайной величиной, многомерной случайной величиной).
Совокупность действительных функций £,(<o){f,i(oj), ^2=^2(®), •
t„ ставит в соответствие каждому элементарному событию to вектор, т.е.
иибор и действительных чисел. Таким образом, пространство £1 отображается в
и мерное пространство действительных чисел, R„ - множество (пространство)
миможных значений Е,.
Вектор Е, определяется областью возможных значений и законом
|1й(прсделения. Закон распределения случайной величины - правило, в
I inn веч ствии с которым некоторому множеству В в области возможных
шипений Е, ставится в соответствие вероятность. Это возможно, т.к. ввиду
|нмсримости функций Е(м):
Р(|е В ) = Р(АВ), где Ав={ю:|(м)е В} еА.
59
функция распределения многомерной случайной величины
(многомерная функция распределения).
По определению, функцией распределения многомерной случайной
велшины называется функция п переменных
F(xb х2,.. . ,ХпУ=Р(^1<хь 42<х2,^n<xn). (1)
Из определения (1) многомерной функции распределения вытекают
свойства этой функции, которые во многом аналогичны свойствам функции
расзределения скалярной величины.
Свойства многомерной функции распределения:
1) F(xb х2,.. . ,хп) > 0.
2) F(xi, х2,... ,х„) - неубывающая функция по каждому аргументу.
3) Г(хi, х2,... ,х„) - непрерывна слева по каждому аргументу. >
4) lim х2,... ,xn) = 1 - условие нормировки.
n f
5) lim F(xi, х2, . . . ,хи, . . . ,х„) = 0, (при произвольном значении других I
параметров).
6) Свойство согласованности.
lim F(xb х2,.. ., хи, xt, xk+1,. . . ,х„) = F(xb х2,..., xk.b хк+),. . . ,х„).
ХК->оо
Замечание: Используя свойство согласованности можно получить
одномерную функцию распределения для любой координаты вектора, устремив
к оо все прочие аргументы.
7) P(cti<4i<Pi, а2<42<р2,..., ап<4п<рп) = F(₽., р2,..., pn) - £Pf + £ Ро -
+ (-l)nF(ab а2,. .., а„), (2)
где Pij...k=F(ci, с2, . . сп), где Ci=ai, Cj=ctj, сг- сц и cs=ps - для остальных
аргументов.
Геометрическая иллюстрация свойства 7.
Если 41, ^2, . . .,4л ' координаты точки в эвклидовом пространстве, то
F(xb х2,. . . ,Хд) - вероятность попадания (4ь £г, . . ., 4п) в п-мерный •«?
параллелепипед с ребрами // осям координат.
Для двумерного случая:
[II. &), -a><4i<°o.
| (IftH •' Xi и х2 - значения 4i и 4г соответственно.
|)Ил» F(xi,x2) P(4i<Xi, 42<х2) представляет —
—>
Й(ю1| вероятность попадания 4 в за-
<И|И1хованную часть плоскости.
|»1Г1мотрим P(ai<4i<Pi, а2<42<р2). В соответствии с (2):
P(ai<41<pl, a2<42<P2);-P(PiP2)-B(aip2)-F(pla2)+F(aia2).
Действительно, искомая вероятность определяет
ИмИкнания точки в прямоугольник ABCD.
вероятность
Рис. 2.20
j F(pb р2)
F(ah Рг)
F(Pi, a2)
F(ab a2)
||Ц одномерного случая получаем из (2) известное соотношение
j P(a<4<P>F(P)-F(a).
Многомерная случайная величина, имеющая
01Н|м деление.
равномерное
Пусть с, - случайный вектор, координаты которого равномерно
ннргделены в параллелепипеде , 4>cl;|i, bj. Функция распределения этого
!»н|ра имеет вид:
(О, х, < а;, хотя бы для одного;
если а; <Xj <b
(3)
Cj = Ь;, если х, > bj
60
61
Плотность вероятности многомерной случайной величины.
Если все компоненты случайного вектора - непрерывные (абсолют
непрерывные) случайные величины, то может быть определена плотно»
вероятности этого вектора: J
f(Xi,X2,..,Xn)=
Р(Х] <Xi + Ах х2 <^2 <x2+Ax2,...,xn <^n <xn + Aj
Inn . ------------------------’---------------------------------------------
Лх,>(),1-д,п AX]Ax2...Axn
0)
Используя для расчета вероятности, записанной в числителе (4) формулу £
нетрудно получить:
Зная плотность вероятности, можно найти функцию распределения по формул
X, х> х„
F(xi,x2, ...,xn)= J J ... jf(z1,z2,...,zn)dz1dz2...dzn .
— СО — 00 — 00 -
Свойства многомерной плотности вероятности.
l)f(xi,x2, . . . ,хп)>0.
2)P(|eG) = f-ff(XiX2...xn)dx1dx2...dxn.
G
00 00
3) Условие нормировки, f ... jf(x1,x2,,..,xn)dx!dx2...dxn =1.
—оо —со
4) Свойство согласованности:
00
f(xi, х2,. .., Хы, хк+1,. . - Л) = J f(xb х2, . . ., Xk.1, xk, xk+b . . . ,xn)dxk
— °o
Таким образом, из многомерной плотности вероятности всегда можно пай
одномерную плотность вероятности для любой компоненты вектора:
00 00
f(x,)= j ... Jf(x1,x2,...,xn)dx2...dxn.
—00 —оо
62
I Многомерная вероятность.
I Если все компоненты случайного вектора - дискретные случайные
iioiiriHiibi, то случайный вектор можно задать многомерной вероятностью:
I Р(Х1, Х2, . . . ,Х„) = Р(£,1=Х1, £,1=Х1, ... , Е,п=;Хп). (6)
Кони число возможных значений компонент вектора конечно, то вероятности
|h) можно представить в виде многомерных таблиц.
’ Свойства многомерных вероятностей.
I) l'(Xi, х2,. . . ,х„) > 0( неотрицательность).
I) Условие нормировки: 22 -.•]£ Р(хц, Xj2,..., x;n) := 1. (7)
*il
I) (’пойство согласованности:
X.?, • , ХЛ4, ХЛ+1, . . . ,Xin) =£ P(xib Хй, . . . , Xik-1, Xik, Xik+1, . . . ,Х;„). (8)
ik
W< G)“ L •Sl’(xii,Xi25 -Лт).
xeG
Условные вероятности и плотности вероятностей.
Рассмотрим двумерный случайный вектор £ =(^ь^2), компоненты которого -
Дткрсгные случайные величины. Условной вероятностью того что случайная
*H»ii'iniia примет некоторое значение х, при условии, что приняла значение
у Нтынается:
. Р(Е,1=хЛ2=у)
- 0)
l inn компоненты вектора непрерывные случайные величины, то
р'Иоиной плотностью вероятностей £,1 при условии, что приняла
ИНрсдсленное значение у, такое, что fr2(y)>0, называется:
- <к”
63
^n’Xn)
обобщение на п-мерный вектор: Условной вероятностью того, чт
компонента ^1=х1, если все остальные компоненты приняли какие-
спределенные значения (х2,х3,...х„ ) называют
Р(£] =Х]Л2 = х2
Условной плотностью вероятности при условии, что остальные компопен'
Приняли некоторые значения, называется:
f(x,,x2,...,xn)
f(Xi | Х2 ... Xn)= ----------- .
f(x2,x3,...,x„)
Независимость случайных величин.
Случайные величины Е,], £2, ..., Е,п называются независимыми
Совокупности, если для любого набора событий {£, сН,}, где В; борелевск
тодмножества на числовой прямой, / = 1,н, выполняется равенст во.
Р^еВь £2бВ2,^eB^P^jeBOPfeeBO ... Pfe.eBJ (11)
Необходимое и достаточное условие независимости.
Случайные величины (£ь £2,
независимы тогда и только тогда,
когда:
IЕ (xbx2,...,Xn) = Fei(xi) Fy(x2)... F^(xn) = П F4i (х<) О2)
i=I
Для непрерывных случайных величин условие независимости можно заниса
еще так:
^ = (x1,x2,...,xn)=nf5,(xi) , (12’)
а для дискретных:
Р(^=Хь ^2=Х2, ... , ^Х„) = ПЖ = xi) (12")
i=l
64
Числовые характеристики случайного вектора.
I. Математическое ожидание и дисперсия.
Математическим ожиданием и дисперсией векторной случайной величины Е,
иипшогся соответственно вектора:
Муму, 04 0)=,, Db,.... Dy.
Компоненты этих векторов вычисляются по известным правилам на основе
циннетствующих одномерных плотностей вероятности или вероятностей
)пм|1онент вектора У
II. Корреляционный момент, коэффициент корреляции и
корреляционная матрица.
Корреляционным моментом между и 4 называется числовая
♦ир.н, тсристика определяемая следующим образом:
RW=M((4-My (УМУ>М(£ I ), (13)
•Но можно переписать в виде:
Ин-.
| |(Х(-М^])(х2-M^2)f-(x1,x2)dx1dx2, У>У - непрерывные
• -о
X>J(xi, ~Msi)(Xj2 - му )P(xij,Xj2), у,у - дискретные
|< 12.
^чффициент корреляции - это нормированный корреляционный момент:
_ ^Ц1Е,2
p^2~7dCW' (14)
Свойства коэффициента корреляции.
i>kl ’
° °
1упн1штельство: Обозначим и т|=т|-М1] и рассмотрим
65
,L±^
=м
=M—y+M—y±2M -Ji l±2[y,.>0,
o| of 4 (Ц
(15)
±2p^>-2 , ±рСя<1 , т.е.
2) Р'п-+1 , тогда и только тогда, когда дас;1 b
Доказательство:
1) Достаточность. Мд-аМдтЬ, 1)да2Нд.
аМ(£--М£)(£ - М£) аЩ
Р^1|~ ~ -~~ ~ - I I. J. ~±1
д/а2ЩОЕ, |a|D^
2) Необходимость. Еслир^=1,то из (15) получаем :
=2-2 р =0. Из
' 5ч
свойств дисперсии следует, что в этом
I
Cjj
j
о
и
----=const;
причем, • т.к.
сол
о о
£ д
следовательно:----=-----,
оТ)
Е, - ME, д - Мд
т.е.---------=
Ч Оп
D
D
о
А
О
тГ-^Ч-^М^+Мд.
Аналогично можно показать, что если р^~ -1, то 1+р=0; и
Е, - д-Мд сг ст_ _.с
---------------+--------------=Const=0, т.е. д=- +-М§ + Мд.
сг^-----------------------------------О(=
3) Если Е и д - независимы, то p^t=0.
О 0 0 0
д Мд
Доказательство: p£n= М------=-------------------=0/
СД) <тп
Обратное утверждение в общем случае неверно.
Пример: дЧ2, ^~N(O,1). Найти р^.
66
Решение:
, М(Ц-МП)(^-МО Mi;3-Mi;
♦JI, 1; M^O; Щ=1, поэтому р^= - ------
Dn
। _х_.
, [х3е 2dx = 0. следовательно:
•со
Данный пример иллюстрирует
Р?ч 0.
тот факт, что равенство нулю
iHM,'ll,ll^,eirra корреляции не означает отсутствие статистической зависимости
величинами (здесь имеет место даже функциональная зависимость).
: , Па основе свойств 2-3 можно заключить, что коэффициент корреляции
ц-ризует наличие линейной связи между случайными величинами.
Корреляционная матрица.
Пусть задан случайный вектор =(£i, £2, ..., (,п), математическое
Цфннииие которого nii,..., mn), где mi=ME,1.
елнционной матрицей вектор-строки Е, называется матрица размерности
определяемая как:
Л12 ... Л, А
R=M((^-w)T(^-m)>
(16)
UC R, ... RJ
№ Н,( М((^-М^-МУ).
('войства корреляционной матрицы действительного
случайного вектора
|)Ki, l<„ 2)Rii=D^.
I) 1ч mi £,i - независимые случайные величины, то R - диагональная матрица.
Иногда в практических приложениях используется матрица
(Юффнциентов корреляции:
"А, Аг А?
Л) Р1\ Р22 р2п
н- , где pirP^.
'•Pnl Pul PnrP
67
Свойства матрицы Р:
1) pij=Pji . 2)pii i.
3) Если - независимые случайные велшины, то матрица Р=1 - единичнг
матрица.
Гауссовский (нормальны!) случайный вектор.
Вектор Е, =(£,,, £,2, £,„) распредиен по нормальному (гауссовском;
закону, если его плотность вероятности им»ет вид:
...‘(27)^4” еХР<’ 2(S ~ ~'<S ’ Й)Т)-
(17)
где R1 - матрица, обратная корреляционной (16),
транспонирования. Можно записать(17) иначе:
-----, '------,7п‘еХР(-------У У (X; -т:)А|.(Х: - mJ).
* (2тг)п/ 2(detR)1/2 2detR j * 17 ljV J
опсрацй
(И1)
Здесь Ау - алгебраические дополнения к элементу ij матрицы R.
Двумерный нормальный вектор. Его плотность вероятности получается, к;
частный случай из (17), (17') при п==2:
1
^(Х1,Х2) =
Зтгсх jCT 2 д/1 —
1 z(xl~ml)2 :
2(1 -Р2) а?
Здесь р=рда , Gi2=D£,i, i=l,2.
Если р=0 , то
ехр(-
i
2
грСхз-тОСх.,-!^) , (х2-т2)2^
1°2
.2
мт вывод справедлив и для компонент n-мерного нормального вектора.
№С1ннтельно, если все корреляционные моменты Rij=O (при by), то R -
И’ л
П 2
CTi ,
Г i I
О, i Ф j
4
\ v (1 • _ Тогда формула (17') примет вид:
||н! А —1 ~ J
. ° i
(Xj-mJ2
li (X) ГТ —7=—e • что означает независимость компонент
Цррмипьного вектора.
III. Условное математич1еское ожидание.
Пусть £,] и £,2 - дискретные (случайные величины. Условным
^тематическим ожиданием £1 при условии, что ^2=У| называется
М(7. 12у.’. У,) X vpfc х; I и; у,), (19)
И, х, - возможные значения случайной величины Ei, p(£, Xi | £2=у) - условная
tt|iiiii।ность (9) принять случайной величиной значение X;, если случайная
Mnii'iinia ^2 приняла значения у.
Нуги. £,1 и £2 - непрерывные случайные величины, тогда условным
•мнима ыческим ожиданием £,, при условии, что £д у называется
ОО
Mftife=y> М,К2(х|уЖ , (19')
— ОО
1II» I; , |;; 2 (Х|У) - условная плотность вероятнюсти (10).
11олное (безусловное) математическое ожидание для дискретных и
И»прерывных случайных величин вычисляется соответственно по формулам:
=2 МК, I ^2=У1)Р(^-К) (20)
j
М£,2= f = у^у- (20’)
1 ехр( (x‘~mi)2 (xz-m2)2
2а2
(х, П1,)?
е"
2тю । СТ 2
2 )=fijl(xl)fb(X2),
2c2
1
-x/2tW]
вероятности. Таким образом, некоррелированность нормальных случайны:
где
одномерная нормальная плотность
величин тождественна их независимости.
68
69
Формулы для условных и безусловных математических ожиданий без ipyj
можно обобщить на случай n-мерного случайного вектора, ее;
воспользоваться соответствующими формулами для условных вероятностей
плотностей вероятности.
Пример 2: и Г| - нормальные случайные величины, совместная плотное
вероятности которых определяется (18):
_________1______схр(________1_____((х П1|)? _ 2р(х ш!)(у in.) + (vin,)2
27tO1G'2-Jl - р2 2(1 —р2) СТ[ СТ1СТ2 ст2
Найти М(( |п=У) и М(.
Решение: Определим условную плотность вероятности (х | у) (10)
4i,(xly)^
Му)"
Подставив явное выражение для
Wx,y)
(у п-.,)2 (х--а)2
1 2От 1 0_2
' "“y™ ^•<Х!У)" Ж?'
? 2 ? 1
где сГ=О1 (1-р ), а-=Ш1+—р(у-т2).
°2
j СС
Тогда: М(( |т1=у)=_/Т=“ /ХС 2° ^х = а. Используя М(( |р=у), найдем
<2пст ..ю
(20') безусловное (полное) математическое ожидание:
» (у :пЖ
j (m, + -р(у - m2))e 2°2 dy =
СТ2
ОС
т1 [
^о21е
(у~пъ)2 оо
'—-~2-- О1Р °?
202 dy; -- J(y-m2)e
<2лст2 _ю
(у-Ж?
2а2 ,
dy = mj
70
Yl -1 0 1
1 0,15 0,3 0,35
2 0,05 0,05 0,1
fJjHi.ucp 3: В таблице приведены двумерные вероятности P(^=Xj, T]=Xj)-
1) Найти закон распределения (ряд
распределения) для и т].
2) Определить, являются ли с и т|
Ие швисимыми случайными величинами. 3) Найти р^л. 4)3аписать
Корреляционную матрицу; 5)_Найти М(т)|^=1).
Гашение 1) I’G? 1) X рК=1> P=yj)=O, 154 0,3+0,35=0,8; Р(^=2)=Х Р(£=2,
J j
l|-y,) 0,05+0,054 0,1=0,2; Р(ц=-1)-£ P(£=xi; ri=-l)=0,l540,05=0,2 и т.д.
i
Ilony'iiiM рад распределения для и ц :
Xi 1 2
р(; х.) 0,8 0,2
Xi -1 0 1
P(H=yj) 0,2 0,35 0,45
1)Р(т]=-1)=0,8х0,2=0,16+Р(1;=1,1р=-1)=0,15 , следовательно Е, и Т)
ыиисимые случайные величины.
1)М!, 0,81+2-0,2=1,2; 1>^=1-0,8+4-0,2-(1,2)2=0,16
Мц 1 0,2+1-0,45=0’25; Dt]=0,2+0,45-(0,25)2=0,025
М(„' М((^-1,2)(т|-0,25))=М^Т]-1,2-0,25=0,3-0,3=0
Mtij Е Z xiyjP(^=xi,r1=yj)=-l-0.15+0.35-2-0.05+0.2=0,3.
_______0_______
14,1 V*^Dn 6 • 0,025
(0,16 О’)
4)Н
(о 0,0257
Р(^ = 1,Т] = Ур
•ЦПийдсм условную вероятность P(T]=yj|E,=1 )=-------------------------------
У. -1 0 1
I,(1]=yi^=l) 0,1875 0,375 0,4375
lift основе этого ряда получаем М(т||Е,=1)=-1-0,1875+1-0,4375=0,25.
71
Раздел III. Функции случайных величин.
Лекции 10, 11. Функции случайных величин, их зако
распределения и числовые характеристики.
Пусть на вероятностном пространстве <О,А,Р>,или <fi,F,P> зад:
случайная величина £ (скалярная или векторная) и определена измерил
функция т| = ф(?3) (скалярная или векторная). Необходимо найти: 1) 3ai
распределения случайной величины у 2) Числовые характеристики случай
величины г/, если известен закон распределения 2.
Такого рода задачи часто встречаются в практических приложена
Например:
1) Гидродинамика: заданы законы распределения коэффицие!
упругости, теплопроводности, скорости химических реакций; необхода
определить на основе законов движения жидкости скорость, давление, числоя
характеристики (среднюю скорость); |
2) Радиотехника: заданы законы распределения сигналов и noi^
необходимо на основе известных преобразований, происходящих в кан^
распространения и приемнике, определить законы распределения амплитуд!
фазы суммарного колебания на входе и выходе приемника и их число!
характеристики;
3) Математическая статистика: по законам распределения элемент
выборки находят закон распределения функции выборки и их числов
характеристики.
Рассмотрим вначале решение второй части задачи.
Числовые характеристики функции случайных величин. |
Все моменты случайной величины г] = <р(Е) находятся на ос на
определенного ранее математического ожидания функции случайной величин!
1. Начальные моменты:
Г У Ф k (xi )Pi *для дискретных Е;
сск =Мг]к =М<рк(^) =
L f<p(x)kf?(x)dx - для непрерывных Е.
S(ф(хi) ~ a 1) Pi - Для дискретных Е;
=| (2)
J(<р(х) - а।) Г (х) - для непрерывных Е
~СС
- векторная случайная величина, то (I) и (2
И» М<рк (е) =
Ц11ИЦавс|. х, - возможные значения дискретной случайной величины Е,,
ИвВИ-х,), f^(x) - плотность вероятности непрерывной случайной
IF
В! : Центральные моменты:
|р‘М(ц Мц)к =M(<p(^)-at)k
ни случайный аргумент Е,
|цМ1'УН я следующим образом:
X •••E<Pk(xii>xi2,...,xin)P(^) =xiI>...^n=xin),
J ... J cpk(x1,x2,...,xn)f?(xi,...,xn)dxI...dx„. )
— CO —co
,k 1-Е(ф(хп->хп.)-«1)кр(^1 =xii>...^n=xin);
f ... f(<p(xj,...,xn)-a1)kf^(x1,...,xn)dx1...dx11. (2;)
— 00 —co
Гльим образом, для нахождения моментов функций случайных величин
Н»1Ни1Ч11п знать закон распределения аргумента.
Пример 1. Математическое ожидание суммы случайных величин.
1] = Е,! + Е,2. НайтиМт?.
Решение: В соответствии с формулой (1 ’): Мц = М(?, + £2), если и
дискретные, то Mp = XS(xi +Yj)Pij =SxiSPij +2>jSPii
« j ‘ j j i
1 У- YjPj ~ ^1 +M^2. Здесь используется условие согласованности.
*| j
Гели Ei и Ег - непрерывные, то:
М'Г= J j(x+y)fj(x,y>dy= / xf.,(x)dx + JуГ? (y)dy = j + Mq2 .
—CO “00 —co —00
Здесь тоже используется условие согласованности. Таким образом,
।но 4 (Лекция № 7 ) математического ожидания доказано.
Пример 2. /,(х)=2х, хе.[0,1]; д-52. Найти ЛЛ/ и Dp.
72
73
Решение: Mq = M^2 = 2jx3dx = Jx2dx2 =^; Dip-M:]2 ~(Мц)2:
1. п 11 1
Dn =----------- —.
3 4 12
о о
1 Tv6 1
Mn’,M^.2jx!dx-Vo з
Пример 3. g:
Р,
-1
02
О
0.
1 2 31 = 2^;
03| Мп - ? Dtj - ?
Решение: Мт] = М2^ = ^2Xi р, = 2 1 0.2 + 1 • 0.1 + 2 • 0.3 + 22 • 0.4 = 2.4;
Мп2 = М22? =£22х'р; =2“2 -0.2+ 1-0.1+ 22 -0.3 + 24 -0.4 = 7.75.
Пример 4. (для самостоятельной работы).
Показать, что математическое ожидание и дисперсия линейной фун
выражаются через моменты аргументов следующим образом:
1) М + bl = + b;
2) D + b = £a?D^ + 2£а;а,К
Здесь а, и А - неслучайные величины.
Числовые характеристики векторной функции
случайных величин.
Если заданы измеримые функции случайных величин
Tlk=<Pk(^j> то числовые характеристики векторной случайной велич
Л = (т11>т12>•••>Tlk) могут быть найдены на основе приведенных выше фор
(1) - (2’). По этим формулам рассчитываются компоненты ве
математического ожидания и дисперсии:
Мт] = (Мт|1,...,Мт1к),
Df| = (Dr|1,...,Dr]k)
и элементы корреляционной матрицы:
74
Функция распределения функции случайной величины.
Пусть заданы измеримые функции 41 =
Ф1(^).П2 =<Р20)
Пк =<Рк(^)-
till распределения 4 известен. Необходимо найти закон распределения для
Юра В = (тв.тп ,...,т)к). Эта задача решается следующим образом.
Чтобы значения f) попали в некоторое подмножество В из множества ее
можиых значений, необходимо и достаточно, чтобы значения Е, попали в
Множество Ав из множества своих возможных значений. Ав - прообраз В,
1|| Л и |х:ф(х) еВ|. Поэтому
| р(ц6в) = р(ЬАв). (6)
Так по формуле (6) при заданном законе распределения £ можно найти
распределения ц. Если В= {fj<y}= {тц <У1,Т]2 <У2>-»'Пк <Ук}> то
i|||pMyiia (6) определяет функцию распределения f):
Fn(y) = p(£eAB)> где Ав = {х:<р(х)<у} . (7)
Конкретизируем решение этой задачи при различных типах случайных
|М*И'|>1н.
Закон распределения функции непрерывной
случайной величины.
I. Функция распределения функции случайной величины
при заданной плотности вероятности аргумента.
I) ()дномерный случай (zz = к = 1).
Дано: В (х), т] = (р(^). Определить Ftl(y).
В соответствии с (7) и свойством плотности вероятности:
l.„(y) = P(4eAB)= (8)
Ав = |x:<p(x)<yj
Многомерный случай.
Дано: | = (^Л2,...,^П) и П(х],х2,...,хп);
’Р:(Ч|1П2>- ,Чк)>гдс 1)! =<pj^),...,T]k =<pk^j. Определить F^(y).
ЛМиногично, на основе формулы (7):
75
Fn(y)=Fn(y
где Ав -- {х:
i=\,k.
x1,x2,...,xn)dx1...dxn,
Пример J. Функция распределения ссуммы случайных величин:
П = ^1 + ^2+-Чп =£^i
Здесь размерность вектора г; равна 1, а Е, — п.
Му) = р(п<у) = J.„Jfr(xi,x2,...,>xn)dx1...dxn.
п
Exi <у
Примел 2.
Функция распределения суммы двух случайных вел.
/ = 1,2; f-(xj,x2) - известна.
Решение получаем, как частный случай! предыдущей задачи (формула!
)dxjdx2 = J J f-‘(x],x2)dx2dx
n = ^i +^2;
Му) =
Замена переменных: z = у + - х2; х2 = z - х,; dz = dx2 ;тогда
X]jZ-x^dzdx, = | jf^(x11,z-xI)dx1dz= J (z)dz, где
Учитывая симметричность
получить аналогично:
Fn(y)= K(z)dz>
суммы! относительно слагаемых, м
гдее fn(z)= Jf^(z-x2,x2)dx2 .
Самостоятельно: Найти функцию рааспределения разности, произвел
и частного двух случайных величин.
(9)(
(Ю)
II. Плотность вероятности функции случайной величины
при заданной плотности вероятности аргумента.
Возможны два пути решения поставлешной задачи.
I) Плотность вероятности ^(Уы,У2> •>Ук) можно найти из
• v?> >Ук)> полученной выше на основе свойства (определения)
Him in вероятности:
Г л, „ „ аЧ(У1’У2- ’Ук)
) 11лотность вероятности функции можно получить непосредственно из
in in вероятности аргумента, опираясь ла “метод сравнения
'1||||и| титей”. Из (6) следует:
р 1'П1и существуют плотности вероятностей р и то это равенство
г^ииннпечея так:
[ 1„ ffn(yi>- >yk)dyi-dyk =P[>...Jf|(x1„...,xI1)dx1...dxn .
i I inn удается с помощью замены переменных перейти от интеграла в
Й|1*1«<11 части к интегралу в левой части, то поставленная задача решена.
М1«||< | тируем найденное решение.
и) Пусть Е, и V] имеют одинаковую размерность (« = А), а измеримые
IfllHiinn <Pj(x) имеют непрерывные произшодные по всем координатам и
:|Й1<<*<о1111ы на А„, где f-(x)>0.
При этом система уравнений у = ф(х:) имеет единственное решение
'(у), а якобиан преобразования координат
| ЩНйчша гам вектора у сохраняет знак. Тогда
Й#Й<|11п преобразования координат х в коордишаты у.
онюда: 1ЦУ1,У2,...,уп)=^(х1(у),...,Жп(у))|1(
вектора х = ф 1 (у)
5xj 5xj
Зу] дх2 ’ ' ’ 5уП Эх2
) = 5у] с»Уп
gx-n
0У1 Эуп
)1> (И)
76
77
Пример 3: r/ = a^ + b, У(0,1). /,(v) - ?
। x2 Л ( 1
Решение: ff(x) = ~7z.—2 , (-oo<x<«>), те. ® 5 ’ /’ ; y-ax+
Л ' 72л B={-00,co}.
Обратная функция: x = —Якобиан преобразования: J (у) - .
j J>' *’)
соответствии c (11) получаем: Гп(у) = -т=г7^ 2a , (-«xy<a>), это означав
л/2я a
что т| ~ N(b,|a|).
Пример 4: rj = ^A + b, где П = (Ч1,Ч2.1 = (^1Л2>---Лп) ’ ве1
независимых стандартных нормальных величин, т.е.:
А - матрица размерности пхл; а,? - элементы этой магри:
b = (b1,b2,...,bn) - неслучайный вектор. I
Необходимо найти плотность вероятности т),т.е. ^(у). I
Решение: Ё, = - bjА 1; х = (у - bjA . В соответствии с (11): |
Му) = k(y(x))lJ(y)l = -Д^-ехр(- (у - b)A-] X ((у - ъ)л ’)Т) (12)
(2л)/2 I
Рассмотрим показатель экспоненты: j
(y-bjA-1 x^y-bjA-1)1 =(у-Ь)А’1(а'1 j '(y-bj1 =(y-b^A1Aj ’ (у - bj|
lJ(yh
Модуль якобиана преобразования х в у:
3x1 _ 1 _ J _ _________1_____
^1 1Л1 |ата|Х |detATA|M
Здесь использованы соотношения: |А| = |лт|; |ата| = |ат||А| = |А|
|А| = |а'га|/2. Что представляет из себя матрица АТА? Это корреляционн!
матрица вектора ц.
78
Hj Действительно, по определению: Rn = - Мт|)Т(т| - Mfj), где
ИМin - b. Поэтому:
Вт К,, = = м(ат^а) = АТМ^'Г^А = АТА .
|Ь Таким образом, плотность вероятности (12) выглядит следующим
||И|т1ом:
Ьц(*) 1 expf |(у - m)R-’(y - m)T'|. (13)
j ^detR,^ V 2 }
v (13) - многомерная нормальная плотность вероятности. Следовательно,
0н<‘||цое преобразование нормальной случайной величины (скалярной -
Л|И1мср 3 или векторной - пример 4) приводит к нормальной случайной
-Й1»' чине (скалярной или векторной). Меняются только параметры
i >сдсления (математическое ожидание, дисперсия, корреляционная
f ♦трина), которые можно вычислить на основе заданного преобразования. Это
• 0Н’ "Дно замечательное свойство нормального распределения.
Л) к < п; т] = ; (14)
(• (' i- Лп); П = (П1,П2, -,Лк); ^(*) - известна и п = ф(^ имеет
• 01ПН гвенное решение относительно каких-то “к” координат. Необходимо
j 0111И 1п(у).
| Решение: Пусть (х1,х2,...,хк) - вектор, образованный значениями
0прл11иат, относительно которых существует решение уравнения (14).
Днноаним вектор р и , соответственно, вектор его значений у до вектора
Цадкрности “ п ” путем добавления к нему координат:
Н»11 1>зк+1 >Лк+2 = к+2 >: Л П = У к+1 = хк+1 >Ук+2 = хк+2 ’••>Уп = хп-
11олучим вектор значений размерности “п”:
У’ =(У1>У2, --,Ук>Ук+1.Ук+2> -.Уп)- (15)
Теперь мы находимся в условиях случая а) п = к. Поэтому плотность
|*|и»|| пости случайного вектора т)* запишется так:
1„(у‘ )=1у(У1>У2>--.Ук>Ук+ь-->Уп) = ^(х(у’))|1(у‘)|- (16)
Нас интересует, однако, плотность вероятности вектора f] размерности
> |» >• и Она может быть найдена на основе условия согласованности:
>2. -,Ук)= J •J 1ДУ1,У2,---,Ук,Уиь---,Уп)<1Ук+1---<1Уп- (17)
—ио —оо
п-к
79
Пример 5: i]"^i+^2> ^(xi>x2) " известна. Найти ила
ность вероятности f ,t(y)-
Решение:
У1=у--Х|+х2; У2=х2; у = уьу2 ; . 2
v ’ I х2-у2.
|)(у>
^•(У1.У2)=^(У1 -У2’Уг); fn(y)= r -Уг.Уг^Уг
Полученный результат совпадает с формулой (10) из примера 2. Есл^
разрешить уравнение относительно х2 -y-Xj и ввести компонент
у Ь то можно получить: fn(y) = J^(у1,у - y^jdy*.
Аналогичным образом можно найти плотность вероятности случайны:
величин: т| = £,, £,2; Т] =
; т] = £,( - £,2 (самостоятельно).
Случай преобразования плотностей вероятност и, когда к > п бе
дополнительных условий не рассматривается, т.к. он неоднозначен.
с) n = k = l. Т| = (р(у), где <р(^) - немонотонная функция. В этом случае
обратное преобразование неоднозначное, и при каждом значении у случайно!
величины 7] имеется конечное или счетное множество значений случайно)
величины
80
При этом, как и ранее, плотность вероятности rj можно найти на основе
равенства:
K(y)dy= U;(x)dx-
В Ав
Область интегрирования Ав следует разбить на части (участки
монотонности р(х)), в каждом из которых существует нс более одного решения
уравнения а затем выполнить замену переменных в каждом из
полученных интегралов:
, . 111 , , .JdX:
c,(v) X ‘'.(^ i(y)) ' dy.
Н | ay
(17)
Здесь Xj - решение уравнения y a>(x) на j - том участке монотонности
функции <р(х).
Пример 6'. T| = |£|; -«><£<оо; ff(x) - известна. Найти 1т)(у)
Решение: График функционального преобразования изображен на рис.3.2.
Разобьем область возможных значений случайной величины х е(-оо,оо)
на участки монотонности (- «/)] и (о,«.).
81
Тогдй tin нервом ymciKc Xj -y; |.l1(y)|^| -ij = 1. На втором уча,
x7 У.рД>')| 1'1 1. в соответствии c(17): fn(y)= f^(-y)+f£(y), у >0.
Если (у) - четная функция, то fn(у) = 2f? (у); у > 0.
Закон распределения функции дискретной случайной величин!
Ограничимся рассмотрением одномерного случая, т.к. принциниальн
отличий в нахождении закона распределения многомерных дискрета
случайных величин нет.
Пусть ?/ = <»(£), где £ - дискретная случайная величина, заданная ряд
распределения: £: — ------------
Необходимо найти закон распределения г/.
Решение этой задачи: Т.к. - х;)= Р(г| = <р(х;)), то можно состави
таблицу Pi Р-, _ . По такая таблица еще не является ряд
распределения для t]. Для того, чтобы составить ряд распределен!
необходимо:
1) расположить значения <р(х;) в порядке возрастания;
2) объединить те значения, которые окажутся равными (это может бы
если <р(х) - немонотонная функция) и сложить соответствующие вероятности.
Пример 7. и ~ g-
-2 -1 0 1 2
0.3 0.1 0.1 0.3 0.2
Пос гроить ряд распределения для //.
Решение: Вначале составим неупорядоченный ряд:
Pi
0.3
0.1
о
од
0.3
4
02
Ряд распределения 7 = <р(х):
U'
и, |бЛ|б.4 |0,5
о
4
Функция распределения смешанной случайной величинь
полученной из непрерывной путем функционально!’
преобразования.
82
: Рассмотрим решение этой задачи на конкретном примере.
Пусть £ - случайная величина, плотность вероятности которой 1У(х), а
Цинния распределения I'f (х), -«> < х < <ю.
<р(х)
Рис. 3.3
Имсшся
рис 3.3:
функциональное преобразование, график которого изображен на
П = Ф(£) =
а;Е < а,
Е;а < £, < Ь,. Найти Fq (у).
Ь;Е > Ь.
Гниение: г; - случайная величина смешанного типа, е[а,Л]. На границах этого
ишсрвала: /'(// а) - < а) = /;,(«) ;
Р(г/ = b) = P(g> bi) - 1 <£>)=!-/-;(*) .
Внутри интервала: Fq(у) = Р(т] < у) = Р(Е < у) = (у), а <у<Ь.
Таким образом, функция распределения i] имеет следующий вид:
Fn(y)=P(n<y) =
0;у < а,
F?(y);a<y<b,.
l;y>b.
Рис. 3.4
83
Раздел IV. Характеристические и производящие
функции.
Лекции 12,13. Характеристические и производящие
функции случайных величии.
Комплексные случайные величины.
Наряду с вещественными случайными величинами, мож1
рассматривать и комплексные случайные величины, понимая под эт1
функцию: ,
^,+^2, (1)
где Л2) - случайный вектор действительных случайных величин, i -
Тогда M^ = M^+iM^2. (2)1
Комплексные случайные величины ^ = ^j+i^2 и г] = т), + ii|2 нсз<
висимы, если независимы вектора 0(,52) и (гц,т]2), (т.е. все компонент;
векторов попарно независимы). Для независимых комплексных величин
т| справедливо равенство:
М(£ • т]) = ME, • Мт). (3)
Характеристическая функция.
Характеристической функцией случайной величины Е, называется
математическое ожидание комплексной случайной величины И ’:
zL^ltXjPj - если Е, - дискретная;
j
Ct?
g4(t)=M^= KxdF.(x) =
— CO
0)
co
- |7ltxf^(x)dx - если E, - непрерывная.
—00
Здесь t - действительная переменная, -оо < t < <ю.
84
1Ня случайная величина имеет характеристическую функцию, т.к,:
X^'x,tjpj <о°;
UtkJ
J ji,lxl |f^ (x)dx < со.
оо
Нрпкт еристическая функция g> (t) равномерно непрерывна по t.
Свойства характеристической функции.
(|)|<1 для всех t.
flfffKii штельство: |g- (t)| < j|dF? (x) = I.
П !.('>) I.
Диынательство: g^(0) = pl0*dI^(x)= 1.
— co
I I I'.j ( t) = Ik (0, где черта означает комплексное сопряжение.
оо
Цтипательство: g; (t) = j f.'ltKdF^ (x) = (-1).
—QO
Замечание: Если f^(t) - четная функция, то g^(t) - вещественная
функция. Действительно, в этом случае:
СО 00
Se(O= J rIlxf?(x)dx= pltyf\=(y)dy = g?(t).
—СО -СО
1)1 ели Т] = а£ + Ь,то gn(t) = ^lbtg5(at).
Диыпательстео: g^(t)== M?(a?+b)t = ?btM?a?t = ?b,g|=(at).
Д Если £,j - независимые случайные величины, то характеристическая
п п
функция TiXzL^j имеет вид: gn(t) = П (t)
j=i j=i '
85
Доказательство: По определению характеристической функц
в
t п , n п
gn (t)=Ш = мп = п = П g?j (0
i I j. I j 1
Пример 1. Характеристическая функция нормальной случайной велич:
~ N(a, о). Найти (t).
Решение: По определению:
1 °° itx---
у/ 2,71 а _co
1 «° iv« -----
dx = . 71а* р 2’’ dv
" by- V Вл h
Замена: y~-x-a,‘ x~y+a; dx = <Jy. { J t 2 dy = J—£2c
V c
здесь Ь =
1 1 r,
c - —}. Поэтому
°2'2 •,
, 1 2 =/ 2 .
у2л ст
ial--
Итак: gf. (t) = I 2
Пример 2. Характеристическая функция случайной величю
распределенной по биномиальному закону с параметрами п и р.
Решение.
Я / . \ п
г>/с \ г’П! in n-m. п /Л v-1 m п-m /«it,, .
Р(£ = т) = Спр q ;g§(t)=2J Cnp q = £ p + q) .
i=0 ' '
Пример 3. T) = c^ + b; ~ N(a, о). Найти gn (t).
Решение: На основании свойства 4 и результатов примера 1:
gll(t) = rbtg5(ct) = ^bt/ 2 =^(JC 2 q~N(ac + b,|co|).
Получили характеристическую функцию нормальной случай
величины с параметрами (ас + .
86
Хнрактеристическая функция и моменты случайной
|ел1ичины.
I. Начальные моменты.
Теорема 1. Если существует абсолютный момент к - го порядка
(щупанной величины £, то существует к - ая производная характеристической
функции.
Доказательство: Дифференцируя по /(4), получаем:
ОО
g^(t) = i Jxfx,d^(x);
g^(t) = i2 Jx2ZixtdF^(x);
— СЮ
оо оо
EW(l).,‘fx‘r»dF5(x)<.‘ ЦхфЩх)<».
—оо —со
. . со
Следствие: При / ~ 0: '(0) -- ik Jxkdl'f (x) = ikotk . Откуда получаем
—00
формулу для вычисления начального момента к - го порядка:
«к =i~kgJk)(O). (5)
Если £ имеет начальные моменты до v - го порядка, то харак-
H’piiic i ическую функцию можно разложить в ряд Маклорена:
мо=1+£-7>М‘1к)-
к=1 к! ' '
II. Центральные моменты.
Рассмотрим центрированную случайную величину i ~ с - Мс,.
Хнрактеристическая функция этой величины может быть определена на
Di попе 4-го свойства характеристических функций:
(t)=(t).
87
Теорема 2. Если существует центральный абсолютный момент к - го
порядка то существует к - ая производная характеристической функции
центрированной случайной величины.
Доказательство:
со \ 00
gf (‘) = ,к / (*-М;)МХ М?Ц(х)<1к J(x-M^)kdF5(x);
—ОО —00
При / = 0: g^(O) = ikM(f; -M^)k = ikpk. Откуда:
pk=i“kgW(O). (7)
Если Е, имеет центральные моменты до к - го порядка, то справедливо
разложение характеристической функции ее центрированной величины в ряд
Маклорена:
V ' к
Соотношения (5) и (7) дают простые способы вычисления моментов
случайной величины, а (6) и (8) - разложения характеристических функций по
степеням t .
Пример 4. Используя характеристическую функцию, найти
математическое ожидание и дисперсию £ ~ N(a,o).
iat--
Решение: В соответствии с результатом примера 1: g- (t) = 2
М£ = а
i !ia = a.
88
Пример 5. Найти математическое ожидание и дисперсию случайной
величины распределенной по биномиальному закону.
Решение: В соответствии с результатом примера 2:
Г.<(1) = (^“р + ч)П; g^(t)=n^ltp + qjn 1 • ipC‘; M^ = a1=np.
и
+ n^rtp + q) p£:t
t=o
n(n- l)p2 +np.
2 2 2 2 22 / \
I)f, --a2 -ai = n p - np + np - n p = np(l - p) = npq.
Характеристическая функция векторной
случайной величины.
Пусть = (^1,Е>2> - Лп) векторная случайная величина. Харак-
|сристической функцией векторной случайной величины по определению,
Н.нывается функция л - действительных переменных I = tn):
g^(t)=M^T. (9)
В частности, для непрерывных компонент вектора £, формула (9) имеет
ИНД
СО оо
g^(t)= J ...pffi'f-(S)dx. (10)
—ОО —оо
Для дискретных компонент вектора | в формуле (10) вместо
шпегралов появляются соответствующие суммы.
Свойства характеристической функции
векторной случайной величины.
I Характеристическая функция (9) равномерно непрерывна по всем
1|>гументам tj, j = 1,п.
89
2. Если - независимые случайные величины, j=l,n, то ха^
рактеристическая функция вектора | = (j; j,...,£п) равна: |
gg(t) = flg^Oi) (П) ;
Доказательство: Представим (10) следующим образом: |
п 3
П П . )
g^(t) = M^=1 =n^J,i = rig?i tj •
j i j i |
3. g-(0,0,...,0) = 1. *
4- - J • :
5. g^(t1,t2,...,tm,o,...,o) = g-,(t1>t2,...,tm), где I* =(^,^2,...,^ln). 310
условие согласованности, позволяющее по характеристической функции
вектора 4 размерности п найти характеристическую функцию вектора
меньшей размерности (m < n). j
Теоремы обращения и единственности. |
При заданной функции распределения всегда можно найти
характеристическую функцию. Имеет место и обратное утверждение: па
характеристической функции можно однозначно определить функцию*
распределения. *
Теорема I. (Формула обращения).
Пусть g(t) и F(x) - соответственно характеристическая функция И;
функция распределения случайной величию! Если х, и
непрерывности /-(х), то
I С л-itx, _ «-itxj
{.- -У----------
х2
(12)
Без доказательства (см.[3), стр. 214).
90
Следствие: Если существует Iy(x)=f\(x), (те. £ - непрерывная
1 " .
случайная величина), то П(х) = j £~ltxg^ (t)dt.
Доказательство: Используя (12), и определение плотности
вероятности имеем:
, . F(x,)-F(x,) 1 7 Г*1'
l,(x,)^ lim -7-------------•=- — lim f lim —---------4 g£(t)dt
(xj-xJ-iO (x2-Xj) 2яc->«o ^(xj -xJ-^o it(x2-X])
(13)
^-ix,t _ ^-ix2t _/£ ’(MM1 _/-«>’j d£-ix,t
lim -------= lim - A--------------- -J- = - ----- = itFltx> .
(xj- X|)=Ax->0 (x2 - X]) Ax->0 Ax dX]
(14)
Подставляя (14) в (13), получаем:
мх)=~ЬжйХ£к- <15)
Что и требовалось доказать.
Теорема 2. (Теорема единственности).
Функция распределения однозначно определяется своей ха-
рактеристической функцией.
Доказательство: Из теоремы 1 следует:
] “ £~'ЛУ
Fr(x) = — lim lim (-------;-----gf(t)dt, где предел по у берется по
' 2п у->-<и с-»» it ъ
множеству точек, являющихся точками непрерывности А(х). После
Из (16) можно получить формулу (15)
предельного перехода имеем:
1 00 _ /-itx
Мх)=^ 1 -ygJtK (16)
. 1 w .
^(х)=^ Jr%(0dt-
91
Замечание: Характеристическая функция содержит всю информацию о
случайной величине задание характеристической функции полностью,
определяет данную случайную величину.
Характеристическую функцию удобно использовать в задачах
композиции.
Пример 1. ~ N(aj,<Tj L - независимы. Определить закон
j=i
распределения г/.
Решение:
О. t • к -• . j- -1 f С
П П ja (—I п п
еп(0 = ПА(0 = ГР ’ г = n ,!> .
j ! J 1 KJ ! V I 1 /
k
Пример 2. H = ~ ' независимы. Определить закон
j=l
распределения p.
Решение: gq(t)= Пёг(0= П(ч + = (q + Р«11)^ => П~|.
j=i j-) )
Закон распределения называется композиционно - устойчивым, если
сумма независимых величин, подчиненных этому закону, имеет закон
распределения такого же вида. *
Самостоятельно: привести примеры композиционно - устойчивых
законов распределения. j
Производящая функция и се свойства.
Производящей функцией дискретной случайной величины
называется функция вида: 1Ц(г)= Mz^ =2zXjpj, ze[0,l]. (17)
Ряд (17) равномерно сходится на [о,1].
Будем рассматривать только целочисленные случайные величины.
Пример 1. Производящая функция случайной величины которая
принимает значения: 2,:
о 1
1-Р р
R(z) = (1 - p)z° + pz1 = 1 + p(z - 1).
Пример 2. Производящая функция распределения Пуассона.
1 ш
Pfc = m) = ---r\
' 7 m!
m = 0,1,2,...
m=o m! m=o m!
Свойства производящей функции.
I.R(1)=1.
Доказательство: R(l) = 23 Pj = ’ • (условие нормировки),
j
}.. В силу равномерной сходимости ряда (17), R(z) - непрерывна на [0,1].
3. R(l)=M!j.
Доказательство: R(z) - ^3 z'Pj 1
= SjzhIPj
j
1 R"(1)=mV -M£.
Доказательство: R (z) = X.j(j-l)z'i'2Pj
j Z=1
j=l
*> Для целочисленных случайных величин 7?(z) - неубывающая и выпуклая
вниз функция на полуинтервале [0,1).
= f
Z l
93
6 Единственность. В силу единственности разложения целой функции,
производящей функции распределение восстанавливается однозначно:
(18)
N N
7. Если т| = > гДе St - независимые, то R,t(z) = |J R? (z).
k-i k=i к
Доказательство: R r)(z) = Mz1’1
N N
= FIMz?k = FIMZ)-
к=1 к=1
п
Пример 3. U == 21^1 > s, =n(A.j). Определить закон распределения д.
i=t
Решение: По 7-му свойству производящей функции:
1 (z"VS^i (п \
Rn(z) = П^^(2) = {из примера 2 } = J~p ''z = I => т]~П У I.
j ‘ j М=1 /
Отсюда следует, что распределение Пуассона является композиционно
устойчивым законом распределения. Таким образом, наряду
характеристической функцией можно использовать производящую функгцп
для определения композиционно - устойчивых законов распределения.
94
Раздел V. Предельные теоремы теории вероятно-
стей.
Лекция 14. Центральная предельная теорема.
Виды сходимости последовательностей случайных вели-
чин.
Как и и математическом анализе, в теории вероятностей приходится
иметь дело с разными видами сходимости случайных величин. Рассмотрим
основные виды сходимости: по вероятности, с вероятностью единица, в сред-
нем порядка S, по распределению.
Пусть ^j,E,2и Е, - случайные величины, заданные на некотором ве-
роятное гном пространстве или <£1,А.,Р>.
Определение 1. Последовательность случайных величин £!, Е, 2,... на-
тывается сходящейся по вероятности к случайной величине %, если для
любого с > 0: Р{|^п - 0, п -> ». (1) Обо-
значение:
Примечание: в анализе этот вид сходимости называется сходимостью
по мере.
Определение 2. Последовательность случайных величин на-
зывается сходящейся с вероятностью единица (почти наверное, почти всю-
к случайной величине Е,, если Р{<о:^п -А = 0, (2)
т е. множество элементарных событий (исходов), для которых £,„(«>) не схо-
ди гея к Е(й'), имеет нулевую вероятность.
Определение 3. Последовательность случайных величин на-
зывается сходящейся в среднем порядка s (0 < s < °°) к случайной величине
(, если М|Е,„ - Ej|s —> 0, п -> со . (3)
()бозначение: Е, п-> Е,.
Примечание: 1) В анализе этот вид сходимости называют сходимостью
в смысле 1/.
95
2) В частном случае s = 2 эту сходимость называют сходимостью в
среднеквадратическом.
Обозначение: 1. i. m. n = £ .{limit in mean - сходимость в среднем).
п—>00
М(^п-^)2->0, п->оо. (4)
Определение 4. Последовательность случайных величин , Е,2,... на-
зывается сходящейся по распределению к случайной величине , если в каж-
дой точке непрерывности л:
F^(x)-?Fjx), при и-»». (5)
Обозначение: F? (x)=>F^(x) или f,n—
Замечание: 1) О сходимости по распределению можно говорить и то-
гда, когда и J; заданы на разных вероятностных пространствах.
2) Сходимость по вероятности, в среднем порядка 5 и почти наверное
может рассматриваться и к неслучайной величине.
В математическом анализе для решения вопроса о сходимости (в том
или ином смысле) заданной последовательности функций используется поня-
тие фундаментальной последовательности, или последовательности Коши.
Можно ввести аналогичные понятия и для первых трех рассмотренных видов
сходимости последовательности случайных величин.
Будем говорить, что последовательность случайных величин фун-
даментальна по вероятности, с вероятностью единица и в среднем порядка s,
если выполнены соответствующие условия. Например, если
для любого к > 0 р{^п-^П1|>е}->0 при п,П1-> оо, последовательность
фундаментальна по вероятности, если М|^„ -с,ГпР “>0, п,1п>сд.
фундаментальна в среднем порядка s .
Связь между различными видами сходимости.
Теорема 1. Имеют место следующие импликации:
(6)
, (7)
, (8)
Доказательство данной теоремы, а также теорем о существовании фун-
даментальных случайных последовательностей см. в [ 5J.
Центральная предельная теорема.
96
Под этим названием выступает группа теорем о сходимости по распре-
делению суммы большого числа слагаемых к случайной величине, распреде-
ленной по нормальному закону.
Центральная предельная теорема для независимых оди-
наково распределенных случайных величин.
Теорема. Пусть последовательность независимых оди-
наково распределенных случайных величин с М2,j = а < да и D2, j = ст2 < да,
п
i -= 1,2,...»n; Sn = . Тогда при п оо:
(9)
Inn Р<|S" MS" <х Ф(х),
п-юо [ VbSn j V ’
1 X —t2/
Здесь Ф(х) = J £ zl dt.
Доказательство:
Sn - MSn
— .—, утверждение теоремы перепишем таким обра-
-7DSn
юм: lim Р(т]п <х)= Ф(х), т.е. последовательность т)п сходится по распреде-
П->00 7
Обозначив т|
пению к стандартной нормальной величине. Докажем это.
п
Учитывая, что MS„ = XM£,j - па; DSn = пет2, можно записать:
j=i
S£j-na
,, _J=1
Лп ~ 7=
11усть (t) - характеристическая функция 2,. Тогда:
8no(0 = П=
j=i j=i
Разложим характеристическую функцию 2, j в ряд:
(Ю)
(Н)
Подставляя (И) в (10) и ограничиваясь первыми двумя членами ряда, полу-
97
n ( n2t2 ( t \2>l ( t2 ( t W
g„(O=fl 1--------T“+Ol ---7=1 = 1-------+ 0|--7=1
” j=i^ 2ст2п VaVn/ J v 2n \<т%/п/ ,
t2
При n -> от lim g = I. 2 , следовательно T]n ~ N(O,1) при n - > ад, что и
бовалось доказать.
Следствие из центральной предельной теоремы:
Среднее арифметическое п независимых, одинаково распределенных
случайных величин сходится по распределению к нормальной случайной
„ 2 /
величине со средним значением а и дисперсией /п , где а = MJ; j,
q2=D^.
Доказательство
1 11
Рассмотрим наряду с %„ = - j нормировгнную частичную сумму
n j j
д -i
n n = ' 1 , • Очевидно, что % n = p n т a, (12)
л/no2 Vn
t.c. среднее арифметическое есть линейная функция т|п. В соответствии с
центральной предельной теоремой при п -> °> Ли ~ Ы(0,1), следовательно
при п —> ад случайная величина у п тоже распределена нормально с пара-
метрами I а,” , которые нетрудно получив из (12), что и требовалось до-
v л/пУ
казать.
Предельная теорема Муавра-Лапласа, как частный слу-
чай центральной предельной теоремы.
Теорема. Производится п испытаний, > каждом из которых событие А
появляется с вероятностью р и не появляетс; с вероятностью q = 1 - р, ц -
число появлений события А в п испытаниях Тогда при п -> а> равномерно
относительно а и b имеет место соотношеше:
98
: pfa^^Jcbl-^-^fr^dz, (13)
h V VnP4 ) <271 a
„ p np
, случайная величина r]n = —сходится по распределению к стан-
л/npq
дн|Р гному нормальному распределению.
Доказательство:
(Хрочначим - число успехов (появлений А) в j - том испытании. Слу-
адфные величины Е, j независимы и имеют одинаковое распределение, опре-
0 1
Т-Д р
1|ц|сло появлений Л в п испытаниях запишется, как р = ;
>1
" П /21
M1(i = £M^j--=np; Dn = £D^j =nlp-p )== npq .
j । j 1
В соответствии с центральной предельной теоремой при п -> °о слу-
чайная величина т]п ~N(0,l). Отсюда следует утверждение теоремы.
Замечание: Теорема Муавра - Лапласа (или просто Лапласа) была це-
нтрически первой доказанной формой центральной предельной теоремы.
Мы рассмотрели центральную предельную теорему для частного слу-
чая одинаково распределенных слагаемых. Другие, более общие (и более
сложные) формы центральной предельной теоремы приведем без доказа-
icjubCTBa.
Теорема Ляпунова. Пусть E,j,^2,независимые случайные вели-
чины с математическими ожиданиями
-у 7 7
,сг2,...,оп, причем при п-»оо:
и дисперсиями
(14)
где - гпр тогда при п -> со закон распределения случайной величины
п
q = 22 ъ j стремится к нормальному.
1=1
99
Замечание: Смысл условия (14) состоит в том, чтобы в сумме /д, не Щ
было сдаваемых, влияние которых на рассеивание суммы подавляюще велтп^И
по сравнению с влиянием всех остальных, а также не должно быть большог^И
числа случайных слагаемых, влияние которых на рассеивание суммы исче- >И
зающе мало по сравнению с суммарным влиянием остальных, И
Наиболее общим необходимым и достаточным условием сира- В
ведливости центральной предельной теоремы является условие Линдеберга.’Я
Теорема. Если для любого т > 0: Я
limDn2S f (x-nij) dFj(x) = O, (15)
П>С° J
где Fj(x) - функция распределения случайной величины nij = Мф(;
п п С _ K4Q Я
j=i j-1 ф1-^п Я
(Без доказательства). Я
Сущность всех центральных предельных теорем: сумма случайных ве- *1
личин сходится по распределению к нормальной случайной величине при не-
ограниченном увеличении числа слагаемых, если вклад каждого слагаемого ;|
одного порядка. ;|
Примеры использования центральной предельной теоре- j|
т
мы. 1
Пример 7. Показать, опираясь на центральную предельную теорему, I'
что частота появления события сходится по вероятности к вероятности появ- I
ления этого события. |
100 И
и
Решение: 11усть Р(а) = р - вероятность появления события А в от-
п
ильном опыте, - число появлений А в j -том опыте, Ц = ' числ0
” j=i
„ Л И 1 Л с Л
Ипмилении А в п опытах, v = — = — > t; - частота появления А в п опытах,
n nj=i
Очевидно, что с; j - независимые случайные величины с одинаковым
piи(«делением , = пр; Dc,; = pq .
В соответствии со следствием из центральной предельной теоремы при
I -vPQ I
it > со v ~ N р,~=- . Поэтому при п »1 справедливо соотношение:
\ Vn J
, С у/ П
г Р„: <v“7S р/ г гпу
p(|v - р| < к) [ ( 2p<1 dx f t /2dt = <₽0 .
ДсрчД Лл о \VPV
При и -> оо p(|v-p| > е) = l-P(|v-p| 5 е) = 1--> 0, т.е. v—р-->р,
чго и требовалось доказать.
Пример 2. Записать алгоритм формирования стандартной нормальной
щучайной величины из последовательности где ~R(O,1); j = l,n;
и > «г.
Решение: В соответствии с центральной предельной теоремой при
п п
и >со случайная величина р п = ——---------у ~ N(O,1). Поэтому до-
V >1
п
паточно найти M^E,j
п 11
Ь i-'I
—, чтобы записать требуемый ал-
горитм:
п
2
(16)
101
Замечание: Алгоритм (16) используется для формирования нор-
мальных случайных величин на ЭВМ. Как показала практика, n > 10 можно
считать достаточно большим. Полагая п = 12, из (16) получаем более просто
алгоритм:
12
n„ = E^j-6. (п
j=i
Пример 3. Производится 100 измерений неизвестной величины а.
Ошибки каждого измерения являются независимыми одинаково рас-
пределенными случайными величинами, Sj - результат j - того измерения.
M£j = а; j = о2 - 0.01 (дисперсия результата измерения определяет точ-
ность отдельного измерения). Найти величину А, для которой
1 100
I 100j
= 0.99.
< А
Решение: В соответствии со следствием из центральной предельной
теоремы среднее арифметическое % =
1 " 0.Г1
этому -а|<Л) = Р(-А<х-а<А) =
Г Д п
-Др *Лк=-Дх
A-Jr
f = 0.99.
о < ° >
По таблицам функции <4>0(z) = *т== f ^dt находим = 2.58, от-
V2Tt Q G
куда А =2.58 х 10”2.
Замечание: Как следует из примера 3, среднее арифметическое при
большом числе измерений имеет существенно большую точность, чем от-
дельное измерение.
102
-Z^j-a<E =0.99.
nj=i )
1 11
примера 3 следует: Р — - а
\ n i-1
= ф» -3- = 0-99;
Пример 4. В условиях примера 3 найти необходимое число измерений
/
для того, чтобы Р
к
Решение: Из
- 2.58, отсюда п = —~ • (2.58)2 = 6.66 • .
о е2 £2
Пример 5. Вероятность появления события Р(А)= р- неизвестна. Ее
определяют по частоте появления А в п опытах. Сколько надо произвести
опытов, чтобы Р(|v - р| < Д) = 0.9.
Решение: В примере 1 показано, что при n » 1 случайная величина
v - N| р,. Откуда Р(|v - р| < л) = = 0.9. Из таблиц функции
I Vn J к \'РЧ 7
, . 2 г»-‘2/л А/п хе 2:72 1- к ,
<7>0(z) = --7-^-- f. /2dt находим =.-- = 1.65; п-—у pq. Если требуется, чтобы
л/2л ' VP4 А
„ А „,
обеспечивалась некоторая относительная точность, например —- 0.1, то
Р
п = 2.72[ ~ -11, т.е. чем меньше р, тем больше п.
кр 2
Лекция 15. Закон больших чисел.
Индикаторная функция и ее свойства.
Пусть (Q,F,p} - некоторое вероятностное пространство и = ^(и) -
случайная величина, заданная на этом вероятностном пространстве.
Назовем индикаторной функцией 1А функцию:
. , Г1,^еА;
1д -1(а)’“[0,^а.
Свойства индикаторной функции.
1) М1А =Р(^еА);
юз
Доказател ьство:
MIA= flAdFc(x)= J dF?(x)+ JO dF^(x)= P(^ eA).
-oo (x:£eA)
2)Ia+ia = 1;
3) ln = 1, где Q = {- co,™}; z <0=0;
I ab = J a ' I в; 6) I ,, 1A +IB -IAB.
Доказательства свойств 2-6 выполнить самостоятельно.
Неравенства Чебышева.
Теорема 1. Пусть (j - неотрицательная случайная величина. Тогда для
всякого к > 0 [’((,'> е) < . (18)
Доказательство: t, = > с) + Д((, < е) > к е) > с!(ч > к);
Mq > еМ l(( > е) ; М£ > f.'P(( > е) . Откуда следует: P(f, > с) < — , что И
требовалось доказать..
Следствия из теоремы: Если - произвольная случайная величина,
то:
р(|^|>е)<-МЙ; (18’)
P(|^e) = p(^>e2)<^s (18”)
Р(^-М^|>е)<Р|. (18”’)
Е
Неравенства (18’) и (18”) следуют непосредственно из теоремы.
Доказательство (18’”):
р(1£ - м^| > Е)=pfe - м^)2 > е2) < =PI.
' ’ E Е
Пример. Используя неравенство Чебышева, оценить вероятность того,
что случайная величина отклоняется от меньше, чем на Зег.
Решение: Р^Е, - МЕ,| > За} < -5у = ;
Р(|£, - М(,| < За) > 1 - Р(£ - М^| > За) > | = 0.888 « 0.9.
Это нижняя граница вероятности. В зависимости от законов распределения
104
она бывает значительно выше, например, для нормального закона
Р(|£-М£|< За) = 0.9986.
Закон больших чисел.
Под этим названием в теории вероятностей существует группа теорем,
в которых устанавливается факт сходимости суммы большого числа случай-
ных величин к некоторой константе.
Теорема Чебышева. Пусть ,Е,2,независимые случайные ве-
личины, такие, что = m j < <х> и DC, j = a j < С < °о. Тогда
1" р 1"
—> прип->оо.
Hj] П>1
(19)
1 п
Доказательство: Обозначим т]п = — ;
П i,_1
1 п
Mon =- 2>j
П Ы
н м
Согласно неравенству Чебышева (18”’), для любого е > 0:
п
х»;
1 п 1 11
п i=l П fe:
Dnn
Т.е. Р
1 ч 1 п
--Xmj
ni=1 J nS J
>e
-> 0, при n -> co.
Л!
1 n p 1 n
Следовательно — У, E,j------>~~ X m j > ПРИ n 00 •
n j=i 11 j=i
Следствия из теоремы Чебышева
105
I. ТеоремаХинчина. Если £1(£2>...,£п- последовательность незави-
симых одинаково распределенных случайных величин, таких, что
. 1 " р
ML - а < да; DS,; = a <со, to - YL---->а при n-»w.
J n j=l
Доказательство: Мы находимся в условии теоремы Чебышева, кроме
1 ”
того, М — J}L = а, отсюда следует правильность нашего утверждения.
пн
U. Теорема Бернулли. При неограниченном возрастании числа п неза-
висимых опытов, в каждом из которых событие А появляется с вероятностью
Р(Л) = р, частота появления события сходится по вероятности к его вероят-
ности р.
Доказательство: Если - число появлений события А в j - том опы-
[1,А; ] "
те, то L = I л = < — ; v = — У L - частота появления события А.
’ А [О, A. n£ J
M£j = р; Mv = р . В соответствии со следствием I закона больших чисел в
1 n Р р
форме Хинчина —'-------->Р,т е- v-----> Р> п->оо.
ПН
Замечание: Доказательство к этому следствию уже рассматривалось на
основании центральной предельной теоремы в примере 1. Это очень важный
результат, поскольку является теоретическим обоснованием тому что вероят-
ность любого события определяется на основе экспериментальных данных
путем подсчета частоты появления события. Это используется в статистиче-
ских экспериментах и математической статистике.
III. Теорема Пуассона. Производится п независимых испытаний. Если
Р(А) = р j - вероятность появления события в j - том опыте, то частота появ-
1 11
ления события в п опытах при п -> со сходится по вероятности к — У р =.
П»
Доказательство: Следует непосредственно из теоремы Чебышева.
106
Теорема Слуцкого. Если случайные величины ^п,т]п,...,уп при воз-
растании п сходятся по вероятности к соответствующим неслучайным вели-
чинам x,y,...,z, то любая рациональная функция R(^n,T|n,...,y п) сходится по
вероятности к неслучайной величине R(x,у,...,г)(если R(x,у,..., z) не обра-
щается в оо).
(Без доказательства).
Усиленный закон больших чисел.
Усиленным законом больших чисел называются теоремы, в которых
утверждается сходимость (19) не по вероятности, а с вероятностью единица.
Один из первых результатов в этом направлении содержится в следующей
теореме.
Теорема Кантелли, Пусть - независимые случайные ве-
личины с конечным четвертым моментом и такие, что для некоторой кон-
станты С: М|^п - М^п|4 < С, n > 1 ; тогда при и -» оо:
1 №' к Г1.Н. 1 v* ххк
—> Ж-
л j l п >1
(Без доказательства).
107
Раздел VI. Распределения, используемые в
математической статистике.
Лекция 16. Распределения некоторых функций от
нормальных случайных величин.
Рассмотрим, опираясь на знания, полученные в предыдущих лекциях,
распределения, играющие важную роль в приложениях, а также в задачах
математической статистики. Речь идет о распределениях функций
специального вида от векторной нормальной случайной величины
плотность вероятности которой определяется формулой (16) /ель Лекцию 9].
I. х2 - распределение.
Случайная величина
%2=&Ь
j=l
(1)
где - независимые компоненты вектора, распределенные по стандартному
нормальному закону, распределена по закону %2 с п степенями свободы.
Найдем плотность вероятности х2> используя характеристическую
функцию и ее свойства. В соответствии с определением, найдем харак-
теристическую функцию слагаемого:
1 °? ( 2 X2V 1 7 ( (l-2it)x2\
g 2(t)=N«5j J exp ix t-—- dx=-y= J exp --— -------------------|dx =
1 00 --- 1
= _—f t 2 dy — -=J=.
-J2n(1-2it) Д TO~2it)
По свойству 5 характеристической функции:
n 1 |
M Л1 “ 2it) (1 - 2it)/?
(2)
108
Опираясь на следствие из теоремы обращения (15) [см. Лекцию 13].
получаем:f 2(х)= — f rlxtg 2(t)dt = — [--—/-/“lxtdt = —---£ ,
zv; кхи 2дД(1~2к)% j /пч
х > 0.
(3)
00
Здесь F'(z)= Jtz l/-tdt - гамма-функция, которая для целых и полуцелых
о
аргументов рассчитывается следующим образом:
Г(п) = (п - 1)!; rQ = Г(к +1) = л/2л(2к - 1)!!.
График плотности вероятности %2 - распределения (3) при различных
степенях свободы представлен па рис. 6.1.
Найдем, используя характеристическую функцию (2), математическое
2
ожидание и дисперсию % :
1^;(1) = ’п(1-2‘0 2 g^(t) = 2‘2n[^+l](1-2it)'2-2; Мх2 = i“’gx2(О) = п.
(4)
1>Х2 =ос2-Мх2; а2 =i 2g\.(0) = 2n + n2; Dx2 =2n. (5)
При неограниченном увеличении числа слагаемых в (1) в соответствии
с центральной предельной теоремой распределение х стремится к
нормальному распределению с параметрами (4) и (5). Для практических
расчетов можно считать, что при числе степеней свободы п > 30 случайная
2
величина % распределена нормально.
109
Важным свойством распределения %2 является его композиционная
устойчивость, т.е. сумма независимых случайных величин, распределенных
по закону х2 > распределена также по закону х2 Действительно, если Xi И
Х2 независимы и имеют число степеней свободы л, и п2 соответственно, то:
g72472 0) = gy2 (t)gy2 О) =--------777777'
Х1ЧЛ2 V Z Xl v z A2 v z ^11,4-112)/
Распределение %2 при конечных п табулировано. Существуют таблиц^
функции распределения (хр) = р(х2 <хр) = Р’ а также таблицы для ве
роятности дополнительного события Р^Х? > ху j = Y
II. Распределение Стыодента (Госсета, t- распределение).
Распределением Стьюдента с п- степенями свободы называете^
распределение случайной величины:
г- Л
(6)
где и х2 - независимые случайные величины, распределенные пс
стандартному нормальному закону (^~N(O,l)j и закону х2 с п- степеням^
свободы (х2 ~Х2(П)] соответственно.
Найдем плотность вероятности случайной величины т. Для этого>
т = ~, гдет| = .^—.
ц V п
Функция распределения ?]:
представим
Fn(y) = p(n<y) = P
Плотность вероятности ц:
fn(y) = ^F4(y) = 2nyfxJ(ny2)’ У^°-
Плотность вероятности частного т мы находим по формуле:
(7)
110
fl(z)=ffs(zy)fn(y)|y|dy
(8)
Подставляя в (8) плотность вероятности (7) с учетом (3) и плотность
вероятности C(zy)
получаем после интегрирования:
— оо < х < со .
(9)
Математическое ожидание и дисперсия случайной величины, рас-
пределенной по закону Стьюдента (9), соответственно равны:
Мт = 0; 1)т " ,п>2
п-2
На рис. 6.2. представлена плотность распределения Стьюдента (9) при
различных степенях свободы.
При »--><» распределение Стьюдента стремится к стандартному
нормальному распределению. Уже при п >20 можно считать, что
Существуют таблицы функции распределения Стьюдента и вероятности:
ш
оо
p(|T|>t7) = 2jf1(u)du = y.
Ч
III. Распределение Фишера (Сиедекора).
Распределению Фишера с П] и п2 степенями свободы подчиня!
случайная величина:
ф=4--’ <1о>!
X2ni
2 2
где Xi и Х2. " независимые случайные величины, распределенные I
закону с П| и п2 степенями свободы соответственно.
Найдем плотность вероятности частного (10):
ОО СО
f4>(x)= / fz? (xv)fyj (у)|'уИу = JnJf/?(n;xy)n2f(n2y)ydy-
—оо О
“1 п2
(11)
i
Как и два предыдущих распределения, распределение Фишера пр
П]->оо и п2 —> со стремится к нормальному распределению. При и, >30
.(П] + П2 /п] + п2 (
л, 5 30 можно считать, что <p~N —-----------—, --------- . Функция ра<
2njn3 у 2ntn2 J
пределения при конечных пх и п2 табулирована. Существует также таблии
вероятности:
00
Р(ф><ру)= /Гф(х)йх = у .
Фу
112
Раздел VII. Элементы статистического
моделирования.
Лекция 17. Моделирование случайных событий и
величин на ЭВМ.
Статистическое моделирование, те. создание с помощью ЭВМ
|1Ипктической (вероятностной) модели случайных явлений и их иссле-
lltiuiiiiic, в настоящее время широко распространено в различных областях
ЙНукн и техники (теории игр, массового обслуживания, радиотехнике,
Цигпстической физике, медицине, биологии, социологии и т.д.). Навыки
{формирования случайных величин и событий необходимы также для
|1р1сния задач и методов математической статистики. Поэтому, завершая
и. данного курса, посвященную теории вероятности, и предваряя
(игдующую часть “Математическая статистика”, рассмотрим методы
формирования на ЭВМ случайных событий и величин.
В системе математического обеспечения практически любой со-
|рсмс1шой ЭВМ имеется датчик, вырабатывающий значения случайной
йгпичины а, равномерно распределенной в интервале [0,1]. Функция
pin пределения и плотность вероятности такой величины имеют вид:
(0,х<0,
F(x) = |х,0<х<1; f(x)=l, хе[°Л]- 0)
[1,х > 1.
Случайные события и величины с произвольным законом
put пределения моделируются обычно с помощью преобразования одного или
нескольких значений случайной величины а .
1. Моделирование (разыгрывание) случайного события.
Пусть необходимо смоделировать некоторое событие А, вероятность
появления которого Р(А) = р; 0 < р < 1. Событию А эквивалентно событие
(к < р}. Действительно, Р(а < р) = Fa(p) = р. Поэтому моделирование А
иподитсяк моделированию события {а<р}:
1) Вырабатывается значение случайной величины a;
из
?) 1||м)Н1подик'я сравнение а р; 11
V) 1< пи <> • ]>, то имеет место собыче А. Если сс>р, то событий
имеет место. 1
II. Моделирование полной трупы событий. J
Пусть А1,А2,...,Ак образуют полну) группу несовместных собьп
к 0
причем Р(Ал = рр XPj = l- Разобьем вЛ> интервал [0,1]на к подыт
j=i j
валов (zjj = l,k, длины которых i,p2,...,pk. Тогда события Ай
будут эквивалентны:
P(Aj) = Р(а ф,.., >Zj)) = F(zj) - F(Zjl) = Zj - zj4 = Pj. |
Отсюда следует алгоритм разыгрывала полной группы несовместй
событий: |
1) Вырабатывается значение случайно величины а ; .
2) Значение а сравнивается с z, = р,
Если а < Zj, то имеет место событие J
Если а > zb то формируется z2 = Zj + р2 и j
3) Значение а сравнивается с z,:
z I
Если а < z2, то имеет место событие Л
Если а > z2, то формируется z3 = z2 + р3 гт.д. до тех пор, пока не доср
нем zk = 1 (причем сравнение с 1 необягтельно). В результате моде)
рования реализуется одно из возможных собтий At.
III. Моделирование дискретных пучайных величин.
Пусть £ - дискретная случайная величпа, ряд распределения которо!
X } X х2 хк
Pj. А Pi
Если в качестве случайного события рассматривать Aj = = Xj
то Aj, j = l,k составляют полную группу «совместных событий и мод
лирование случайной величины <; будет содиться к предыдущей зада'
разыгрывания полной группы событий. В результате моделирован)
реализуется значение случайной величины t
1)4
IV. Моделирование непрерывных случайных величин.
И I) Метод обратных функций.
' Необходимо выполнить моделирование, т.е. получить значение
иучайной величины £;, функция распределения которой F^(x). Попробуем
ишучить алгоритм моделирования в виде функционального преобразования
шиичсний равномерно распределенной случайной величины, т.е.:
^ = ф(а), ае[0,1]. (2)
№ Потребуем, чтобы ф(а) была монотонно возрастающей функцией,
mu да существует образ ная функция 0 < <p~'(<Q < I, и справедливо следующее
|шци'|1СТВО'.
I : F5(x) - Р(^ < х) = Р(ф(сс) < х) = р(а < Ф~'(х)) = Ф~’(х). (3)
Откуда ф(х) = Ff '(x), и получаем алгоритм формирования значений
Цшрерывной случайной величины:
(4)
Пример. Сформировать случайную величину £, распределенную по
|цкону Рэлея:
х2
К(х)-1~1’2< (5)
I Решение: Алгоритм формирования найдем из решенного относительно
{ ________________________________________
! уравнения: а = 1 - I 2а*; £ = 2ст21п(1 - а). (6)
: |1впду того, что случайные величины (1-а) и а имеют одинаковое рас-
пределение, перепишем (б) так: £, = V- 2а2 In а . (7)
2) Метод Неймана (метод исключения).
Необходимо сформировать случайную величину £, плотность ве-
роятности которой задана на интервале. 0<f^(x)<M, при хе [а, Ь], где
М = maxf^(x). Очевидно, что при этом:
115
Х4-ДХ
(8)
Случайную величину, значения которой распределены так, что (
указанной вероятностью (8) попадают в малый интервал, можно получит!
следующим образом. Если всюду плотно заполнить точками прямоугольню
abed, то число точек, находящихся под кривой в интервале (x,x + Axj
определяется площадью f(x)Ax. Если попадание точек в прямоугольник
abed случайно и равновозможно в любую часть прямоугольника, то ве*
роятность попадания под кривую в интервал [х,х + Ах] в соответствии Ц
геометрическим определением вероятности равна: j
х+Ах j
(f(x)dx
х 1 7 ,, f(*>* I
(b - a)M (b - a)M ’
т.е. с точностью до константы совпадает с (8). Отсюда следует ал*
горитм формирования случайной величины по методу Неймана: •
1) Вырабатываются два случайных числа а,, а2. ai 6 [0,1];
2) Производится масштабирование, т.е. формируются значения
случайных величин равномерно распределенных на интервала*
otj = a + (b-a)aj; a2 = Ma2. Полученные значения определяю^
координату точек, равномерно заполняющих прямоугольник abed; .
3) Вычисляется значение плотности вероятности у = f^a.] j; ।
I
не
4) Проверяется выполнение условия а2 у :
а) Если а’2 < у , то случайной величине Е, присваивается значение ОС];
Ъ) Если а'2 > у , то числа cq и а2 отбрасываются.
Пример. Сформировать случайную величину, плотность вероятности
которой f(x) = XCOs2xX, X G
1 1
4’4
Решение:
I) Вырабатываются cq и а2;
II 2аг1
^«1 = -- +—oq=—; а2 = тса2;
л,т А
<)у = лсо^—(2а- l)j ;
4) Если а'2 < у , то Е, = а']. Если а2 > у , то а] и а2 отбрасываются.
Замечание: 1) Достоинство метода Неймана - его универсальность -
можно использовать для любых /(х), х е[а, Ь].
2) Недостатки метода Неймана:
а) невысокий коэффициент использования базовых случайных
ксличин а для формирования значений который можно рассчитать по
ь
.ЁН* ,
Ь) применим для ограниченного интервала.
3) Достоинства метода обратных функций:
а) коэффициент использования чисел а равен 1;
Ь) можно формировать значения Е, в неограниченных пределах.
4) Недостатки метода обратных функций: необходим аналитический
»ид F '(х), который можно получить далеко не всегда.
117
V. Моделирование нормальных случайных величин.
Несмотря на универсальность рассмотренных выше методов, их нс
применить для формирования основной для задач теории вероятности
математической статистики величины - нормальной. Нормальная случа
величина задана на всей числовой оси, и явного вида обратной фун1
распределения нет.
Рассмотрим наиболее простой метод формирования нормал:
величины. Стандартная нормальная величине Т] ~ N(0,l) может быть сфо]
рована из равномерно распределенных независимых величин Oj мето,
основанным на центральной предельной теореме. В соответствии
центральной предёльной теоремой при n » 1:
Saj-Mfaj
n = JzL_ J11----n(0,1).
JDSaj
V j=i
Если <Xj е[0,1), то MJ^cxj = DX°j =
i i 2 j i
—. Откуда получаем ф<
Оказывается, что n >10 можно считать достаточно большим, поэтоь
полагая п = 12, получаем простой алгоритм формирования стандарта
нормальной величины:
12
Tl = Saj-6- (9)
1=1
Формирование нормальной случайной |еличины т|* с произвольным
параметрами (а, с) можно получить из т] с помощью линейно!
преобразования:
if =<Я] + а. (10)
Существуют и иные, более экоиомтчные методы формирован!
стандартной нормальной величины Г], с котсрыми можно познакомиться
соответствующей литературе [14 ].
118
СО Часть 2. Математическая
статистика.
' Раздел V1H. Основные понятия и методы
выборочной теории.
Лскция18.Предмет и задачи математической статистики.
Основы выборочного метода.
Математическая статистика- раздел математики, посвященный ма-
гматическим методам систематизации и обработки статистических данных с
целью построения или уточнения вероятностных моделей массовых случай-
ных явлений
Математическая статистика использует методы и математический аппа-
рат теории вероятностей . Специфичность задач математической статистики
ыключается в том, что они в определенном смысле обработаны задачами
нории вероятностей. В теории вероятностей задана вероятностная модель
пиления и по одним характеристикам рассчитываются другие характеристики
модели. В математической статистике на основе статистических данных, ко-
юрые носят, как правило, числовой характер, необходимо построить или
уточнить вероятностную модель.
Исходным в МС являются статистические данные, полученные в ре-
зультате статистического эксперимента.
Статистический эксперимент заключается в проведении п испыта-
ний и регистрации в них значений некоторой случайной величены Е,. Резуль-
г;п- i-го испытания описывается случайной величиной X,, i = 1, п.
Совокупность наблюдаемых в п испытаниях случайных величин
(Х1,Х2,...,ХП)= X называется выборкой. X, - элемент выборки; п - объем
выборки. Реализация выборки х = (х1эх2,...хп) - выборочные значения.
119
Таким образом, выборка - многомерная (векторная) случайная вел|
на. Выборочные значения - реализация этой случайной величины.
Для того, чтобы по выборке (или ее выборочным значениям) пострс
вероятностную модель явления, выборка должна быть репрезентант»
(представительной).
Пример: Пусть £, - возраст человека, случайно встреченного на улице. Е
регистрировать возраст случайных прохожих и при этом будет идти вз
солдат, то выборочные значения не адекватно будут отражать распределв
возраста, выборка не будет репрезентативной.
Функция распределения выборки.
Пусть производится п испытаний, в результате которых фиксирую
значения некоторой величены £, функция распределения котор
(и) = Р(4 < и). Очевидно, что для репрезентативной выборки функция р<
пределения любого элементе выборки FXi(u) = Б (u), i = j,n . Функция pi
пределения всей выборки: j
Fx(ui,u2,...,un) = P(Xj < ииХ2 < u2,...,Xn <un) .
При независимых испыт аниях: j
'f
Fx(u1,u2,...un) = nFxi(ui) (1) ’
i=i ;
Множество всех возможных значений Е, с распределением Б (и) называет^
генеральной совокупностью. Х = (Х1,Х2,...,ХП) - выборка из генеральнС
совокупности 5, с Б (и). Задачи математической статистики возникаюттогд|
когда что либо неизвестно о Fhji).
Задачи математической статистики.
К основным задачам МС можно отнести:
1) Задачи оценивания параметров распределения или статистических харан
теристик.
2) Задачи проверки гипотез о виде или параметрах распределения.
120
К В общих чертах задача оценивания некоторой характеристики
йираметра) б по выборке X заключается в построении некоторой функции
ПМНорки ©* = h(X), позволяющей при конкретной реализации выборки ука-
||Mi I. значение параметра или область, в которой находится это значение.
I Задача проверки гипотез заключается в построении некоторого прави-
ле, позволяющего на основе выборочных значений принять или отвергнуть
Цыдвинутую гипотезу о виде или параметрах распределения.
Выборочный метод оценивания.
1. Оценивание вероятности события.
! Пусть случайное событие А характеризуется вероятностью Р(А)-р, ко-
I Юрая неизвестна. Производится п испытаний, в которых регистрируется по-
тение события А. Результаты испытаний описываются случайными величи-
Г0, если событие А не регистрируем;
X,, Х7 XT 1 ' • Я 1J я
,,Х2,...,ХП, гдеХ:=Г
[1, если событие А регистрируем.
Необходимо оценить значение р.
I'eiiieiiue этой задачи осуществляется на основе стагистического определения
I)
вероятности. Величина - число появлений события А в п испыта-
i-i
К
пнях; — - частота появления события. Как показано в теории вероятности,
п
при а » 1 в качестве оценки вероятности можно использовать частоту.
TZ in
Р‘=^ = -£\. (2)
n ni=]
Значение этой оценки при конкретной реализации выборки х = (xj ,х2 ,...хп):
Р =--2xi- (2)
пы
121
2. Оценивание функции распределения.
Пусть случайная величина Е, имеет функцию распределения l'^(u),
торая неизвестна. Имеется выборка Х = (Х],Х2,...,ХП) из генеральной с*
купности Е,. Необходимо на основе выборки оценить F, (и).
Решение. По определению (и) = Р(£, < и) = Р(А),
где
А = {£ < и} = {и - £ > 0} = {и - > 0}.
Таким образом, задача сводится к предыдущей и в качестве оценки собы
А можно использовать частоту его появления в п испытаниях. Для этого 1
4. <4 Р’и>0>
дем функцию единичного скачка : е(и) = •!
[0, и < 0
п
Тогда K(u) = J} е(и - XJ - число элементов выборки, для кото]
1=1
и - ХА > О , т.е. число появлений А. Оценкой функции распределения
дет частота появления:
^(u) = --Ec(u-Xi). (3)
ni=J
F*(u) - случайная функция выборки. Для конкретной реализации выбо
х = (xj ,х2,.. ,х„) получим значение оценки функции распределения:
1 л
Fn (u) = “Ё е(и - Xj). (3’)
«i=i
F*(u) - детерминированная функция, которая называется эмпирической,:
выборочной функцией распределения.
Расчет и графическое представление F*(u).
Пусть имеются выборочные значения х = (х1,х2,...хп). Распойся
их в порядке возрастания:
х'| “х2 <...<х'п. (4)
122
Получим вариационный рад, на основе которого можно построить Fft(u).
|й Эмпирическая функция распределения для негруппированных данных. Для
«прерывной случайной величины в (4) будут знаки строгого неравенства,
№к как при конечном п любое значение х- будет встречаться не более, чем
един раз. Поэтому:
1
F n(u)
x'ix'j х'3 х'4 х'п и
Рис 18.1
F*(u) =
О, и < х;;
к , ,
xj. <u<xj[+i;
n
1, u>x'n;
k = l,n-l.
(5)
в) Эмпирическая функция распределения для группированных данных.
На практике данные, полученные при измерении непрерывной случай-
ной величины, часто представляют в виде 1руппированных данных:
Диапазон Uo-ЫЦ U1-M12 цыи3 Um-1 • Um
Число эксперим. Значений П| П2 Из Um
Для группированных данных эмпирическая функция распределения имеет
вид:
123
l‘n(u) =
О, и *; u0;
1, u > u
m •
к = l.m
Замечание: Иногда скачок функции F*(u) приписывают середине интерв!
тогда вместо uk в (6) следует писать: uk + “7^”
с) Эмпирическая функция распределения дискретной случайной величш
Для дискретной случайной величены Е, в (4) могут быть и знаки равенства,
есть одни и те же значения могут появляться несколько раз. Подсчитав чис
появлений каждого из значений, составим таблицу:
Значения х”1 х”2 X 3 X щ
Число появлен. N, п2 пз Дт
Эмпирическая функция распределения в этом случае:
777 =
О, и < х{';
I к
к = 1,/л - 1,
(7
1, м>х”.
Для каждой реализации выборки эмпирическая функция распределения s
определяется однозначно и обладает всеми свойствами функции распределе- j
ния
Теорема Гливенко.
Пусть F„(и) - оценка функции распределения (3), построенная по вы-
борке Х = (Х1,Х2,...,ХП) из генеральной совокупности, имеющей функцию I
распределения 1-’^ (и). Тогда для любого и (-°o<u<°o):
F*(u)—>1;£(и) прип-->со. (8)
Доказательство см. в
124
3. Оценивание плотности вероятности. Гистограмма.
Пусть Е, - непрерывная случайная величина, плотность вероятности ко-
1о|);)й f-(u) - неизвестна. X = (X^Xj.-.-.Xn) - выборка из генеральной сово-
купности, имеющей данную плотность вероятности.
Необходимо оценить ft (и).
Решение: Разобьем область возможных значений Е, с помощью точек
ti() <и, ию на подинтервалы одинаковой длины h. Событие
Л . = j.4 < ^ < u j | = {попадание £ в j - й интервал} имеет вероятность:
Р(Ар = Р(им<?<и4)-Г5(йрЬ,
где Uj е}uj._i ,11 jJ. В качестве оценки этой вероятности можно использовать
частоту появления события А,:
* К;
Р‘(А) = -1, (9)
J п
1де Kj - число элементов выборки, удовлетворяющих условию
1 sx, <Uj.
Для конкретных значений выборки получим значение оценки:
P’(Aj)=-k< (9’)
п
щс kj - число выборочных значений, удовлетворяющих условию
л, । < X; < Uj. Значение оценки плотности вероятности получим поделив (9’)
nah: ^(Й]) = -У- (Ю)
nh
Графическое представление (Ди).
Используя (10), можно построить гистограмму - фигуру, составленную
и» прямоугольников с основаниями h и высотой, определяемой формулой
(Ю).
125
Рис 18.2
Если ломаной линией соединить середины прямоугольников, то получас
фигура, называемая полигоном частот.
Полигон частот и верхняя граница гистограммы представляют со
графики оценки плотности вероятности!^(п).
4. Оценивание моментов. Выборочные моменты.
Пусть g = |g(u)dF(u) - некоторая числовая характеристика, пред ст
ляющая математическое ожидание функции g(^). Так же, как теоретичес
функции распределения можно поставить в соответствие ее стагистичеа
аналог F*(u), так же и любой числовой характеристике можно поставит!,
соответствие ее эмпирический (статистический) аналог - выборочную хара
теристику:
1 п
G*=—yg(Xj), где X: - элемент выборки. ;
!’> 1 ' j
Выборочный начальный момент k-го порядка:
i
] п ;
А*к = - XX* , значение момента:
ni=i
(11)!
ni=l <
При k=l имеем выборочное среднее: I
Х = -УХ|, его значение х = — Ух,. (12)
п п
Выборочный центральный момент k-го порядка
126
I Mk ~ ~X(Xj - X)k , его значение
I
I iik=1XUi-x)k. (13)
I n
I 11ри k=2 имеем выборочную дисперсию
I S2 -- — X(X, - X)2 , ее значение s2 =—^(x, - x)2 . (14)
I n n
Замечания: 1) выборочные моменты являются случайными величинами, ко-
I юрые имеют свои законы распределения и числовые характеристики.
- 2) Выборочные момента можно рассматривать, как оценки соответствующих
теоретических моментов.
Лекция] ^Распределения выборочных моментов нор-
мальной генеральной совокупности и их функций.
Особое место среди задач математической статистики занимают задачи,
связанные с нормальным распределением генеральной совокупности. Это
обусловлено тем, что нормальное распределение часто используют в при-
кладных исследованиях для описания реальных случайных явлений. А так же
тем, что распределения многих статистик при нормальной генеральной сово-
купности удается получить в явном виде. В частности, можно найти распре-
деления выборочных моментов и их функций. Рассмотрим ряд теорем, позво-
ляющих это сделать.
Лемма 1. Пусть Х=(Х1,Х2,...,ХП) - выборка из генеральной сово-
купности ~ N(0,1), тогда сумма
(!)
те. распределена по закону %2 с п степенями свободы. Утверждение леммы
следует непосредственно из определения х2 - распределения (лекция 16).
127
Книдpai ичныс и линейные формы от векторной нор- Я
малъной случайной величины. ;]
Пусть X-(Х15Х2,...,Хп)Т- выборка из генеральной совокупное^
£ ~ N(0,1). Рассмотрим квадратичную форму и in линейных форм: {I
»]
Q = ^а j jXjXj = ХТАХ , (1
i
tk = ^bkiXj, k=l,m, или t = BX, (Я
i=l |
Il || п T I
где А=аП - магрица, удовлетворяющая условию А = А,
' < ।
t = (*тЛ2> • /т)Т> В " прямоугольная матрица размерности щ х n.
Следующая лемма дает условие независимости случайных величин Q и tk.
Лемма 2. Если ВА = О, то Q и t независимы. Здесь О - матрица раз-ij
мерности п хп с нулевыми элементами. J
Доказательство. Магрица А действительна и симметрична, поэтому’
можно найти такую ортогональную матрицу U (т.е. UU1 =1), чтоУ
UTAU = D. Здесь I - единичная магрица, D - диагональная матрица с эле*'-
ментами А.; > О, i = 1, п, являющимися характеристическими числами мат*|
рицы А, т.е. корнями характеристического уравнения det(A - Al) = 0. |
Столбцы Uk матрицы U = (О, ,Li2,... ,Un) являются собственными век-|
торами матрицы А, т.е.
A U k = A k U k, к = 1, п .. j
Пусть г - ранг матрицы А и Aj,...,Ar - отличные от 0 харакгеристи* |
ческие числа. Эквивалентной формой записи !
A = UDUT (6)
является спектральное представление матрицы А:
128
A=ZXkUkOkr. (7)
к-1
I Io условию леммы:
о-ва = ухк(вик)ик. (8)
к--1
Умножим это равенство на вектор Us справа. В силу ортогональности векто-
ров Uj (т.е. UkUs = 0, если к ф s), получим:
BUS=O, s = Tj- (9)
Рассмотрим теперь случайный вектор ),t2,...,tm,U7X,...,Ujxj. Этот
вектор распределен по нормальному закону, поскольку представляет собой
линейное преобразование нормального вектора X. В то же время из представ-
ления (7) имеем:
Р = Хч(хтик)(икх) = Хч(икх)2.
k 1 к 1
Следовательно, утверждение будет доказано, если показать некоррели-
рованность tj и Ujfx . (некоррелированность для нормальных величин тож-
дественна независимости). Обозначая через bf строки матрицы В, i = l, m и
используя соотношение (9), имеем:
Kt итх = М(ь7*и}х)-м(ь7х)м(и]х) = M(b7XX7Us) =
= b? М^ХХ7 ) (Js = b71US = 0. Что и требовалось доказать.
Лемма 3. Если АВ = В А =0, то квадратичные формы Qt = ХТАХ и
()_, = ХТВХ - независимы.
Доказательство. Пусть для матрицы А справедливо спектральное
представление (7), а спектральное представление матрицы В имеет вид:
S __
В = У, V|VjVjT , где s - ранг матрицы В. (10)
Ы
По условию О = АВ = У 7.kv1Ukfuk V| jV|T .
k.l V '
129
Умножив это равенство слева на U^, а справа на Vj, получи|И
UjrVj = O; i = 1,2; j = l,s,т.е. векторы U? ортогональны всем векторам Vj. Щ
Отсюда, как и в предыдущей лемме получаем, что случайные величин^И
U?Х и VjTX некоррелированы, а т.к. они нормально распределены, то и ноЛ
г 2 s Я
зависимы. Но Q( = J^Ak(uJx) , Q2 = X vi(ViTx) , откуда следует их Н*Д
зависимость. Что и требовалось доказать.
Лемма 4. Пусть Q = ХТАХ и rang А = г < п . Если матрица А идсмпоМ
тептна (т.е. АI 2 = А ), то Q- и при этом след матрицы (те. сумма диагоЯ
нальных элементов) tr А = г. Д
Доказательство. Пусть для А справедливо представление (7), тогда изЯ
условия симметричности и идемпотентности А следует, что X, =...= ХГ =1Д
поэтому Q = y7ukxl . Из ортопормированности векторов Uk следует, чтоМ
k=i Д
случайные величины независимы и нормальны с параметрами (0,1). Следо-
вательно: Q ~ х^ I
Наконец, на основе равенства tr(AB) ~ tr(BA) из (6) находим: Л
tr А - tr^UT Ud) = tr D = A.j +.. ,+Ar = r. Что и требовалось доказать, jl
Используя приведенные леммы, найдем распределения выборочных Л
моментов нормальной генеральной совокупности и их функций. Л
Теорема 1. Пусть п - мерный случайный вектор Y~N(m, R), где Я
m = - вектор математических ожиданий элементов вектора Y, R- I
корреляционная матрица вектора Y. Тогда квадратичная форма I
Q = (Y-m)TR“’(Y - ш) распределена по закону . JI
I
у
130
Q Доказательство. Пусть U - ортогональная матрица, приводящая мат-
ll рицу R к диагональному виду: UTRU = D. По условию все диагональные
Г I'
I элементы Zj матрицы D положительны. Поэтому определена матрица D /2 -
!j диагональная матрица с диагональными элементами А/2. Рассмотрим век-
_ 1/
тор Z-=D /2U(Y-m). Используя известный факт ( Пример 8 в лекции 11 ),
что если Y~ N(m, R) и V = L Y, где L - заданная матрица линейного преоб-
\ V
Lm, I,RLT j, имеем: Z ~ N(0, l). Далее (Y - p) = UD 22 Z.
разования, то
Следовательно :
} Q = ZTD^UTR 'UD^Z = ZTIZ=ZTZ.
11рименяя лемму 4 или 1, получаем Q ~ что и требовалось доказать.
Теорема 2. Пусть X = (X j, X 2,..., X п )Т - выборка из генеральной сово-
купности ~ NI ц, а2). Тогда выборочное среднее X = — V X; и выборочная
V 7 п i=i
9 1 Ду/ --\2
дисперсия S" = — 2_,|Х j -XI независимы. При этом
(П)
Доказательство.
^N(0.,). ^I(y.
Перейдем к новым случайным величинам
Yj
1,п,
S2(Y) = lf(Yi -y)2=~Ts2-
11 1'1 О
и
которые образуют выборку Y из генеральной сово-
купности т] ~ N(0,1). Тогда:
у_1у Y _Х-Ц
п м ' °
Поэтому достаточно доказать, что Y и S2(y) независимы и при этом
(х/n y)~ N(0,l), iiS2(Y)~ X*n-i)- Рассмотрим n - мерный вектор - столбец
Г1 йт -X
h = - и матрицу В = (Ь,..., bI, размерность которой n х п . Заметим,
\п п/ х '
131
что Y = bTY, a nS2(Y)==(Y-BY) (Y-BY) Отсюда nS2(Y)=YTAY
где матрица А = I - В идемпотентна. Теперь 1’ТА = Ьт - ЬТВ = Ьт - Ьт =
и, следовательно, по лемме 2 Y и S2(y) - независимы. Закон распределен!)
Y очевиден, а т.к. tr А = ti I = tr В = п - 1, то на основании леммы
nS2(Y)~ у2,.,, • Чт° и требовалось доказать.
Теорема 3. Пусть X = (Х1,Х2,...,ХП)Т- выборка из генеральной сов»
купности ~ N(p, ст) и
Vn -Ifx - ц)
т =------(j;
S
где X и S2- соответственно, выборочное среднее и дисперсия. Тогда при лк
бом ст2 > 0 случайная величина т распределена по закону Стьюдента
(п -1) степенями свободы.
Доказательство теоремы с очевидностью следует из теоремы 2 и ОП'
ределения распределения Стьюдента (Лекция 16)-
Замечание: Тот факт, что случайная величина т (12) и ее распределе-
ние не зависит от ст2, будет использован нами 1>РИ получении статистических
выводов о среднем нормального распределений когда дисперсия неизвестно
(Лекции 25, 26).
В некоторых задачах математической стагистики неизвестна не только
дисперсия, но и математическое ожидание, и необходимо делать выводы, ин-
вариантные относительно этих параметров. В таких задачах большую роль
играет следующая теорема.
Теорема 4. Пусть X = (Х|,Х2,...,ХП)Т и V = (Yb Y2>.... Ym)r - неза-
висимые выборки из одной и той же генеральной совокупности ст);
X, S* и Y, Sy - соответствующие выборочные средние и дисперсии. И пусть: j
тп(т + п -
Т = ---L------
V n + m
(13)
132
Тогда при любых ц и ст2 >0 случайная величина т (13) распределена
по закону Стьюдента с (т + П - 2) степенями свободы.
Доказательство^ По теореме 2:
В силу независимости выборок отсюда имеем:
m о 2 2
Д" У ~ ^(ш-1)
ст ' '
мL 1 1 I mn X - Y . тМ Л 2
N °’ 1“ + “ > ИЛИ 1-------------N(0’ 0’ ~ tym+n-ll’ П₽И
I Un mJ Vт + п о ' Ч
пом случайные величины Х-Y и (nS2 + mS2j независимы. Следователь-
но, случайная величина т (13) имеет распределение Стьюдента с (m + n--2)
степенями свободы. Что и требовалось доказать.
Теорема 5. Пусть X = (X ь'Д,..., Хп)3 и Y =(Y1,Y2,...,Ym)T-неза-
висимые выборки генеральных совокупностей ?, ~ N(p]; 04) и Т]~ N(p2> стг)-
S2 и S2. - соответствующие выборочные дисперсии. Тогда отношение
n(m - l)cr2S2
ni(n - l)cc2S2
(14)
при любых ць р2> с*?. ст2 распределено по закону Снедекора (Фишера) с
(п - 1) и (т - 1) степенями свободы.
Доказательство. По теореме 2:
nS2 2 mSy 2 22
—Г ~ %(п-1) и 2 ~^(m-i)’ Sx и Sy - независимы по условию. По-
этому, в соответствии с определением распределения Снедекора (Лекция 16),
случайная величина ф (14) распределена по этому закону с (п - 1) и (т-1)
степенями свободы.
Что и требовалось доказать.
133
Раздел IX . Точечная оценка параметров
распределения.
Лекция 20 . Точечные оценки и их свойства.
i
j
Постановка задачи точечного оценивания. |
Пусть имеется выборка Х=(Х] ,Х2,..,ХП) из генеральной совокупност!
имеющей функцию распределения F(u,0) , где 0 - неизвестный параметр ,
общем случае векторный 0=( 0, ,02,..,OS) ; 0еГ , Г- область возможны
значений 0. Используя статистическую информацию , содержащуюся в вь
борке, необходимо определить истинное значение неизвестного параметр
0 , т е. указать в области Г' точку 0*.
Решение этой задачи:
При точечном оценивании строят некоторую функцию выборки
@‘=h(X), (1)
значение которой при данной реализации выборки х =( Xj ,x2,..,xn) npi
нимают за значение параметра 0, т.е.
O‘=h(x), 0*~О. (2) ‘
Случайная величина , являющаяся функцией выборки X, называется ста
тистикой. Говорят , что статистика (1) оценивает 0 или статистика (Г
есть оценка 0, (2) - значение оценки. Обычно (но не всегда) область зна
чений оценки 0* совпадает с областью возможных значений параметра.
Оценка параметрической функции.
Иногда на основе X требуется оценить не параметр 0 ,а функцию nap»
метра 0 т (0), которая называется параметрической функцией, тогда ста-'
тистика T*=t(X) - оценка параметрической функции. Для оценки парамет-
ра или параметрической функции можно предложить различные статиста-
134
к и. Для выбора лучшей статистики нужно определить свойства, которыми
должна обладать хорошая оценка.
Свойства(характеристики)оценок.
Оценки 0* иТ* являются случайными величинами со своими законами
распределения и числовыми характеристиками. Общим требованием к ним
является концентрация значений оценки в том или ином смысле около ис-
1инного значения оцениваемого параметра (или функции параметра).
1) Несмещенность оценки.
Несмещенной оценкой параметра 0 является оценка , удовлетворяющая ус-
ловию:
М 0 = 0 , V0 е Г. (3)
I (еличина Ь(0) = М 0 * - 0 (4)
- называется смещением оценки 0 . На рис. 20.1 приведены кривые рас-
пределения оценки 0’.
Для несмещенной оценки:
Статистика Т* является несмещенной оценкой параметрической функции
i(0) , если:
МТ*=т(0), У0еГ (5)
Пример 1.
Дано: Р(А) ==0 = р; Наблюдается выборка Х=(Х! ,Х2 ,,.,ХП);
(1, если А
Х| ( . .
10, если А
1Гаити оценку вероятности события А и проверить ее несмещенность.
Решение. В качестве оценки вероятности возьмем частоту появления со»
бытия А: <
* 1 п
Р P(Xi=lhp; P(Xj=O)=l-p; МХ, = р;
ni=i
* 1 11 I n »
Следовательно: MP =—]£МХ;=-Ур ~ p. Таким образом, P - не»
»i=i ni=1
смещенная оценка p. i
Пример 2.
Дано: Генеральная совокупность Е,, функция распределения которой Рг(х),
= а.] , D£ = ст2, Х==(Х[ ,Х2,..,ХП)- выборка из данной генеральной со-
вокупности. Является ли выборочное среднее несмещенной оценкой ма-
тематического ожидания? Найти дисперсию этой оценки.
Решение.
„ 1 П _ in in
X £х(; MX 5>-1Хг £(Х,- о..;
IIГ 1 II i ) ni=1
Следовательно, X - несмещенная оценка cq, а ее дисперсия
1 п
dx \ £их1 ° .
п ы П
Пример 3.
Дано: Генеральная совокупность Е,,функция распределения которой Г'£(х),
DJ; = р2 = о2, выборка Х==(Х1 ,Х2,..,ХП) из данной генеральной совокуп-
ности. Является ли выборочная дисперсия несмещенной оценкой диспер-
сии генеральной совокупности?.
Решение.
S2 = --L(Xi-X)2 , MS2- ~£м(Х;~Х)2 =l(n-l)o2.
ni=i ni=1 n
(Здесь использованы соотношения:
M(X; -X)2=M((Xi-ai)-(X-a]))2=
1 n ГТ2
= a2 - 2M[(X, -a,)(-~«,)]+—=
nk=] n
136
in in 1 -> CT
M [(Xi - a. X-* E Xk «i )l == - м I(Xk - a, )(Xr- <z,) = -' M(X, - a, )2 = - - )
n k=i n k=l n n
('ледовательно, S2 - смещенная оценка ст2, ее смещение:
, , 2, , . ,, 2 2 n—1 2 2 1 1
1>(ст ) = MS - о =--ст - ст =--ст .
n п
Несмещенная оценка дисперсии получается путем нормировки смещен-
ной:
S2(= S2/-—------£(Х,-X)2 . Очевидно, что при п»1 Sq»S2.
п п -1 г;|
^Эффективность оценки.
Величина , характеризующая рассеяние оценки параметра 0
V(0) М(0 * - 0)2 - М(0 * ±М0 * -0)2 =D0* +Ь 2 (0), (6)
называется среднеквадратичной ошибкой оценки 0*.
Для несмещенной оценки
V(9)«D0*,VO . (7)
Эффективной оценкой называется несмещенная оценка , обладающая ми-
нимальной дисперсией , т.е. оценка 0*ф, удовлетворяющая условию:
М@;(Г0, DO*3^D0*, V0, V0*. (8)
Оценка параметрической функции называется эффективной , если она не-
смещенная и выполняется следующее условие:
МТэ‘ф=т(0), DT^DT*, V0, VT*.
Эффективные оценки - это несмещенные оценки с равномерно мини-
мальной дисперсией.
Теорема I. Если эффективная оценка существует, то она единственная.
Доказательство. См. [20].
Для сравнения двух несмещенных оценок можно ввести относительную
эффективность:
137
eff(Ti /Т2) = DT] /DT2.
Коэффициент эффективности оценки:
T|= eff(T эф /Т * ) = DT эф /DT * , очевидно Ост] < 1.
3)Состоятельность.
Характеризует свойства оценки О* = h(xt ,х2,.., хп) или Т*= t(X] ,хг,.,и
при п—>оо, т.е. асимптотические свойства. Оценка называется состоятся
ной , если при п -э-сл она сходится по вероятности к оцениваемому парам<
РУ.:
0*n-U0.
Сходимость по рероятности означает , что при любом е>0 и ц>(), найдет
такое N , что начиная с n>N справедливо соотношение
Р(| 0*-О| >е)<п , (9)
то есть lim Р(|0*-е|>г.)=о.
П->со j
Теорема 2 (достаточное условие состоятельности).
Если МО* —>0 и D0* —>0 при n-х», то 0* - состоятельная оценка 6. :
Доказательство.
В соответствии с неравенством Чебышева при любом е>0
р(|0’п-м0;.|>е)<^,
£
т.е. согласно с условием теоремы, для любых е и ц можно указать N , дл
^хт D®n
которого при n>N: —-2- <r], следовательно
Е !
Р(|0;-М0*1>£)<П. (10) ?
На основе очевидного неравенства |0* - о| < j©* - М0* |+|м0* - б| cootj
ношение (10) перепишем как (9): Р(| 0* -0| >е)<т] , что и требовалось дока*
зать.
138
^.Асимптотическая несмещенность н эффективность.
Цели Jim М©*=0, V0 или Jim D0*,== D0*,|, , то О*-соответственно
Ц—>'JO n—
псимптотически несмещенная или асимптотически эффективная оценка.
Пример 4.
Является ли частота состоятельной оценкой вероятности события?
Решение. P^-fx- P(Xi=l)=p; Р(Х-0)=1-р;
n i»l
-1tEDXj ~ . Здесь использовано соотношение
Ц2 j-я п
1 )Х J -MX2 - (MXi)2 =- 1 р+0 ( 1 -р)-р2=р( 1 -p) pq.
Получаем Пт DP*= 0 Тогда Р*-состоятельная оценка р, т.к. М Р = р .в
П ->со
соответствии с результатом примера 1.
Пример 5. Является ли выборочное среднее состоятельной оценкой мате-
матического ожидания И]?
Решение.
X MX Г>Х= 4-^DXi-—, гдео2=Щ.
niM n i=) п
|im DX -О Следовательно X - состоятельная оценка a.j.
П
Самостоятельно: Установить, является ли выборочная дисперсия состоя-
тельной оценкой о2 ?
Лекция 21. Критерий эффективности оценки Рао- Крамера.
Для определения эффективности оценки необходимо знать минималь-
ное из возможных значений дисперсии оценок. Нижнюю границу диспер-
сии оценок можно определить, используя неравенство Рао-Крамера. Чтобы
получить это неравенство, введем некоторые определения и получим вспо-
могательные соотношения.
139
Функция правдоподобия.
Пусть f^(и,0)-плотность распределения случайной величины 4. О'
неизвестный параметр распределения, X=(Xj ,Х2,..,ХП) ‘ выборка из гене-
ральной совокупности, заданной этим распределением.
Плотность распределения выборки L(x,0)=fx(Xj, х2,.., хп,0), рассматри-
ваемая как функция неизвестного параметра 0, называется функцией прав-
доподобия.
Если £- дискретная случайная величина, то функция правдоподобия
- это вероятность того, что выборка примет конкретные значения
L(x,0)=P(Xj -Хр, Х2-х2,.., Xn~x„,0). L(x,0)- показывает насколько при
конкретном значении выборки одно значение параметра более правдопо-
добно (вероятно) по сравнению с другими. Если выборка X- независимая
п п
(т.е. X,-независимые), то: 1_.(х,0) }ф1^(хь0) или L(x,0) - I f р(Е, ~ х,,0).
i 1 J ii
Свойства функции правдоподобия.
Пусть генеральная совокупность описывает некоторую непрерывную слу-
чайную величину. Из свойств плотности вероятности следует:
1. L(x,0)>O.
2. J .. jL(x,0)dx1..dxn“ 1. (11)
-оо -со
Некоторые вспомогательные соотношения.
Здесь и в дальнейшем будем предполагать, что: 1) L(x,0)- дважды диф-
ференцируема по 0; 2) дифференцирование по 0 и интегрирование по х
можно менять местами, т.е. выполняется условие регулярности. Послед-
нее означает, что выборочное пространство не зависит от 0. Продифферен-
цируем (11) по 0:
00 L(x,0)
J..jiln^0)L(X)0X1X1..dxn = O.
(12)
140
(13)
Учитывая определение функции правдоподобия, соотношение (12) можно
переписать следующим образом:
M^2L0LO
ао
Продифференцируем (12) еще раз, получим:
г ( а?1п 1 -(х’°) JэЧЧЧЧ2
• • ао2 v ао
I/x.O^Xp.dx,, - О, что эквивалентно
. _a~inL(x,oi
М------,— -Mi -
ао2 v
Обозначим: 1 п () - М
р1пЬ(х,б)Г_ ма21пцх,о)
v ао J ао2
-количество информации о параметре О,
lnL(X,0)f . ..
ао )
ainL(x,o)
ао
содержащейся в выборке объема п (количество информации по Фишеру).
Теорема 3. (Неравенство Рао-Крамера).
Пусть Х :(Х । ,Х2,-.,ХП) - выборка из генеральной совокупности задан-
ной плотностью вероятности f(u,0), и для функции правдоподобия L(x,0)
выполняются условия регулярности. Тогда для любой несмещенной оцен-
ки Т = t(X) дифференцируемой параметрической функции т(0) справед-
ливо неравенство:
DT*>M , (14)
1ц,0
. ./а1пцх,о)У Ха21пцх,0)
где I,, 0 ' М ----' ’ ' = _ м-----' > '
п’° V ао J ае2
Доказательство.
Из условия несмещенности оценки МТ* = т(0) следует:
МТ’--- J.. Jt(x)L(x,O)dx1..dxn = т(0). (15)
11родифференцируем (15) по 0:
,,lVi г ч<ЗЦх,0)L(x,0)
т'(0)= ]-. ,t(x)-——M_Mi_ZdX|..dxn , (16)
1 J 00 L(x,0) 1 n
14J
Т'(6) = J.. ji(x)aln O)L(x,O)dx1..dxn.
од
(17)
Умножим равенство (12) на т(0), поменяв местами левую и правую част]
получим:
О = J.. jt(0)9-ln|^i°)L(X;G)dXi..dXn.
(18)1
Вычтем из (17) выражение (18):
т'(0)= J.. f(t(x)^T(O))91nHXA.(x,0)dx1..dxn .
Вспомним неравенство Коши - Буняковского:
[ fg(x)<P(x)dF(x)]2 < Jg2(x)dF(x)Jcp2(x)dF(x). (19)
Здесь dF(x) = L(x,0)dx । ..dxп. Равенство имеет место при g(x) = А<р(х). \
Используя (19), получаем: |
(т'(6))2 < J.. J(t(x)-T(0)^L(x,0)dx1..dxn J.. J(9inl^xL0))2L(Xj0)dx1..dxn ил|
/ \ 2
(т'(0))2 < M(t(X)-T(0))2M( DT*>
V dO J
м2
111,0
,что и требов;
лось доказать.
Замечания-. 1)Если оценивается параметр 0, то т'(0) = 1, поэтому для не*
смещенной оценки параметра 0: DT* >----.
^п,0
Г
2) Если Т - смещенная оценка т(0), т.е. МТ*= т(0) + Ь(0), и Ь(0)- диффе*
ренцируемая функция, то нетрудно получить в этом случае:
рт*^(х'(О) + Ь'(0))2
Ir,0 j
3)11ри независимых элементах выборки нижняя граница дисперсии об*
ратно пропорциональна объему выборки. Действительно, при этом
L(x,0) = H^(xi>®); lnL(x,0)= £lnf^(x,0) ;
i=l i=l
142
a2 in l(x,0) " а21п^(хье)
~ м ао2
n a2inff(xbo) п
..Ем------= = пТ ,
i=i 39 i=i
so2
l<52lnL(X,0)
In,0 = -M--------i =
so2
a2
где I10 - -M—у1пК(Хь0) - количество информации о параметре 0 в
ае2
отдельном элементе выборки. Неравенство Рао-Крамера тогда имеет вид:
рт^(т'(0)+Ь'(0))2
nli о
При н-->оо нижняя граница дисперсии оценки стремится к нулю.
4) Нели X- выборка из генеральной совокупности дискретной случайной
величины, то L(x,0) :=- Р(Х1=:х1, Х2 х)г, Хп=хп) и в доказательстве
границы Рао-Крамера необходимо вместо интегралов использовать соот-
ветствующие суммы.
Достаточное условие достижения нижней границы диспер-
сии
(критерий эффект ивности оценки Рао-Крамера).
Неравенство Коши-Буняковского обращается в равенство, если g(x) =
Аф(х), т.е. при выполнении условия:
. A(0)(t(x) - х(0)) , (20)
oU
где А(0)- функция параметра, но не выборки. Тогда Т* = t(O)- оценка пара-
метрической функции, дисперсия которой равна нижней границе, т.е. для
несмещенной оценки
,vr* (т'(0))2 ~ rvr’ (т'(0) + Ь'(9))2
ОГэф= или для смещенной оценки DT =-——........ 7 -.
1п,0 1п,0
Не всегда легко можно получить 1п0. Найдем нижнюю границу дисперсии
па основе (20):
D dj” LQ^>9) = A2 (0)D[T* - т(0)] = A2 (0)DT*, или, что тоже
90
143
„ v ? z , x x 2
м ainwn _мр^(^ =a2(0)dt’.
I ao J I < ao Jj
Учитывая, что:
га1пЦх,0)У . ..ainL(x.o) .
I оо ) ао
получаем: In0 = A2(0)DT*, DT* =
(ИО/) 2
A2(0)DT*
Отсюда
(21)
DT‘ -М
эф“|А(0)Г
Таким образом, при выполнении условия (20) несмещенная оценка
Т* обладает дисперсией (21).
Использование критерия Рао-Крамера для нахождения
эффективной оценки.
•Пример / Определить эффективную оценку математического ожидания,
если генеральная совокупность £, имеет нормальное распределение, т.е.:
f£ (u,0) = ехр(----—-), параметрическая функция т(0) = 0 ,
у2лст 2о
Х=(Х] ,Х2 ,..,ХП) - выборка из данной генеральной совокупности.
Решение:
Ь(х,0)-П -^-ехр(-^<~е)
i=i у2ло 2ст
L ехр(_ 1 f(Xi^e)2),
7tV 2c i=l
InL(x,0) = - n ln( л/2л<т)-Ц-£(х1 ~0)2 ,
2ст2 i=i
- 722£(Xi-e)= Л £(Xi-0),
дд 2cs i=i о i=I
ainL(x,6) 1 " а n 1 " »
----= -уXxj -п0= —(-£Xi -0) =А(0 -0).
50 <7 ст ni=1
I»
144
Отсюда
0*=1£х; = Х,
ч i=i
О0*Эф=
1
|А|
п
Пример 2.
Генеральная совокупность распределена по заколу Пуассона с неизвест-
ным параметром Х=0, X=(Xj ,Х2,..,ХП) - выборка из данной генеральной
совокупности. Определить эффективную оценку этого параметра и диспер-
сию эффективной оценки.
О11
Решение. Р(£-н)=—е'е, и=0,1,..
и!
n
Функция правдоподобия 1,(х,0) П----е ,
ьд х,!
II
сс логарифм lnL(x,0) ”52(х. In0-0~InXj!).
i=l
31,1 |/х-о) =. _n f1- £ Xj - eV a(0)[o * - o].
50 Ovnj,,i )
Отсюда 0‘=-yXj = X, MOX ' xMX. O, D0*=- .
n i I n, i n
Следовательно, выборочное среднее X- эффективная оценка параметра
распределения Пуассона.
Достаточные статистики.
Для оценок параметров и параметрических функций можно использо-
вать различные функции выборки. Если найти эффективную по критерию
Рао-Крамера оценку не удается, оценку следует строить на основе доста-
> точных статистик.
| По определению, статистика Т*= t(X) называется достаточной для
j параметра 0, если она содержит всю информацию о 0, имеющуюся в вы-
j борке. Поэтому все заключения об этом параметре (его оценки), которые
можно сделать на основе выборки, зависят только от t(X).
145
Достаточная статистика дает оптимальный, в определенном см
способ представления статистических данных, что важно при обра
большого объема выборки. При поиске достаточной статистики стре!
к статистике минимальной размерности, чтобы представить данные в
более сжатом виде. Очевидно, что выборка X=-(Xt ,Х2,..,ХП)- достатс
статистика, но она тривиальна и имеет большую размерность.
Теорема 4. (Критерий существования достаточной статистики, I
критерий факторизации).
Для того, чтобы статистика Т*~ t(x) была достаточной для параметр;
необходимо и достаточно, чтобы функция правдоподобия допускала П|
ставление:
L(x,O>g(t(x),0)h(x). (
Здесь g(t(x),O)~ зависит от 0, а от выборки только через статистику t(x), 1
зависит только от выборки (от параметра не зависит).
Представление (22)- факторизация функции правдоподобия.
Без доказательства.
Теорема 5.
Если существует эффективная по критерию Рао-Крамера оценка, то су
ствует и достаточная статистика.
Доказательство.
В соответствии с критерием Рао-Крамера эффективная оценка t(x) удо
творяет уравнению:
-~“-=A(0)[t(x)<(e)]=Y(Kx),o).
об
Условие факторизации (22) можно переписать в виде:
dL(x,G) dlng(t(x),0) , . _
—=------------1 = y(t(x),9), что и требовалось доказать.
146
уечатие: Если нет эффективной оценки, достаточная статистика может
тествювать.
Достоинства оценок, построенных на основе
достаточных статистик.
|)11сиол1ьзуют только ту информацию из выборки, которая существенна
дня оценки данного параметра.
2)1<аждой несмещенной оценке 0* с конечной дисперсией соответствует
другая несмещенная оценка 0 *, зависящая от достаточной статистики для
яшоро'й: D0 < D0 .
Поэтому искать оптимальные оценки следует среди функций от доста-
кнных статистик.
Заметим, что строить оценки на основе достаточной статистики не все-
। да прюсто.
Пример 3.
Имеется выборка Х_ из генеральной совокупности c.~N(0,c>). Найти доста-
точную статистику для параметра 0.
Решение.
1 ] п 2 I ] (п п
1 0,6») = -—-yz ехр{- -- -2 £(х, - 0) } = 2^-ехр{-~-уI -29Хх, + 0:
(2л<т2) 171 (2ло ) 1 1:1
L.(x,©) =---- - ехр{-’—(О2 -29j>i)}«РЬ
(2ла2)-' 2ст ы 2о. ы
п и
Здесь t(x)“£x; , Т(Х) = Xх,-Достаточная статистика, на основе
i=l i=l
- * 1 1 ",
которой можно построить оценку 0 = — Т(Х) = —У X,, являющуюся, как
n ni=,
следует из примера 1, эффективной оценкой математического ожидания
нормальной генеральной совокупности.
147
Лекция 22. Методы нахождения тсчечных оценок.
1.Метод максимального правдоподобия.
Эдним из наиболее универсальных и распространённых методов оц
нивания параметров распределения является метод максимального прл
допоЪобия.
Пусть задана выборка X=(Xi,X2,...,Xn) из генеральной совокупност
распределённой по закону F^(u,0) или Д(ц0) , ОеГ. L(x,0) - функш
правдоподобия для реализации выборки х-(х1,х2>...,хп).
По определению, в качестве значения оценки максимального правд
подобия 0*П(ОМП) при заданной реализации выборки берётся такая точ1
параметрического множества Г, в которой функция правдоподобия дости
тает максимума. То есть значение ОМГ! находится из условия i
ЦхХ„)=тахЦх,о). (1) >
Нахождение max L(x,0). Если - непрерывно дифференцнруе)
по 0, то для решения (1) сначала находят стационарные точки L(x,0) ,а за
тем сравнивают значения L(x,0) в этих точках и граничных точках множа
ства Г. Выбираются точки обеспечивающие наибольший максимум.
Для отыскания стационарных точек решаются уравнения:
аЦх,0) dlnL(x.O) п ...
О 00 ( 1
называемые уравнениями правдоподобия.
Если 0= (0|,...,0S)- в.екторная величина, то решается система уравне
НИИ
i = iTs
50,
Из (2) и (3) находят значения оценок. 0*п h(х), сами оценки - соответ- j
ствующие функции выборки 0*n=h(X). j
Пример 1. Оценка математического ожидания нормальной генеральной !
совокупности.
Дано: Генеральная совокупность E,~N(0,c), 0е(-оо,+оо).
Выборка X=(Xj,X2,...,Xn) из данной генеральной совокупности.
Найти оценку математического ожидания ©*п,
148
Решение.
1 1 n )
l.(x,O>=--------ехр(------у У (-Э "0) )' Функция правдоподобия.
о 2 ст i -.-i
(2тгст2)2
= ?У (х, -0) 0: 50 <Д Ь1 п Хх, i = l - п0 = 0 . Отсюда
1 " 52 In L(x,0) пфэ 1 ао2 П * 1 п ; ®т = -ХУ n j=i
Свойства оценки максимального правдоподобия.
I. Эффективность.
Теорема ]. Если существует эффективная оценка параметра ©Эф,то оцен-
ка максимального правдоподобия 0Ш = Оэ,|,.
Докалател ь сшво.
Значения эффективной оценки удовлетворяют, в соответствии с критерием
1’ао-Крамера, уравнению:
alnL<X’fl)== 1_[0 0] ; _0]=О.
8Q Л(0) 1 А(0) 1
Решение этого уравнения: 0*, =-0*ф.
2. Достаточность.
Теорема 2.
Если имеется достаточная статистика Т== t(x), а ОМП 0т существует и
единственная, то она является функцией достаточной статистики.
Доказательство.
51nL(x,0) 51agft(x),0) . ,
Из условия факторизации : ------—-------------—,где t(x)- достаточная
50 50
5Ing(t(x),0)
статистика /запишем уравнение правдоподобия и решая------— = 0
30
относительно 0 , получим : 0*n = cp(t(x)).
Что и требовалось доказать.
3. Инвариантность.
Теорема 3. Если т = т(0) ~ произвольная монотонно возрастающая функция
0, то т*„ - т(0*„) .
149
Доказательство.
Для монотонной функции т = т(0) существует обратная функция 0=9(И
Поэтому если теТ, то maxL(x,0) = maxL(x,0(t)).
ОеГ теТ >
Если максимум L(x,0) достигает в 0*п, то он соответствует точке т*,, удся|
лстворяющей уравнению 0*п = 0(т*п), т.е. т*п - т(0*п) . '
Пример 2. Генеральная совокупность ^~N(0,a), имеется выборка из даннмН
совокупности Х=(Х1,Х2,...,ХП), параметрическая функцяН
т(0)=Ф(——~), ФД— ^)=pg<x0). Найти ОМП длят. М
а с ;м
Решение: Д
1 11 1 " Я
X()--Sxi *o-“2>i Д
---п" ); т*=Ф(-----------”" ). 1
<з а [И
I
Асимптотические свойства оценки максимального Д
правдоподобия. I
Широкое применение ОМП связано с их хорошими асимптотическим! Ц
свойствами , т.е. со свойствами при п-»оо.
1. Состоятельность. ' I
Теорема 1. I
ОМП ©„является состоятельной оценкой, т е. 0*п —Е—> 0 при п-э-оо. (бе^ I
доказательства). ! I
2. Асимптотическая эффективность и нормальность. .
Теорема 2. (Об асимптотической нормальности и эффективности ।
оценки максимального правдоподобия). |
Если a) L(x,0)- дважды дифференцируема по 0;
Ь) М[-П[-Х,0)] -(), i;
сО ’
ainL(x,0)2 . r32lnL(x,0) п2...
с) м[------—-] - -М[--------—то оценка мак-
ои 50 ;
сималыюго правдоподобияС“)1Пасимптотически нормальна и эф-
фективна , т.е. при п->от 0*n—>у ~ N(0O’/fR(0o)|)> где ®о" истин- ‘
ное значение оцениваемого параметра.
150
Доказательстоо.
Поскольку 0*г- состоятельная оценка, т.е. 0П1-!'>Оо,то при п»1 мож-
но разложить в окрестности Оо функцию:
<4nIL(x,0) 51nL(x,0) Q .a2lnL(x,0)
------- ~------------ +(W..-U0)------2----
го 0- ао о- да2
Um и0 О0
Здесь 0- координата точки, лежащей в интервале (0т,Оо).
11о определению оценки максимального правдоподобия:
ainL(x,6)
Следовательно :
(<Л)
dlnL(x,0)
о
________ __
521пЪ(х,0)
Умножим левую и правую части па R(Oo):
1 ainL(x.O)
i4O'o)(0n,,n-eo>
aQ Оо
a2!nL(x,0)
(4).
в
R2(0o) 302
Исследуем отдельно поведение в (4) при п->«> числителя и знаменателя.
Знаменатель:
„ 1 52lnL(x,0) 1 " Э21пН(х;,0)
r2(00) да2 б К2(ео)х^ да2 .
По закону больших чисел при п->да
..jywUi
к2(адй of s R’(o„) а>2 6 R!(0„)
Числитель :
д-1 dlnUMO 1 у сНп^(х,,е)
R(0.,) да 'о, R(0o)S Э0 0'
В соответствии с центральной предельной теоремой
А->п, гдет]~М(0,1).
,, п р. 1 0InL(x,0) 2
Mn=0; Dn=—.------М(----------)
r2(60) да
_R2(Qq).4
o„ R2(%)
151
Таким образом, при n->co R(Ou)(0Jn „-6o)->i]. и
Следовательно, при п—>со: I
„ > 1 ip % y~N(e0,—?—). ’
R(0) 0 |R(0)|
Что и требовалось доказать. |
Замечание: Чем больше объём выборки, тем с большим основанием моим
по применять оценку максимального правдоподобия. (
2. Метод моментов. |
Исторически первым методом точечного оценивания является метод
моментов.
Пусть Х-(Х],Х2,...,Хп)- выборка из генеральной совокупности, за-
данной распределением Ту (и,0), где 0 = (01,...,0s). Предположим , что су-
ществуют первые s моментов случайной величины т.е. М^к <оо ,
k = 1,8. Моменты зависят от неизвестных параметров ак-= М£,к <хк(0),
центральные моменты также зависят от неизвестных параметров
pk=M(^-«))k = pk(6) . Необходимо оценить 0.
Для этого рассматриваются значения соответствующих выборочных
моментов для конкретной реализации выборки:
'Мм -1ly*'; Mk(x>--X(xi -x)k
11 , 1 П) ]
Приравнивая выборочные моменты теоретическим (которые являются
функциями 0),получаем систему уравнений :
ak(x)=ak(0) или pk(x)=-pk(0), k = l,s . (5)
Решая (5) от носительно 0, получаем значения оценки параметра по методу
моментов:
0*=h(x), сама оценка 0 = h(X).
Замечания:
1) Число уравнений в системе (5) равно числу оцениваемых параметров.
2) В системе могут быть одновременно уравнения как для начальных , так
и для центральных моментов (Пример оценка а и b,£,~ R[a, bj).
Теоретическое обоснование метода (для начальных моментов ).
а) Выборочные моменты являются несмещёнными состоятельными оцен-
ками теоретических моментов.
152
Теорема 3. Если существуют начальные моменты 2к-ого порядка , то
выборочные моменты к-oro порядка являются несмещёнными и состоя-
тельными опенками соответствующих теоретических моментов.
Доказательство :
Л*к 1 УХ- ;мл: = 1£МХ*‘ ’ Ьп. <У •
У: Hi, ni=)
DA*k Ё(М.Х;К -(MXb2)--ri(«2k -a2k) (-k
И Ы nZ i=l n U1 n
При n->a> DA;-->(), MA;=ak,следовательно A^- состоятельные оценки
«к-
b) Теорема 4. Если существует взаимно однозначное и взаимно непрерыв-
ное соответствие между 0 -• (Oj и ab...,as , т.е. существуют непре-
рывные функции Oj = <pi(a1,...,as), то 0* = <Pj(A;(X),...,As(X))-
сосгоятельные оценки соответствующих параметров.
Пример 3. Пусть X^(Xj,X2,...,Xn)- выборки из генеральной совокуп-
ности £, ,заданной плотностью вероятности (Гамма-распределение) :
02-1 - “
fF(u,0i,07)—1—„ е 0|; 0<и<оо 0<0,<со, 07
1(02)0/^
Найти методом моментов оценку параметров 0, и 0?.
Решение. "к f*. ,ч,г е °'dx-6; 02(02+1)...( 02+к-1).
О1
fill — O1O2
э , приравнивая теоретические моменты значениям выбо-
К =оХ(О2 + 1)
рочных момеш'ов, получаем:
[ct] = О|02 и
\ . Решая эту систему уравнении, получаем значения
(a2 = e?G2(02 + 1)
оценок J. и -------------—
«I (с^-оч)
1 П 1
^xf-C^xj2 s2 r2
Оценки О, 1 1 ! п----------- х ; 02=- .
153
Раздел X. Интервальные оценки параметров
распределений
Лекция 23. Интервальные оценки .
(
Квантиль распределения. j
Квантиль распределения порядка р - это такое значение иоаргумей
функции распределения, для которого F(np) = р . Если случайная величин!
непрерывно типа , io квантиль распределения определяется однозначно. *
Рис 23.1
Для дискретных величин квантиль распределения определяется неодно-
значно. В качестве квантиля распределения берется точка пр, для которой:
F(up - 0) < psF(up +0)> р. Если F(up)= р, ир е[а,Ь], то в качестве нр мож-
но брать любую точку ир е[а,Ь]. В дальнейшем будем рассматривать кван-
тиль распределения в задачах, когда случайная величина непрерывна.
Выразим вероятность попадания случайной величены в некоторый ин-
тервал через квантиль распределения
Р(а<£,<b) = F(b)-F(a) = р2 - Р1 = у.
154
Обозначим а = ux, b = u2. Здесь щ и u2 - квантили порядки pip|M9^-
истстгвенно. Задавая разность Pi-рз запишем
(и рояятность попадания случайной величены
I, в (интервал
P(U1 < £, < u2) = у.
у определяет этот интервал неоднозначно .
Длшна интервала является наименьшей
в области максимума плотности веро-
ятности (см рис. 23.2).
Рис.23.2.
Постановка задачи интервального оценивания.
Пусть имеется выборка X -- (Х],...,ХП) из генеральной совокупности
с плотностью вероятности ff(u, 0), 0 е Г, Необходимо найти две стати-
стики: 0* = ЬДХ), ‘0* = 1>2(Х) ,такие что
Р(0* <О<0*) = у. (1)
Вероятность у называется доверительной вероятностью, а интервал
(0’,0‘) называется доверительным интервалом ,0* - нижняя граница дове-
рительного интервала, 0* - верхняя граница доверительного интервала. Та-
ким образом, доверительный интервал - это интервал со случайными ipa-
ницами, зависящими от выборки, содержащий (накрывающий) с заданной ве-
роятностью истинное значение оцениваемого параметра. Длина этого интер-
вала характеризует точность интервальной оценки, а вероятность у - на-
дежность оценки. Значение у берется обычно достаточно большим: у =0,9;
0,95, 0,99.
Обычно для построения доверительною интервала используют стати-
стики, опирающиеся на точечные оценки соответствующих параметров.
Мы будем рассматривать задачу построения доверительных интервалов
для параметров нормальной генеральной совокупности, потому что нормаль-
ное распределение наиболее распространено в практических задачах, а также
построение доверительных интервалов параметров произвольных распреде-
лений при большом объеме выборки.
155
Построение симметричного доверительного интервала.||
j
Наиболее просто доверительный интервал строится на основании точв
ной оценки 0* - h(X), закон распределения которой симметричен относ!
тельно истинного значения параметра. При этом
Р(0‘ - е < G < 0* + е) = Р(0 - £ < 0* < 0 + с) =
(Hr. (2)
- ff()(u)du = y .
0-е
Для построения доверительного интервала достаточно определить с, тогда:
0 = 0* - г, 0 = 0* = к. (3)
Значение е можно найти , если известна плотность вероятности f0(u).
Построение доверительного интервала для математического ожидания
нормальной генеральной совокупности (при известной дисперсии).
Имеется выборка Х = (Х],...,ХП) из генеральной совокупности
^~N(0,cr). Необходимо построить доверительный интервал для неизвестно-
го математического ожидания 0.
Для решения этой задачи будем использовать точечную оценку, которая
является выборочным средним 0*~Х. Поскольку Х~ N(0,- y ) , то в со-
Vn
ответствии с (3): 0 = X - е, 0 = X + е . Найдем величину е, исходя из усло-
вия:
Р(0-е<0* <0-Е) = у,
С 0+Е 7 J
1’(0 (. <0* <0-1 г,)- , j ехр(-(х~9) ’/ 2)dx =
V27ra g-.r / 2g
eVn
=--y== J ехр( -у Z )dy = <I\---)-Ф(-------) = 2Ф(---)~l = y.
V2tt .v,, ст се о
156
(x-Q)Vn , Vn .
Здесь. использована замена у =----—, ау = —dx. <
СТ СТ
, .(Ел/пЛ 1 + у „
Из помученного выражения следует, что Ф ---- =---Но таблицам nine
к ст ) 2
грала: вероятности мы находим квантиль распределения порядка
Вз/п о
у) ’ ОгСЮДа С — — т- Uq 5(]+у j •
В данных расчетах Ф(г) = -.-.
V2
{дмещание:
' г У
----- I ехр(-— )dy. Значение е мож-
я 2
но таити и па основе таблиц других функций, например функции
। сЛ/а 2 j v2
|’(0-Е<0* J схр( - * )dy J ехр(-2 )dy = y.
>/2л _с/й/а 2 з/2л 0 2
Следовательно Фо(-----) = у.
ст
По таблицам интеграла вероятностей или функций Лапласа при задан-
ном 7 можно найти в и записать соответственно нижнюю и верхнюю грани-
цы доверительного интервала для математического ожидания:
0 - ЗК - -j— Uo.5(1+-/) ’
0 = X + -г^Ц0.5(1+у) • (4)
•V п
Ширина интервала:
0 ~ ®" X1,0 5(1+7} °’
0-0---------
у>|
Рис. 23.3
Парис. 23.3 схематически представлена зависимость ширины доверительного
интервала от объема выборки, звездочками представлены значения точечной
оценки 0', 0и- истинное значение параметра. При увеличении доверительной
вероятности у ширина доверительного интервала будет увеличиваться.
157
Построение доверительного интервала для математического
ожидания нормальной генеральной совокупности (при неиз-
вестной дисперсии).
Пусть имеется выборка Х = (Х],...,ХП) из E,~N(01,O^). Необходимо по
строить доверительный интервал для математического ожидания (0^ 0j)
если дисперсия 0^ тоже неизвестна. В качестве статистики для построени
доверительного интервала в данном случае используется статистик!
(X-Oj)Vn „2 1 " -.,.2 _
I = -----, где S = - - X) - выборочная дисперсия. Статистик
S п г.|
Т имеет распределение Стыодента с п-1 степенью свободы (см. Лекцию 19)
т.е. T~t„.i, поэтому
Р(Х - Е < 0! < X + е) = Р(|х - е,| < Е) = Р(|т| < еф) = у
о
Доверительный интервал для 0] имеет границы = X + е, О] = X - е . Най
дем е:
Pf |Т| < Pf _е А < т < V
111 s ) I s s )
(sVn'l (Ед/п) (Ет/п)
Ч. s ) Ч s ) Is;
„ ( sVnI 1 + Y
следовательно гт------=-----
A S J 2
Здесь использовано свойство функции распределения Стьюдентй;
Ел/п” i
FT(-z) = l-FT(z). Тогда -= to.so+yXn-i ’ квантиль распределения Стьк>
S
1 + у
дента порядка —— с (п -1) - ой степенью свободы .Следовательно
S
е = -T=t05(1+y) n_j. Границы искомого доверительного интервала:
э/п
S ___ _ s
®_1=Х 7=to.5(l+-/).n-b ®1 = X + ~7=*О.5(1+т),п-1 • (5)
158
Построение доверительного интервала для дисперсии
нормальной генеральной совокупности ( при неизвестном ма-
тематическом ожидании).
Пусть имеется выборках = (Х1;...,ХП) из £,~N(O1,0^). Построим до-
верительный интервал для дисперсии (02> ®2)-
Для решения этой задачи будем использовать статистику, основанную
j п
на выборочной дисперсии S2 = —У)(Х, ~ X)2
П 1
Рис 23.4
(6)
®2
Определим два значения статистики Т :
t] и t2 такие, что
P(tj <Т< t2) = y.
Выбор В и t2 при заданном у неоднозначен. Ширина доверительного интер-
вала будет минимальна, если мы возьмем В и t2 в области максимума распре-
деления статистики Т. Выберем В и t2 таким образом, чтобы
P(T<t1) = b-Y-, p(T>t2) = bl;
I, = А,Ьккак Р(Т11!).1-Р(Т<,!) = '-1.
1 — у 1 4- у 2
Р(Т< t2) = 1 —— = —. Отсюда t2 = Хо.5(1+у),п-1 Таким образом, с веро-
ятностью у статистика Т находится внутри интервала
(Xo.5(l-r).n-l> Хо.5(1+у),п-1) •
С этой же вероятностью у для параметра 02 справедливо неравенство:
159
S2n S2n
2 - < , -- . ,
Xo.5(l+y),n -1 Xo.5(l-y),n-1
Таким образом, границы доверительного интервала:
с 2 2
„ S П тч S п
02=—--------, ?-----• (7)
%0.5(1+г) Хо.5(1-г)
Ширина этого интервала зависит от объема выборки и от у.
Замечание: Если X - выборка из генеральной совокупности £,~(ш,0^)
(математическое ожидание известно), то построение доверительного интер-
вала опирается на статистику S2 = “X(Xi ~ П1)2
Построение асимптотического доверительною интервала.
Если статистика, на основе которой строится доверительный интервал
есть несмещенная оценка параметра, то интервал будет тем уже, чем меньше
дисперсия этой статистики. Поэтому доверительный интервал, построенный
на основе эффективной оценки будет обладать наименьшей шириной.
Мы знаем, что оценка максимального правдоподобия является асим-
птотически эффективной и нормальной, то есть
~ N| 0,-4= при п - > ОТ .
V "V п/
Поэтому если имеется оценка максимального правдоподобия некоторого па-
раметра 0, то доверительный интервал для него можно построить следую-
щим образом:
Р(|©™ - б| < £) = Р(0*го - С < О < 0*п, + е) = Р(9 - С < 0*т < е + е) = у .
Значение е находим из уравнения:
160
p(e-E<©;n
р[п7°Г , (Х'О)21П>0,,
V о J ехР(--------,---)dx •'
V 2я 01к 2
- J ехр(-4.)1Ч = ф(Е^п.о)^фС"с\Ап,о) =
vh _г г.-- 2
= 2Ф(е.^1л^)-1 = у.
г-А.е =uo.5(i+y) • Отсюда
U0,5(Ur)
Таким образом, асимптотический доверительный интервал имеет следующие
границы:
о (<. 0 = + п>>];
(8)
, /51nL(X,0)V Й21пЬ(Х,0)
где 1,. и - М ----•• ----- = М------i-----'-
< ЙО ) дв2
Замечание: Если в выражении для 1ПЙ встречается неизвестный параметр
О ,то при большом п его можно приблизительно заменить на значение оценки
максимального правдоподобия, т.к. О » ©*,, при условии n »1.
Пример!. Асимптотический доверительный интервал для параметра X рас-
пределения Пуассона.
Имеется выборка X = (Xj,...,Xn) из £, ~ П(Х) . Найти границы дове- j.
ригельного интервала (Л,Л) ,внутри которого с вероятностью у находится
параметр X?
Решение. Для построения доверительного интервала найдем оценку макси-
мального правдоподобия параметра X. Запишем функцию правдоподобия и I
логарифм этой функции:
L(x,x)=np(^ = xi)=n^r\
In L(X, X) = £ (Х( In X - ln(Xj!) - X).
1-1
I
161
Решим уравнение правдоподобия:
д!пЦХД) Л 0
”llT J
1 П 1 п
х1П=-5Х.
п, I "i I
Найдем 1„л:
а21пцхд) "Xi т хЛ 1 " v nx п
-----"L't, 1»1 = м Хэ =- <ZMXi =-<=-•
2 л 2 ’ “,л I - 2 I -> 2 * л 2 1
С/Л j=i Л \j=l Л J Л ,-1 Л Л
?
Подставляя вместо параметра ?. его оценку максимального правдоподобий
• n п . у /х • [X ?
получаем 1пЛ=-«--, X - X - u05(1+y) J—, Л = Х + н()5(1+у) J—.
Пример 2. Измеряется емкость конденсатора 16 раз. По результатам измере-
ния получено выборочное среднее X = 20пф. Считая емкость случайно!
нормальной величиной с ст = 4, указать доверительный интервал, в котором С
вероятностью у = 0.9 находится среднее значение емкости. I
Решение. Найдем 0 , 0, используя формулу (4): •
„ _ а Л - *
0 = X - Но,5(1 + у) > 0-Х + По 5(1+у) •
По таблицам находим и0^1+09) = и095 = 1.645. Следовательно !
0 = 20 -1.645 = 18355, 0 = 20 + 1.645 = 21.645.
Пример 3. Сколько надо сделать измерений п, чтобы с вероятностью у = 0.9|
среднее значение емкости находилось в интервале А шириной 0,5 пф, еслЙ1
о = 1пф. I
Решение. Ширина доверительного интервала для математического ожидания?}
а а ^СТ . (2<У V :
0-О = -^=и°5(|+у) = А,откуда п = 1^—u0.5(i+y)J й44> ;
где по таблицам найдено: u0 5(1+y) = и095 = 1.645. j
162
Раздел XI. Проверка статистических гипотез о
параметрах распределения.
Лекция 24. Проверка простых параметрических гипотез.
Статистической гипотезой называется любое утверждение о виде
или свойствах распределения случайной величины, наблюдаемой в экспери-
менте . Сформулированная гипотеза о распределении называется основной
или нулевой и обозначается Но. Альтернативной гипотезе или альтернативе
соответствует совокупность всех распределений, допустимых в рассматри-
ваемой задаче, но не совпадающих с распределением нулевой гипотезы .
Обозначение альтернативы Hi.
Задача проверки статистических гипотез заключается в выработке
правила, позволяющего по результатам наблюдения (выборочным значениям)
принимать или отвергать гипотезу Но. Это правило называется критерием
проверки гипотез . Если гипотеза (альтернатива) однозначно определяет рас-
пределение, то ее называют простой. В противном случае гипотеза
(альтернатива) сложная.
Важный класс гипотез составляют гипотезы о параметрах функции
^лсщусделения-параметрические гипотезы.
Задача проверки параметрических гипотез.
Постановка задачи. Пусть класс допустимых функций распределения слу-
чайной величины 2, есть
F={F(u,0), 0еГ}.
Здесь Г - область возможных значений параметра 0. Функции этого класса
определяются параметром 9. Поэтому гипотеза относится к значениям пара-
метра. Параметрическая гипотеза Но заключается в ут верждении, что ОеТо:
Но: беГ'о
Альтернатива Hi : О^Го, т.е. 0еГ(=Г-Го.
Здесь Го и Г1 подобласти возможных значений 0, причем Г1ПГо=0, ПиГоНГ.
163
Имеется выборка X=(Xi,...Xn) из генеральной совокупности £,, подчи-:
пяющейся одному из распределений класса I'. Необходимо построить прави-i
ло (критерий), на основании которого для каждой реализации выборки можно
принять решение уо - верна гипотеза Но или у, - верна альтернатива.
Нерандомизированное правило проверки
параметрических гипотез.
Наиболее простое правило (критерий) проверки гипотез следующее.
Пусть X выборочное пространство, то есть множество возможных значений
выборки {х} с соответствующим законом распределения. Эти значения вы-
борка может принимать как при основной гипотезе, гак и при альтернативе.
Разобьем все множество X на два подмножества А), и А) ,таким образом, что
Хо+А)=Л'; Ао ПА'1^0. Если хеАо, то принимается решение уп (верна гипотеза
Но). Если xeA'i, то принимается решение у,. А)г допустимая область-, Х\-
критическая область.
Такое правило называется нерандомизированным (неслучайным) кри-
терием Х\. (В отличие от рандомизированного правила, когда при попадании
в критическую или допустимую области соответствующие решения прини-
маются с некоторой вероятностью). Обычно стремятся выбрать А) таким об-
разом, чтобы вероятность отклонить гипотезу Н() (если она справедлива) была
мала, т.е. из условия:
Р(ХеАГ,|Но)<а, (1)
где а называется уровнем значимости критерия. Обычно «0.1, 0.05, 0.01.
Тот факт, что критерий А) имеет уровень значимости а будем обозначать А) а.
Сравнение двух критериев.
Условие (1) определяет критерий неоднозначно. Чтобы выбрать лучшее
правило, надо уметь сравнивать критерии. Для этого вводится функция мощ-
ности критерия:
W(Xi,0)=P(XeXi|0) (2)
- вероятность попадания выборки в критическую область А),если неизвест-
ный параметр распределения имеет значение 0. Критерий Х1>а тем лучше, чем
164
больше его функция мощности при альтернативе, т.е. чем больше
W(Jrla,e)=P(XeX1|9) при ОбГ|.
Пусть А\а и .¥*!« - два критерия одного уровня значимости а для гипо-
тезы По. Если
W(Yia>0)< WCYla,0), VOel'o и
W(Zla,0)>W(XIa,O), V0erb (3)
то критерий A*ia - более мощный критерий , чем Лл,,. Если условие (3) вы-
полняется для любого Х}а, то - равномерно наиболее мощный крите-
рий.
Ошибки принятия решений.
Каково бы не было разбиение выборочного пространства X, всегда
можно допустить ошибки в принятии решения. Они могут быть двух родов.
1. Ошибка первого роба. Принята верной альтернатива yi , когда в действи-
тельности справедлива гипотеза Н(). Вероятность этой ошибки
P(Yi|Ho>W(X1,O), 6еГо . (4)
2. Ошибка второго рода. Принята верной основная гипотеза уо, когда в дей-
ствительности справедлива Hj. Вероятность этой ошибки
Р(уо I Н,) I ’(X еХо | Н,> 1 - W(%! ,0) ,0 е П. (5)
Желательно минимизировать вероятность ошибок (4) и (5). Это, как видно из
(3), достигается при равномерно наиболее мощном критерии.
Проверка простой гипотезы против простой альтернативы.
Пусть Г={0() и О]} , т.е. возможны два распределения генеральной сово-
купности с,: F^(u,0o) или П (и,01). Выдвигается гипотеза
Но: 0==Оо . При этом распределение генеральной совокупности F(u,0o).
Н['. 0 = 9; . При этом распределение генеральной совокупности F(u,0)).
165
Как основная гипотеза, так и альтернатива - простые. Необходимо построил
критерий, позволяющий на основе выборочных значений принять или о:
вергнуть основную гипотезу Но.
Решение. Найдем правило разбиения выборочного пространства на допусти1*
мую Хо и критическую Xi области, позволяющее минимизировать вероятно-}
сти ошибок (4) и (5). Если верна гипотеза Но, то функция правдоподобия рав-
на L(x,0o) ; если же верна альтернатива Hi, то функция правдоподобия равна,
L(x,0]). Предположим, что генеральная совокупность соответствует лепре-"
рывной случайной величине, тогда L(x,0) - плотность вероятности выборки,
Запишем вероятность ошибки первого и второго рода f
P(YilHo)= /ЖОоЖ P(YolH,)= jL(x,0,)dx =1 - jL(x,0j)dx.
X, X„ X,
Зафиксируем Р(у)|Н()) = а и найдем Xi, для которого Р(у0|Н]) = min, т.е. для'
которого
max |L(x,0!)dx= max j —-L(x,0o)dx - max jl(x)L(x,0o)dx.
x, x, L(x,0o) x, X)
L(x 0 ) ’
Здесь 1(х) =--1....отношение правдоподобия. Выберем в качестве Xi та-
Цх,0(|)
кую область Х|={х: 1(х)>с} , где с- const, для которой выполняется условие
jL(x,Oo)dx = а .
Xj ;
Такое правило разбиения и такое правило принятия решения называется
критерием Неймана Пирсона.
Теорема Неймана-Пирсона. Пусть F(u,0o) и F(n,0i) - непрерывные функции;
и; отношение правдоподобия 1(х) = д Л. Тогда при фиксиро-1
/1ДХ,О0)
ванной вероятности ошибок первого рода а существует наиболее мощный(
критерий, определяющий критическую область Л*1а={х: 1(х)>с}. И
166
Доказательство. Пусть имеется еще один критерий JV)a с тем же уровнем
значимости. Обозначим:
А = Х1(1, В = X ja, С = Х1а пх;(1 , D = Х]а л х;(1,Е = х1а л х;а.
Для критерия Xi „ функция мощности при альтернативе равна
W(Xla,01)=fL(x,Oi)dx = fL(x,01)dx +jL(x,e,)dx.
А С D
Аналогично для критерия Ji’’ia функция мощности при альтернативе равна
W(X;u,01) = jL(x,01)dx=fL(x,01)dx+fL(x>01)dx.
В С F.
Можно записать
\У(Х1аД) = WCX^.Oj) - J L(x,O|)dx + J L(x,0()dx =
E D
= W(Xja Д) + Jl(x)L(x,Oo)dx - Jl(x)L(x,09)dx.
D E
Согласно определению множества X* 1(, , вне этого множества 1(х)<с, а в точ-
ках этого множества 1(х)>с , т.е. -1(х)<-с. Поэтому:
w(xla,01)<w(x;,x,eI) + c-
J L(x,0o)dx - J L(x,Oo)dx
_D E
Интегралы, стоящие в скобках, равны между собой:
j L(x,0o)dx = J L(x,0o)dx - JL(x,0o)dx = a - J,
D A C
|L(x,0o)dx = J L(x,0o)dx - jL(x,0o)dx =a - J,
DEC
167
где jL(x,0o)dx =-= J. Следовательно: W(Xlct,01)<W(Xj(x,91), т.е. критерий!
c I
X*a мощнее любого другого критериях1а с заданным уровнем значимости!
а. Что и требовалось доказать. I
Замечание: Доказательство теоремы Неймана-Пирсона в случае, когда F(u,0o)l
не является непрерывной, аналогично. Только вместо интегралов будут стоять j
соответствующие суммы. j
Лекция 25. Проверка статистических гипотез о j
параметрах нормального распределения.
1. Проверка простых статистических гипотез о среднем нор-
мального распределения (при известной дисперсии).
Пусть X = (Х1,Х2,...,ХП)- выборка из генеральной совокупности t-N(0,a),
математическое ожидание 0 может принимать одно из двух значений, т.е.
Г !0,.<)..!•
Выдвигаются основная гипотеза: Но: 0 = 0О .
Альтернатива: П1:О = 0р 01>0О.
Необходимо построить критерий (правило), в соответствии с которым можно
принять или отвергнуть 110. Такого рода задачи встречаются ,например , при ,
различии бинарных сигналов на фоне гауссовых помех , обнаружении объек-
тов при локации.
Решение.
Будем использовать критерий Неймана-Пирсона , в соответствии с которым
г- М \ E(X,Oj) Z-
отношение правдоподобия 1(х)= ———- -- необходимо сравнить со значени-
L(x,Oo) .
ем С.
Если 1(х)<С, то принимается решение у0-справедлива Но,
если 1(х)^С, то принимается решение У]- справедлива (ф. ;
Значение С находится из условия Р(у1|П0)-а. В данном случае >
1(х)=ехр (- -L £((Xi - в, )2 - (Xj - Оо )2 )| = j
2а i=i ।
168
-exp - -Lf (-2хД + 2x1Oo - 6* + 0’) =exp{4(0i - 0o)* - A(0? ~ 0o)
I 2a j=i J Irr 2cr
В виду монотонности ln(x) , можно сравнивать In 1(х) с In С.
In 1(х)> In С.
4(Oi-6o)x-i-(0^-O^)>lnC,
<з 2а
____ a2lnC 0j+Oq ,
х >---------+ —-- = h . (1)
n(0!-60) 2
Получаем правило (критерий):
если х>11, то хе Х1 , решение у15
если x<h, то хе Хо , решение у0. (2)
Значение h находится из условия
Р(71|Н0)=а. _ (3)
Если верна гипотеза Но, то статистика X имеет нормальный закон распреде-
ления:
' (U-Oy)2!!
__ Г и 00 7
Поэтому Р(У1)Но)=Р(Х>Ь,| Но> — (с 20 du-
V2ла^ и
J -) , где Ф(г)- 1 Je“' dt.
V21T (h_oJo)/n о 72л Д
. (u-0n)Vn
Здесь сделана замена переменных t=---. Из уравнения
о
1_o(LhrAEl)=a
, а
получаем z
(ь-ооЬАГ .
- Uja }
а
h=^Ul-a+0O>
где и]_а- квантиль нормального распределения порядка 1-а.
11айдсм вероятность ошибки второго рода
169
P(YolHI)=P(X<h|H1)=--—yje du ‘ J e-/2dt =
V2тгст h V2tc
=O(lhZe^).
СУ
Таким образом, с учетом найденного выше значения h:
Р(Уо1Н])=Ф(и1.(Х-^1—^-0-—); РСЫНоГа. (4)
ст
Проиллюстрируем полученные результаты . На рисунке 25.] приведено
графическое представление плотности вероятностей выборочного среднего
при основной гипотезе и альтернативе. Вероятность ошибки первого рода
представлена заштрихованной областью.
Функция мощности выражается
через ошибки первого и второго
рода следующим образом:
W(X„e0>P(yj|H0)-a.
Рис. 25.1 I
Значение h называется критическим значением , слева от него допусти-»
мая область возможных значений х , справа - критическая область;
(правосторонняя критическая область).
При п->«> и a=const критическое значение 11->0о, а Р(у0|Н1)->0.
Можно определить п , необходимое для обеспечения заданной вероятности:
г>/ нт \ о (01 -Oo)Vn !
PCYolHO-p. Из уравнения Up=U!_.a—-------У----получаем
(Uj-a~Up)2Q2 '
«“=-------"5----• :
(01 -Оо)2
Как следует из рассмотренной задачи, проверка простой гипотезы против
простой альтернативы сводится к построению некоторой функции выборки
(статистики) Т(Х), область возможных значений которой Т.
170 f
(В рассмотренной выше задаче такой статистикой было выборочное среднее
X е(-оо,+°о)). Облас ть Т разбивается на две подобласти :
Tj = {t: t = Т(х), хе Xj} - критическую и
То = {t: t = Т(х), хе Хо} - допустимую .
Разбиение на подобласти производят таким образом ,чтобы
Р('Г(Х)еТ| | Н0)<а , (5)
т.е. критическая область включает значения статистики Т , маловероятные
при справедливости основной гипотезы . Выбор статистики осуществляется
на основе двух требований :
1) закон распределения статистики при справедливости Н()должен быть из-
вестен ;
2) при переходе от основной гипотезы к альтернативе закон распределения
статистики (или его параметры) изменяются .
В отличие от выборки X , которая является многомерной случайной вели-
чиной , статистика Т(Х) , используемая в задачах проверки гипотез, - ска-
лярная случайная величина и область её возможных значений - интервал на
числовой оси (полуинтервал или вся числовая ось) . Критическая область
Т, может быть как односторонней , так и двусторонней .Это зависит от того ,
как изменяется закон распределения статистики при переходе от основной
гипотезы к альтернативе . Если в сторону увеличения вероятности больших
значений , то область правосторонняя , если в сторону увеличения вероят-
ности меньших значений, то область левосторонняя, если нельзя указать , в
какую сторону , то критическая область двусторонняя .
Часто правило проверки гипотез носит название используемой статисти-
ки .
Для поверки одной и той же гипотезы можно использовать разные стати-
стики . В рассмотренной выше задаче вместо выборочного среднего можно
использовать статистику
т(х><?о».Мк> (6)
о
имеющую при справедливости основной гипотезы стандартное нормальное
распределение .
Правило принятия решения в этом случае:
если 1>йкр>то принимается решение уь что справедлива! Ц: 0-Oj;
если t<hKp до принимается решение у0, что справедлива Но: 0-0о. (7)
(h - Oo)Vn
Здесь hK -------51— находится из условия
о
р (И-УУ. > Ькр Iн0) = а. (8)
О
171
Нетрудно показать , что критерии (1) 4- (3) и (6) + (8) эквивалентны. ;
Самостоятельно : Используя критерий Неймана-Пирсона, решить за/
чи поверки гипотезы о математическом ожидании нормальной генеральн
совокупности:
1)Н(1:0-=Оо;Н1:О-О1,е1<0о.
2) Но :0=0О; H1:0=01,Oi*0o.
Замечание: В последнем случае критическая область - двусторонняя.
2.Проверка простых статистических гипотез о дисперсии
нормального распределения (при известном
математическом ожидании).
Пусть Х = (Х],Х2,...,ХП)- выборка из генеральной совокупности
У 'I
£,~N(n;,0/2) , 0-дисперсия генеральной совокупности , 0еГ; r=={Oo,0j). Вй
двигается гипотеза Ни: О=0о; альтернатива Н1 :
Необходимо построить критерий , в соответствии с которым можно принят!
или отвергнуть основную гипотезу Н(). ]
(9) |
Решение. I
Опираясь на критерий Неймана-Пирсона ,нетрудно получить , что здесь слв|
дуст использовать статистику
n (X- - ш)2
Т(Х) У 1
1 = 1 °0
которая при справедливости основной гипотезы распределена по закону %2о1
п степенями свободы. При переходе от основной гипотезы к альтернативе
ввиду условия 0|>б(|, вероятность больших значений статистики возрастает ,,
поэтому критическая область правосторонняя и правило принятия решений
следующее:
Если t>hKp , то справедлива альтернатива Н1;
если t<hKp , то справедлива основная гипотеза Но. '
Значение Ькр находим из условия :
Р(Т>Ькр|Н0>Р(Г>Ькр|Н0)=а,
Р( х2 > hKp | Но >1 - Р( %2 < hKp | Но )=1 - F? (hKp) =а,
откуда
(Ю)
172
11 -v2
"кр лп,1-а
Здесь Xni-а-квантиль распределения у/ с п степенями свободы порядка
(1-сх).
Вероятность ошибки второго рода :
м Н,) = Р<ги’<11кр|Н1) - Р( 2 <x^i .
-14 х? < (|° кР) := р. (11)
Графическая иллюстрация.
На рис. 25.2 представлены кривые распределения статистики Т при основной
гипотезе и альтернативе. Вероятности ошибок первого и второго рода пред-
ставлены заштрихованными областями.
Рис. 25.2
Если п->оо, кривые распределения при основной гипотезе и альтернативе
стремятся к кривым нормального распределения, максимумы которых удаля-
ются друг от друга, поэтому при «--const hKp-»0 , а вероятность ошибки второ-
го рода р~>0 . Это следует также из формулы (11).
Самостоятельно : Решить задачи проверки гипотез о дисперсии нормаль-
ной генеральной совокупности :
1) Но: о (»<>; Нр 0=0], 0]<е0 2) Но : 6=Оо; II,: 0=6], О]*6о-
Замечание: В последнем случае критическая область двусторонняя.
173
З.Нроверка статистических гипотез о среднем нормального
распределения (при неизвестной дисперсии ).
ПустьХ = (Х,,Х2,...,Хп)- выборка из генеральной совокупности |
£,~N(0,oj, 0e{Oo,Oj} , о2-дисперсия генеральной совокупности , которая не- '
известна. Выдвигается гипотеза ;
Но: 0=Оо. Альтернатива Н, : 0-0,.
Необходимо построить критерий (правило), позволяющий принять или от- I
вергнуть основную гипотезу 110. Для решения этой задачи используется ста-
тистика
т(Х)-^-"-^аЬ^-, (8)
' 1 11
где S ]Г(Х1“р0) , которая при справедливости основной гипотезы рас-,
n i = l •
пределсна по закону Стьюдента с (п-1) степенями свободы. В зависимости ОТ!
альтернативы: !
а) 0-0, ,0, >0о; Ъ)О=0,;0,<0о ; с) 0-0, ;0,^Оо. j
Выбирается односторднняя (а, Ь) или двусторонняя критическая область (с). 1
Критические значения находятся , как обычно, из условия (3)
4.Проверка статистических гипотез о дисперсии нормальной ‘
генеральной совокупности ( при неизвестном математическом
ожидании).
у
Х = (Х1,Х2,...,Х|1)- выборка из генеральной совокупности £~N(a,0/2) ,
0 е {00,0,} ,а- неизвестное математическое ожидание. Выдвигается гипотеза |
НО:0=0О; Альтернатива И, : 0^=0,;. !
Необходимо построить правило, позволяющее принять или отвергнуть ос-
новную гипотезу . Для решения этой задачи используется статистика: Т(Х)=>
n (X- -X)2
У, —-------, которая при справедливости основной гипотезы распределена
i- 1 °0
по закону /2с (п-1) степенями свободы. Критическая область выбирается В;
зависимости от альтернативы, а критическое значение из условия (3).
Самостоятельно :
Решить задачи проверки гипотез 3 и 4 при различных альтернативах.
174
Лекция 26. Проверка сложных параметрических
гипотез.
I. Проверка гипотез о равенстве математических
ожиданий
(при известных дисперсиях).
Имеем две независимые выборки :
Х-(Х1(Х2,...,ХП) из генеральной совокупности и
Y =- (Yx, Y2, . . . , Ym) из генеральной совокупности T|~N(0|,a1).
Выдвигается гипотеза Но: О|=02 против альтернативы И1:015^02.
Как основная гипотеза , так и альтернатива- сложные гипотезы ,т.к.
значение математического ожидания распределения не определено.
Утверждается только равенство (Но) или неравенство (НД математических
ожиданий для генеральных совокупностей Е, и Т|.
Необходимо на основе значений выборок принять или отвергнуть
основную гипотезу.
Для решения этой задачи необходимо сформировать такую статистику ,
распределение которой при основной гипотезе было бы известно и значения
которой при основной гипотезе и альтернативе были различны.
Воспользуемся статистикой , построенной на основе выборочных средних :
(1)
T(X,Y)-
2 У
где ст ~ —*- + —
n m
Статистика (1) имеет нормальное распределение
О — fl гР" гР'
N(—-------,1). Действительно : X~N(0|,-J=), Y ~N(02,--JL),
g л/n vm
с
параметрами
следовательно
(X-Y)~N(0, -015 , а статистика T~N(——
n in о
175
Обозначим -J——=0О, тогда основную гипотезу и альтернативу можно
с
переформулировать следующим образом :
Но: Оо= 0- простая гипотеза относительно статистики Т,
Н, :Oo?t 0 - по-прежнему сложная гипотеза.
Область возможных значений статистики Т - 7' ! ) необходимо разбить
на две подобласти : критическую 7) и допустимую То таким образом .чтобы
вероятность отвергнуть Но, когда она справедлива , была мала ,т.е.
P(Yi|H0)=a. (2)
Плотность вероятности статистики Т при основной гипотезе
' 1 --
fT(u| Оо-0)---7==--е 2 , -оо<и<+оо (3)
при альтернативе
(';Оо?
2 , -О0<и<+о0. (4)
Возможны три случая
а) 0о<О , Ь) 0о>О , с) 0о?^О.
Рассмотрим эти случаи.
а) 0;>02 , при этом кривые распределений (3) и (4) выглядят следующим
fT(u| 0i; / 0) е
л/2тс
образом (рис.26.1) :
критическая область лежит правее
критической точки h, которая
находится из условия (2):
Р(Т>Ы Но )= fехр(- и/ )du = 1 -
Ф(Ь)=а.
Отсюда h=U]_a- квантиль стандартного
нормального распределения порядка 1 -
ос.
Рис 26.1
f (U)
176
b) 0|<O2. Кривые распределения при этом имеют вид, представленный на
рис.26.2.
Критическая область - левосторонняя, критическая точка h находится из
условия (2):
P(T<h|H0)=
-2'- IехР( ” UX)du = Ф(Ь)=а,
V27T /z
h=ua- квантиль стандартного
распределения порядка а.
с) О,?^. В этом случае критическая область двусторонняя. Ввиду
симметричности распределения статистики Т при основной гипотезе
относительно нулевого значения аргумента, критические точки находятся
из условия:
P(|T|>h|II0)=a,
P(|T|>h|B0)“ l-P(|T|<h|H0>
1 h 2 /
1- м fexp(-u Z)du
V2.7C _h
=1 -Ф(Ь)+Ф(-Ь)=2(1-Ф(Ь)).
Рис 26.3
cc
Отсюда h=u a - квантиль стандартного распределения порядка 1-
2
Вероятность ошибки второго рода и функция
мощности при альтернативе.
В отличие от задачи проверки простых гипотез , рассмотренных в
предыдущей лекции , вероятность ошибки второго рода и функция
мощности при сложной альтернативе зависят от параметра 0О. Получим эти
зависимости.
177
а) Возьмем случай Оо>() . Тогда вероятность ошибки второго рода р равна
Р( T(x,y)<h|Hj)=P . Функция мощности при альтернативе
, «, -(и-Оо)
W(Oo)=l - р - Р(Т > 1.|11,) Je 2 dl^l-4>(h-0o).
л/2л и
График этой функции представлен
на рис. 26.4.
При 0О -у® : р-->0, W( Оо )-> 1.
При 0О—>0: РW(Oo)->a.
Ь) Рассмотрим случай 0О <0.
В этом случае вероятность ошибки
второго рода Р( T(x,y)>h| Н, )~р. Тогда
Рис 26.4
-(и О»)
2 du Ф(Ь-Оо).
W(ОД1 -р 1 Р( T>h| II,) Р( T<h| II,,) 1 /е
-72тс
График этой функции представлен
на рис. 26.5
При0о—>0: р—>l-a, W(60)->a.
При 0о->-оо; р—>0, W(0o) ->L
с) Рассмотрим, наконец, случай0о^0. Для него
, ь ’ -(u-eL)
W(0o>l-p-P(|T|>h|H1)=-7^ fe 2 du+ —fe 2 0и-Ф(-Ь-Оо)+
v2rt л/2л j;
178
2-(Ф(и+ео)+Ф(ь-0о)).
График этой функции представлен
- на рис.26.6
ПриОо->О: W(0o)->a,
при 0о->±со: W(0O)—>1.
Пример!. С помощью одного и того же прибора , среднеквадратическая
ошибка измерения которого a0 - 1, получено по 5 измерений двух величин:
для первой величины X; =4,5,6,7,8 ;для второй величины у,=5,6,5,4,5.
При уровне значимости а- 0.05 проверить гипотезу о равенстве измеряемых
величин.
X — Y /2
Решение: Используем статистику T(X,Y)=------, 0= а0 - .
о V 5
Альтернатива соответствует случаю с) - критическая область двусторонняя ,
критическое значение находим ко таблицам h= u a -1,96.
2
X —Y
Вычисляем значение статистики t3KC =----=1,58.
о
Поскольку |t ,kc|<h , то принимаем гипотезу Но.
Таким образом, при заданном уровне значимости гипотеза о равенстве
измеряемых величин справедлива.
II. Проверка гипотез о равенстве дисперсий (при известных
математических ожиданиях).
Пусть имеется две выборки :
X = (Х],Х2,...,ХП) из генеральной совокупности £,~N(ai,0j) и
Y = (Ylr Y2, . . . , Ym) из генеральной совокупности T|~N(a2,02).
Выдвигается гипотеза о равенстве дисперсий , т.е.
179
(6)
Основная гипотеза II0: 0, = 02.
Альтернатива Ир 0, Ф 02 .
Необходимо на основе значений выборок принять или отвергнуть
основную гипотезу.
Для этого следует воспользоваться статистикой , закон распределения
которой хотя бы при основной гипотезе был бы известен.
Как следует из результатов лекции №19, статистика
р_ Srnfm -1)02
SzmCn-QO] 1 7
распределена по закону Фишера. При гипотезе Ио: 0] = 02 статистика (5)
преобразуется в статистику
S2m(n -1)
не зависящую от неизвестных параметров.
При альтернативе возможны три случая.
а) 0,>02 ,b) ©i<02,c) 0^е2. j
Если в качестве выборки X всегда
брать выборку с большим значением
выборочной дисперсии sf, случай Ь)
сведётся к а).
Рассмотрим этот случай.
Кривые распределения статистики (6)
при основной гипотезе и альтернативе
представлены на
Рис 26.7
рисунке26.7. Критическая область правосторонняя. Критическое значение
находим из условия (2).
P(T>h)=l-P(T<h)=a,
откуда h=i|/1_a - квантиль распределения Фишера порядка 1-а со степенями
свободы (п,ш).
180
с). В случае когда 0]^02 критическая область двусторонняя.
Критические точки найдём из
условия (2).
а)Р(Т> h2)+ P(T<hj)=a.
Предполагая , что Р(Т> h2 )=
Р(Т< h j )=—, получаем
h2^Vba
2
распределения Фишера с (n,m)
2
квантили
степенями свободы порядка- -и 1---. Рис 26.8
Вероятность ошибок второго рода и функция мощности при
альтернативе.
При альтернативе 0|Т'()2 и статистика (6) будет выражаться через
случайную величину F (5), распределённую по закону Фишера, следующим
образом : T--F—.В связи с этим вероятность ошибок второго рода и
02
л 01
функция мощности при альтернативе зависят от отношения —
02
а) 0j>02- Критическая область правосторонняя. Вероятность ошибки первого
0~ 0э
рода P(y0|Hi)=P(T<h|H|)=P(F<-~h)= Ff(—^h). (7)
У1 Uj
Функция мощности при альтернативе;
W(^4=P(1>h|II,)=l-FF(^h). (8).
02 01
181
Исследуем поведение вероятности ошибки второго рода и функции
0.
мощности в зависимости от -- .
02
Это отношение в рассматриваемом случае находится в пределах
1< 6!-<оо.Если 0|- > 1, то Р(у0|Н|)->1-а, W(-‘-)-»l-F(h)=a.
02 02 02
Если -1->оо , то Р(у1|Но)->О, \¥(0|-)>1.
02 02
с) 01*02- Критическая область двусторонняя.
d) Вероятность о!пибки первого рода P(yo|HI)=P(hI<T<h2)=FF(0? h2)-
Oi
Ff(^ h,), W(-1)=1-Ff(-0?-h2)+Fp(--2- h,).
F 0j 17 e2 ivo, 2 1 0)
В данном случае 0<<co.
02
Если >0 , to P(y0|Hi)->0,
если —>oo , также P(y<i|l I,)>0, W(—)—>1.
02 02
Если -^-=1 ,то P(y0|H1)->a,W(-l-)=a.
02 02
Самостоятельно : Решить задачи проверки сложных гипотез
1) О равенстве математических ожиданий при неизвестных дисперсиях '
2) О равенстве дисперсий при неизвестных математических ожиданиях.
182
Раздел XII. Проверка гипотез о законе I "
распределения.
Лекция 27. Проверка гипотезы о законе распределения.
(Критерии согласия).
it
Пусть X = (X], Х2,..,ХП) - выборка из генеральной совокупности с
неизвестной функцией распределения, относительно которой выдвигается
гипотеза:
H0:F^(u) = F0(u).
Распределение F0(u) берется, исходя из теоретических соображений |:
или на основе предварительного статистического исследования. Относи- L
тельно альтернативного распределения никаких предположений не делается,
т.е. альтернатива:
Ht: F;=(u)*F0(u).
Необходимо построить правило (критерий), позволяющее на основе
выборочных значений принять или отвергнуть основную гипотезу. Иными
словами, необходимо построить критерий, отвечающий на вопрос, согласу-
ются ли наблюдаемые данные с предполагаемым законом распределения.
Такой критерий называют критерием согласия, а сформулированная задача
- задачей проверки согласия. ‘
Основная гипотеза является простой, а альтернатива - сложной. Как и
при решении задачи проверки параметрических гипотез, для решения по-
ставленной задачи выбирается некоторая статистика G = g(X).
Обычно статистика G положительна и при переходе от основной гипотезы к
альтернативе ее значения возрастают. Распределение статистики G при спра-
ведливости Но известно точно или асимптотически (т.е. при п-><ю). Выбира-
ется критическая точка g кр, определяющая критическую область из условия: |'
P(G>gKp |н0) = а. (1) У
Гипотеза Но принимается, если g(x)< gKp и отвергается, если g(x)> gKp. ’li
Значение а - уровень значимости, он равен вероятности отвергнуть основ- ।
ную гипотезу, если она в действительности верна. Обычно а = 0.1,0.05, 0,01. |;j
Рассмотрим наиболее распространенные критерии согласия. |1
2
1. Критерий согласия % -Пирсона.
Разобьем область возможных значений на подобласти |||i
(подинтервалы) с помощью точек
Zo< Z, < Z2 ..< Zm. I|
________________
183
По заданной функции распределения F 0 (и) вычислим вероятность попада-
ния в k-ый подинтервал:
p^P(Zk_I<^<Zk) = F0(Zk)-F0(Zk.1), k=l,..,m. (2)
Обозначим vk - число элементов выборки X, удовлетворяющих условию:
Zk_x<Xt<Zk.
Тогда при справедливости гипотезы Но случайные величины v1,v2,..,vm
имеют полиномиальное распределение (обобщение биномиального):
P(vk= nk; ------ р"1 Ру - Pm" • (3)
Hi !n2!..nm!
Задача сводится к проверке гипотезы о том, что vk получаем из полиноми-
ального распределения с вероятностями исходов рк (2).
Для решения этой задачи используется статистика %2 - Пирсона:
G.gfcj'pT
k=i пРк
Распределение статистики (4) при п->со сходится к распределению /2 с
(т-1) степенями свободы.
При заданном уровне значимости критическая точка выбирается из ус-
ловия (1):
p(G>x2Kp |h0)=i-fx2(XkPW.
Здесь Р^Ди)- функция распределения случайной величины, распределенной
по закону х? с (m'l) степенями свободы; хкр- квантиль данного распределе-
ния порядка 1-а.
Правило проверки гипотезы о законе распределения:
если G> х2р,гипотеза По отвергается, если G<XkP, гипотеза принимается.
Замечания:
1) Статистика (4) подчиняется распределению х уже при п>50 и vk>5.
2) Выбор точек Zo.. Zm должен удовлетворять двум противоречивым требо-
ваниям. С одной стороны Рк (2) должны достаточно хорошо отражать вид
распределения F 0 (и). Для этого надо, чтобы число интервалов m было доста-
точно велико. Однако, тогда значения рк и vk будут весьма малы, а для того,
2 г-
чтобы пользоваться распределением , значения vk не должны быть малы-
ми. Поэтому обычно на практике разбиение на подинтервалы осуществляют
исходя из условия npk> 10 или vk>10.
3) Интервал(Zk_], Zk) могут быть разной длины.
4) КритерийX2- Пирсона можно использовать и тогда, когда F0(u) задана
184
с точностью до параметров, т.е. F0(u) = F(u,0), где 0 - (0) ..0S ) - вектор не-
известных параметров. Если параметры оцениваются по той же выборке
объема п (одним из методов точечного оценивания), то статистика (4) при
п—>оо подчиняется распределению %2 с (m-s-1) степенями свободы.
5) При проверке гипотезы о распределении дискретной случайной величины
разбиение на интервалы осуществляется таким образом, чтобы в каждый ин-
тервал попали возможные значения
2. Критерий согласия Колмогорова.
Этот критерий основан на статистике
Dn= Vnsup|Fn(u)-F0(u)|, -oo<n<co. (5)
Здесь F0(u) - непрерывная гипотетическая функция распределения генераль-
ной совокупности; Fn(u) - эмпирическая функция распределения, построен-
ная по выборке X. Статистика (5) обладает тем замечательным свойством,
что при справедливости нулевой гипотезы распределение Dn не зависит от
вида F 0 (и).
Теорема.
Если F0(u) - непрерывная функция, то при справедливости гипотезы
II0: F Ди) = F0(u) статистика Dn (5) не зависит от F0(u).
Доказательство.
Докажем, что Dn при любой функции распределения F0(u) имеет такое же
распределение, как и в случае, когда F0(u) соответствует равномерному рас-
пределению на интервале [0,1].
Элементы выборки Xj, Х2,..,ХП- независимые случайные величины, ка-
ждая из которых имеет при справедливости гипотезы Но распределение
F0(u). F0(u) - строго возрастающая функция, поэтому существует обратная
монотонно возрастающая функция
u = Fo'(y),O<y<l .
Рассмотрим случайные величины Yj = F0(X j ). Очевидно, что:
P(Yi<y) = P(Xi<Fo1(y)) = Fo(Fo1(y)) = y, 0<у<1 , (6)
т.е. случайные величины Y; имеют равномерное в интервале [0,1] распреде-
ление. Совокупность случайных величин (Y], Y2 ,..,Yn) = Y можно рассмат-
ривать как выборку из генеральной совокупности г|, имеющей функцию рас-
пределения F'n(y), соответствующую равномерному распределению.
Эмпирическая функция распределения для выборки X:
185
Fn.(u)=Fn.(u,X, ,X 2 ,.,X n) = - £ e(u - Х;) = -1 e(Fo-' (У) - X; )
nM ni-l
Эмпирическая функция распределения для выборки Y:
F„,n (У) = Fn,n (у, Y|, Y2,..,Yn) =- -£е(у-Yj).
fl,z>0
Здесь e(z) = |0>z<0-
Из эквивалентности событий {Y, < у} и { X, < Fo’ (у) = и} следует, что Fn
=(и, X!, X2,..,Xn) = F„n (у, Y ।, Y2,..,Y„), поэтому для любого F0(u):
Dn= Vnsup|Fn(u,X],X2,..,Xn)-F0(u)| = 7nsup|F;,n(u,Y1(Y2,..,Yn)-y|,
что и требовалось доказать.
Замечания: 1 ~) Существуют таблицы функции распределения статистики (5)
при справедливости Н 0.
2) Статистика Dn при справедливости Ио обладает еще одним важным
свойством, которое доказал Колмогоров:
limP(Dn<k)= £(-1)'exp(-212k2) =Fn(k). (6)
П->^ Щ-00
Здесь FD(k) - функция распределения Колмогорова. Используя таблицы расг
пределения Колмогорова при п»1 или таблицы распределения статистики
Dn при малых п, можно найти критическое значение из условия (1)
P(Dn>kKp)- 1- FD(hKp) =а,
hKp = к]_а - квантиль распределения статистики D п порядка (1- а).
Получим следующее правило проверки гипотезы. При заданном уров-
не значимости находим по таблицам kr а. Вычисляем по выборочным зна-
чениям значение dn статистики (5). Если dn> k1(I, то гипотеза Но отверга-
ется, если dn< k1C(, то гипотеза По принимается.
3)В отличие от критерия %2- Пирсона, критерий Колмогорова требует точ-
ного задания F0(u) (если неизвестны параметры распределения, то Dn бу-
дет зависеть от вида F 0 (и)).
4) Требуется непрерывность F 0 (и), т.е. нет теоретического обоснования для
применения этого критерия для дискретных величин.
5) При конечных п существуют таблицы функции распределения статистики
Dn. Критерий можно использовать при малых выборках. ,
186
Пример /.Произведено 4040 подбрасываний! монеты. Герб выпал 2048 раз.
Справедлива ли при уровне значимости а = <0.05 гипотеза о том, что монета
симметричная?
Решение. Если обозначить - число выпадений герба при однократном
подбрасывании монеты, то при симмет рично й монете (справедливости гипо-
тезы Но), эта случайная величина принимает значение 0 или 1 с равными ве-
роятностями т.е. должна иметь закон распределения
xi 0 1
Pi 0.5 0.5
Для проверки справедливости гипотезы П01 воспользуемся критерием х2 -
Пирсона.Здесь п = 4040; m = 2; pj ;-р, = |-, Пр, = 2020; v , =1992; v2= 2048,
2(vj-npj)2 282 , 282
следовательно: g= у----------- = ----+ -----= 0.776.
ад nPi 2020 2020
Но таблице /2- распределения с 1 степенью свободы (распределения Релея)
находим квантиль распределения порядка 1-а : х2р= 3.8, Т.к. g<x2p, то
По справедлива, следовательно монету можн<о считать симметричной.
Пример 2. В результате испытания датчика.случайных чисел получены дан-
ные, представленные в таблице. Проверить, используя критерий х2- Пирсо-
на, согласуются ли эти данные с гипотезой е> равномерном законе распреде-
ления при уровне значимости а
ИНТЕРВАЛ Число значений vi ИНТЕРВАЛ Число значений vi
0 4- 0.1 110 0.$4-0.6 119
0.1 4-0.2 100 0.6 4- 0.7 95
0.2 ч- 0.3 124 о.2 4- 0.8 87
0.3 + 0.4 98 0.1; -:-0.9 76
0.4 4- 0.5 90 ОТ) 4- 1.0 101
Решение.
0,и<0
Надо проверить гипотезу Но: 1у (ы) = и,0 < ц < ]
1,и > 1
Здесь п = 100; ш = 10; рад0.1; пр; = 100; v г- в таблице. Получаем g = 15.32 .
По таблице у2- распределения с 9 степенями свободы находим х2р = 16.9.
J87
Поскольку Х.2р> g, то гипотеза Но верна, т.е. закон распределения можно
считать равномерным.
Пример 3. Проверить с помощью критерия Колмогорова гипотезу о равно-
мерном законе распределения, используя данные предыдущего примера
(уровень значимости а ~ 0.05).
Решение. Найдем эмпирическую функцию распределения и представим ре-
зультаты расчетов в виде таблицы:
U Fn(u) F0(u) 1 Fn(u) ~ F0(u) 1 u Fn(u) F0(u) lFn(u) -F0(u)|
0 0 0 0 0.6 0.631 0.6 0.031
0.1 0.11 0.1 0.01 0.7 0.726 0.7 0.026
0.2 0.21 0.2 0.01 0.8 0.813 0.8 0.013
0.3 0.324 0.3 0.024 0.9 0.889 0.9 0.001
0.4 0.422 0.4 0.022 1.0 1.0 1 1.0 0
0.5 0.512 0.5 0.012
Как следует из данных, приведенных в таблице:
d- Vnmax|Fn(u)-F0(u)| 1.298.
По таблицам распределения Колмогорова находим квантиль распределения
порядка 1- а : к]_а = 1.358. Поскольку d < k]_u, то гипотеза о равномерном
законе распределения при данном уровне значимости верна.
Лекция 28. Проверка гипотезы о равенстве
распределений. (Критерий однородности).
Пусть Х=(Х|,Х2,...,Х„) и Y=(Yi,Y2,...,Yra) - выборки из генеральных со-
вокупностей E,~Fi(u) и ц~Р2(и) соответственно. Причем F/u) и F2(u) - неиз-
вестны. Выдвигается гипотеза, утверждающая, что распределения одинако-
вы, или (что тоже), что выборки взяты из одной и той же генеральной сово-
купности:
Основная гипотеза Но: F|(u)=F2(u),
альтернатива Нр F|(uyF2(u).
Необходимо построить правило, позволяющее на основе значений выборок
принять или отвергнуть основную гипотезу Но.
Рассмотрим два правила (критерия), наиболее часто используемые для
решения этой задачи.
I. Критерий Колмогорова-Смирнова.
188
Этот критерий применяется для непрерывных функций распределения и
использует статистику
Dn,,n = J—--sup|Fn(u)-Fm(u)|, (1)
V n + m
где Fn(u) и Fm(u) - эмпирические функции распределения для выборок X и Y
соответственно.
Теорема. Для непрерывных Fj(u) и F2(u) при справедливости гипотезы Но
случайная величина D,,im не зависит от вида распределений и при п—>оо,
—> т <со, распределена по закону Колмогорова . (Без доказательства).
Очевидно, что статистика (1) при переходе от основной гипотезы к аль-
тернативе будет иметь большие значения. Поэтому, опираясь на утверждение
теоремы, сформулируем правило проверки гипотез:
1)При заданном уровне значимости, т.е. при заданной вероятности отверг-
нуть гипотезу По, если она верпа P(D > ккр|Н0) = а , вычисляют ккр--к|.а-
квантиль распределения Колмогорова порядка (1-а).
2)По значениям выборок вычисляют значение статистики (1) d ,(1.
3)Сравниваются значения ккр и <1,кс. Если с1эвс>ккр, то гипотеза Но отвергается,
если d3KC<kKp, то гипотеза Н() принимается.
II. Критерий однородности %2.
Пусть наблюдается случайная величина ij, которая может принимать
«т» различных значений. Имеется к серий наблюдений:
(Х|,Х2,...,Хп1)=Х из генеральной совокупности с F|(u),
(Yi,Y2,...,Yn2)=Y из генеральной совокупности с F2(u),
...................................................
(ZbZ2,...,Znk)=Z из генеральной совокупности с Fk(u).
Выдвигается гипотеза о том, что все распределения равны (или все выборки
из одной и той же генеральной совокупности), т.е.:
Но: Fi(u)=F2(u) ... Fk(n).
Нр Хотя бы одно из распределений иное.
Необходимо построить правило, позволяющее принять или отвергнуть
гипотезу Но
Для решения этой задачи используется статистика
1X9
m
где Vjj - число появлений i-ro значения в j-ой серии. £ Vij= (1 j " общее число
i =1
к
наблюдений в j-ой серии, У' Vij - Vj - общее число появлений i-го зна-
j=i
к
чения во всех сериях, ]£nj= п * общее число наблюдений во всех сериях.
Н
2
Доказано, что при п~>оо и справедливости Ни статистика G->^ .
Отсюда следует правило принятия решения.
1) Вычисляется значение статистики (2) g,KC.
2) При заданном уровне значимости а по таблицам находится значение
2 2 2
XKp = Xi a (m-i)(k 1)' квантиль распределения X с числом степеней сво-
боды (m-l)(k-l) порядка 1-а.
2 2
3) Если &>хс^Хк . то гипотеза Но отвергается если ёи<с<Хк[,> I •<) принимается.
Замечание: Этот критерий можно применять и для непрерывных случайных
величин. При этом, если область возможных значений разбить на m по-
динтсрвалов, то V,, - число элементов j -ой выборки, попавших в i- ый по-
динтервал .
Пример. Два игрока бросали монету по 100 раз. У первого 57раз выпал герб,
а у второго - 48. Проверить при уровне значимости а ^0.05 гипотезу о том,
что подбрасывалась одна и та же монета.
Решение. Основная гипотеза Но: £-число выпавших гербов при однократном
подбрасывании монеты имеет одинаковое для обоих игроков распределение.
0 1
1 - р р
Число возможных значений случайной величины с, т=2, чис-
ло серий (число игроков) к=2. Следовательно V|f-=57, v12=48, v2i=43, v22=52.
V|=57+48=105, v2=43+45=95,np=100, >1,2, n=200.
( 2 2 2 ) 7 2 2 2 2)
g3№ = 2C0 2X44-1 =200 V| 1 + У12_ + V2I . + _V22_ I 16
c-’JK.L I 2 2 1 I
V=l>IVinj J kniVi n2V| ri|V2 n2v2J
2
По таблицам распределения с одной степенью свободы (распределения
Релея) находим квантиль порядка 1-а; Х1оэ5=^'^' то следует
отвергнуть основную гипотезу Но, т.е. монеты нельзя считать одинаковыми.
190
Раздел XIII. Метод наименьших квадратов и
функция регрессии .
Лекция 29. Метод наименьших квадратов.
До сих пор мы рассматривали статистические задачи, в которых экспе-
риментальные данные представляют собой выборку, элементы которой неза-
висимы и одинаково распределены. На практике встречаются ситуации, в ко-
торых предположения об одинаковости распределения элементов выборки не
выполняются, например, меняются условия проведения опыта. Рассмотрим
одну из таких задач.
Оценка параметров методом наименьших квадратов.
11редположим, что проводится п опытов, на исход которых влияют не-
случайные факторы z"(zi,z2,...zk). Значения z меняются от опыта к опыту.
Кроме того, на результаты опыта оказывают влияние ошибки измерения, так
что результаты i-ro опыта (элемент выборки) имеет вид
к
X; = У0:2Г, + е, , 1 = 1,П
1 Z—. j и 1 ’
j=i
Здесь Zjj - значение j- того фактора в i- том опыте, е, - случайная величина
(случайная ошибка в - i том опыте), Оу неизвестные параметры. Совокуп-
ность всех элементов выборки можно представить в виде вектора.
X=Z0 + E, (1)
где X =(Х|,Х2,...ХП)Т, 0 =(01,02,...0к)Т, ё = (Е|,е2,...еп)1. Здесь Z-матрица раз-
мерности пхк, элементы которой zg, символ г- транспонирование. Причем
Me-О; М(еет) = сг1, (2)
где I - единичная матрица; с2 - дисперсия отдельного измерения. Условия (2)
означают, что ошибки измерения в отдельных опытах независимы, имеют
нулевое математическое ожидание и одинаковую дисперсию.
Необходимо па основе выборочных значений оценить вектор неизвестных
параметров 0 . Задача решается методом наименьших квадратов (МНК).
191
В соответствии с этим методом, в качестве оценки 0 берутся значения, мини-
мизирующие квадрат отклонения вектора выборки от вектора Z0, то есть
значения, минимизирующие квадратичную форму
S(0) = (X-Z0)T(X>Z0). (3)
Необходимым условием минимума являются:
« = МЛ. (4)
C70j
Выполняя в (4) дифференцирование, получаем
2ZT(x-Z0) = O
Откуда .
ё* = (ZTZ)-1ZTX. (5)
Замечание: Предполагается, что матрица Z'Z - невырожденная, следова-
тельно может быть обращена.
Характеристики оценок, полученных по методу наименьших
квадратов.
Подставляя (1) в (5), получаем
0* =0 + (ZTZ)~1ZT£ . (6)
Найдем характеристики оценки (6).
1. Математическое ожидание:
МО* = б + M((ZTZ)~' Z.'c) = 0 - (ZfZ) 1 ZTMs = 0.
Следовательно, оценка ё* несмещенная.
2. Матрица рассеяния (корреляционная матрица):
Ко=М((0‘-0)(ё‘-0)т) . (7)
Подставляя (6) в (7) получаем:
K0=M(((ZTZ)-1ZTe)((ZTZ)-,ZTE)T)) = (8)
= M((ZTZ)-|ZTE)(gTZ(ZTZ)“1)) = ((ZTZ)’1ZTM(EeT)Z(ZTZ)’1 =
= g2(ZtZ)-1(ZtZXZtZ)“i = a2(ZTZ)4.
Диагональные элементы матрицы (8) есть дисперсии оценок соответствую-
щих неизвестных параметров, остальные - корреляционные моменты.
192
Применение метода наименьших квадратов для определения
функциональной зависимости по экспериментальным данным.
Предположим, что h=h(t) - некоторая детерминированная функция.
(Например, скорость ракеты в зависимости от времени или высоты, концен-
трация химических веществ в реке после сброса химзавода и т.п.). Эту зави-
симость необходимо определить на основе эксперимента. Отдельные изме-
рения производятся при различных значениях аргумента t и сопровождаются
ошибками измерения. Элемент выборки, получаемый при этом
Xi-h(ti)+8i. (9)
Вся выборка является вектором X = h + £, где h = (h(ti),h(t2),.. .h(tn))T,
е --(еь...еп)1. На основе X необходимо определить h(t).
Как правило, реальные зависимости h(t) допускают разложение в ряд :
а) по степеням t
к
h(t) - O|+02t+...OKtk'1=^Ojtj'1 или
i=i
Ь) по системе ортогональных функций
j=l
Если обозначить : V'^Zj или <pj(t)=Zj, то ! 1 - a <pj(t;)=Zij. Тогда элементы
выборки можно представить в виде
к
xi =Eejzij +ei> i = l,n.
>1
Задача оценки h(t) сводится к оценке параметров 0j, j = T,k по выборке
Х“(Х1,Х2,...ХП). Она решается с помощью метода наименьших квадратов, из-
ложенного выше.
Оценка параметров линейной функции.
Пусть h(t)= 0 j+02t. На основе выборки, элементы которой
Xi=0|+02ti+Ei , i=l,n,
необходимо оценить параметры 0, и 02. Представим выборку в виде вектора
193
В соответствии с МИК оценка вектора параметров 0 имеет вид
0* = (ZTZ)-1ZTX.
Здесь
уТ
где
, получаем
Окончательно выражение для оценки принимает вид
Обозначив
"i ; П; , Hjj
п
I
1-
получаем:
194
t2-X-t-tX tX-X-t
01= ; 02 =
(10)
Нетрудно показать, что оценки связаны между собой соотношением
0* = X - ©г • t.
Оценки 0|* и 02* , как следует из (10), при гауссовом распределении X; име-
ют нормальное распределение. Оценки несмещенные: М0, = 0, , i=l,2.
Матрица рассеяния (корреляционная матрица) равна:
V(0*) = ci2(ZTZ)
г - t
Д-t i,
Отсюда следует, что
2.2
wvi ; D(©;)=
- • К -к = "tO?
(t)2’ 12 21 t2-(t)2’
Здесь I<i2 и Кг] - корреляционный момент между 0, и ©г .
Самостоятельно: Найти оценку параметров квадратичной функции
h(t)- O|+02t+03t2, используя метод наименьших квадратов.
Использование ортогональных многочленов Чебышева для
аппроксимации эксперимент альной зависимости.
Пусть h(t) - неизвестная экспериментальная зависимость. В моменты Ц
производятся измерения и результаты измерений можно представить в виде
Xj—h(tj) .
Здесь E|~N(0,o2). Разложим h(t) по системе ортогональных функций
hdi^ZOjV/ti) (И)
1=1
и произведем оценку параметров, используя МИК. Ортогональные функции
<Pj(t) - можно выбирать произвольно. Желательно это делать так, чтобы об-
легчить вычисления. Наиболее просто задача решается, когда матрица B=ZTZ
- диагональная. Тогда
195
®J’ = £<Pj(ti)Xi/ Z<Pj2(ti)|. (12)
i=l 4=1 '
Условием диагональности матрицы является
XCPr(ti)(Ps(ti)=; °> r*s- (13)
i-1
Если q>j(t) - многочлены степени j-1, удовлетворяющие условию (13), то такие
многочлены называются ортогональными многочленами Чебышева [ ].
При использовании ортогональных многочленов Чебышева квадратич-
ная форма (3) от оценок принимает вид:
8(0>£х2-Х0,2£<р2(Ц). (14)
, i-1 j 1 i I
Преимущества использования ортогональных многочленов Чебышева тако-
вы: так как 0j , в соответствии с (12), определяются только <Pj(t) и не зависят
от к, то можно последовательно увеличивать степень интерполяционного по-
линома (11) в зависимости от требуемой величины (14). При этом уже най-
денные оценки параметров О* остаются прежними. Первые три многочле-
на Чебышева имеют вид [ ]:
- S,
4>i(t)=l, <p2(t) = t-t, <p3(t) = (t-t)(t-t--2)-S2.
^2
Здесь
1 n 1 n
t = sk =-E(ti-t)k.
П i ! 11 i- I
Лекция 30. Методы анализа статистической зависимо-
сти.
Статистическая связь (статистическая зависимость) между случайны-
ми величинами и р - это такая зависимость, когда определенному значению
может соответствовать любое из множества возможных значений р и появ-
ление того или иного значения Е, влияет на вероятность появления значений
Л-
Статистическая связь может быть более или менее жесткой. Наиболее
жесткая связь - функциональная зависимость р^-ср(£>). При функциональной
зависимости определенному значению с, соответствует определенное значе-
196
ние Г]. Другой предельный случай статистической связи - полное се отсутст-
вие, т.е., когда г] и - независимые случайные величины. Между этими пре-
дельными случаями лежит все разнообразие статистических зависимостей
(связей).
Заметим, что о статистической зависимости можно говорить и тогда, ко-
гда Е, - неслучайная величина. Например: т]=т:Е„ или т|=е+^, где Е, - неслу-
чайная величина, т| и е- случайные величины. При этом конкретному значе-
нию Е, соответствует некоторое множество значений ц, которые принимаются
с определенными вероятностями.
Коэффициент корреляции как мера статистической связи.
По определению, коэффициент корреляции есть:
М((£ - М£)(т| - Mrp)
Как отмечалось в лекции 7, коэффициент корреляции характеризует ли-
нейную статистическую зависимость, а для нормальных случайных величин
вообще наличие статистической зависимости. Поэтому в прикладных иссле-
дованиях для изучения статистической зависимости прежде всего определя-
ют коэффициент корреляции.
Оценка коэффициента корреляции.
Пусть имеется две выборки X=(Xi,X2,...,Xn) из генеральной совокупности
Е, и Yr=(Y|,Y2,...Y„) из генеральной совокупности тр Необходимо найти
оценку коэффициента корреляции между т| и В качестве оценки использу-
ют статистику:
1 , X(Xi - XX Yi - Y) ' i Xi Yi X Y
* - n ~ 1 i=l____________ n - 1 i=1______
"SxS7 ’ ~ " SxSy
x = 1fXi- y = 1£yp Sx= ' .i(Xi- xf,
ni=l ni=I n-lj=1
Sy = -~£(Yi-Y)2.
197
Если оценка, полученная по формуле (2), дает значение 0-3, то счита-
ют, что корреляционная, т.е. линейная статистическая зависимость, отсутст-
вует. Более строго можно судить о наличии корреляционной связи на основе
решения задачи проверки статистических гипотез о коэффициенте корреля-
ции.
Задача проверки гипотезы о коэффициенте корреляции.
Пусть имеется две выборки Х=(Х|,Х2,...,Х„) из генеральной совокупности
и Y=(Yi,Y2,...,Yn) из генеральной совокупности Т]. Выдвигается гипотеза
Но: Ptrf O- Альтернатива Пр р^О.
Необходимо на основе значений выборок принять или отвергнуть основную
гипотезу.
Решение этой задачи строится на основе статистики
V’41
При достаточно большом объеме выборки и справедливости основной
гипотезы статистика (3) распределена по закону Стьюдента с (п-1) степенью
свободы. Если задать уровень значимости о. и при конкретных значениях вы-
борки посчитать значение t статистики (3), то правило принятия решения бу-
дет следующим:
Если 111 >tKp, то гипотеза Но отвергается,
если 11| <tKp, то гипотеза Но принимается .
Значение tKp находится по таблицам распределения Стьюдента с (п-2) степе-
нями свободы, исходя из условия:
Р(1 Т| >tKp)=a.
Регрессия.
Регрессия (функция регрессии) - это зависимость среднего значения слу-
чайной величины от значения другой величины (случайной или неслучайной,
скалярной или векторной). Т.е. функция регрессии случайной величины ц по
величине с, есть:
у (х)=М(ц| х), (4)
198
где х- значение величины %. Другими словами, функция регрессии - это ус-
ловное математическое ожидание случайной величины при условии, что дру-
гая величина приняла некоторое значение. Функция регрессии £ по г] :
х(у) = М(с, |у). (5)
В общем случае х(у) у(х) .
Функции регрессии классифицируют по характеру функциональной зависи-
мости и по размерности.
Функция регрессии называется линейной , если она является линейной
функцией своего аргумента и нелинейной в противном случае.
Функция регрессии называется простой, если ее аргумент - скалярная ве-
личина и множественной . если аргумент - вектор.
Использование функции регрессии в задаче ста диетического
прогноза (предсказания).
Постановка задачи. Пусть имеются случайные величины ц и
Е,=(5,1,(,2,...,Е,п). Случайные величины q и ( связаны между собой статистиче-
ской зависимостью. Значения случайной величины J, доступны измерению, а
значения ц измерить невозможно. Необходимо по значениям случайной ве-
личины fj предсказать значения случайной величины т), т.е. построить функ-
цию y=g(x), называемую предиктором.
Оптимальный предиктор и его основные свойства.
Пусть g(x)~ произвольный предиктор т| по Качество предиктора можно
характеризовать средним квадратом отклонения :
M(T]-g©)2 . (6)
Будем считать оптимальным тот предиктор, у которого значение величи-
ны (6) минимально, т.е. для оптимального предиктора g*:
M(T]-g*(^))2<M(n-g(^))2 Vg(£). (7)
Теорема 1. (О существовании оптимального предиктора).
Оптимальный предиктор случайной величины т] по величине Е, существует и
имеет вид:
g*(x)=y(x) . (8)
Доказательство:
Для любого предиктора g(x) справедливо соотношение:
199
М((п-ШуМН (9)
Действительно, операция вычисления математического ожидания в (9) пред-
полагает усреднение как по случайной величине так и по величине гр
Проведем эти усреднения последовательно вначале по т|, а затем по
М((ц-у ©Ху ©-g(m (М„ (n-У (О)(у ©-g©)=
=М^ ( у(Х) -у (Х))( у (X)-g(X))= 0.
Здесь и Мп означают соответственно усреднение по Е; и по 1].
Рассмотрим средний квадрат отклонения значений предиктора g(tj от зна-
чений т] :
M(n-g(O-M(n-g©±y©)2=
=М(П-у О2-2М((л- у ©)( у ®-ё©))+м( у ®-g©)2>M(i]- у (У)2.
Таким образом, M(i]-g©)2 > М(т|-у©)2 для любого предиктора g(x).3HaK
равенства имеет место, когда g(x):y'(x), т.е. в соответствии с определением
оптимального предиктора (7), он существует и равен функции регрессии Т|
по Е,: g*(x)=y (х). Что и требовалось доказать.
Свойства оптимального предиктора.
1) М01-У (X))2=MxD(y(X)).
Доказательство:
M(Y- у (Х))2 - Мх(Му( Y- у (X))l X)2- MxD(y (X)), что и требовалось доказать.
2)Оптимальный предиктор g*(x)=y(x) имеет максимальный коэффициент
корреляции со случайной величиной Y, т.е.:
Ру ,у = max /?g Y, Vg(x).
Доказательство:
Рассмотрим коэффициент корреляции между произвольным предиктором
g(X) и Y. Для этого вычислим вначале корреляционный момент между ними:
KgY=M((g(X)-Mg(X))(Y-MY))= Mx((g(X)-Mg(X))MY((Y-MY)| Х)=
=--Mx(g(X)-Mg(X))( у (Х)-М у (Х))=кв У. (10)
200
Если в качестве g(x) взять оптимальный предиктор g*(x)= у (х), то в соот-
ветствии с (10):
Ку у=Куу -Dy (XJYO, (11)
т.е. корреляционный момент между оптимальным предиктором и Y неотри-
цательный.
Рассмотрим квадрат коэффициента корреляции для оптимального предиктора
и Y:
р? .4-JpS.E». ' (12)
yY DyDY DyDY DY
Квадрат коэффициента корреляции произвольного предиктора и Y с учетом
(10) и (12) равен:
2 2
2 KqY Kqy Dy 2 2 . 2
PgY Dg(X)DY Dg(X)DY Dy PyY PyY '
Знак равенства в (13) имеет место тогда, когда g(x)=y(x), т.е. для оптималь-
ного предиктора. Таким образом, коэффициент корреляции между оптималь-
ным предиктором и Y неотрицателен и его квадрат не меньше чем для любо-
го иного предиктора. Следовательно, коэффициент корреляции оптимального
предиктора и Y наибольший, что и требовалось доказать.
Функция регрессии в задаче определения функциональной за-
висимости по экспериментальным данным.
Пусть результаты измерения некоторой функции h(t) имеют вид:
Xi=h(t)+Ei, i=l,2,...,n,
где £j - случайные ошибки i - того измерения, распределенные по нормально-
f 2
гу д — -1
му закону, причем Ме;=0, Мьдр-! '
[0, i j.
Очевидно, что М(Х, I tj)=h(tj). Таким образом, условное математическое ожи-
дание результатов измерения , т.е. функция регрессии, есть искомая функция .
Эта функция может быть как линейная, так и нелинейной , а определить ей
можно с помощью метода наименьших квадратов, изложенного в предыду-
щей лекции.
201
Критерий согласия хи-квадрат
О 1
m
Оценка параметра распределения - а!
Вычисление вероятностей и значения критерия
F(u) 1 ехр(- б-и)
Pj Fint(j- !)] F intj
s Jvh:pfn)2
p-n
I J J
s = 10-51 Значение критерия X2
sk qchisq(0.9, R - 2)
sk = 10.645 Критическое значение
Вывод: Сформированная выборка имеет экспоненциальное
распределение
230
Приложение
Приложение 1. Функция распределения стандартного
нормального закона и связанные с ней функции.
Если Е, ~ N(0,1), то функция распределения имеет вид:
Е(х): / • р 2&^Ф(Х) (П.1)
V2tc
Ф(х)- специальная функция, которая называется интегралом вероятности
(иногда - функцией Лапласа), и таблицы которой имеются в [ 7].
Наряду с функцией Ф(х) широко используется при решении задач по
теории вероятности и математической статистике формулы:
, х Г
р 2 л (П.2)
д/2 7U q
и Ф0(х)
' 1> 7dt, (П.З)
•Ло
которые тоже называются формулами Лапласа и табулированы [ 7].
Очевидно, что функции (П.1)-(П.З) взаимно однозначно связаны между
Ф(х) - | + Ф0(х); Ф0(х) = 1 (2 Ф(х) -1);
Ф0(х) = 2-Ф0(х); Ф0(х) = 2-Ф(х)-1;
Ф(х) = |(1 + Ф0(х)); Ф0(х) = 1-</>0(х);
Таблицы функций Ф(х), Ф0(х) и Ф0(х) содержат значения лишь при
положительных аргументах. Для нахождения значения функций при
отрицательных значениях аргумента полезны соотношения:
Ф(- z) = 1 - Ф(г); Фо(- z) = -Ф0(г); Фо(-z) = -<P0(z);
231
Приложение 2. Интеграл Стилтьеса (определение,
основные свойства).
Определение-. Пусть в интервале (а, Ь) определена непрерывная
функция g(x) и неубывающая функция F(x) с ограниченной вариацией. Для
определенности будем полагать, что F(x) непрерывна слева.
Если а и b конечны, разделим (а, Ь) точками а - х0 < X] <•••< xn = b на
п подинтервалов (х,_4 , х,) и образуем сумму
^g(xi)[F(xi)-F(xi..1)],we x'j e(xj_],xi).
i-1
Будем увеличивать число точек деления, одновременно уменьшая
длину подинтервалов до нуля. Если существует предел
lim£g(xi)[F(xi)-F(xi_1)] = J, (1)
П“>® ial
то этот предел называется интегралом Стилтьеса от функции g(x) с
интегрирующей функцией F(x) и обозначается
J = jg(x)dF(x) . (2)
а
Несобственный интеграл Стилтьеса, когда пределы интегрирования
бесконечны, определяется как
lim (g(x)dF(x) = fg(x)dF(x)
а—>—cc,b—>оо J
a -co
Замечание 1: При определении пределов интеграла Стилтьеса важно
указывать, включаются в промежуток интегрирования тот или иной конец
интервала (а+0 - а исключается, а-0 - входит в промежуток интегрирования).
Действительно, из определения интеграла Стилтьеса:
Ь п
fg(x)dF(x) = lim )[F(Xi) - F(xl4)] =
а-0 "-«'Ы
= lim]£g(xi)[F(xi)-F(xi_1)]l + lim иСх^Цх,)-F(x0)] =
n->co [j=2 L JJ X]->a+O,xo-->a-0 u J
b
= Jg(x)dF(x) + g(a)[F(a + O)-F(a)]
a+0
232
Если g(a) # 0 и F(x) имеет скачек при х = а, то
b ь
Jg(x)dF(x) - Jg(x)dF(x) = g(a)[F(a + 0) - F(a)].
а-0 a+0
В дальнейшем будем правый конец промежутка интегрирования
исключать, а левый включать в пределы интегрирования т.е.:
ь ъ-о
Jg(x)dF(x) = Jg(x)dF(x)
а а-0
Замечание 2: При этом
JdF(x)= lim^(F(xi)-F(xi_1))--= Hm[F(xn)-F(x0)]= F(b)-F(a)
a i~-l
Особенности поведения интеграла Стилтьеса в зависимости от
характера F(x).
1) Если F(x) имеет производную F‘(x) = f(x), то из формулы
конечных приращений
F(xi)-F(xi..1) = f(xi)(xj-xj_,);
поэтому интеграл Стилтьеса
Ь в Ь
Jg(x)dF(x)= lim g(xi)f(xi)(xi - х^])= Jg(x)f(x)dx,
a i~l а
т. е. сводится к обыкновенному римановскому интегралу.
2) Если F(x) имеет скачок в точке х=с, то выбрав разбиения на подинтервалы
так, что xk.1<c<xk имеем
ь к-1
Jg(x)dF(x) = lim £g(xi)[F(xi)-F(xi_1) + lim g(xk)[F(xk)-F(xk)] +
n—>CO • П—>00
a i=l
n c b
lim Xg(xi)[f'(xi)-F(xi_1)]= Jg(x)dF(x)+ fg(x)dF(x) + g(c)[F(c + 0) - F(c)]
a c+0
3) Если изменение F(x) происходит только в точках с1,с2,..сп то
233
ц
у
b m J
Jg(x)dF(x) = Xg(Ci )[F(Cj + 0)- F(Ci - 0)],
a
то есть интеграл Стилтьеса сводится к сумме ряда.
Основные свойства интеграла Стилтьеса.
1)При a<C!<C2<...cm<b
Ь п См
Jg(x)dF(x) = £ Jg(x)df(x) , где а=Со, Ь=слц.
a i=o С,
b ь
2) Jc-g(x)dF(x) = fJg(x)dF(x).
а а
3) Интеграл от суммы функций равен сумме их интегралов:
bn п Ь
JZ Si (x)dF(x) = Ё Jgi (x)dF(x)
ail i=l a
4) Если g(x)>0 и b>a, то
Jg(x)dF(x)> 0.
a
5) Если F](x) и F2(x) - монотонные функции с ограниченным изменением, а
С] и с2 произвольные постоянные, то
b b ь
/ё(х)Ф1 Ь (х) + c2F2 (х)] = с, fg(x)dFj (х) + с2 Jg(x)dF2 (х).
а а а
х
6)Если F(x)= Jg((u)dG(u) , где с - постоянная, gi(u) - непрерывная функция,
С
G(u) - неубывающая функция с ограниченным изменением, то
ь ь
Jg(x)dF(x) = Jg(x)gj(x)dG(x).
а а
234
Приложение 3. Расчет функций распределения
рО.2316419;
Ь2=- 0.356563782;
Ь4=-1.821255978;
Function Fi(x:real):real;
{дробно-рациональная аппроксимация гауссовской
функции распределения с точностью -Iff7}
const pi=3.141592653;
bl-0.319381530;
Ь3=1.781477937;
Ь5=1.330274429;
var t,y: real;
begin
t:=l/(l+abs(x));
y:=t*(bl+t*(b2+t*(b3+t*(b4+t*b5))));
y:=y*exp(-x*x/2)/sqrt(2*pi);
if x>0 then Fi:=l-y else Fi:=y;
end; {Fi}
Function Fi_as(x:real):real;
{асимптотическая формула расчета}
{интеграла вероятности для /х/>3 }
const pi= 3.14159265358979;
var c,s,y,z: real;
k : integer;
begin
z:=abs(x);
c:=l;s:=l;
for k:=l to 8 do
begin
c:=(-c)*(2*k-l)/(x*x);
s:=s+c;
end;
y:=l-exp(-x*x/2)*s/sqrt(2*pi);
if x>0 then Fi_as:=y else Fi_as:=l-y;
end;{Fi_as}
235
ЛИТЕРАТУРА.
ЕРотарь В.И. Теория вероятностей: Учебное пособие для вузов. - М.:
Высшая школа. 1992.
2. Колмогоров А.Н. Основные понятия теории вероятностей ,-М:Наука. 1974.
3. Гнеденко Б.В. Курс теории вероятностей ,-М: Наука, 1988.
4. Ширяев А.Н. Вероятность: Учебное пособие для вузов .-М.: Наука. 1989.
5. Боровков А.А. Теория вероятностей: Учебное пособие /Наука, 1986.
6. Севастьянов Б.В. Курс теории вероятностей и математической статистики:
Учебное пособие. -М.: Наука, 1982.
7. Пугачев В.С. Теория вероятностей и математическая статистика.-
М:Наука.1979.
8. Вентцель Г.С., Овчаров Л.А. Теория вероятностей и ее инженерные
приложения. -1М.:Наука.1988.
9. Феллер В. Введение в теорию вероятностей и ее применение.-
М.:Мир.1984.
10. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей ,-М.: Наука. 1973.
И. КлимовГ.П. Теория вероятностей и математическая статистика ,-М.: Изд-
во МГУ.1983.
12. Коваленко И.Н., Филиппова А.А. Теория вероятностей и математическая
статистика М.:. Высшая школа. 1982.
13. Чистяков В.П. Курс теории вероятностей ,-М.: Наука.1982.
14. Шалыгин А.С., Палагин Ю.И. Прикладные методы статистического
моделирования ,-Л.: Машиностроение, 1986.
15. Харин Ю.С. Степанова М.Д. Практикум по ЭВМ по математической
статистике. - Минск: Университетское. 1987.
16. MATHCAD 6.0 PLUS. Финансовые, инженерные и научные расчеты в
среде Windows 95./ Перевод с англ.-М.: Инф.-изд. дом “Филинъ”, 1996.-
712 с.
17. Справочник по специальным функциям./ Под ред. М. Абрамовича и
И.Стиган ,-М.: Наука. 1979
18. Гаек Я., Шидак 3. Теория ранговых критериев,- М.; Наука, 1971.
19. Холендер М., Вульф Д. Непараметрические методы статистики./Пер. с
англ. Д.С.Шмерлинга; Под ред.Ю.II. Адлера и Ю.Н.Тюрина/ - М.: Финансы
и статистика, 1983. - 518с.
20. Ивченко Г. И., Медведев Ю.И. Математическая статистика:Учеб.
Пособие для втузов. - М.: Высш, шк., 1984. -248с.
238
Оглавление
Предисловие................................................. 3
Часть!.Теория вероятностей.
Раздел I. Случайные события.
Лекция!. Предмет теории вероятностей. Случайные события...... 5
Лекция 2. Вероятность и ее свойства.........................12
Лекция 3. Условная вероятность. Независимость событий.......21
Лекция 4. Схема независимых испытаний Бернулли..............29
Раздел II. Случайные величины.
Лекции 5,6. Случайные величины и их законы распределения.....35
Лекция?. Числовые характеристики случайных величин...........51
Лекции 8,9. Многомерные (векторные ) случайные величины, их законы
распределения и числовые характеристики......................58
Раздел III. Функции случайных величин.
Лекции 10,11. Функции случайных величин, их законы распределения
и числовые характеристики..................................72
Раздел IV. Характеристические и производящие функции.
Лекции 12,13. Характеристические и производящие функции
случайных величин..........................................84
Раздел V. Предельные теоремы теории вероятностей.
Лекция 14. Центральная предельная теорема...................95
Лекция 15. Закон больших чисел.............................103
Раздел VI. Распределения, используемые в математической статистике.
Лекция 16. Распределения некоторых функций от нормальных
случайных величин.........................................108
Раздел VII. Элементы статистического моделирования.
Лекция 17. Моделирование случайных событий и величин на ЭВМ....113
Часть 2. Математ ическая статистика.
Раздел VIII. Основные понятия и методы выборочной теории.
Лекция 18. Предмет и задачи математической статистики.
Основы выборочного метода..................................119
239
Лекция 19. Распределения выборочных моментов нормальной генеральной
совокупности и их функций.....................................127
Раздел IX. Точечная оценка параметров.
Лекция 20. Точечные оценки и их свойства......................134
Лекция 21. Критерий эффективности Рао-Крамера.................139
Лекция 22. Методы нахождения точечных оценок..................148
Раздел X. Интервальные оценки параметров.
Лекция 23. Интервальные оценки................................154
Раздел XI. Проверка статистических гипотез.
Лекция 24. Проверка простых параметрических гипотез...........163
Лекция 25. Проверка статистических гипотез о параметрах
нормального распределения......................................168
Лекция 26. Проверка сложных параметрических гипотез............175
Раздел XII. Проверка гипотез о законе распределения.
Лекция 27. Проверка гипотезы о законе распределения
(Критерии согласия)...........................................183
Лекция 28. Проверка гипотезы о равенстве распределений
(Критерий однородности).......................................188
Раздел XIII. Метод наименьших квадратов и функции регрессии.
Лекция 29. Метод наименьших квадратов.........................191
Лекция 30. Методы анализа статистической зависимости..........196
Раздел XIV. Элементы непараметрической статистики.
Лекция 31. Порядковые статистики, ранги и их свойства.........202
Лекция 32. Непараметрические статистические критерии..........209
Раздел XV. Применение ЭВМ для решения задач математической
статистики.
Лекция 33. Алгоритмы вычислений основных функций распределения
и обратных к ним..............................................216
Лекции 34. Статистические вычисления в системе MathCAD........222
Приложение 1..................................................231
Приложение 2..................................................232
Приложение 3..................................................235
Литература....................................................238
240