Оглавление
► ►
На стр. ... из 180
Назад
Во весь экран
Лекции по математической статистике
2-й курс ЭФ, отделение
«математические методы и исследование операций в экономике»
Н. и. Чернова
cher@nsu.ru
Уйти
Стр. 1
Предлагаемый вашему вниманию курс теоретической статистики содержит материал
из классических разделов математической статистики. Речь пойдет об оценке параметров,
проверке гипотез, немного о регрессионном анализе. Курс предназначен студентам
экономического факультета НГУ, но его могут попробовать освоить студенты математического
факультета. Курс не содержит экономических приложений и ни в коей мере не
собирается обсуждать применение статистических методов. И то, и другое студенты-экономисты
в НГУ изучают в годовом курсе эконометрики (регрессионного анализа).

о
главление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 2
Основные понятия 5
1.1 Основные понятия выборочного метода 7
1.2 Выборочное распределение 8
1.3 Эмпирическая функция распределения, гистограмма 10
1.4 Выборочные моменты 14
1.5 Состоятельность выборочных характеристик 15
1.5.1 Свойства ЭФР 15
1.5.2 Свойства гистограммы 20
1.5.3 Свойства выборочных моментов 21
1.6 Группированные данные 25
1.7 Вопросы и упражнения 26
Точечное оценивание 28
2.1 Параметрические семейства распределений 28
2.2 Свойства оценок 29
2.3 Метод моментов 32
2.4 Состоятельность ОММ 35
2.5 Метод максимального правдоподобия 38
2.6 Вопросы и упражнения 45
Сравнение оценок 46
3.1 Среднеквадратический подход 47
3.2 Единственность эффективной оценки 50
3.3 Асимптотически нормальные оценки 53
3.4 Скорость сходимости 55
3.5 Асимптотическая нормальность ОММ 58
3.6 Асимптотический подход к сравнению оценок 61

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
3.7 Вопросы и упражнения 62
4 Эффективные оценки 63
4.1 Условия регулярности 63
4.2 Примеры 64
4.3 Неравенство Рао — Крамера 67
4.4 Проверка эффективности оценок 72
4.5 BLUE 80
4.6 Вопросы и упражнения 80
5 Интервальное оценивание 81
6 Раенределения, связанные с нормальным 92
6.1 Гамма-распределение 93
6.2 X -распределение Пирсона 95
6.3 Распределение Стьюдента 98
6.4 Распределение Фишера 101
6.5 Лемма Фишера 102
6.6 Доверительные интервалы для параметров нормального распределения 110
6.7 Вопросы и упражнения 112
7 Проверка гипотез ИЗ
7.1 Две простые гипотезы 117
7.2 Подходы к сравнению критериев 119
7.3 Критерий отношения правдоподобия 122
7.3.1 Для математиков 125
7.3.2 Лемма Неймана — Пирсона 127
Стр. 3

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
8 Критерии согласия 134
8.1 Критерий Колмогорова 136
8.2 Критерий X Пирсона 138
8.3 Критерий X лля проверки параметрической гипотезы 143
8.4 Проверка гипотезы однородности: критерий Колмогорова — Смирнова 146
8.5 Проверка гипотезы независимости: критерий «хи-квадрат» Пирсона 147
8.6 Критерий Фишера 149
8.7 Критерий Стьюдента 152
8.8 Гипотеза о среднем нормальной совокупности с известной дисперсией 155
8.9 Гипотеза о среднем нормальной совокупности с неизвестной дисперсией .... 156
8.10 Критерии и доверительные интервалы 157
9 Линейная регрессия 158
9.1 Математическая модель регрессии 158
9.2 Метод максимального правдоподобия 160
9.3 Метод наименьших квадратов 161
9.4 Примеры 162
9.5 Общая модель линейной регрессии 165
9.6 Метод наименьших квадратов. Нормальное уравнение 166
9.7 Свойства ОМНК 168
Добавления 172
А Многомерное нормальное распределение 172
В Доказательство теоремы Пирсона 174
Стр. 4

1. о
сновные понятия математической статистики
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Математическая (или теоретическая) статистика опирается на методы и понятия
теории вероятностей, но решает в каком-то смысле обратные задачи.
В теории вероятностей рассматриваются случайные величины с заданным
распределением или случайные эксперименты, свойства которых целиком известны. Предмет
теории вероятностей — свойства и взаимосвязи этих величин (распределений).
Но часто эксперимент представляет собой черный ящик, выдающий лишь некие
результаты, по которым требуется сделать вывод о свойствах самого эксперимента.
Наблюдатель имеет набор числовых (или их можно сделать числовыми) результатов,
полученных повторением одного и того же случайного эксперимента в одинаковых
условиях.
При этом возникают, например, следующие вопросы:
Если мы наблюдаем одну случайную величину — как по набору ее значений
в нескольких опытах сделать как можно более точный вывод о ее распределении?
Если мы наблюдаем одновременно проявление двух (или более) признаков, т. е.
имеем набор значений нескольких случайных величин — что можно сказать об их
зависимости? Есть она или нет? А если есть, то какова эта зависимость?
Стр. 5

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 6
Часто бывает возможно высказать некие предположения о распределении,
спрятанном в «черном ящике», или о его свойствах. В этом случае по опытным данным
требуется подтвердить или опровергнуть эти предположения («гипотезы»). При этом
надо помнить, что ответ «да» или «нет» может быть дан лишь с определенной
степенью достоверности, и чем дольше мы можем продолжать эксперимент, тем точнее
могут быть выводы. Наиболее благоприятной для исследования оказывается ситуация,
когда можно уверенно утверждать о некоторых свойствах наблюдаемого эксперимента
— например, о наличии функциональной зависимости между наблюдаемыми
величинами, о нормальности распределения, о его симметричности, о наличии у распределения
плотности или о его дискретном характере, и т. д.
Итак, о (математической) статистике имеет смысл вспоминать, если
• имеется случайный эксперимент, свойства которого частично или полностью
неизвестны,
• мы умеем воспроизводить этот эксперимент в одних и тех же условиях
некоторое (а лучше — какое угодно) число раз.
Примером такой серии экспериментов может служить социологический опрос,
набор экономических показателей или, наконец, последовательность гербов и решек при
тысячекратном подбрасывании монеты.

1.1. Основные понятия выборочного метода
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 7
Пусть £, : О. —> R — случайная величина, наблюдаемая в случайном эксперименте.
Предполагается, что вероятностное пространство задано (и не будет нас интересовать).
Будем считать, что проведя П раз этот эксперимент в одинаковых условиях, мы
получили числа Х^, Х2, ..., Х^ — значения этой случайной величины в первом,
втором, и т. д. экспериментах. Случайная величина £, имеет некоторое распределение
Э^, которое нам частично или полностью неизвестно.
Рассмотрим подробнее набор X = (Хт, . . . ,Хп), называемый выборкой.
В серии уже произведенных экспериментов выборка — это набор чисел. Но если
эту серию экспериментов повторить еще раз, то вместо этого набора мы получим новый
набор чисел. Вместо числа Хт появится другое число — одно из значений случайной
величины £,. То есть Х^ (и Х2, и Хз, и т.д.) — переменная величина, которая
может принимать те же значения, что и случайная величина £,, и так же часто (с
теми же вероятностями). Поэтому до опыта Х^ — случайная величина, одинаково
распределенная с £,, а после опыта — число, которое мы наблюдаем в данном первом
эксперименте, т.е. одно из возможных значений случайной величины Х^.
Выборка X = (Хт, . . . , Хп) объема П — это набор из П независимых и одинаково
распределенных случайных величин («копий £,»), имеющих, как и £,, распределение Э^.
Что значит «по выборке сделать вывод о распределении»? Распределение
характеризуется функцией распределения, плотностью или таблицей, набором числовых
характеристик — Е £,, D £,, Е £, и т. д. По выборке нужно уметь строить приближения для
всех этих характеристик.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
1.2. Выборочное распределение
Рассмотрим реализацию выборки на одном элементарном исходе (Л)о — набор чисел
Хт = Xi(cUo), . . ., Хп = Xrt(cUo). На подходящем вероятностном пространстве введем
случайную величину £,*, принимающую значения Х^, . . . , Х^ с вероятностями по 1/тг
(если какие-то из значений совпали, сложим вероятности соответствующее число раз).
Таблица распределения вероятностей и функция распределения случайной величины £,*
выглядят так:
^ . . ^1 количество Х| G (—oo^lj)
^ ^ п
Хг<У
Распределение величины £,* называют эмпирическим или выборочным распределением.
Вычислим математическое ожидание и дисперсию величины £,* и введем обозначения
для этих величин:
EC = f-Xi = -fxi = % DE,* = f-[Xi-EE,*f = -f{Xi-X)^ = S\
Точно так же вычислим и момент порядка к
е:
р
Xi
l/n
х^
l/n
УЙТИ
^1 1 ^
Е (£,*)^ = 2^-Х^ = -5^Х^ = ХК
п
п
1=1
В общем случае обозначим через д(Х) величину
Стр. 8
Ед(С) = -Гд(Хг) = д(Х).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Если при построении всех введенных нами характеристик считать выборку Хт, . . . , Х^
набором случайных величин, то и сами эти характеристики — F^(t|), X, S , Х^, д(Х) —
станут величинами случайными. Эти характеристики выборочного распределения
используют для оценки (приближения) соответствующих неизвестных характеристик
истинного распределения.
Причина использования характеристик распределения £,* для оценки характеристик
истинного распределения £, (или Х^) — в близости этих распределений при больших П.
Рассмотрим, для примера, П подбрасываний правильного кубика.
Пусть Xi G {1,. . . , 6} — количество очков, выпавших при г-м броске, 1 = 1,. . . , TL.
Предположим, что единица в выборке встретится TLi раз, двойка — Tij раз и т.д.
Тогда случайная величина £,* будет принимать значения 1, . . . , 6 с вероятностями
—, ..., — соответственно. Но эти пропорции с ростом TL приближаются к \/Ь
согласно закону больших чисел. То есть распределение величины £,* в некотором смысле
сближается с истинным распределением числа очков, выпадающих при подбрасывании
правильного кубика.
Уйти
Мы не станем уточнять, что имеется в виду под близостью выборочного и истинного
распределений. В следующих параграфах мы подробнее познакомимся с каждой из
введенных выше характеристик и исследуем ее свойства, в том числе ее поведение с
ростом объема выборки.
Стр. 9

1.3. Эмпирическая функция распределения, гистограмма
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Поскольку неизвестное распределение Э^ можно описать, например, его функцией
распределения F(t|) = Р (Хт < t|), построим по выборке «оценку» для этой функции.
Определение 1. Эмпирической функцией распределения, построенной по выборке
X = (Х1,...,Хп) объема П, называется случайная функция F^ : R X О ^ [0,1],
при каждом 1| G R равная
количество Xi G (-00,у) 1 \- ,rv ^ ^
Fn У = = - > • Xi < у).
1=1
п
Напоминание: Случайная функция
I(Xi<y)
1, если Xi < 1),
О иначе
называется индикатором события {Xt < у]. При каждом у это — случайная величина,
имеющая распределение Бернулли с параметром р = P(Xi < у) =¥[у). [почему. |
Стр. 10
Иначе говоря, при любом у значение F(t|), равное истинной вероятности случайной
величине Хт быть меньше у, оценивается долей элементов выборки, меньших у.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Если элементы выборки Хт, ..., Х^ упорядочить по возрастанию (на каждом
элементарном исходе), получится новый набор случайных величин, называемый
вариационным рядом:
Здесь
ХA) = min{Xi, . . . , Xrt}, Х(^) = max{Xi, . . . , Xn}.
Элемент Хг]^), к = 1, . . . , TL называется к-м членом вариационного ряда или к-й
порядковой статистикой.
Пример 1. Выборка: X = @; 2; 1; 2,6; 3,1; 4,6; 1; 4,6; 6; 2,6; 6; 7; 9; 9; 2,6).
Вариационный ряд: @; 1; 1; 2; 2,6; 2,6; 2,6; 3,1; 4,6; 4,6; 6; 6; 7; 9; 9).
Эмпирическая функция
распределения имеет скачки в точках
выборки, величина скачка в точке Х| равна
га/тг, где га — количество элементов
выборки, совпадающих с Х|.
Можно построить эмпирическую
функцию распределения по
вариационному ряду:
Kiv) +
Стр. 11
если у ^ ХA],
если Х(]^) <
при у > Xfr,)
"Г 1-
3456789 10
^п(У) - ^ -, если ХA^) <У ^ Х(к+1),
1
1 2
Рис. 1: Пример 1

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 12
Другой характеристикой распределения является таблица (для дискретных
распределений) или плотность (для абсолютно непрерывных). Эмпирическим, или выборочным
аналогом таблицы или плотности является так называемая гистограмма.
Гистограмма строится по группированным данным. Предполагаемую область
значений случайной величины £, (или область выборочных данных) делят независимо от
выборки на некоторое количество интервалов (не обязательно одинаковых). Пусть А^,
. . ., А]^ — интервалы на прямой, называемые интервалами группировки. Обозначим
для j = 1, . . . , к через Tj число элементов выборки, попавших в интервал Ау.
п к
у- = {число Xj е А)}=У IjXj G Aj), здесь ^у^=п. A)
1=1 3=1
На каждом из интервалов Aj строят прямоугольник, площадь которого
пропорциональна Tj. Общая площадь всех прямоугольников должна равняться единице. Пусть
Ij — длина интервала Aj. Высота fj прямоугольника над Aj равна
Полученная фигура называется гистограммой.
Пример 2. Имеется вариационный ряд (см. пример 1):
@; 1; 1; 2; 2,6; 2,6; 2,6; 3,1; 4,6; 4,6; 6; 6; 7; 9; 9).
Разобьем отрезок [0,10] на 4 равных отрезка. В отрезок Ат = [0;2,5) попали 4
элемента выборки, в Aj = [2,5; 5) — 6, в Аз = [5; 7,5) — 3, и в отрезок А4 = [7,5; 10]
попали 2 элемента выборки. Строим гистограмму (рис. 2). На рис. 3 — тоже
гистограмма для той же выборки, но при разбиении области на 5 равных отрезков.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 13
8/75
0.1
01 123456789 10 ^
Рис. 2: Пример 2
01 123456789 10 ^
Рис. 3: Пример 2
Замечание 1. В курсе «Эконометрика» утверждается, что наилучшим числом
интервалов группировки («формула Стерджесса») является к = к(п) = 1 + [3.322 Ig п].
Здесь Ig П — десятичный логарифм, поэтому к = 1 + [log2 10 log^o ТТ.] = 1 + [log2 тг],
т. е. при увеличении выборки вдвое число интервалов группировки увеличивается на 1.
Заметим, что чем больше интервалов группировки, тем лучше. Но, если брать число
интервалов, скажем, порядка П, то с ростом П гистограмма не будет приближаться к
плотности.
Справедливо следующее утверждение:
Если плотность распределения
то
по
при к(п) -^ оо так, что
вероятности гистограммы к
элементов выборки
к(п)/п -^
плотности.
является
0, имеет
место
непрерывной функцией, 1
поточечная сходимость 1
Так что выбор логарифма разумен, но не является единственно возможным.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
1.4. Выборочные моменты
Знание моментов распределения также многое может сказать о его виде и свойствах.
Введем выборочные аналоги неизвестных истинных моментов распределения.
Пусть Е £, = Е Хт = а, D £, = D Хт = а^, Е £,^ = Е X'j^ = mic — теоретические
среднее, дисперсия, к-й момент. Мы уже знакомы с соответствующими
характеристиками выборочного распределения Е £,* = X, D £,* = S , Е (£,*) = Х^.
Теоретические характеристики
E£, = EXi =а
D£, = DXi =а^
Е^'^ = ЕХ'^ = т„
Эмпирические характеристики 1
_ 1 ri 1
X = — ^ Х| — выборочное среднее 1
^1=1
1 п 1
S = — ^ (Х| — X) — выборочная дисперсия, 1
либо 1
П— 1 1=1 1
несмещенная выборочная дисперсия 1
1 п 1
Х^ = ~ ^ ^1 — выборочный к-й момент 1
^1=1 1
Список числовых характеристик и их оценок можно продолжать, рассмотрев,
например, центральные, абсолютные и т. п. моменты. В общем случае
Стр. 14
момент Ед(£,) будем оценивать величиной д(Х) = — / 9(^г)-
1=1

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 15
1.5. Сходимость эмпирических характеристик к теоретическим
Мы ввели три вида эмпирических характеристик, предназначенных для оценивания
неизвестных теоретических характеристик распределения: эмпирическую функцию
распределения, гистограмму, выборочные моменты. Если наши оценки удачны, разница
между ними и истинными характеристиками должна стремится к нулю с ростом
объема выборки. Такое свойство эмпирических характеристик называют состоятельностью.
Убедимся, что наши выборочные характеристики таким свойством обладают.
1.3.1. Свойства эмпирической функции распределения
Теорема 1. Пусть X = (Х^, . . . , Х^) — выборка объема П из неизвестного
распределения Э^ с функцией распределения F. Пусть F^ — эмпирическая функция распределения,
построенная по этой выборке. Тогда для любого 1| G R
Fn(y)-^F(y) при П^ОО.
Замечание 2. F^(t|) — случайная величина, так как она является функцией от
случайных величин Х^, . . . , Х^- То же самое можно сказать про гистограмму и
выборочные моменты.
Доказательство теоремы 1. По определению 1,
Zi(Xi<y)
т^;(у)
1=1
п

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 16
Случайные величины I(Xi < у), 1(Х2 < у), ... независимы и одинаково распределены,
их математическое ожидание конечно:
EI(Xi <y) = 1-P(Xi<y)+0-P(Xi ^v) = P(Xi<y)=F(v)<oo,
поэтому применим
а что это такое.''
1
Li(Xi<v)
р;(у) =
1=1
п
-^EI(Xi<y)=F(y).
Таким образом, с ростом объема выборки эмпирическая функция распределения
сходится (по вероятности) к неизвестной теоретической. П
Верен более общий результат, показывающий, что сходимость эмпирической
функции распределения к теоретической имеет «равномерный» характер.
Теорема Гливенко — Кантелли. Пусть X = (Х1,...,Хп) — выборка объема П из
неизвестного распределения Э^ с функцией распределения F. Пусть F^ — эмпирическая
функция распределения, построенная по этой выборке. Тогда
sup |F^('y) — F('y)| —^ О при п ^ оо.
yen
Замечание 3. Более того, в условиях теорем 1 и Гливенко — Кантелли имеет место
сходимость не только по вероятности, но и

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Если функция распределения F непрерывна, то скорость сходимости к нулю в
теореме Гливенко — Кантелли имеет порядок Т/л/п:
Теорема Колмогорова. Пусть X
распределения Э^ с непрерывной
функция распределения. Тогда
= (Xi,...
,xj-
- выборка объема TL из неизвестного 1
функцией распределения F, а F^ — эмпирическая 1
V^sup|F;(y)-F(y)|
yen
где случайная величина Г| имеет
распределения
К(х)= _^(-1)'е-
j=—ОО
^л
при П -^ оо, 1
распределение Колмогорова с непрерывной функцией 1
^ при
х^О,
К(х) = 0 при X < 0. 1
УЙТИ
Следующие свойства эмпирической функции распределения — это хорошо
знакомые нам свойства среднего арифметического П независимых слагаемых, имеющих, к
тому же, распределение Бернулли.
Стр. 17
В первых двух пунктах утверждается, что случайная величина F^(t|) имеет ма-
t:i ^ Hv)A-F(v)) ^ .,
тематическое ожидание г [у) и дисперсию , которая убывает как \/П.
П
Третий пункт показывает, что F^(t|) сходится к F(t|) со скоростью Т/л/п.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Свойство 1. Для любого г| G R 1
1)
2)
3)
4)
EF^dj) = ^{у), т.е. F^(t|) — «несмещенная» оценка для F(t|); 1
П 1
если 0 < ¥[у) < 1, то V^(F;(y) - F(y)) ^ No,F(y)(l-F(y))' ^'^' ^п(У)
— «асимптотически нормальная» оценка для F(t|); 1
случайная величина П • F^(t|) имеет биномиальное распределение B^pr^j. 1
Доказательство свойства 1. Заметим снова, что I(Xi < у) имеет распределение Бер-
нулли Bp(yj, поэтому
EI(Xi<y)=F(v)
DI(Xi<v) = F(y)(l-F(y)).
УЙТИ
Стр. 18
1) Случайные величины I(Xi < t|), I(X2 < у), • • • одинаково распределены, поэтому
I где используется одинаковая распределенность? |
£l(Xt<i)) £EI(Xi<i))
Ер;ы = Е- = - = '^^'^^l^^ = нy).
п
п
П

Оглавление
2) Случайные величины I(Xi < у), 1(Х2 < у), ... независимы и одинаково распреде-
,^ „^^_^,,,, |где используется независимость?!
лены, поэтому ' j ^^ i
DF;(y) = D
1=1 1=1 rLDI(Xi<y) F(y)(l-F(y))
n
n^
n^
n
^^ ►►
Ha стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 19
3) Воспользуемся
а что это такоег*
/
V^{Kiv)-Hv)) = V^
Zi(Xi<v)
1=1
n
Ну)
V
Zl[Xi<y)-nY[y)
л=1
n
LI(Xt<y)-nEI(Xi<y)
N
n
0,DI(Xi<y)
N
o,Ry)(i-Ry))-
4) Поскольку I(Xi < t|) (число успехов в одном испытании) имеет распределение Бер-
I 51 ^
нулли Bp(yj, l"Q^^^^y- I то TL-F^(t|) = Y. I(Xi < у) имеет биномиальное распределение
1=1
п I почему.^ I а что такое устойчивость по суммированию? |
п
Замечание 4. Все определения, как то: «оценка», «несмещенность»,
«состоятельность», «асимптотическая нормальность» будут даны в главе 2. Но смысл этих
терминов должен быть вполне понятен уже сейчас.

Оглавление
1.3.2. Свойства гистограммы
Пусть распределение Э^ абсолютно непрерывно, f — его истинная плотность. Пусть,
кроме того, число к интервалов группировки не зависит от П. Случай, когда к = к(тг),
отмечен в замечании 1.
Справедлива
« ►►
На стр. ... из 180
Назад
Во весь экран
Теорема 2. При П ^ оо для любого j = 1,. . . , к
1 f Zi^P(XieAj) =
n ^
А
f(x) dx.
Упражнение. Доказать теорему 2, используя A) и ЗБЧ.
Уйти
Теорема утверждает, что площадь столбца гистограммы, построенного над
интервалом группировки, с ростом объема выборки сближается с площадью области под
графиком плотности над этим же интервалом.
Стр. 20

1.3.3. Свойства выборочных моментов
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 21
Выборочное среднее X является несмещенной, состоятельной и асимптотически
нормальной оценкой для теоретического среднего (математического ожидания):
Свойство
1)
2)
3)
Если
Если
Если
2.
E|Xi
E|Xi
DXi
< оо,
1 < оо,
< оо и
то
то
не
ЕХ =
Х^
EXi
.EXi
равна нулю.
= а.
= а при п ^ оо.
то л/гг (Х —
EXi)
^No,DXi.
л
оказательство свойства
2.
1) Е X = - f Е Xi = - ■ пЕ Xi = Е Xi = а.
_ 1 Т1 р
2) Согласно ЗБЧ в форме Хинчина, X = — ^ Xt —> EXi = а.
3) Согласно ЦПТ,
XXi-uEXi
п X-EXi =
1=1
п
^ No,dXt
П

Выборочный к-й момент является несмещенной, состоятельной и
асимптотически нормальной оценкой для теоретического к-го момента:
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Свойство
1)
2)
3)
3.
Если Е |Xi
Если
Если
E|Xi
DX"^
'^<
|'^<
< ОС
ОС,
ОС,
и
то
то
не
ЕХ^ =
Х^^
ЕХ^ =
^ЕХ^ =
равна нулю, то
= mic.
= Vn]c при
V^(x^-
TL —)
-EX
oo
f)
^NoDx^^- 1
Упражнение. Доказать свойство 3.
В дальнейшем мы не будем оговаривать существование соответствующих моментов.
В частности, в первых двух пунктах следующего утверждения предполагается наличие
второго момента у случайных величин Х|, а в третьем пункте — четвертого (дисперсии
величины Х^).
Стр. 22

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
1) Выборочные дисперсии S и Sq являются состоятельными оценками для истинной
дисперсии: S^ ^ DXi = а^, Sg ^ DXi = а^.
2) Величина S — смещенная, а Sq — несмещенная оценка дисперсии:
ES^ = ^^—^DXi=^^—^aVa^ ESg = DXi=a^.
n
n
3) Выборочные дисперсии S и Sq являются асимптотически нормальными оценками
истинной дисперсии: л/rifS — DXij ^ Nq q (х^-EXi j^-
Доказательство свойства 4.
1) Во первых, раскрыв скобки, полезно убедиться в том, что
1
B)
Стр. 23
Из B) и ЗБЧ следует, что s^ = х^ - [xY -^ Exf-
v^ ^ л с2 ^
Кроме того, zr —> I, так что Ол =
;exi)^
а^.
п-1
п-1
S^^a^.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 24
2) Воспользуемся формулой B):
ES^ = Е (Х^-(Х)^) =ЕХ^-Е(Х)^ = (по лемме 3) = EXf-Е(Х)^ =
= EXf-((EX)^ + D(X))=EXf-(EXi)^-D (-^Х^
а^ ^tlD Xi = а^ =
ES^ =
n
n^
n n
n
(J , откуда сразу следует
2 _ ^2
n-1
ES^ = a^.
3) Выборочную дисперсию можно представить в следующем виде:
S^ = ^^{Xi-X)^ = ^-^(Xi- а- {Х- а)У = {Х- а)^ - (х- а)'
1=1 1=1
Тогда v^ S^-a^ =Vn (Х-аJ- Х-а - а^ =
= Vn ((X - аJ - Е (Хт - а)^) - Vn (х - а)^ =
£(Xi-aJ-nE(Xi-aJ
"=' (X-a)-Vn(X-a)^No,D(x,-aJ,
n
поскольку первое слагаемое слабо сходится к Nq DfXi-a)^ ^^ ЦПТ, а второе
слагаемое f X — а j • л/п f X — а j слабо сходится к нулю как произведение сходящейся
к нулю по вероятности последовательности и последовательности, слабо сходящейся
к NqDXi' I какое свойство слабой сходимости использовано дважды? | LJ

1.6. Группированные данные (некоторые вводные понятия к эконометрии)
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 25
Если объем выборки очень велик, часто работают не с элементами выборки, а
с группированными данными. Приведем ряд понятий, связанных с группировкой.
Для простоты будем делить область выборочных данных на к одинаковых интервалов
Ат, . . ., А]^ длины А:
Ат = [ао, ат),..., Ale = [oik-i, а^), а^ - aj_i = А.
Как прежде, пусть Tj — число элементов выборки, попавших в интервал Aj, и Wj —
частота попадания в интервал Aj (оценка вероятности попадания в интервал):
-Yj = {число Xi G Аз} = ^I(Xi G Aj),
1=1
-Vi
n
и получают
На каждом из интервалов Aj строят прямоугольник с высотой fj = ~г
гистограмму.
Рассмотрим середины интервалов: Щ = OLj—i + А/2 — середина Aj. Набор
0^1) » » » ) О^Ь • • • ) Р-Ъ » » » ) О^к
"Vi раз "Vie раз
МОЖНО считать «огрубленной» выборкой, в которой все Х|, попадающие в интервал Aj,
заменены на Qj. По этой выборке можно построить такие же (но более грубые)
выборочные характеристики, что и по исходной (обозначим их так же), например выборочное
среднее
1
X = - J^ QjTj = Y_ ^)^)
3=1
3=1

или выборочную дисперсию
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 26
S^ = - ^[Щ - X)S = ^1Щ- X)^W3.
3=1
3=1
Кривая, соединяющая точки (ао,0), (ai,fi), ..., (ai^^fi^), (ai^^O), называется
полигоном (частот). В отличие от гистограммы полигон — непрерывная функция
(ломаная).
1.7. Вопросы и упражнения
1. Можно ли по эмпирической функции распределения, приведенной на рис. 1, восстановить
выборку Xi,. . . ,Хп, если П известно.'^ А вариационный ряд.'^ Как это сделать.'^ А если П
неизвестно.'^
2. Существует ли выборка (Xi,. . . ,Хб) объёма 6 с
нарисованной справа эмпирической функцией распределения.'^ А
выборка (Xi,...,Xi2) объёма \2? Если «да», то записать ее
и нарисовать эмпирическую функцию распределения выборки
BXb...,2Xi2).
Kiv)
12 3 4 5 6
3. Можно ли по гистограмме, приведенной на рис. 2, восстановить выборку Xi,. . . ^Хп?
4. Нарисовать эмпирическую функцию распределения, соответствующую выборке объема TL из
распределения Бернулли Вр. Использовать выборочное среднее X. Доказать
непосредственно, что выполнена теорема Гливенко — Кантелли:
sup|F^(ij)-F(ij)|
О
при
П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 27
5. Вспомнить, как найти по функции распределения величины Xi функцию распределения
первой и последней порядковой статистики: Х(т) = min{Xi,. . . , X^l}, Х(^) = max{Xi,. . . , X^l}-
Выписать выражения для плотности этих порядковых статистик через функцию
распределения и плотность величины Xi.
6. Доказать (или вспомнить), что функция распределения к-й порядковой статистики Х(]^)
имеет вид:
п
Р (Х(к) < И) = Р (хотя бы к элементов выборки < у) = ^_ C^F(l|)^(l — У{у))^~^у
i=k
где У{у) — функция распределения величины Xi.
7. Из курса «Эконометрика»: доказать, что среднее степенное
т
а) стремится к Х(т) при к -^ —ОС б) стремится к Х(^) при к -^ +00
Имеется в виду сходимость для любого набора чисел Xi ,. . . , X Yif такого, что среднее
степенное определено, т. е. сходимость п. н.
Указание. Вынести Х(т) (или Х(^)) из-под корня, воспользоваться леммой о двух
милиционерах и свойствами: у к -^ 1 при к -^ +00, v 1 -^ 1 при к -^ +00, и т.д.
8. В условиях предыдущей задачи доказать, что последовательность
E(t
*1к
1
1
П
^ХМ, к=1,2,3,...
1=1
не убывает по к. Указание. Воспользоваться неравенством Иенсена.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 28
2. Точечное оценивание
2.1. Параметрические семейства распределений
Предположим, что имеется выборка объема П, элементы которой Х^, ..., X^t
независимы, одинаково распределены и имеют распределение 3^q, известным образом
зависящее от неизвестного параметра Э.
Здесь Э^0 — некий класс распределений, целиком определяющихся значением
скалярного или векторного параметра Э. Параметр Э принимает значения из некоторого
множества 0.
• Xi имеют распределение Пуассона Пд, где Л > 0 —
здесь Э^е = Пд, Э = Л, е = @, оо);
• Xi имеют распределение Бернулли Вр, где р G @,1) —
здесь 5Ге = Вр, е=р, в=@,1);
• Xi имеют равномерное распределение Uab> где а < Ъ —
здесь 3-е = Ua,b. 0 = (а,Ь),в = {(а,Ъ) : а < Ь};
• Xi имеют равномерное распределение Uqq, где Q > 0 —
здесь Э^е = Uo,e, 0 = @, оо);
• Xi имеют нормальное распределение N^^ ^-2, где а G R, 0" > 0 —
здесь 3=^9 = Na,a2, Э = (а^СТ^), e = Rx @,(Х));
• Xi имеют нормальное распределение Nq4> где а G R —
здесь 3=^9 = Na,4, е = а, е = R.
неизвестный параметр;
неизвестный параметр;
неизвестные параметры;
неизвестный параметр;
- неизвестные параметры;
неизвестный параметр;

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 29
Такая постановка имеет смысл, поскольку редко о проводимом эксперименте совсем
ничего нельзя сказать. Обычно тип распределения ясен заранее, и требуется лишь
указать значения параметров этого распределения.
Так, в широких предположениях рост юношей одного возраста имеет нормальное
распределение (с неизвестными средним и дисперсией), а число покупателей в магазине
в течение часа (не часа пик) — распределение Пуассона, и опять-таки с неизвестной
«интенсивностью» Л.
2.2. Точечные оценки. Несмещенность, состоятельность оценок
Итак, пусть Хт, ..., Хп — выборка объема П из параметрического семейства
распределений Э^0, Э G 0.
Заметим, что все характеристики случайных величин Xi, . . . , Х^ зависят от параметра 9.
Так, например, для Xt с распределением Пуассона Пд
EXi =Л, P(Xi =2)
DXi
и т.д.
Чтобы отразить эту зависимость, будем писать Eg Xi вместо EXi и т.д. Так, Од^Хт
означает дисперсию, вычисленную в предположении 9 = Э^.
Во многих случаях эта условность необходима. Предположим, что Xt имеют распределение
Пуассона Пд. В предположении, что Л = 1, имеем EXi =1, тогда как при Л = 7 имеем
Е Xi =7. Таким образом, запись Е Х-\, без указания на распределение Х-\, оказывается
просто бессмысленной.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 30
Определение 2. Статистикой называется произвольная функция Э"^
от элементов выборки.
0*(Xi,... ,Хп)
Замечание 5. Статистика есть функция от эмпирических данных, но никак не
от параметра Э. Статистика, как правило, предназаначена именно для оценивания
неизвестного параметра Э (поэтому ее иначе называют «оценкой»), и уже поэтому от
него зависеть не может.
Конечно, статистика есть не «любая», а «измеримая» функция от выборки (борелевская,
для которой прообраз любого борелевского множества из R есть снова борелевское
множество в R ), но мы никогда встретимся с иными функциями, и более на это обращать
внимание не будем.
Определение 3. Статистика Э* = 0*(Xi,...,X Yij называется несмещенной оценкой
параметра Э, если для любого Э G 0 выполнено равенство Eg Э* = Э.
Определение 4. Статистика Э* = 0*(Xi,...,X Yij называется состоятельной оценкой
параметра Э, если для любого Э G 0 имеет место сходимость Э"^
Э при П ^ оо.

Оглавление
Несмещенность — свойство оценок при фиксированном П. Означает это
свойство отсутствие ошибки «в среднем», т.е. при систематическом использовании данной
оценки.
Свойство состоятельности означает, что последовательность оценок приближается к
неизвестному параметру при увеличении количества данных. Понятно, что при
отсутствии этого свойства оценка совершенно «несостоятельна» как оценка.
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 31
Пример 3. Пусть Хт, . . ., Хп — выборка объема П из нормального распределения
'^асг^' ^Д^ а G Ж, (J > 0. Как найти оценки для параметров а и а , если оба эти
параметра (можно считать это и одним двумерным параметром) неизвестны?
Мы уже знаем хорошие оценки для математического ожидания и дисперсии любого
распределения.
Оценкой для истинного среднего а = E^^iXi может служить выборочное среднее
а* = X. Свойство 2 утверждает, что эта оценка несмещенная и состоятельная.
Для дисперсии О" = D^^iX^ у нас есть сразу две оценки:
v^2
1=1 1=1
(выборочная дисперсия и несмещенная выборочная дисперсия).
Как показано в свойстве 4, обе эти оценки состоятельны, и одна из них — несме-
щенная. \^Р^
Следующий метод получения оценок для неизвестных параметров как раз и
предлагает использовать выборочные моменты вместо истинных.

2.3. Методы нахождения оценок: метод моментов
Оглавление
Метод моментов заключается в следующем: любой момент случайной величины Хт
(например, к-й) зависит, часто функционально, от параметра Э. Но тогда и параметр
Э может оказаться функцией от теоретического к-го момента. Подставив в эту
функцию вместо неизвестного теоретического к-го момента его выборочный аналог, получим
вместо параметра Э оценку Э*.
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 32
Пусть Хт, . . ., Хп — выборка объема П из параметрического семейства
распределений Э^9? где Э G 0. Выберем некоторую функцию g(t|) так, чтобы существовал
момент
Eeg(Xi)=H@), C)
И функция Н была обратима в области 0. Тогда в качестве оценки Э* для Э возьмем
решение уравнения
д(х) = н(е*).
Или (что то же самое), сначала решаем уравнение C) относительно Э, а затем
вместо истинного момента берем выборочный:
e=h-MEeg(Xi)), e*=h-'(M)=h-' ll^QiXiU.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Чаще всего в качестве функции g(t|) берут g(t|) =1^ . В этом случае
EeX'^ = h(e),
И, если функция Н обратима в области 0, то
Можно сказать, что мы берем в качестве оценки такое (случайное) значение
параметра Э, при котором истинный момент совпадает с выборочным.
Пример 4. Пусть Хт, . . ., Хп — выборка объема П из равномерного на отрезке
[О, Э] распределения Uo,9» где в > 0.
Найдем оценку метода моментов (ОММ) по первому моменту:
0
ЕэХт = —, тогда Э =2E9Xi и ОММ такова Э^ = 2Х.
Найдем оценку метода моментов (ОММ) по к-му моменту:
9
ЕеХ^
^ ё^^ = кТТ'
Стр. 33
тогда
в= Щk+^)EвX\, и ОММ такова: 0J; = ^ Aс + 1 )ХЧ
D)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 34
Пример 5. Пусть Хт, . . ., Хп — выборка объема П из распределения Пуассона Пд
с неизвестным параметром Л > 0. Введем новый параметр
е = е(л) = Pa(Xi = 1) =ле-^
и найдем оценку метода моментов для Э с помощью функции g(t|) = I(t| = 1):
Елд(Х1) = ЕлЦХт = 1) = Pa(Xi = 1) = Ae"^ = Э,
1
е* = 1(х = 1) = -у i(Xi = i).
1=1
Заметим, что оценку для параметра Л > О с помощью функции g(t|) = I(t| = 1)
найти нельзя: функция Н(Л) = Л е~ не является взаимно-однозначной и,
следовательно, обратимой по Л в области Л > 0. Оценку для параметра Л разумно находить по
первому моменту: ЕдХ^ = Л, и Л* = X — оценка метода моментов.
Замечание 6. Может случиться так, что Э* = Н~ (д(Х)) 0 0, тогда как Э G 0.
В этом случае оценку корректируют. Например, в качестве ОММ берут ближайшую
к hr (g(X)) точку из 0 или из замыкания 0.
Пример 6. Пусть Хт, ..., Хтх — выборка объема П из нормального
распределения Nq 1 с неотрицательным средним а ^ 0. Ищем оценку для а по первому моменту:
Eq^I = 0L, поэтому а* = X.
Однако по условию а ^ О, тогда как X может быть и отрицательно. Если X < О,
то в качестве оценки для а более подойдет 0. Если же X > О, в качестве оценки нужно
брать X. Итого: а* = тах{0,Х} — «исправленная» оценка метода моментов.

2.4. Состоятельность оценок метода моментов
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Теорема 3. Пусть Э* = Н (g(X)j — оценка параметра Э, полученная по методу
моментов, причем функция Н~ непрерывна. Тогда Э* состоятельна.
Доказательство теоремы 3. По ЗБЧ Хинчина имеем:
9W = -^9i^i) ^ ^e9iX^) =Нв).
1=1
Поскольку функция Н непрерывна, то и
в,=h-'[Шj)^h-\Eeg{X^))=h-\Ыв))=в.
П
Напоминание: Для обратимой, т. е. взаимно-однозначной функции Н : 1R —> R
непрерывность Н и непрерывность H~ эквивалентны.
Стр. 35
Если полученные разумным путем оценки обязаны быть состоятельными, то
свойство несмещенности — скорее исключение, нежели правило.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 36
Действительно, несмещенность ОММ вида Э* = Н ( д(Х)) означала бы, что при
всех Э G 0 выполнено равенство
Ее Н-1 (д(Х)) =в=П-' (Н@)) = Н'^ (Eq g(X)) .
E)
Но функция Н очень часто оказывается выпуклой или вогнутой. В этом случае
неравенство Иенсена утверждает, что между левой и правой частью в E) равенство
возможно лишь если случайная величина д(Х) вырождена или если функция Н~
линейна в области значений этой случайной величины.
Рассмотрим, к примеру, последовательность оценок для неизвестного параметра Э
равномерного на отрезке [О, Э] распределения, полученную в примере 4 и исследуем
напрямую их свойства.
состоятельность:
1л7 Р
1. По ЗБЧ, Э^ = 2Х } IEqXi = 2Э/2 = Э, т. е. оценка Э^ = 2Х состоятельна.
2. Заметим, что по ЗБЧ (или по свойству 3 — только для тех, кто его доказал) при
п ^ оо
Х^^ЕеХ^ =
е^
к+1
Поскольку функция лУ(к + 1 )t| непрерывна для всех t| > О, то при П ^ оо
k+l
Упражнение. Зачем нужна ссылка на непрерывность функции -^(Ic + 1 )у?

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 37
Несмещенность:
1. По определению,
ЕеЭ^ = Ее2Х = 2ЕеХ= (по свойству 2) =20/2 = 0,
т. е. оценка 0^ = 2Х несмещенная.
2. Рассмотрим оценку 02- Заметим, что
Еее| = Ее\/з^,
тогда как по свойству 2
0 = л/ЗЕеХ2 = ^ЗЕеХ2.
Равенство Eg 02 = 0 означало бы, что для случайной величины £, = ЗХ выполнено
Еэ л/£, = v Еэ £,, а для величины Г| = у£, выполнено Eg Л = (Еэл) или D9 Л = 0.
Но величина Л =
V3X2 имеет невырожденное (более того, абсолютно непрерывное)
распределение. Поэтому оценка 02 = у ЗХ^ — смещенная. Такими же смещенными
будут и оценки 0^, к > 2. Докажите это, воспользовавшись, как в E), неравенством
Иенсена.
То есть вся последовательность {0^}^_i = \ л/(к+ 1)Х^ f состоит из состоятельных
оценок, при этом только оценка 0^ = 2Х — несмещенная.

2.3. Методы нахождения оценок: метод максимального нравдонодобия
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Метод максимального правдоподобия — еще один разумный способ построения
оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее
правдоподобного» значения параметра берут значение Э, максимизирующее вероятность получить
при П опытах данную выборку X = (Х^, . . . ,Хп). Это значение параметра Э зависит
от выборки и является искомой оценкой.
Решим сначала, что такое «вероятность получить данную выборку», т. е. что именно
нужно максимизировать. Вспомним, что для абсолютно непрерывных распределений 3^q
их плотность fedj) — «почти» (с точностью до dt|) вероятность попадания в точку у.
А для дискретных распределений 3^q вероятность попасть в точку у равна Р9 (Х^ = t|).
И то, и другое мы будем называть плотностью распределения 3^q. Итак,
Определение 5. Функцию
I плотность fehj), если распределение Э^э абсолютно непрерывно,
I Г9 (Хт =у]у если распределение Jq дискретно
мы будем называть плотностью распределения Э^э-
Стр. 38
Для тех, кто знаком с понятием интеграла по мере, нет ничего странного в том,
что мы ввели понятие плотности для дискретного распределения. Это — не плотность
относительно меры Лебега, но плотность относительно считающей меры.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 39
Если для дискретного распределения величины Xi со значениями Qi, aj, ... ввести
считающую меру # на борелевской а-алгебре как
#(В) = количество at, принадлежащих В, то #(В)
#(dv)= Y_ 1.
aiGl
И тогда Рэ (Xi G В)
fe(i^)#(di^)
Pe(Xi =i^)#(di^)= Y_ Pe(Xi =at)
aiGl
Если же Xi имеет абсолютно непрерывное распределение, то feln) есть привычная плотность
относительно меры Лебега Л(Aг)) = dl):
Ре (Xi G В)
fe(i^)A(di^)
fe(l^)dij.
Определение 6. Функция (случайная величина при фиксированном Э)
п
f(X, 6) = fe(Xi) . fe(X2) •... • fe(XJ = П^е(Хг)
1=1
называется функцией правдоподобия. Функция (тоже случайная)
п
L(x,e)=inf(x,e) = ^infe(Xt)
1=1
называется логарифмической функцией правдоподобия.

в дискретном случае функция правдоподобия f (хт, . . . , Х^, 9) есть вероятность
выборке Хт, ..., Хп в данной серии экспериментов равняться Х^, ..., Хп. Эта
вероятность меняется в зависимости от Э:
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
f(x,e)=nfe(xt) = Pe(Xi=xi).....Pe(X^ = xJ = Pe(Xi=Xb...,X^ = xJ
1=1
Определение 7. Оценкой максимального правдоподобия Э неизвестного параметра Э
называют значение Э, при котором функция f (X, Э) достигает максимума (как функция
от Э при фиксированных Х^, . . . , Х^)^
Э = arg maxf(X,0).
е
Стр. 40
Замечание 7. Поскольку функция Intj монотонна, то точки максимума f(X,0) и
L(X,0) совпадают. Поэтому оценкой максимального правдоподобия (ОМП) можно
называть точку максимума (по Э) функции L(x,0):
Э = arg maxL(X,0).
е
Напомним, что точки экстремума функции — это либо точки, в которых
производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точки
области определения функции.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Пример 7. Пусть Хт, ..., Хп — выборка объема П из распределения Пуассона
Пд, где Л > 0. Найдем ОМП Л неизвестного параметра Л.
Рл(Х1=у) = ^е-\ у=0,1,2,...
f (^' ^) = П ^ ^"' = ^ ^""' = ^ ^""'
1=1
ПХг
ПХг!
Поскольку эта функция при всех Л > О непрерывно дифференцируема по Л, можно
искать точки экстремума, приравняв к нулю частную производную по Л. Но удобнее
это делать для логарифмической функции правдоподобия:
/ лпХ \ _ ^
1(Х,Л) =lnf(X,A) =1п -——е-^^ =пХ1пЛ-1п]^Хг!-пЛ.
ПХг'
1=1
Тогда
-ЦХ,Л) = --п,
И точка экстремума Л — решение уравнения: — П = О, то есть Л = X.
Л
Упражнение.
1) Убедиться, что Л = X — точка максимума, а не минимума.
2) Убедиться, что Л = X совпадает с одной из оценок метода моментов. I "Q какому моменту. |
Стр. 41

Оглавление
Пример 8. Пусть Хт, . . ., Хп — выборка объема П из нормального распределения
Nq^q.2, где а G R, О" > 0; и оба параметра а, О" неизвестны.
Выпишем плотность, функцию правдоподобия и логарифмическую функцию
правдоподобия. Плотность:
ba,a^)iv) =
1
Vlna^
exp
2a2
« ►►
Ha стр. ... из 180
Назад
Во весь экран
Уйти
функция правдоподобия:
exp
i=1
2a2
логарифмическая функция правдоподобия:
n
L(X, a, a^) = In f (X, a, a^) = - 1пBя)^/^ - ^ In a^ - i^
Z(Xt-a)
2a2
В точке экстремума (по (а, С )) гладкой функции L обращаются в нуль обе частные
производные:
Стр. 42
9а
L(X, а, а
2Z(Xt-a)
2, 1=1 пХ — па
'^ 2^2 = ^2 —
L(Xi-aJ

Оглавление
Оценка максимального правдоподобия (Q, (Т^) для (а, С ) — решение системы уравне
пХ — па
^ ^ 1=1
Z(Xt-a)
2а2 2(а
212
0.
Решая, получим хорошо знакомые оценки:
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
1=1
Упражнение.
1) Убедиться, что й = X, 0"^ = S — точка максимума, а не минимума.
2) Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов.
Пример 9. Пусть Хт, . . . , Хп — выборка объема П из равномерного распределения
Uo,9» где Q > 0. Тогда Э = X(^j = maxjXi, . . . , X^t} (см. [ ], пример 4.4, с.24 или [ ],
пример 5, с.91).
Пример 10. Пусть Хт, . . ., Хп — выборка объема П из равномерного распределения
U9,9+5» где Э G R (см. также [ ], пример 4, с.91).
Выпишем плотность распределения и функцию правдоподобия. Плотность:
Стр. 43
fe(v)
1/5, еслиу е [е,е + 5]
о иначе,

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 44
функция правдоподобия:
f(X,0):
A/5)^, если все Xie [е,е+5]
О иначе
A/5Г, е ^ ХA) < Х(,) < е+5
О иначе
^|A/5)^ еслиХ(п)-5^0^ХA)
I О иначе.
Функция правдоподобия достигает своего максимального значения A/5)^ во всех
точках Э G [Х(^) — 5,ХA)]. График этой функции изображен на рис. 4.
' Любая точка Э G [Х(^) — 5,X(i)] может служить
оценкой максимального правдоподобия. Получаем
' более чем счетное число оценок вида
Xr-ni — 5
X,
1)
Рис. 4: Пример 10.
Упражнение.
§ос=A-а)(Х(тг)-5) + аХA)
при разных ОС G [О, 1], в том числе Qq = Х(^) —5
и 01 = Хм] — концы отрезка.
1) Убедиться, что отрезок [X(^j — 5,X(ij] не пуст.
2) Найти оценку метода моментов (по первому моменту) и убедиться, что она иная по
сравнению с ОМП.
3) Найти ОМП параметра Э равномерного распределения U9,29-

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 45
2.6. Вопросы и упражнения
1. Дана выборка Xi, ..., Х^ из распределения Бернулли Вр, где р G @,1) —
неизвестный параметр. Проверить, что Xi, XiX2, Xi A — Х2) являются несмещенными оценками
соответственно для р, р , рA — р). Являются ли эти оценки состоятельными?
2. Дана выборка Xi, ..., Х^ из распределения Пуассона Пд, где Л > О — неизвестный
параметр. Проверить, что \-\ и I(Xi = к) являются несмещенными оценками соответственно
для л и —— е . Являются ли эти оценки состоятельными.'^
3. Дана выборка Xi, ..., Х^ из равномерного распределения Uqq, где Q > О —
неизвестный параметр. Проверить состоятельность и несмещенность оценок 9^ = Х(^], Qj ~ 2^'
9з = Х(^) +Х(т) для параметра 9.
4. Построить оценки неизвестных параметров по методу моментов для неизвестных параметров
следующих семейств распределений:
а) Вр — по первому моменту, б) Пд — по первому и второму моменту, в) Uq ь — по
первому и второму моменту, г) Е^^ — по всем моментам, д) Е^/^с — по первому моменту,
е) и_9,е — как получится, ж) Г^^ д — по первому и второму моменту, з) N^^ ^-2 (для G
при а известном и при а неизвестном).
5. Какие из оценок в задаче 4 несмещенные.'^ состоятельные.'^
6. Сравнить вид оценок для параметра ОС, полученных по первому моменту в задачах 4(г)
и 4(д). Доказать, что среди них только одна несмещенная. Указание. Использовать
неравенство Иенсена.
7. Построить оценки неизвестных параметров по методу максимального правдоподобия для
следующих семейств распределений: а) Вр, б) Пд+т, в) Uo,2e» г) Е2а+3» д) U_9,e»
е) N(^0-2 (а известно).
8. Какие из оценок в задаче 7 несмещенные.'^ состоятельные.'^

3. Сравнение оценок
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 46
Используя метод моментов и метод максимального правдоподобия, мы получили
для каждого параметра уже достаточно много различных оценок. Каким же образом
их сравнивать? Что должно быть показателем «хорошести» оценки?
Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже. Но
величина |Э* — Э| для сравнения непригодна: во-первых, параметр Э неизвестен, во-
вторых, Э* — случайная величина, так что эти величины обычно сравнить нельзя. Как,
например, сравнивать |Х —Э| и |Х^—Э|? Или, на одном элементарном исходе, |2Л5 —Э|
и |зл -е|?
Поэтому имеет смысл сравнивать не отклонения как таковые, а средние значения
этих отклонений, то есть Eg |Э* — Э|.
Но математическое ожидание модуля с. в. считать обычно затруднительно, поэтому
более удобной характеристикой для сравнения оценок считается Eg [Q'^ — Q] . Она
удобна еще и тем, что очень чутко реагирует на маловероятные, но большие по абсолютному
значению отклонения Э* от Э (возводит их в квадрат).
Заметим еще, что Eg (Э* — Э) есть функция от Э, так что сравнивать эти «сред-
неквадратические» отклонения нужно как функции от Э — поточечно. Такой подход к
сравнению оценок называется среднеквадратическим.
Разумеется, в зависимости от потребностей исследователя можно пользоваться и
другими характеристиками, например. Eg (Э* — Э) или Eg |Э* — Э|.
Существует и так называемый асимптотический подход к сравнению оценок, при
котором для сравнения оценок используется некая характеристика «разброса» оценки
относительно параметра при больших П.

3.1. Среднеквадратический подход. Эффективность оценок
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 47
Пусть Хт, . . ., Хп — выборка объема П из параметрического семейства
распределений Э^9» где Э G 0.
Определение 8. Говорят, что оценка Э^ лучше оценки 02 в смысле среднеквадратиче-
ского подхода, если для любого Э G 0
Ев(е^-е)^^Ев(еье)^
и хотя бы при одном Э это неравенство строгое.
Существует ли среди всех оценок наилучшая в смысле среднеквадратического
подхода? Скептик сразу ответит «нет». Покажем, что он прав. Предположим, что мы
имеем дело с невырожденной задачей: ни для какой статистики Э* невозможно
тождество: в"^ ^ в при любых Э G 0.
Теорема 4. В классе всех возможных оценок наилучшей в смысле
среднеквадратического подхода оценки не существует.
Доказательство теоремы 4. Пусть, напротив, Э* — наилучшая, то есть для любой
другой оценки Э^, при любом Э G 0 выполнено
Ее(е*-е)^^Ее@^-0)^.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 48
Пусть 01 — произвольная точка 0. Рассмотрим статистику в"^ ^ в^. Тогда
Ее (е* - е)^ ^ Ее (Эт - df при любом 0^0.
В частности, при в = в^ получим ЕеДЭ* — Qi) ^ ЕеДЭ^ — Эт) = 0.
Поэтому Eei (е* - Эт)^ = 0. Но, поскольку 01 произвольно, при любом Э G 0
выполняется Ее это возможно только если Q* ^ Q (оценка в точности
отгадывает неизвестный параметр), т. е. для вырожденной с точки зрения
математической статистики задачи. П
Вырожденными являются, например, следующие задачи:
* для выборки из 1е, Э G R, выполнено тождество Х^ = Э;
* для выборки из Ue,e+b 9 G Z, выполнено тождество [Х^] = Э.
Упражнение. Объяснить словесно доказательство теоремы 4.
Если в классе всех оценок наилучшей не существует, то, возможно, следует разбить
класс всех оценок на отдельные подклассы и в каждом искать наилучшую.
Обычно рассматривают оценки, имеющие одинаковое смещение
Ь@) = Е0е*-0.
Обозначим через К^ = К^(е) класс оценок, имеющих смещение, равное заданной
функции Ь(Э):
Кь = {е* : Е0е* = е + ь(е)}, Ко = {е* : Еее* = е}.
Здесь Ко — класс несмещенных оценок.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 49
Определение 9. Оценка Э* G К^ называется эффективной оценкой в классе К^, если
она лучше (не хуже) всех других оценок класса К^ в смысле среднеквадратического
подхода. То есть для любой Э^ G К^, для любого Э G 0
Ее(е*-е)^^Ее(е^-е)^.
Замечание 8. Для Э* G Kq, по определению дисперсии,
Ее (е* - е)^ = Ее @* - Ее e*f = De 0*,
так что сравнение в среднеквадратичном несмещенных оценок — это сравнение их
дисперсий. Поэтому эффективную оценку (в классе Kq) часто называют «несмещенной
оценкой с равномерно минимальной дисперсией». Равномерность подразумевается по
всем е G е. Для е* G Къ
Ее (е* - е)^ = De (Э* - Э*) + (Ее Э* - в)^ = De Э* + Ь^(е),
так что сравнение в среднеквадратичном оценок с одинаковым смещением — это также
сравнение их дисперсий.
Упражнение. Мы собираемся искать наилучшую оценку в классе К^. Объясните,
почему доказательство теоремы 4 не пройдет в классе К^.

3.2. Единственность эффективной оценки в классе с заданным смещением
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Теорема 5. Если Э^ G К^ и 02 G К^ — две эффективные оценки в классе К^, то с
вероятностью 1 они совпадают: Р9 [Щ = Q2) ~ ^•
Доказательство теоремы 5. Заметим сначала, что £9F^ — 6) = E.Q [Qj — в) .
Действительно, так как Э^ эффективна в классе К^, то она не хуже оценки в^, то есть
Ее(еье)^^Ее(е^-е)^
и наоборот. Поэтому Ее @^ - Э)^ = Ее (е^ - 9)^.
Рассмотрим оценку Э* = . Она также принадлежит классу К^. I доказать. |
Вычислим ее среднеквадратическое отклонение. Заметим, что
а + Ь\^ /а-Ь\^ а^ + Ь^
F)
Положим а = е^ - е, b = е^ - е. Тогда (а + ь)/2 = е* - е, а - b = е^ - е^.
Подставим эти выражения в F) и возьмем математические ожидания обеих частей:
Стр. 50
Ее(е*-е)^ + Ее
9^-0^
= Е(
@^-9)^+ @^-9)^
= Ее(9Ь0) =Ее(9Ь0Г. G)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 51
Но оценка Э* принадлежит К^, то есть она не лучше, например, эффективной
оценки Э^. Поэтому
Ее(е*-е)ЪЕе(е^-е)^.
Сравнивая это неравенство с равенством G), видим, что
^у 
Ее ( ^^ ^ ^^ ] = 7 Ее @1 - Qif ^ О и, следовательно. Ее (е^ - е^)^ = 0.
Тогда l"Q^^^^y- I Pq (9i = QX) — 1' ^^^ и требовалось доказать.
П
Для примера рассмотрим сравнение двух оценок. Разумеется, сравнивая оценки
попарно между собой, наилучшей оценки в целом классе не найти, но выбрать лучшую
из двух тоже полезно. А способами поиска наилучшей в целом классе мы тоже скоро
займемся.
Пример 11. Пусть Хт, . . . , Хтх — выборка объема П из равномерного распределения
Uo,e» где Э > 0. В примерах 4 и 9 мы нашли ОМП Э = Х(^) = maxjXi, . . . , Х^} и
ОММ по первому моменту Э* = 2Х. Сравним их в среднеквадратичном.
Оценка Э* = 2Х несмещенная, поэтому
Ее @* - е)^ = De0* = De2X = 4DeX = 4
V ^DeXi
в'
в'
n
12n 3tl
Для 0 = '^{п) = max{Xi,..., Xrt} имеем
Ее (§ - 0)^ = Ее §^ - 20Е0 § + 0^.

Посчитаем первый и второй момент случайной величины Э = Xr^j. Найдем
(полезно вспомнить, как это делалось в прошлом семестре!) функцию распределения и
ПЛОТНОСТЬ Э:
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
0,^ у < о,
Pe(X(n)<y) = Pe(Xi<y)-=<||^, vG[O,0],
.1, i)>e,
о, если у ^[0,9],
'' ^^' если у G [0,9].
в
EflXfrii =
У^-^ dy = ;^—I 9, ЕеХ(^) =
n-l
2 У'^"' , ^
^ е^ " п + 2
9^.
Поэтому
Уйти
Ее(Х(п) —0) =—-^Q —2——г Э +Э =-——j—^———
^ ^ п + 2 п+\ [п+\)[п + 2)
При П = 1,2 квадратические отклонения равны, а при П > 2
9^.
Стр. 52
Ее (Х(п) — 9)'
29^
(п+1)(п + 2) Зп
<|- = ЕеBХ-9)^
ТО есть Х(^) лучше, чем 2Х. При этом Eq (Х(^) — Э) стремится к нулю со
скоростью П~ , тогда как E.Q BХ — Э) — со скоростью П~ .

Оглавление
е
Упражнение.
1. Доказать, что X(^j G К^, где Ь(Э) =
П+ 1
2. Доказать, что ^[п] ^ ^^0 (несмещенная).
П
3. Сравнить оценки Х(
и Х(
П
^) в среднеквадратичном.
^^ ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 53
3.3. Асимптотически нормальные оценки (АНО)
Для того, чтобы уметь сравнивать оценки вида 9^ = \/0с-\- 1)Х^ (см. пример 4),
среднеквадратического подхода недостаточно: второй момент такой случайной величины
посчитать вряд ли удастся. Оценки такого вида (функции от сумм) удается сравнивать
с помощью асимптотического подхода. Более точно, этот подход применим к так
называемым «асимптотически нормальным» оценкам.
Пусть Хт, . . ., Хп — выборка объема П из параметрического семейства
распределений 3^Q, Э G е.
Определение 11. Оценка Э* называется асимптотически нормальной оценкой
параметра Э с коэффициентом О" (Э), если
^(е*-е) ^No,,,2(e), или
N
0,1-

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 54
Пример 12. Пусть Хт, . . ., Хп — выборка объема П из равномерного распределения
Uo,9» где Q > 0. Проверим, являются ли оценки Э* = 2Х и Э = X(^j асимптотически
нормальными (АНО). По ЦПТ,
/
у/^{в* - е) = v^Bx - е) = v^
ZXt
,1=1
n
V
\
J
Y. 2Xi - ne
TL
}:2Xi-nEe2Xi
1=1
N
n
0,D9 2X,
N
0,4De Xi
To есть оценка 0* = 2X асимптотически нормальна с коэффициентом
а^в) = 4D0 Xi = 49^12 = в^/3.
Для оценки Э = Х(^) имеем:
л/п[в — Э) = л/г1(Х(^) — Э) < о с вероятностью 1.
(8)
По определению, £,rt ^ F, если для любой точки X, являющейся точкой непрерывности
функции распределения F, имеет место сходимость F£^^(x) = Р (£,п < х) ^ F(x).
Но Рэ (л/г1(Х(^] — Э) < 0) = 1, тогда как для нормального распределения Nq сг2Г0)
функция распределения всюду непрерывна, и в нуле равна Oq ^2(q\[0) = 0.5. Но 1 не
сходится к 0.5 при тг —} оо, поэтому слабая сходимость yrl(Xr^j — Э) к Nq сг2Г0] места
не имеет.
Таким образом, оценка Э = Х(^) асимптотически нормальной не является.
Осталось ответить на напрашивающиеся вопросы:

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
1) Куда все же сходится по распределению \/т1(^(тг) ~ 0)i^
Упражнение. Доказать, что \/т1(^(тг) ~ ^) ^ ^•
Порядок действий: Выписать определение слабой сходимости. Нарисовать функцию
распределения нуля. Найти по определению функцию распределения \/т1(^(тг) ~^)- Убедиться,
что она сходится к функции распределения нуля во всех точках непрерывности последней.
Не забудьте о существовании замечательных пределов, логарифмов и ряда Тейлора.
2) Если \/тг(^(тг) —0)^0, то на какую степень П нужно попробовать умножить Х(^) — 9,
чтобы получить сходимость к величине, отличной от О и оо.'^
Упражнение. Доказать, что —тг(Х(^) ~ ^) ^ Л' ^Д^ случайная величина Г| имеет
показательное распределение Е^/д.
Порядок действий: прежний.
п+ 1
3) Для оценки ^(тг) свойство (8) не выполнено. Может ли эта оценка быть АНО.'^
Упражнение. Модифицировать рассуждения и доказать, что эта оценка тоже не является
асимптотически нормальной.
4) Плохо ли, что оценка 9 = Х(^) не асимптотически нормальна.'^ Может быть, сходимость
тг(Х(^) — 9) ^ —Г| еще лучше.'^
Уйти
Попробуем ответить на последний вопрос.
Стр. 55
3.4. «Скорость» сходимости оценки к параметру
Теорема 6. Если Э* — асимптотически нормальная оценка для Э, то Э* состоятельна.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 56
Нам понадобится следующее вспомогательное утверждение.
Ле
1. Пусть £,^ ^ F и -у^ ^ ОС. Тогда Р (£,п < Утх) ^ 1 •
Доказательство. Вспомним, что предел любой функции распределения на бесконечности равен 1,
т.е. F(C) -^ 1 при С -^ ОС. Зафиксируем произвольное £ > О и выберем Се настолько большим,
чтобы У{С^) > 1 —£/2 и, кроме того, чтобы функция распределения F была непрерывна в точке С^.
По определению, Уп -^ оо означает, что для любого С > О найдется номер N(C) такой, что при
всех TL > N выполнено неравенство 1)^ > С.
Пусть П > N(C£). Из неравенства Уп > С^, в силу монотонности функций
распределения, вытекает неравенство Р (£,тг ^ Уп) ^ Р (tn ^ С&)- По определению слабой сходимости,
Р (£,^ < Се) -^ ^(Се) при П -^ (X). Тогда для данного £ > О можно найти М(£) > N(C£) такое,
что для всех П > М(£) разница между Р (£,тг ^ С&) и У{С^) не превысит £/2. Тем самым, для
любого п > М[е)
1 ^ Р (tn < г^п) ^ Р iU < CJ ^ F(CJ - £/2 > 1 - £/2 - £/2 = 1 - £.
Итак, для произвольного фиксированного £ нашлось М(£) такое, что при всех П > М(£) выполнено
неравенство
|Р(^п<Уп)-1| <£■
П
Столь подробное рассуждение на языке е/8 приведено здесь исключительно в психологических целях. Если
вам стало плохо от такого рассуждения, то вы либо знакомы с понятием нижнего предела и считаете эти
подробности излишними, либо (что хуже) не знакомы с понятием предела вообще.

Оглавление
Доказательство теоремы 6. Заметим, | доказать. | ^^^ если л/г1(Э* — в) ^ £,,
где £, имеет нормальное распределение Nqq-itq], то уГ1|Э* — в\ ^ |£,|. Поэтому
при тг —> оо, используя утверждение леммы 1 с Уп ^ уП-^' получим
Ре (|е* - е| < £) = Ре (V^|e* - е| < V^e) = Ре (V^|e* - е| < уj ^ i.
п
« ►►
На стр. ... из 180
Назад
Во весь экран
Упражнение. Верно ли утверждение теоремы 6, если предельная величина £, имеет
распределение, отличное от нормального?
Таким образом, если Э* асимптотически нормальна, то или е*_е -^0.
Свойство асимптотической нормальности показывает, в частности, что скорость этой
сходимости имеет порядок —j=, т.е. расстояние между Э* и Э ведет себя как —j=:
\/п л/п
е*-е^о, но V^(e*-e)^No,,,2(e).
Уйти
Взглянем с этой точки зрения на оценку в = Х(^) в примере 12. Для нее (и для
тех, кто справился с упражнениями)
n(Xf^) - е) ^ ^,
(9)
Стр. 57
где £, — некоторая случайная величина. Иначе говоря, расстояние между вив ведет
1
себя как —.
П
Упражнение. Лучше это или хуже?

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
3.5. Асимптотическая нормальность ОММ
В примере 12 мы видели, что для оценок типа 2Х свойство асимптотической
нормальности сразу следует из ЦПТ.
Установим асимптотическую нормальность оценок более сложного вида, какими
обычно оказываются оценки метода моментов.
Свойство 5. Пусть функция g(t|) такова, что О j^ D9 g(Xi) < 00.
Тогда статистика д(Х) = — ^д(Х|) является асимптотически нормальной оценкой
П
для EeglXi) с коэффициентом (J [Q) = DgglXi):
g(X)-E9g(Xi) ^ ^,
vDegiXij
Упражнение. Вспомнить ЦПТ и доказать свойство 5.
Уйти
Следующая теорема утверждает асимптотическую нормальность оценок вида
е* = Н д(Х) =Н
п
Стр. 58
Такие оценки получаются обычно I найти примеры. | ^^^ использовании метода моментов,
при этом всегда 0 = H(E9g(Xi)).

Оглавление
Теорема 7. Пусть функция g(t|) такова, что О ф DgglXi) < оо, а функция H(t|)
непрерывно дифференцируема в точке а = Eg g(Xi) и Н^(а)
^»^ |-у=а/
Тогда оценка Э* = Hfg(X)j является асимптотически нормальной оценкой
для е = H(Eeg(Xi)) =Н(а) с коэффициентом а^(е) = (Н'(а))^ • De g(Xi).
АА ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 59
Доказательство теоремы 7.
Согласно ЗБЧ последовательность д(Х) стремится к а = E0g(Xi) по вероятности
с ростом тг. Функция
f nilll nilll
V 7^ а,
H(i))-H(a)
G(i)) = <; У-a
Н'(а),
у = a
по условию непрерывна в точке а. Поскольку сходимость по вероятности сохраняется
Р
под действием непрерывной функции, получим, что G(g(X))
Gfal=H'fal.
Заметим также, что по свойству 5 величина yrl(g(X) —а) слабо сходится к
нормальному распределению No^D0g(Xi)- Пусть £, — случайная величина из этого
распределения. Тогда
^ (Н (^ - Н(а)) = Vn {Ш - а) ■ G (^ ^ I ■ Н'(а).
4 iv
^ Н'(а)
Мы использовали свойство слабой сходимости: если £,^ ^ £, и Г|п > С = const,
то £,тгЛтг ^ с£,. Но £, • Н^(а) как раз и имеет распределение Nq (н^(а)J 0е g(Xi)- I—'

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр.
Пример 13. Пусть Хт, . . . , Хп — выборка объема П из равномерного
распределения Uq q, где в > 0. Проверим, являются ли оценки
полученные методом моментов в примере 4, асимптотически нормальными.
Пусть д(у) = (к+ 1)у\ Н(у) = уу. Тогда
et=t/[i^7Tl^={£2i±iM = H^^«l^'>
п
п
При этом
0 = H(Eeg(Xi))= VEe(k + l)XH { (к + Г
к+1
Впрочем, иначе быть не могло по определению метода моментов. 1^^^"°' * Проверим
другие условия теоремы 7:
a = Eeg(Xi) = (k+1)
е^
к+1
e^
дисперсия DeglXi) = Ее (k+1)^Xf-a^ = (к+1)
2v2k „2 _ п. I 1 а2 ^ д2к
е
2к
2к + 1 2к + 1
конечна и отлична от нуля. Функция Н(у) непрерывно дифференцируема в точке а:
Н'(у) = -у"^, и Н'(а) = Н'(е'") = -е^-'" непрерывна при 9 > 0.
к к
По теореме 7, оценка 9^ — АНО для 9 с коэффициентом
Лгал - ti-i'f„\\^-r\ „AV ч _ ^ а2-2к ^ а2к _ ^
a^@) = (H'(a))"Deg(Xi) = ^9^-2'^-2^—10
2к+1
9^
В том числе для 9^ = 2Х имеем коэффициент сг^(9) = — (см. пример 12).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 61
Осталось понять, при чем тут сравнение оценок и что показывает коэффициент
асимптотической нормальности.
3.6. Асимптотический подход к сравнению оценок
Возьмем две случайные величины: £, из нормального распределения Nqj и 10 £,
из нормального распределения Nqjoo- Если для £,, например, 0^9973.. = Р(|£,| < 3),
то для 10 £, уже 0^9973.. = Р(|£,| < 30). Разброс значений величины 10 £, гораздо
больший, и дисперсия (показатель рассеяния) соответственно больше.
Что показывает коэффициент асимптотической нормальности? Возьмем две АНО
с коэффициентами 1 и 100:
^(е*-е*) ^No,i и ^^(е^-е^
N
0,100-
При больших тг разброс значений величины уГ1(Э2 — Э*) около нуля гораздо
больше, чем у величины д/г1(Э^ — Э*), поскольку больше предельная дисперсия (она же
коэффициент асимптотической нормальности).
Но чем меньше отклонение оценки от параметра, тем лучше. Отсюда —
естественный способ сравнения асимптотически нормальных оценок:
Определение 12
циентом О'2@)-
Пусть е^
— АНО с коэффициентом
afO),
0^ -
- АНО с
Говорят, что Э^ лучше, чем в^ в смысле асимптотического
если для любого Э G 0
и хотя бы при одном Э это
af@) ^ alid),
неравенство строгое.
коэффи- 1
подхода, 1

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Пример 13 (продолжение). Сравним между собой в асимптотическом смысле
оценки в последовательности 0^,02,.... Для 0^ коэффициент асимптотической
нормальности имеет вид а2(е) = eVBk+ 1). Коэффициент тем меньше, чем больше к,
то есть каждая следующая оценка в этой последовательности лучше предыдущей.
Оценка 0^, являющаяся «последней», могла бы быть лучше всех оценок в этой
последовательности в смысле асимптотического подхода, если бы являлась
асимптотически нормальной. Увы:
Упражнение. См. задачу 7 (б) в разделе 1. Доказать, что 0^ -^ Х(^) п. п., то
есть для любого элементарного исхода Ш при к ^ оо
\
Zx\
W
{k + ^y-
П
max{Xi(cu),...,XrL(cu)}.
Еще раз обращаем внимание читателя, что оценка 0 = Х(^) оказывается лучше
любой асимптотически нормальной оценки: «скорость» ее сходимости к параметру, как
показывает (9), равна П~ в отличие от П~ ^ для любой АНО.
Уйти
Стр. 62
3.7. Вопросы и упражнения
1. Пусть Xi, . . ., Хп — выборка объема п из равномерного распределения U0,e+5> где 9 G R.
Сравнить оценки Qq = Х(^) —5,0^ = Х(т) из примера 10 в среднеквадратичном смысле.
Сравнить с этими оценками оценку метода моментов 9* = X — 2,5.
2. Для показательного распределения с параметром ОС оценка, полученная методом моментов
по к-му моменту, имеет вид: а^ = N^=. Сравнить оценки а^, к = 1,2,... в смысле
асимптотического подхода. Доказать, что оценка а^ наилучшая.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
4. Эффективные оценки
Вернемся к сравнению оценок в смысле среднеквадратического подхода. В классе
одинаково смещенных оценок эффективной мы назвали оценку с наименьшим средне-
квадратическим отклонением (или наименьшей дисперсией). Но попарное сравнение
оценок — далеко не лучший способ отыскания эффективной оценки. Сегодня мы
познакомимся с утверждением, позволяющим во многих случаях доказать эффективность
оценки (если, конечно, она на самом деле эффективна).
Это утверждение называется неравенством Рао — Крамера и говорит о том, что
в любом классе К^@) существует нижняя граница для среднеквадратического
отклонения Ее (е* - 0)^ любой оценки.
Таким образом, если найдется оценка, отклонение которой в точности равно этой
нижней границе (самое маленькое), то данная оценка — эффективна, поскольку у
прочих оценок отклонение меньше быть не может.
К сожалению, данное неравенство верно лишь для так называемых «регулярных»
семейств распределений, к которым не относится, например, большинство равномерных.
Уйти
Стр. 63
4.1. Регулярность семейства распределений
Пусть Хт, . . ., Xrt — выборка объема П из параметрического семейства
распределений Э^0, Э G е. Пусть fely) — плотность Э^0 (в смысле определения 5). Введем
понятие носителя семейства распределений Э^э-
Любое множество С С R такое, что при всех Э G 0 выполняется
равенство Рэ (Х^ G С) = 1, назовем носителем семейства распределений 3^q.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 64
Замечание 9. Мы ввели понятие носителя семейства мер в R, отличное от
общепринятого. Так, носитель в смысле данного нами определения не единственен, но все
эти носители отличаются на множество нулевой вероятности.
Следующее условие назовем условием регулярности.
(R) Существует такой носитель С семейства распределений 3^q, что при каждом 1| G С
функция yfedj) непрерывно дифференцируема по Э во всех точках Э G 0.
4.2. «Регулярные» и «нерегулярные» семейства распределений
Пример 14 (регулярное семейство). Рассмотрим показательное распределение Е^х
с параметром (X > 0. Плотность этого распределения имеет вид
fa(y) =
осе
О,
-осу
если у > Оу
если у ^ О,
fcx(y) =
Vae""^/^, если у > О,
О,
если г| ^ 0.
В качестве множества С можно взять @,+оо), поскольку Pocl^l > 0) = 1. При
любом г| G С, т. е. при у > О, существует производная функции л/'fociv) по а, и эта
производная непрерывна во всех точках (X > 0:
9а V 2л/а
-осу/2 _
а|е-^/^.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Пример 15 (нерегулярное семейство). Рассмотрим равномерное распределение Uo,9
с параметром Q > 0. Плотность этого распределения имеет вид
Uiv)
е'
если О ^ у ^ Э,
если Э > у и у > О,
О, если у 0 [О, е]
Поскольку параметр Э может принимать любые положительные значения, то никакой
ограниченный интервал @,х) не является носителем этого семейства распределений:
Ре (Хт G @,х)) < 1 при Э > X. Возьмем С = @,+оо) — оно при любом в > О
обладает свойством Рэ (Х^ G С) = 1. Так что носитель этого семейства распределений
— вся положительная полуось (с точностью до множеств нулевой лебеговой меры).
Покажем, что условие (R) не выполнено: множество тех 1| G С, при каждом из
которых функция vfely) дифференцируема по Э, пусто.
tfe(y)
При фиксированном у > О изобразим
функцию fedj) (или ее корень — масштаб не
соблюден) как функцию переменной Э.
Видим, что какое бы 1| G С мы ни взяли,
fedj) даже не является непрерывной по Э, а
тем более дифференцируемой. Следовательно,
условие (R) не выполнено.
Рис. 5: Пример 15
Стр. 65

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Пример 16 (нерегулярное семейство). Рассмотрим «смещенное» показательное
распределение с параметром сдвига Э G R и плотностью
Ыу)
е^ ^, если у > Э,
0>
если у ^ Э
е^ ^, если Э < у,
О, если в ^ у.
Поскольку при любом Э распределение сосредоточено на (Э,+оо), а параметр Э
может принимать любые вещественные значения, то только С = R (плюс-минус
множество меры нуль) таково, что при любом Q > О выполнено Рд (Х^ G С) = 1.
Покажем, что условие (R) опять не выполнено: множество тех 1| G С, при каждом из
которых функция yfedj) дифференцируема по Э, столь же пусто, как и в примере 15.
tfe(v)
При фиксированном t| G R на рисунке 6
изображена функция fedj) (а может быть, корень
из нее) как функция переменной Э.
Какое бы у ни было, fedj) даже не является
непрерывной по Э, а тем более
дифференцируемой.
Рис. 6: Пример 16
Замечание 10. Вместо непрерывной дифференцируемости yfedj) можно требовать
того же от Infeltj).
Стр. 66

4.3. Неравенство Pao — Крамера
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 67
Пусть Хт, . . ., Хп — выборка объема П из параметрического семейства
распределений Э^9» 0^0, и семейство Э^э удовлетворяет условию регулярности (R).
Пусть, кроме того, выполнено условие
(RR) «Информация Фишера» 1@) = E.Q I ^—InfelXi
существует, положительна и непрерывна по Э во всех точках Э G 0.
Справедливо следующее утверждение.
Неравенство Рао — Крамера.
Пусть семейство распределений 3^q удовлетворяет условиям (R) и (RR). Тогда для
любой несмещенной оценки Э* G Ко, дисперсия которой D9 Э* ограничена на любом
компакте в области 0, справедливо неравенство
Dee* = Ее (е*-е)^>
1
пце)*
Упражнение. Проверить, что для показательного семейства распределении ^ос
с параметром 0С> О дисперсия DocXi не ограничена глобально при а > О, но ограничена
на компактах.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Неравенство сформулировано для класса несмещенных оценок. В классе оценок с
произвольным смещением Ь(Э) неравенство Рао — Крамера выглядит так:
Неравенство Рао — Крамера.
Пусть семейство распределений Э^э удовлетворяет условиям (R) и (RR). Тогда для
любой оценки Э* G ^ь{в)^ дисперсия которой D9 Э* ограничена на любом компакте в
области 0, справедливо неравенство
Ее (е*-0)^^
2^ A+ь'(е)J , ^2,.. г. .*. 0+ь'(в)у
пЦв)
+ Ь^@), т.е. De0*^
nl@)
Для доказательства нам понадобится следующее утверждение.
Лемма 2. При выполнении условий (R) и (RR) для любой статистики Т = Т(Х),
дисперсия которой ограничена на компактах, имеет место равенство
:^ЕеТ = Ее (т-^ЦХ.в
Стр. 68
Упражнение. Вспомнить, что такое функция правдоподобия f(X,0),
логарифмическая функция правдоподобия L(X, Э) (определение 6), как они связаны друг с другом,
с плотностью Хт и совместной плотностью выборки.

Оглавление
Доказательство леммы 2.
Напоминание: математическое ожидание функции от нескольких случайных величин
есть (многомерный) интеграл от этой функции, помноженной на совместную плотность
этих случайных величин. Поэтому
EeT(Xi,... ,Хп) =
Т(уь...,уп) •f(yb...,yn,0)dyi ... dyn.
R^
« ►►
На стр. ... из 180
Назад
Во весь экран
В следующей цепочке равенство, помеченное (*), мы доказывать не будем, поскольку
его доказательство требует знания условий дифференцируемости интеграла по параметру
(тема, выходящая за пределы курса МА на ЭФ). Это равенство — смена порядка
дифференцирования и интегрирования — то единственное, ради чего введены условия
регулярности (см. пример ниже).
4^^™ - 4
T(y)-f(v,e)dy
^ ^T(y)-f(v,0)dv
R"
Уйти
т{у)-^Пу,е]йу =
Т(У)
R'^
R'^
Т(У)
f(y,e)dy =
f(y,e)dy = Ее (т(Х).—L(x,e;
R'"
Стр. 69
Через у в интегралах обозначен вектор (у-\,... ,yTi)-
П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Доказательство неравенства Рао — Крамера.
Мы докажем только неравенство для класса Kq. Необходимые изменения в
доказательстве для класса К^ читатель может внести самостоятельно.
Воспользуемся леммой 2. Будем брать в качестве Т(Х) разные функции и получать
забавные формулы, которые потом соберем вместе.
1. Пусть Т(Х) = 1. Тогда
0 = :^! =Ee:^L(X,e).
эе ^ эе
Далее, поскольку f(X,0) = П^э(^г)» то L(X,0) = / lnf0(X|), и
о = Ее 4l(X, е) = Ее X ^ In^e(Xi) = п • Ее ^ Infe(Xi
2. Пусть Т(Х) = 0* G Ко, т. е. Ее е* = 0. Тогда
90
АЕе0* = Ае = 1 = Ее0* ■ ^L(X,0).
90 90 '^ 90
A0)
A1)
УЙТИ
Вспомним свойство коэффициента корреляции:
соу(£„л) = Е£,л-Е^Ел^\/О^Ол.
Используя свойства A0) и (И), имеем
Стр. 70
cov@*,—ЦХ,0))=Ее @
- 9^UX,0;
Ее0*Еед^ЦХ,0) =

эе
= Ее е*-—L(X,e) =1 < WDee*De—L(X,e).
эе
A2)
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Найдем DQ—-L[X,e):
De^L(X,0) = De X4lnfe(Xi) =nDe^lnfe(Xi) =nEe(^lnfe(Xi))^ = nI(e).
Подставляя дисперсию в неравенство A2), получим
1 ^ Dee*-nl(e) или Dee* >
1
ni(e)'
что и требовалось доказать. П
Следующий пример показывает, что условие регулярности является существенным
для выполнения равенства, помеченного (*) в лемме 2.
Пример 17 (нерегулярное семейство). Рассмотрим равномерное распределение Uo,9
с параметром в > 0. Выпищем при П = 1 какой-нибудь интеграл и сравним
производную от него и интеграл от производной: скажем, для T(Xi) = 1
эе
EeT(Xi
эё
-dy = —1 =0;
0 '^ эе
А1
эеё
dy
/0.
Стр. 71
Заметим, что и само утверждение неравенства Рао — Крамера для данного
семейства распределений не выполнено: найдется оценка, дисперсия которой ведет себя
как ^/п , а не как ^/п в неравенстве Рао — Крамера.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Упражнение. Проверить, что в качестве этой «выдающейся» из неравенства Рао —
Крамера оценки можно брать, скажем, смещенную оценку X(^j или несмещенную оцен-
ку Х(гл G Ко.
п
4.4. Неравенство Рао — Крамера и эффективность оценок
Сформулируем очевидное следствие из неравенства Рао — Крамера.
Следствие 1. Если семейство распределений Э^э удовлетворяет условиям
регулярности (R) и (RR), и оценка Э* G К^@) такова, что в неравенстве Рао —
Крамера достигается равенство:
Ее(е -9) =^^щ^ + ь(е) или Dee = ^де^ ,
то оценка Э* эффективна в классе ^ь{в)-
Уйти
Стр. 72
Оценку, для которой в неравенстве Рао — Крамера достигается равенство, иногда
называют R-эффективной оценкой. Следствие 1 можно сформулировать так: если
оценка R-эффективна, то она эффективна в соответствующем классе.
Пример 18. Для выборки Хт, . . ., Х^ из распределения Бернулли Вр несмещенная
оценка р* = X эффективна, так как для нее достигается равенство в неравенстве
Рао — Крамера (см. [ ], пример 13.20, с. 67).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Пример 19. Пусть Хт, . . . , Хп — выборка объема П из нормального
распределения Nq^ C^2, где а G R, О" > 0. Проверим, является ли оценка а* = X G Kq эффективной
(см. также [ ], пример 13.6, с. 64).
Найдем информацию Фишера относительно параметра а (считая, что имеется один
неизвестный параметр — а).
f (У ^ 1 ( (Xi-a)^
2^^/2 (Xi-a)^
2а2 '
9 , . 1у . (Xi - а)
Tfnl F /"9 If ГУ л' E(,,,2)(Xi-aJ D(,,,2)Xi 1
a4
a^
a^
Итак, 1(a) = 1/(T . Найдем дисперсию оценки X.
Уйти
Стр. 73
1 а^
D(a,a2)X = -D(^,,2)Xi = —.
Далее, сравнивая левую и правую части в неравенстве Рао — Крамера, получаем
равенство:
Dfn гг2)Х =
1
[а,сг^
П
nifa)
То есть оценка а* = X эффективна (обладает наименьшей дисперсией среди
несмещенных оценок).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 74
Пример 20. Пусть Хт, ..., Хп — выборка объема П из нормального распреде-
^ 1 п
ления NqC^2, где (J > 0. Проверим, является ли оценка О" = — ^ Х^ = Х^ G Кр
эффективной.
Упражнение. Получить эту оценку методом моментов и методом максимального
правдоподобия.
Найдем информацию Фишера относительно параметра О" .
fa4Xi) =
1
V2
: ехр
7га^
lnf^2(Xi)=-lnB7r:
1/2.
1
1 2 ^1
- In СГ -:гЛ,
2 2а^
lnf^2(Xl) =
1
9а2
Ka^l = Е
+
X
2а2 ' 2а4'
1
.Mg^lnfa^Xi)) =EaW|^-2^
= iE,.(Xf-a^)^ = ^D,.Xf
Осталось найти D^iX^ = E^-iX^ — (E^-iX^) = E^-iX^ — 0" . Для тех, кто помнит
некоторые формулы вероятности: величина £, = Х^/о" имеет стандартное нормальное
распределение, и для нее
Е£,^^=Bк-1)!! = Bк-1)Bк-3)-...-3-1,
Тогда Хт = £, • О" и
EXt
Е^4.(,4^3а^

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Те, кто не помнит, считаем заново:
ос
-у^ ОО -у^
ij , е d-y = 2а^ - ^^ е d - =
л/2^а J Va/ у^ \(jJ
—оо 0
оо t^ 0О7 /9001^4
г 1 —^=г 1 г t 1 / t |С>о р —^^ \
С
t4 ' е ^ dt = -2a4^
) С
= 2а4^.3
t^de 2 =_2ct4-:= t3e
\
0
с
e dtM =
) /
эо 2 "^ "t^
ft2e"^dt = 3a'* f ^t^e ^ dt = Зст^ • Df, = Зст'^ • 1,
J J Vbz
0 —00
где £, имеет стандартное нормальное распределение.
Итак, D^zXf = E^2Xt - a^ = 2a4,
УЙТИ
.(.^) = jLD„.Xb^2.^ = ^.
Найдем дисперсию оценки (J = X^.
Стр. 75
D„.X^ = JjD„.i:x? = iD„.Xf = ^.

Оглавление
Сравнивая левую и правую части в неравенстве Рао — Крамера, получаем
равенство:
0.^ . ^
1
nlfa
2Г
Таким образом, оценка О" = Х^ эффективна.
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 76
Упражнение. Пусть Х^, ..., Х^ — выборка объема П из нормального
распределения N 0^C^2, где а известно, (J > 0. Проверить, является ли эффективной оценка
^ ] п
О" = — Y_ (Х| — а) = (X — а)^. Принадлежит ли эта оценка классу Kq? Какими
методами получена? Является ли состоятельной и асимптотически нормальной?
Пример 21. Пусть Хт, . . ., Хп — выборка объема П из показательного
распределения Е^/^ с параметром 1/(Х, где (Х> 0. Проверим, является ли оценка а* = X G Kq
(оценка для параметра (х!) эффективной.
Найдем информацию Фишера относительно параметра ОС
I((x) = Eoc(^lnUXi)) .
Плотность данного показательного распределения имеет вид:
fa(v) =
если г| ^ 0.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
1 _2<1 Хт
Тогда f^(Xi) = -e ОС ^ Infoc(Xi) =-1па ,
ОС ос
^ InUXi) = -1 + ^ = ^(Xi - а),
оа ос а^ а^
I(a) = Eoc — Infoc(Xi) = 4 = —— = — = —.
\9р у ос^ ос^ ос^ а^
Итак, 1(a) = ^/oc . Найдем дисперсию оценки X.
- 1 ОС^
DocX = —DocXi = —.
n n
Подставив дисперсию и информацию Фишера в неравенство Рао — Крамера, получаем
равенство:
DocX =
ос
п
1
п1[ос)
То есть оценка а* = X — эффективная оценка параметра ОС.
Уйти
Стр. 77
Упражнение. Получить эту оценку методом моментов и методом максимального
правдоподобия. Она действительно несмещенная? А еще какими свойствами обладает?
Упражнение. Проверьте, что для несмещенной оценки (X** = Х^ равенство в
неравенстве Рао — Крамера не достигается. Объясните, почему, исходя только из
этого, нельзя сделать вывод о ее неэффективности в классе Kq. Сделайте этот вывод
на основании того, что оценки (X* = X и (X** = Х^ принадлежат классу оценок с
одинаковым смещением, и одна из них эффективна. Используйте теорему 5.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Отсутствие равенства в неравенстве Рао — Крамера вовсе не означает
неэффективность оценки. Приведем пример оценки, которая является эффективной, но для которой
не достигается равенство в неравенстве Рао — Крамера. В эффективности оценки из
этого примера мы хотели бы, но не сможем убедиться.
Пример 22. Пусть Хт, ..., Хп — выборка объема П из показательного
распределения Е^х с параметром ОС, где (X > 0. Возьмем чуть поправленную оценку метода
моментов
П-1 1
П-1
ОС =
П X ГГ=1 Хг '
Убедимся, что это — несмещенная оценка. Согласно свойству устойчивости по
п
суммированию для Г-распределения, сумма ^ Х| случайных величин с распределением
1=1
Еос = Г^х 1 имеет распределение Г^^^^ с плотностью
а"
у
n-^ г>-осу
У>0,
Напомним, что Г(тг) = (п— 1)! Вычислим математическое ожидание
E«a* = E«('^l=fn-l
а"
1
У (п-1)!
У
п-1
-осу
dy =
Стр. 78
(п-1)
(п-П!
ос •
[oiV]
тг-2 -осу
d(ay)
ос
(п-2)!
Г(п - 1) = а.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 79
Итак, оценка (X* принадлежит классу Kq. Найдем информацию Фишера относительно
параметра ОС:
fcx(Xi) = осе
-ocX^
In f £x(Xi) = In а — ocXi,
2
7\ 1
-—Infoc(Xi) = Xi,
da a
1(a) = Eoc (^^ lnfoc(Xi)y = Eoc(Xi - ocf = DocX, = ^.
Итак, 1(a) = 1/a . Найдем второй момент и дисперсию оценки а*.
EJ<x*V = Е,
{n-^y
= (п - 1
1 а^
(n-1)^
(п-Л!
•а ■ \((ху
^TL-3 „-осу
fn-1
TL-1 -ОЩ
dy
d(ay)
(n-2)!
• а • Г(п — 2) = а .
п —2
Тогда
Doca = Еос(а )^-(Боса ) = ос^ - ос^ = -.
п—2 п—2
Подставив дисперсию и информацию Фишера в неравенство Рао — Крамера, получаем,
что при любом тг есть строгое неравенство:
Doca* =
а"-
>
а
1
п —2 п п1(а)*
Тем не менее, оценка а* является эффективной, но доказывать мы это не будем.

4.3. Наилучшие линейные несмещенные оценки
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
В плане подготовки к курсу «Эконометрика» полезно заметить следующее: в
практической статистике часто рассматривают оценки, являющиеся линейными (и по воз-
п
можности несмещенными) функциями от выборки, то есть оценки вида Э* = ^ OL|X|.
1=1
В классе таких оценок наилучшая в смысле среднеквадратического подхода оценка
обычно находится и без неравенства Рао — Крамера (что особенно полезно для
нерегулярных семейств) — достаточно минимизировать у а^ при заданной у а|. Такую
оценку принято называть «наилучшей линейной несмещенной оценкой», или, по
английски, BLUE ("best linear unbiased estimate").
Так, скажем, для распределения Uo,9 оценка 6q = 2Х является BLUE, так как
ее дисперсия I найти! или вспомнить пример 111 ^g g^^j^^jg l^^^ дисперсии любой оценки
п п
вида Э = 2_ СЦ^г? ^^Д^ 2_ ^i ^ ■^' | почему это гарантирует несмещенность? |
1=1 1=1
Справедливости ради следует добавить (см. пример И), что оценка 0q = 2Х, хоть
и является BLUE, не может конкурировать в среднеквадратичном смысле с нелинейной
оценкой Э = "'^^"^(п) (которая является эффективной в классе несмещенных оценок,
но этого мы доказывать не станем).
Стр. 80
4.6. Вопросы и упражнения
1. Проверить эффективность ОМП для следующих распределений:
а) Вр, б) Пд, в) Nq 1, г) В^р (биномиальное), О < ip < 1, при известном ТП.
2. Выполнить все упражнения, содержащиеся в тексте главы 4.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 81
3. Интервальное оценивание
Пусть, как обычно, имеется выборка X = (Х1,...,Хп) из распределения 3^q с
неизвестным параметром Э G 0 С R. До сих пор мы занимались «точечным
оцениванием» неизвестного параметра — находили число («оценку»), способную, в некотором
смысле, заменить параметр.
Существует другой подход к оцениванию, при котором мы указываем интервал,
накрывающий параметр с заданной наперед вероятностью. Такой подход называется
«интервальным оцениванием». Сразу заметим: чем больше уверенность в том, что
параметр лежит в интервале, тем шире интервал. Так что мечтать найти диапазон, в
котором Э лежит с вероятностью 1, бессмысленно — это вся область 0.
Определение 13. Пусть 0<£<1. Интервал (е-,е+) = (е-(Х, б), е+(Х, б))
называется доверительным интервалом для параметра Э уровня доверия 1 — £, если
для любого Э G 0
Ре (е- < е < е+) > 1 - е.
Определение 14. Пусть 0<£<1. Интервал (е-,е+) = (е-(Х, б), е+(Х, б))
называется асимптотическим доверительным интервалом для параметра Э
(асимптотического) уровня доверия 1 — £, если для любого Э G 0
liminf Р^
(е- < е < 0+) ^ 1 - £.

Оглавление
На самом деле в определении 14 речь идет, конечно, не об одном интервале, но о
последовательности интервалов, зависящих от объема выборки П.
Замечание 11. Случайны здесь границы интервала {в~^в ), поэтому читают
формулу Рэ (Э~ < Э < Э^) как «интервал [в~^в~^) накрывает параметр Э», а не как «Э
лежит в интервале...».
« ►►
На стр. ... из 180
Назад
Во весь экран
Замечание 12. Знак «^» 1 — £ обычно соответствует дискретным распределениям,
когда нельзя обязаться добиться равенства: например, для £, G 6^/2 ^ри любом X
равенство Р (£, < х) = 0,25 невозможно, а неравенство имеет смысл:
Р(£,<х)>0,25 для Х>0.
Если вероятность доверительному интервалу накрывать параметр в точности равна 1 — £
(или стремится к 1 — б), интервал называют точным (или асимптотически точным)
доверительным интервалом уровня доверия 1 — £.
Уйти
Прежде чем рассматривать какие-то регулярные способы построения точных и
асимптотических ДИ (доверительных интервалов), разберем два примера, предлагающих
очень похожие способы. Далее мы попробуем извлечь из этих примеров некоторую
общую философию построения точных и асимптотически точных доверительных
интервалов. Начнем с нормального распределения как с наиболее важного и часто
встречающегося.
Стр. 82

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 83
Пример 23. Пусть Хт, . . ., Хп — выборка объема П из нормального распределения
'^асг^' ^Д^ а G R — неизвестный параметр, а О" > О известно. Требуется построить
точный ДИ для параметра а уровня доверия 1 — £.
в,
спомним, что нормальное распределение устойчиво по суммированию:
доказать
"б^
Свойство 6. Пусть
мальное распределение
Л
£,1 имеет нормальное
распределение N^^ ^2,
Nq^ ^2, и эти случайные
= Ь£,1 + с£,2 + d имеет нормальное распределение
Ел =
= b ат + С а2 + d,
Ол =
ll
имеет нор- 1
величины независимы.
с параметрами
b^af + c^di
Тогда 1
Поэтому
у Х| имеет распределение N^^^ -^^2 ,
п
У Х| — па имеет распределение Nqtvcj^ >
Z7Xi-na X - а
^ = утг имеет распределение Inq 1-
Х—а
Итак, величина Г| = уП имеет стандартное нормальное распределение. По
а
заданному £ G @,1) найдем число С > О такое, что Р (—С < Г| < с) = 1 — £.

Число с — квантиль уровня 1 — е/2 стандартного нормального распределения:
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Р (-С < л < с) = Фо,1 (с) - Фол (-с)
Фо,1(с) - A - Фо,1(с)) =2Фо,1(с) - 1 = 1 - £,
, Фо,1(с) = 1-|.
Напоминание:
Определение 15. Пусть распределение Э^ с функцией распределения F абсолютно
непрерывно. Число Т5 называется квантилью уровня 6 распределения Э^, если F(T5) = 6.
Если функция F монотонна, квантиль определяется единственным образом.
Итак, С = Ti_£/2' или —С = Т^/2 (квантили стандартного нормального распределения).
Уйти
Стр. 84
-С с У
Рис. 7: Плотность стандартного нормального распределения и квантили.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Разрешив неравенство —С < Г| < С относительно а, получим точный доверительный
интервал
1 - £ = Ра(-С < Л < с) = Ра -С < л/п
Можно подставить С = "^^—^/2-
Х-а
<с =
Ра(Х-^<а<Х+^). A3)
л/П л/п/
Ра(Х-^Ь^<а<Х + ^Ь^)=1-е.
Итак, искомый точный доверительный интервал уровня доверия 1 — £ имеет вид
п
п
Вопросы, на которые стоит себе ответить.
1. Зачем мы брали симметричные квантили? Почему не брать границы для Г|
вида Р (т^/з < Л < '^^-2e/з) = 1 — £? Изобразить эти квантили на графике плотности.
Как изменилось расстояние между квантилями? Как изменится длина ДИ?
2. Какой из двух ДИ одного уровня доверия и разной длины следует предпочесть?
3. Какова середина полученного в примере 23 ДИ? Какова его длина? Что происходит
с границами ДИ при П ^ оо?
Стр. 85

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Пример 24. Пусть Хт, . . . , Хп — выборка объема П из показательного
распределения Е-ос, где (X > 0. Требуется построить асимптотический (асимптотически точный)
ДИ для параметра ОС уровня доверия 1 — £.
Вспомним ЦПТ:
ZXi-nEocX^
1 /IT ^ ~ V^
VnDocXi
= л/п
^/oc
= Vn аХ-П ^Л,
где случайная величина Л имеет стандартное нормальное распределение. По
определению слабой сходимости, при п —> оо
Рос (—с < \/п (осХ — И < С j ^ Рос!—с < Л < с) = 1 — £ при С = Т-|_£/2-
То есть
Рос (-Т^1-£/2 < Vn [осХ - 1 j < Ti_£/2
г, (^ Т^1-£/2 ^ ^1 ^1-£/2\ .
= Рос = ^^ < а < = Н ^^ ^ I — £ при п ^ оо.
ух v^x X V^xy
Итак, искомый асимптотический ДИ уровня доверия 1 — £ имеет вид
/^1 ^1-£/2 1 ^1-£/2^
X V^X' X V^X
Стр. 86

Сформулируем общий принцип построения точных ДИ:
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 87
1.
2.
3.
Найти функцию G(X, 9), распределение которой Q не зависит от параметра 0. 1
Необходимо, чтобы G(X, 0) была обратима по 0 при любом фиксированном X. 1
Пусть числа gi и 92 — квантили распределения Q такие, что 1
l-£ = Pe(gi<G(X,0)<g2).
Разрешив неравенство Qi < G(X,0) < 92 относительно Э (если это возмож- 1
но), получим точный ДИ. 1
Совершенно аналогично выглядит общий принцип построения асимптотических ДИ:
1.
2.
3.
Найти функцию G(X,0), слабо сходящуюся к распределению Q, не завися- 1
щему от параметра Э. Необходимо, чтобы G(X,0) была обратима по Э при 1
любом фиксированном X. 1
Пусть 91 и 92 — квантили распределения Q такие, что 1
Ре (91 <G(X,0)<g2)^Pe(gi < Л < 92) = 1 - £•
Разрешив неравенство 91 ^ G(X,0) < 92 относительно Э, получим асимпто- 1
тический ДИ. 1

Замечание 13. Часто в качестве Qi и 92 берут квантили уровня е/2 и 1 — е/2
распределения Q. Но, вообще говоря, квантили следует выбирать так, чтобы получить
наиболее короткий ДИ.
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 88
Пример 25. Попробуем, пользуясь приведенной выше схемой, построить точный
доверительный интервал для параметра Q > О равномерного на [Э,2Э] распределения.
Х-
Мы знаем, что если Х| имеют распределение U9,29» ^^^ ^i ~ "^ ^ имеют распре-
6
деление Uoj. Тогда величина
YfrL] = max{Yi, . . . , Yri}
max{Xb... ,Xrt} _ -. _ X(^
e ~ e
1 =G(x,e)
распределена так же, как максимум из П независимых равномерно распределенных
на [О, 1] случайных величин, то есть имеет не зависящую от параметра Э функцию
распределения
[о, у<0
И, у>1.
Для любых положительных Qi и 92
Pe(gi<G(X,e)<g2) = Pe gi <
Xr
1 < 92
= Pf
92 + 1
<e<
91 + 1
. A4)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Длина доверительного интервала равна Х(^) • (g2~gi)/((gi +1 )(g2+l)) и уменьшается
с ростом gi и g2 и с их сближением.
Плотность распределения Y(^) на отрезке [О, 1] равна пг|^~ и монотонно
возрастает. Поэтому самые большие значения квантилей gi и д2 при самом маленьком
расстоянии между ними и при фиксированной площади под графиком плотности
достигается выбором д2 = L а gi такого, чтобы 1 — £ = Pelgi < ^{п) ^ Л-
Pe(gi<Y(^)<1)=FY,^,(l)-FY(^,(gi) = 1-97 = 1-е, т.е. g^ = V^.
Подставим найденные квантили в A4):
l-e = Pe(ye<V)<l)=Pe;^2
<е<
Хг
1 + v^
Упражнение. Можно ли, пользуясь схемой примера 23, построить точный ДИ
для О" при известном а, если разрешить неравенство —С < Г| < С в A3)
относительно О"? Можно предположить, например, что X—а > 0. Чем плох интервал бесконечной
длины? А получился ли у Вас интервал бесконечной длины?
Уйти
Стр. 89
Из упражнения видно, что функция G вида уГ1
X
— не годится для построения
точного ДИ для О" при известном а, а тем более при неизвестном а. В следующей
главе мы займемся поиском подходящих функций. Следующий пример (как и
пример 24) показывает, что ЦПТ дает универсальный вид функции G для построения
асимптотических ДИ.

пример 26. Пусть Xi, ..., Хп — выборка объема П из распределения
Пуассона Пд, где Л > 0. Требуется построить асимптотический ДИ для параметра Л уровня
доверия 1 — £.
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Вспомним ЦПТ:
ХХг-пЕлХ1
х-л
П 7=^ ^Л,
где Г| имеет стандартное нормальное распределение. По определению слабой
сходимости, при П —> оо
Рл [ -С < л/п —у=- < С j ^ Рл(-С < Л < с) = 1 - £ при С = Ti_£/2.
Но разрешить неравенство под знаком вероятности относительно Л не просто —
получается квадратное неравенство из-за корня в знаменателе. Не испортится ли сходимость,
если мы заменим VX на VX?
По свойствам слабой сходимости, если £,^ > 1 и Г|п ^ Т\, то £,тгЛтг ^ Л- Оценка
Л* = X состоятельна, поэтому
X
Тогда
1.
Стр. 90
'Л ^Х-Л ^Х-Л

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Поэтому и
х-л
Разрешая неравенство под знаком вероятности относительно Л, получим
Рд ( X 7^= < Л < X Н 7^= I ^ 1 - £ при П ^ ОО.
П
П
Итак, искомый асимптотический ДИ уровня доверия 1 — £ имеет вид
n
n
Вместо ЦПТ для построения асимптотических ДИ можно использовать
асимптотически нормальные оценки (что по сути — та же ЦПТ): если Э* — АНО для
параметра Э с коэффициентом (J [Q), то
G(x,e) = V^
е*-е
л>
где Г| имеет стандартное нормальное распределение.
Стр. 91
Замечание 14. Если (j[Q) в знаменателе мешает, то, как в примере 26, ее можно
заменить состоятельной оценкой (j@*). Достаточно, чтобы функция (j@) была
непрерывной во всей области 0. Требуется лишь ответить себе: почему Э* — состоятельная
оценка для Э?

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 92
6. Распределения, связанные с нормальным
В предыдущей главе мы построили (в числе других) точный доверительный
интервал для параметра а нормального распределения при известном О" . Для этого мы
рассмотрели функцию от выборки и неизвестного параметра а
G(X,a) = V^
Х-а
имеющую при любом а стандартное нормальное распределение.
Остались нерешенными следующие проблемы:
2) построить точный ДИ для О" при известном а,
3) построить точный ДИ для а при неизвестном О",
4) построить точный ДИ для О" при неизвестном а.
Как мы уже видели, для решения этих задач требуется отыскать функции от
выборки и параметров, распределение которых было бы известно. При этом в задаче C)
искомая функция не должна зависеть от неизвестного О", а в задаче D) — от а.
Такой особый интерес к нормальному распределению связан, разумеется, с
центральной предельной теоремой — по большому счету все в этом мире нормально (или
близко к тому).
Займемся поэтому распределениями, связанными с нормальным распределением, их
свойствами и свойствами выборок из нормального распределения.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 93
6.1. Гамма-распределение и его свойства
С
ностей
гамма-распределения мы познакомились в курсе теории вероят-
вспомнить. I p^^j^ понадобится свойство устойчивости по суммированию этого
распределения, которое до сих пор было доказано только в частном случае —
Свойство 7. Пусть £,1,
г = 1, . . . , п. Тогда
Sn =
. .., £,п независимы, и £,| имеет гамма-распределение Г^х^Лг» 1
п 1
= У £,1 имеет распределение T^j-n д^. 1
1=1 1
Доказательство свойства устойчивости по суммированию (свойства 7).
Воспользуемся свойствами характеристических функций. Характеристическая функция
гамма-распределения Г^х д и равна
- Р ^^t£, _
Ф^и) = Ее^^^=М
it
ос
Характеристическая функция суммы независимых случайных величин есть
произведение характеристических функций слагаемых:
^sjt] = Yi^^] = Ylr
it
а
-At
it\"^"^^
ос)
х.ф. распределения ^осУ'^\-
П

Оглавление
Свойство 8. Если £, имеет стандартное нормальное распределение, то £, имеет гамма-
распределение Г^/2 1/2-
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 94
Доказательство. Найдем производную функции распределения величины £, и
убедимся, что она является плотностью распределения. При 1| ^ О
T^liy) = Р (£, <у) = Оу поэтому и плотность f£^2(t|) = 0.
При у > о
т^2[у) = Р[в.^<у) = Рi-Vv < ^< Vv) =^dVy)-^d-Vv)'
Тогда
f£,2(v) = (Ft2(y))' = F^(v^) ■ (v^)' - F^(-Vy) • {-VvY =
Ho функция f£^2(t|), равная 0 при t| ^ О, и равная
%(!)) =
1
-v/2-
A/2)V2
у V2-1 g-x,/2
л/2^ ГA/2)
при у > о, является плотностью гамма-распределения Г^/2,1/2-
П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
6.2. Распределение «хи-квадрат» и его свойства
Из свойства 7 и свойства 8 непосредственно следует утверждение:
Следствие 2.
распределение
Если £,1, . .
, £,1^ независимы и имеют
то случайная величина
имеет гамма-распределение
xi =
П/2,к/2-
^? + .
■ + ^i
стандартное
нормальное
Определение 16. Распределение суммы к квадратов независимых стандартных
нормальных случайных величин называют распределением «хи-квадрат» с к степенями
свободы и обозначают Н]^. Согласно следствию 2, распределение Н]^ совпадает с ^^/2^]с/2-
На графике ниже изображены плотности распределения Н]^ = У^/2}^/1 при к
равном 1, 2, 4 и 8.
Стр. 95
Упражнение. Доказать, что при к ^ 2 максимум плотности распределения Н]^
достигается в точке к — 2.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 96
Вид плотности X -распределения в
зависимости от числа степеней свободы
Мы часто будем обозначать через Xic случайную величину с распределением Н]^.
Рассмотрим свойства X -распределения:
Устойчивость по суммированию. Пусть случайная величина Xic имеет
распределение Н]^, случайная величина Хт имеет распределение У^rn^ причем эти случайные
величины независимы. Тогда их сумма Xic + Хт имеет распределение Н]^+т-гъ-
Доказательство. Пусть £,i, £,2,
распределение. Тогда
независимы и имеют стандартное нормальное
7 7 7 7 7 7
Xic распределено как £,i + . . . + £,]^, Хга распределено как Е,^^^ + . . . + £,ic+m)
а их сумма — как £,^ + . . . + ^i^^^-^,, т. е. имеет распределение Hi^+T-r^. П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
2. Моменты распределения X • Если Xic имеет распределение Н]^, то
Exi = k и Dxi = 2k.
Доказательство. Пусть £,i, £,2, . . . независимы и имеют стандартное нормальное
распределение. Тогда
E^f = l, D^f = E£,4-(D£,fJ = 3-l =2
(см. пример 20). Поэтому
Ex^ = E(£,f + ... + £,^)=k, Dx^ = D(£,f + ... + £,^)=2k. П
Следствие 3.
ние N Q^ C^2, то
Если
^ь
2
имеет X -распределение
Нк
, £,к
x^
независимы и
к
1=1
имеют
У
с к степенями свободы.
нормальное
распределен 1
Стр. 97
Упражнение. Доказать следствие 3.
Упражнение. Как, пользуясь таблицей стандартного нормального распределения,
найти квантиль заданного уровня для X -распределения с одной степенью свободы?

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 98
6.3. Распределение Стьюдента и его свойства
Определение 17. Пусть £,о, £,1, . . . , £,ic независимы и имеют стандартное нормальное
распределение. Распределение случайной величины
tk =
^0
^0
тА^^ + --- + Ф
называют распределением Стьюдента с к степенями свободы и обозначают Т]^.
Плотность распределения Стьюдента по сравнению
с плотностью стандартного нормального распределения
Плотность распределения Стьюдента с к степенями свободы равна I разглядеть как следует. |
24 -(к+1)/2
Г((к+1)/2) у^
A5)
Мы не станем выводить эту формулу, предложив читателю-математику либо вывести
ее самостоятельно, либо посмотреть вывод в [ , п.6-7 §2 главы 2].

Свойства распределения Стьюдента:
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 99
1. Симметричность. Если случайная величина t]^ имеет распределение Стьюдента
Т]^ с к степенями свободы, то и —t]^ имеет такое же распределение.
Упражнение. Доказать.
2. Асимптотическая нормальность. Распределение Стьюдента Т]^ слабо сходится к
стандартному нормальному распределению при к —> оо.
Доказательство. Пусть £,о, £,1, . . ., £,ic независимы и имеют стандартное нормальное
распределение. Тогда E^f = 1, И по ЗБЧ
^ = — -^ 1 при к ^ ОО.
Тогда и
tic
io
1(Ц + --- + Ф
^0,
откуда следует и слабая сходимость последовательности случайных величин tk с
распределением Стьюдента к £,о, имеющей стандартное нормальное распределение.
То есть Тк ^ Nqj. □
3. Распределение Стьюдента с одной степенью свободы есть стандартное
распределение Коши.
Упражнение. Как получить случайную величину с распределением Коши, имея две
независимые стандартные нормальные случайные величины?

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Доказательство. Подставим к = 1 в плотность A5), используя ГA/2)
ГA) = 1, и получим плотность распределения Коши:
у/тС И
fi(v)
i('+«T'
П
4. У распределения Стьюдента существуют только моменты порядка га < к, и не
существуют моменты порядка га ^ к. При этом все существующие моменты
нечетного порядка равны нулю.
Упражнение. Посмотреть на плотность A5) и убедиться в сходимости или
расходимости на бесконечности при соответствующих та интегралов
С(к)
1уГ
1
(к + у2)(К+1)/2
dy.
Отметим, что и распределение X » и распределение Стьюдента табулированы, так
что если в каких-то доверительных интервалах появятся квантили этих распределений,
то мы найдем их по таблице.
Уйти
Стр. 100
Следущее распределение тоже тесно связано с нормальным распределением, но
понадобится нам не при построения доверительных интервалов, а чуть позже — в
задачах проверки гипотез. Там же мы поймем, почему его называют часто
распределением дисперсионного отношения. Призываем математиков сравнить определение
[ , п.6 §2 гл.2] с нашим определением и учесть, что в статистических таблицах
всегда табулируется распределение Фишера в том виде, как мы его сейчас определим.
[что было раньше - курица или яйцо?|

6.4. Распределение Фишера
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 101
Определение 18. Пусть Х]с имеет распределение Н]^, а Хт — распределение У^rn^ причем
эти случайные величины независимы. Распределение случайной величины
fk,
,m
^
^^/т
называют распределением Фишера с к, га степенями свободы и обозначают fic^ra-
Свойства распределения Фишера (или Фишера — Снедекора):
1. Если Нк^га имеет распределение Фишера Р^т-а» то Т/Н^^га имеет распределение
Фишера frciyk-
2. Распределение Фишера F]c^rn слабо сходится к вырожденному в точке 1
распределению Ii при любом стремлении к и та к бесконечности.
Доказательство. Убедитесь по ЗБЧ, что любая последовательность случайных
величин Нк^га» распределение которой совпадает с распределением отношения двух
средних арифметических
к га
сходится к 1 по вероятности при к —> оо, га —> оо. Здесь £,i, £,2, ...
и Ль Л2? ••• — независимые последовательности, составленные из независимых
случайных величин со стандартным нормальным распределением. П

6.3. Преобразования нормальных выборок
Оглавление
Пусть X = (Х1,...,Хп) — выборка из Nqj (набор независимых и одинаково
распределенных величин). Пусть С — ортогональная матрица [п X п), т.е.
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 102
и Y = С • X — вектор с координатами Y| = ^^=i C|jXj.
Какое распределение имеют координаты вектора Y? Зависимы ли они? Чтобы
ответить на этот вопрос, выясним, как изменится плотность распределения вектора после
умножения его на произвольную невырожденную матрицу.
Вспомним, как найти плотность распределения случайной величины С • £, по плотности
распределения £,:
fct(v) = |cr^-ft(c-i-t,).
Поверим, без доказательства, аналогичному утверждению в многомерном случае. Те, кто
знаком с заменой переменных в многомерном интеграле и не боится термина «якобиан»,
могут доказать его самостоятельно.
Изменение плотности совместного распределения при линейном преобразовании вектора.
Пусть случайный вектор X имеет плотность распределения 'fx{y^ у • • • уУп) = ^х(у)»
и С — невырожденная матрица. Тогда вектор У = С • X имеет плотность распределения
fvlv) = fc.x(v) = |det С|-^ • fx (С"! • у).
A6)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 103
А
окажем самое удивительное свойство нормального распределения.
Свойство 9. Пусть вектор X состоит из независимых случайных величин со
стандартным нормальным распределением, С — ортогональная матрица, и Y = С • X. Тогда и
координаты вектора Y независимы и имеют стандартное нормальное распределение.
Доказательство. Запишем плотность совместного распределения координат вектора X.
В силу независимости это есть произведение плотностей координат вектора (то же
самое, что функция правдоподобия):
Ыv^^'"^Vlx) =nfxt(yi)
1 -lUvl
1=1
Здесь для произвольного вектора у квадрат нормы \\у\\ есть
п
II ||2 \~ 2 Т
1|у|| =2_У( = У У'
1|| 1|2
1 -lllyll
е
1=1
Пользуясь A6), вычислим плотность распределения вектора У = С • X. Матрица С
ортогональна, поэтому С~ = С и det С = 1.
fY(v)=fxfc"^-y
1 II ^Т 1|2
е
B7Г)^/2

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 104
Но умножение на ортогональную матрицу не меняет норму вектора. Действительно,
ЦС -vf = (С'' -vf ■ (С'' -у) = (у'' ■ С) ■ (С'' -у) =у'' -^ -у = \\yf^
Окончательно имеем
A7)
Ыу) =
1
■2llyll^ 1
е =fx(y) =
Итак, вектор Y распределен так же, как и вектор X, т. е. состоит из независимых
случайных величин со стандартным нормальным распределением. П
Упражнение. Вспомнить определение независимости случайных величин с
абсолютно непрерывным распределением в терминах плотностей. Что можно сказать про
независимость и про распределение координат вектора, если совместная плотность
распределения координат вектора равна
1
Uyi
[In)-^/^
п
1=1
2я
2
е ?
Упражнение. Пусть £, и Г| независимы и имеют стандартное нормальное
распределение. Зависимы ли случайные величины —7= (£,—Г|) и —?= (£,+Г|)? Какое распределение
имеют? Является ли ортогональной матрица

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 105
Лемма Фишера. Пусть вектор
X состоит
дартным нормальным распределением.
для любого к — 1, . . . , П
п
Т(Х)=^Х^-
1=1
и имеет X -распределение Н^_
-Yf-.
к С П-
С-
-к
из независимых случайных
— ортогональная матрица.
- Y]^ не зависит от
степенями свободы.
Yi,.
и
величин ее
Y =
Yk
С
X.
) стан- 1
Тогда 1
Доказательство. Как мы видели в A7), нормы векторов X и Y = С • X совпадают:
п п
J^x? = ||х||^ = ||с • xf = ^у1
1=1 1=1
Поэтому
п п
T(X)=^X^-Yf-...-Y^ = ^Y^-Yf-...-Y^ = Y^+i + ... + Y^.
1=1 1=1
Случайные величины Yi, . . . , Yrt по свойству 9 независимы и имеют стандартное
нормальное распределение, поэтому Т(Х) = Y^^^ + . . . + Y^ имеет распределение H^_i^
и не зависит от Yi, . . . , Yi^. П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Второй и третий пункты следующего утверждения выглядят неправдоподобно,
особенно если вспомнить обозначения:
X
1=1 1=1
Основное следствие леммы Фишера. Если Х^, . . ., Х]^ независимы и имеют
нормальное распределение N ^^ ^^^^, то
1) v^
Х-а
а
имеет стандартное нормальное распределение;
.^ (n-l)S^ ^ (Xi-X)
Z) ^ = > ^ имеет Y -распределение с П — I степенью свободы;
а^ ^^^— а^
1=1
3) случайные величины X и Sq независимы.
Уйти
Взгляните: вопреки определению 16 распределения H^_i, величина (тг — 1)Sq/(J
— сумма не П—1, а П слагаемых, причем эти слагаемые зависимы из-за присутствия
в каждом X. К тому же они хоть и одинаково распределены, но их распределение
ттр М I а какое? разыскать! |
Стр. 106
Надеемся, что внимательный читатель, помня, что в невырожденном случае
величины £, и £, + Г| всегда зависимы, и видя, как в выражении для Sq явным образом
участвует X, придет в неподдельный восторг от независимости X и Sq.

Оглавление
Отметим без доказательства, что независимость X и Sq — свойство, характерное только
для нормального распределения. Точно так же как и способность сохранять независимость
координат после умножения на ортогональную матрицу. Подробнее об этом можно прочесть
в замечательной книге В. Феллера [ , т. 2, гл. III, § 4].
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 107
Доказательство основного следствия леммы Фишера.
1. Очевидно, [доказать, что очевидно!!
2. Покажем сначала, что можно рассматривать выборку из стандартного нормального
распределения вместо N ^^ ^.2:
а^
1=1
а
1=1
а
1=1
Xi - а _ X - а
где Z| = имеют стандартное нормальное распределение, и z = .
а а
Т. е. можно с самого начала считать, что Х| имеют стандартное нормальное
распределение, и доказывать пункт 2 следствия при а = О, О" = 1.
Применим лемму Фишера.
п п п
T(X) = (n-1)S^ = }^(Xt-X) =}^X?-n(X)^ = _^X?-Yf.
i=l 1=1 i=l

Мы обозначили через Ут величину
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
л/ ^ л7 ^1 , , ^^
л/п л/п
Чтобы применить лемму Фишера, нужно найти ортогональную матрицу С такую,
что Ут — первая координата вектора Y = С-Х. Возьмем матрицу С с первой строкой
—=^...^^-= 1. Так как длина (норма) этого вектора — единица, его можно
дополнить до ортонормального базиса в R^ (иначе — этот столбец можно дополнить
до ортогональной матрицы). Тогда Yi = л/п X и будет первой координатой вектора
Y = С • X.
Осталось применить лемму Фишера. I непременно сделайте это! |
3. Из леммы Фишера сразу следует, что Т(Х) = (п—1 )Sq = ^^^ Х|—Y^ не зависит
от Yi = утг X, то есть X и Sq независимы.
П
Уйти
Очередное следствие из леммы Фишера наконец позволит нам строить
доверительные интервалы для параметров нормального распределения — то, ради чего мы и
доказали уже так много утверждений. В каждом пункте указано, для какого параметра
мы построим доверительный интервал с помощью данного утверждения.
Стр. 108

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 109
Следствие основного следствия леммы Фишера.
4\ ^Х—а
1) утг имеет стандартное нормальное распределение (для а при а известном);
а
.. Л1 /Xi-а\^ ^ ^
2) ) имеет распределение Н^ (для а при а известном);
1=1 V сг ;
- fX,-xY (n-l)Sg н . 2 ^
i) > = ^ имеет распределение n^_i (для а при а неизвестном);
1=1 V ^ У ^
/14 ^Х —а ^Х —а
4) л/П—^^^ = л/П— имеет распределение I ri-l (дая а при а неизвестном).
/S^ So
Доказательство следствия.
1) и 3) — из леммы Фишера, 2) — из следствия 3. Осталось воспользоваться леммой
Фишера и определением 17 распределения Стьюдента, чтобы доказать 4).
х-а ^Х-а
п—^ = \/п
а
No,i
^
(n-l)Sg 1
Xn-l
а^ ^ п — 1 V тт- ~ 1
Х независ. / Н^г—1
По определению 17, такое отношение имеет распределение Стьюдента T^_i.
п

Оглавление
6.6. Точные ДИ для параметров нормального распределения
1. Для а при известном О" . Этот интервал мы уже построили в примере 23:
Р_2 fx-^b£^<a<X+^b£^^ =!-£, гдеФо,1(т1_,/2) = 1-£/2.
п
п
^^ ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 110
2. Для О" при известном а. По п. 2 следствия,
—^ имеет распределение Нп, где Si = — / (Х| — а) .
гг^ п -^—
П
1=1
Пусть gi = Хп е/2 ^ 92 = Xtv l-e/2 — квантили распределения Н^ уровня е/2
и 1 — е/2. Тогда
nSi
1 -^ = Ра,ст2 (gi < ^<g2) =Ра,ст^
3. Для О" при неизвестном а. По п. 3 следствия,
nS
1 / ^2 / ^^1
92
< а" <
91
(^-1)Sg q2 1 Vrv YV
^ имеет распределение n^_i, где Ьл = г / (Л| — Aj
= 1
Пусть 91 = Хп-1,£/2 и 92 = Хп-1,1-£/2 ~ квантили распределения H^_i уровня е/2
и 1 — е/2. Тогда
1 - ^ = Ра,а^ 91 < .' ' < 92 = Ра,а^
(n-i)sg 2 in-^)sГ
92
< а^ <
91
Упражнение. Найти 17 отличий п. 3 от п. 2.

4. Для а при неизвестном О". По п. 4 следствия,
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 111
П— имеет распределение Т^-ь где Sq = у (Х| — Х)^
>0
=1
Пусть ai = t^_i £/2 и а2 = t^—1 1—£/2 — квантили распределения T^_i уровня £/2
и 1 — £/2. Распределение Стьюдента симметрично, поэтому а^ = — а2. Тогда
Х-а
1 — ^ = Ра,о-2 — Wl,l-£/2 < V^—^ < tn-l,
So
,l-£/2 -
P,^,. ( X - ^-^>^-/^^^ < a < X + ^-^>^-/^^^
n
n
Упражнение. Сравнить п. 4 с п. 1.
Замечание 15. ДИ, полученные в п. 2 и 3, выглядят странно по сравнению с ДИ из п. 1 и 4:
они содержат п в числителе, а не в знаменателе. Но если квантили нормального распределения
от П не зависят вовсе, квантили распределения Стьюдента асимптотически не зависят от П по
свойству Т^ =^ Nqj , то квантили распределения Н^ зависят от П существенно. Действительно,
пусть g = д(тг) таково, что Р [Xri ^ Q) — ^ при всех П, в том числе и при П -^ сю. Тогда
g — тг
последовательность д(тг) такова, что —-^^= > Т§ при П -^ оо, где Т§ — квантиль стандартного
нормального распределения. В самом деле: по ЦПТ с ростом п
/ п
Р (х^ < д)
41=1
<g
xi
2п
n^g
n
Фо.И-Гб]
Поэтому квантиль уровня 6 распределения Н^ ведет себя как g = д(тг) = тг + т§ л/2тг + о(у^).
Упражнение. Подставить в границы ДИ из п. 2 и 3 асимптотические выражения для
квантилей и выяснить, как ведет себя длина этих ДИ с ростом TL.

6.7. Вопросы и упражнения
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
1. Величины £,т и £,2 независимы и имеют нормальное распределение N@,16). Найти к, при
котором величины £,i — 3£,2 и k£,i + £,2 независимы. Можно использовать свойство 9.
2. Доказать, что для величины Хп ^ распределением Н^ справедлива аппроксимация Фишера:
2п< л/2х-л/2п ?^Фо,1 (л/2х-л/2п) .
Уйти
2п ^No,b
И вывести отсюда, что при больших П для вычисления квантилей распределения Н^ можно
пользоваться аппроксимацией
Нп(х) = Р(х^<х)
Указание. Домножить и поделить на сопряженное и воспользоваться ЦПТ и ЗБЧ вместе
со свойствами произведения слабо сходящейся и сходящейся по вероятности к постоянной
последовательностей.
3. Изобразить квантили уровня £/2 и 1 —£/2 на графике плотности распределения H^l и T^l—i •
4. Вычислить, зная распределение (tl—1)Sq/G и пользуясь известным математическим
ожиданием и дисперсией распределения X » математическое ожидание и дисперсию длины ДИ
для дисперсии нормального распределения при неизвестном среднем.
Стр. 112

7. Проверка гипотез
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 113
Если возможно выдвинуть несколько взаимоисключающих «гипотез» о
распределении элементов выборки, то возникает задача выбора одной из этих гипотез на
основании выборочных данных. Как правило, по выборке конечного объема безошибочных
выводов о распределении сделано быть не может, поэтому приходится считаться с
возможностью выбрать неверную гипотезу.
Пусть дана выборка X = (Х1,...,Хп) из распределения Э^. Если не оговорено
противное, считается, что все наблюдения имеют одно и то же распределение. В
ряде случаев это предположение также нуждается в проверке (см., например, ниже:
гипотеза об однородности или гипотеза о случайности) — в таких случаях одинаковая
распределенность наблюдений не предполагается. То же касается и независимости
наблюдений.
Определение 19. Гипотезой ( Н) называется любое предположение о распределении
наблюдений:
H = {^ = ^l} или H = {^G{^}}.
Гипотеза Н называется простой, если она однозначно определяет распределение,
т.е. Н = {Э^ = Э^т}- Иначе Н называется сложной гипотезой. Сложная гипотеза
предполагает, что распределение 3^ — одно из некоторого множества распределений {j}.
Если гипотез всего две, то одну из них принято называть основной, а другую
— альтернативой или отклонением от основной гипотезы.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 114
Пример 27 (типичные постановки задач).
1. Выбор из нескольких простых гипотез: Hi -
предположения невозможны).
--{1 = ^J^}, .... Нк={? = Э^к} (и другие
Простая основная гипотеза и сложная альтернатива: Hi=|3^ = 3^i|, Н2 = {Э^ у^ 3^1 }•
Например, Hi ={Э^ = Uo,i }, Н2 = {Э^ + Uqj }.
Еще вариант: дана выборка из семейства распределений Вр, где О < р ^ 1 /2. Простая гипотеза
Hi=|p = 1/2|. Сложная односторонняя альтернатива Н2={р < 1/2}. Случай р > 1/2
исключен априори.
Сложная основная гипотеза и сложная альтернатива: Hi=|3^ G {^}}, Н2={Э^ 0 {^}}-
Например, гипотеза о нормальности Hi={3=^G{N^^^2,aG R,a>0}}, H2={Hi неверна}.
Гипотеза однородности. Заданы несколько выборок:
(Xi 1,. .. , Xirti ) ^^ распределения 3^i, . . ., (Xi^i,. .. , Xi^^tk) ^^ распределения J^.
Проверяется гипотеза Hi=|3^i = ••• = J\^ — сложная гипотеза — против (сложной)
альтернативы H2=|Hi неверна}.
Гипотеза независимости. Наблюдается пара случайных величин (£,,Т|).
По выборке ((Xi , Yi),. . . , (X^L, Vrt)) из TL независимых наблюдений над парой (£,,Т|) проверяется
гипотеза Н1=|£,иГ| независимы} — сложная гипотеза — против (сложной) альтернативы
H2 = {Hi неверна}.
Гипотеза случайности. В эксперименте наблюдаются П случайных величин (£,i ,. . . , £,^1)-
По выборке Xi, . . ., Xrt, в которой каждая случайная величина представлена одним
значением, проверяется гипотеза Hi=|£,i,. . . , £,^ независимы и одинаково распределены} — сложная
гипотеза — против (сложной) альтернативы H2={Hi неверна}.
Эту задачу ставят, например, если требуется проверить качество датчика случайных чисел.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Определение 20. Если имеются гипотезы Hi, . . . , Н]^, то критерием
(нерандомизированным критерием) 6 = 6(Xi, . . . , Х^) называется отображение
6:R^^{Hi,...,Hk}.
О рандомизированных критериях, которые предписывают принимать каждую
гипотезу с некоторой (зависящей от выборки) вероятностью, мы поговорим позднее.
Определение 21. Для заданного критерия 6 : R^ -^ {Hi, .
произошла
она верна.
. , Hic} будем
ошибка г-го рода, если гипотеза Н| отвергнута критерием, в
Вероятностью ошибки г-го
ocdb) =
рода критерия 6 называется
:PhJ6(X)/H0.
говорить.
то время
что 1
как 1
Стр. 115
Замечание 16. Говоря «Hi верна» и вычисляя PhiI*)' мы имеем в виду, что распределение
выборки именно такое, как предполагает гипотеза Ht, и вычисляем вероятность в соответствии с этим
распределением. Если гипотеза Н| простая, т. е. указывает ровно на одно возможное распределение
выборки, то (XiF) — число. Если же Hi — сложная гипотеза, то (XiF) будет зависеть от того, при
каком именно из распределений 'Ji, отвечающих Н|, вычисляется вероятность:

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 116
Пример 28 (контроль качества и ошибки).
Пусть любое изделие некоторого производства оказывается браком с вероятностью р.
Контроль продукции допускает ошибки: годное изделие бракует с вероятностью у, а
бракованное пропускает (признает годным) с вероятностью £.
Если ввести для наудачу взятого изделия две гипотезы: Н^ = |изделие годное| и
Н2 = {изделие бракованное|, и критерием выбора считать контроль продукции, то у
есть вероятность ошибки первого рода, а £ — вероятность ошибки второго рода данного
критерия:
у = Phi E = Н2) = Ризделие годное(контроль забраковал издслие);
£ = РН2(^ = Hi) = Ризделие бракованное (кОНТрОЛЬ прОПуСТИЛ ИЗДСЛИе);
Упражнение. Вычислить вероятности ошибок первого и второго рода того же
критерия, если гипотезы занумеровать иначе: Н^ = {изделие бракованное! и Н2 =
{изделие годное|.
Надеемся, что читатель сделал для себя следующие выводы:
1. Статистический критерий не отвечает на вопрос, верна или нет проверяемая гипотеза. Он
лишь решает, противоречат или не противоречат выдвинутой гипотезе выборочные данные,
можно ли принять или следует отвергнуть данную гипотезу.
2. Если есть одна основная гипотеза, а все остальное — нежелательные отклонения от нее, то
вывод «данные противоречат гипотезе» всегда весомее, нежели вывод «данные не
противоречат гипотезе».
3. Нам неизвестно, какая из гипотез верна в действительности, поэтому следует считаться с
гипотетическими вероятностями ошибок критерия. Если много раз применять критерий к
выборкам из распределения, для которого гипотеза Hi верна, то примерно доля OCi таких
выборок будет признана противоречащей гипотезе Hi.

Оглавление
7.1. Две простые гипотезы
Рассмотрим подробно случай, когда имеются две простые гипотезы о распределении
наблюдений:
Hi={J = :Ti}, Н2 = {3^ = 3^2}.
Каков бы ни был критерий 6(Х) : R^ —> {Hi,H2}, он принимает не более двух
значений. То есть область R делится на две части R = S U (R \S) так, что
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 117
MX)
Нь если XgR^S,
Н2, если X G S.
Область S, в которой принимается вторая (альтернативная) гипотеза, называют
критической областью.
Определение 22. Вероятность ошибки первого рода (Хт = CXiF) называют размером
или уровнем значимости критерия 6:
a^ = ai F) = Рн, F(Х) ^ Hi) = Рн, F(Х) = Нг) = Рн, (X е S).
Мощностью критерия 6 называют величину 1 — (Х2, где OCj = OCji^) — вероятность
ошибки второго рода критерия 6. Мощность критерия равна
1 - а2F) = 1 - РнЛМХ) 7^ Н2) = РнЛМХ) = Н2) = PhJX е S).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 118
Заметим, что вероятности ошибок первого и второго рода вычисляются при разных
предположениях о распределении (если верна Н^ и если верна Н2), так что никаких
раз и навсегда фиксированных соотношений (например, (Хт = 1 — 0С2, независимо от
вида гипотез и вида критерия) между ними нет.
Рассмотрим крайний случай, когда критерий, независимо от выборки, всегда
принимает одну и ту же гипотезу.
Пример 29. Имеются гипотезы Н^, Vij и критерий 6(Х) = Н^, то есть S пусто.
Тогда Oil = Phi (принять Н2) =0, OCj = Рн2(принять Hi) = 1.
Наоборот: пусть имеются гипотезы Н^, Vij и критерий 6(Х) = Н2, то есть S = R .
Тогда Oil = Phi (принять Н2) = 1, OCj = Рн2(принять Hi) =0.
Примеры 29 и 30 показывают общую тенденцию: при попытке уменьшить одну из
вероятностей ошибок критерия другая, как правило, увеличивается. Так, если
уменьшать Oil = Phi (X G S) мы будем, сужая критическую область S, то одновременно
будет уменьшаться мощность критерия 1 — (Х2 = Рн2(Х G S).
Пример 30. Имеется выборка объема 1 из нормального распределения NqJ и две
простые гипотезы о среднем: Н^ = {а = 0} и Н2 = {а = 1}. Рассмотрим следующий
критерий (при некотором вещественном с):
6(Xi)
Hi, если Xi ^ С,
Н2, если Хт > С.
Изобразим на графике соответствующие гипотезам плотности и вероятности ошибок

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
первого и второго рода критерия 6:
ai = Рн, F(Xi) = Н2) = Рн, (Xi > с), 0С2 = PhJMXi) = Hi) = PhJXi ^ с).
О с 1
Рис. 8: Две простые гипотезы.
Видим, что с ростом С вероятность ошибки первого рода (Хт уменьшается, но
вероятность ошибки второго рода OCj растет.
Итак, критерий тем лучше, чем меньше вероятности его ошибок. Но сравнивать
критерии по паре вероятностей ошибок
oci[b^) ^ ociibz) при 1 = 1,2,
Уйти
Стр. 119
как правило, не удается.
7.2. Подходы к сравнению критериев
Ограничимся, для простоты, задачей проверки двух простых гипотез. Пусть
имеются критерии бирс вероятностями ошибок первого и второго рода (XiF), OCjib)
и ai(p), а2(р).
Перечислим общепринятые подходы к сравнению критериев.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 120
1. Минимаксный подход.
Говорят, что критерий 6 не хуже критерия р в смысле минимаксного подхода, если
max{aiF), OCzib)} ^ max{ai(p), а2(р)}.
Определение 23. Критерий 6 называют минимаксным критерием, если он не хуже всех
других критериев в смысле минимаксного подхода.
Иначе говоря, минимаксный критерий имеет самую маленькую «наибольшую
ошибку» max{(Xi F), (Х2F)} среди всех прочих критериев.
Упражнение. Убедиться, что в примере 30 критерий 6 является минимаксным,
если С = 1/2.
2. Байесовский подход.
Этот подход применяют в двух случаях:
а) если известно априори, что с вероятностью Г справедлива гипотеза Н^, а с
вероятностью S = 1 — Т — гипотеза Н2,
б) если задана линейная «функция потерь»: потери от ошибочного решения
равны Г, если происходит ошибка первого рода, и равны S, если второго. Здесь Т -\- S уже
не обязательно равно 1, но потери можно свести к единице нормировкой Г ^v/[v + s)
и S^ = s/{r + s).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 121
Пусть априорные вероятности или потери Г и S заданы. Говорят, что критерий 6
не хуже критерия р в смысле байесовского подхода, если
raiF) + soczib] ^ rai(p) + sa2(p).
Определение 24. Критерий 6 называют байесовским критерием, если он не хуже всех
других критериев в смысле байесовского подхода.
Иначе говоря, байесовский критерий имеет самую маленькую «средневзвешенную
ошибку» raiF) + SOCjib) среди всех прочих критериев. По формуле полной
вероятности это есть вероятность ошибки критерия в случае (а) или математическое ожидание
потерь в случае (б).
Упражнение. Убедиться, что в примере 30 критерий 6 является байесовским в
случае Г = S, если взять С = 1/2.
3. Выбор наиболее мощного критерия.
Ошибки первого и второго рода обычно неравноправны. Поэтому возникает желание
контролировать одну из ошибок (скажем, первого рода). Например, зафиксировать ее
вероятность на достаточно низком (безопасном) уровне, и рассматривать только
критерии с такой или еще меньшей вероятностью ошибки первого рода. Среди них
наилучшим, очевидно, следует признать критерий, обладающий наименьшей вероятностью
ошибки второго рода.

Введем при £ G [О, 1] класс критериев Ке = {6(Х) : OCi[b) ^ £}.
Оглавление
^^ ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Определение 25.
размера £, если
Критерий
для любого другого критерия
бо
6
G
е
Ке называют наиболее
а2Fо)
Ке.
< «2F)
МОЩНЫМ
критерием
(НМК)
7.3. Построение оптимальных критериев
Следующее замечательное утверждение, по недоразумению называемое леммой,
заявляет, что оптимальные во всех трех смыслах (минимаксные, байесовские, наиболее
мощные) критерии могут быть построены в самом общем случае простым выбором
различных констант в одном и том же критерии — критерии отношения правдоподобия.
Пусть X = (Хт, . . . , Хп) — выборка (набор независимых, одинаково
распределенных величин), и имеются две гипотезы о распределении Х|:
Hi = {Х| имеют распределение Э^т} и Hj = {Х| имеют распределение 9^2}
Пусть fi(t|) — плотность распределения Э^т, fihj) — плотность распределения Э^2? ^
п п
Ь(X)=-(^(X^,...,Xn)=YlЬ(Xi) и f2(X) = f2(Xi,... ,Хп) = П^2(Хг)
Стр. 122
соответствующие функции правдоподобия.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 123
Предполагается, что распределения Э^т и Э^2 либо оба дискретны, либо оба
абсолютно непрерывны.
Замечание 17. Если одно из распределений дискретно, а другое абсолютно непрерывно, то
всегда существует критерий с нулевыми вероятностями ошибок. Смешанные распределения мы
рассматривать не будем. Математики вместо этого могут предполагать, что оба распределения
абсолютно непрерывны относительно одной и той же а-конечной меры и имеют относительно
нее плотности i^{y) и iziv)-
Мы будем выбирать гипотезу в зависимости от отношения функций правдоподобия.
Напомню, что функция правдоподобия есть плотность распределения выборки.
Обратимся к примеру 30. Естественным кажется принимать вторую гипотезу, если
Хт лежит правее точки пересечения плотностей С = 1/2. То есть там, где вторая
плотность больше, принимать вторую гипотезу, там, где первая — первую. Такой критерий
сравнивает отношение f2(^l > • • • > ^тг)/^ 1 (^1 > • • • > ^п) с единицей, относя к критической
области ту часть R^, где это отношение больше единицы. Заметим, что при этом мы
получим ровно один, не обязательно оптимальный, критерий с некоторым
фиксированным размером и мощностью.
Если же нужно получить критерий с заранее заданным размером (Хт = £, либо
иметь возможность варьировать и размер, и мощность критерия, то следует
рассмотреть класс похожих критериев, введя свободный параметр: там, где вторая плотность
в С раз превосходит первую, выбирать вторую гипотезу, иначе — первую:
сравнивать отношение плотностей f2(^l > • • • > ^тг)/^ 1 (^1 > • • • > ^п) не с единицей, а с некоторой
постоянной С.

Назовем отношением правдоподобия частное
Оглавление
Т(Х) =T(Xb...,Xrt)
f2(Xb...,Xrt)
fl(Xb...,Xrt) '
A8)
рассматривая его лишь при таких значениях X, когда хотя бы одна из плотностей
отлична от нуля. Имеется в виду, что О/а = О, а/О = +оо.
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 124
Конструкция критерия, который мы живописали выше, сильно усложнится в случае,
когда распределение случайной величины Т(Х) не является непрерывным, т.е. существует
такое число С, что Ас = Phi (f2(X)/f i (X) = с) отлична от нуля. Это означает, что на
некотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношение
правдоподобия постоянно. Относя это множество целиком к критическому множеству или
целиком исключая из него, мы меняем вероятность ошибки первого рода (размер) критерия
на положительную величину A^:
Hi
(Т(Х) ^ с) = Phi (Т(Х) > с) + Phi (Т(Х) = с)
'Hi
(Т(Х)>с)+Ас.
И если вдруг мы захотим приравнять вероятность ошибки первого рода к заранее выбранному
числу £, может случиться так, что критерий с критическим множеством S = {Т(х) ^ с} имеет
размер больший, чем £, а критерий с критическим множеством S = {Т(х) > с} — размер
меньший, чем £.
Поэтому для математиков, не читающих [ ], мы сформулируем замечательно мощное
утверждение мелким шрифтом, зато в общем случае. Затем для почти математиков
сформулируем и докажем частный, но наиболее частый случай, когда отношение правдоподобия Т(Х)
имеет при верной первой гипотезе непрерывную функцию распределения, т. е. Ас = О для
любого С.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
73Л. Из человеколюбия
Определение 26. Функция 6(Х), принимающая значения в интервале [О, 1] в зависимости от
значений выборки, называется рандомизированным критерием. Значение этой функции
трактуют как вероятность принять вторую (так удобнее) гипотезу в некотором дополнительном
эксперименте. Т.е., получив значение 6(Х) = 3/4, мы должны дополнительно провести
испытание с вероятностью успеха 3/4, и в случае успеха принять Н2, в случае неудачи — Hi.
Значение 6(Х) = 1 предписывает принять вторую гипотезу (с вероятностью 1, т.е.
обязательно), а значение 6(Х) = О предписывает не принимать вторую гипотезу, а принять первую.
Напомним, что Т(Х) есть отношение правдоподобия, которое мы ввели в A8).
Определение 27.
бс,р(Х) =
называется
f''
Р.
ь,
Рандомизированный
если Т(Х) < С, 1
если Т(Х) = С, = <
если Т(Х) > С, 1
критерий, устроенный следующим
принимается Hi ,
если Т(Х) < С,
с вероятностью р принимается Н2
принимается Н2,
критерием отношения правдоподобия (КОП)
если Т(Х) > С,
образом:
, если Т(Х) = С,
Стр. 125
Размер и мощность КОП вычисляются по формуле полной вероятности. Размер равен
«1 (бс.р) = Рн, (принять Нг) = 1 • Рн, (Т(Х) > с) + р • Рн, (Т(Х) = с) = Ен, бе,р(Х).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 126
Мощность равна
1 - а2Fс,р) = Рн,(принять Н2) = 1 • РнЛТ(Х) > с) +р • РнЛТ(Х) = с) = Ен,бс,р(Х).
Вероятность ошибки второго рода можно найти и иначе:
ociibcv) = РнЛпринять Hi) = Рн,(Т(Х) < с) + A-р)-РнЛТ(Х) = с) = 1 -Ен,6е,р(Х).
Лемма Неймана — Пирсона. Существуют постоянные Сир, при которых критерий отношения
правдоподобия является
1) минимаксным критерием; числа Сир следует выбрать так, чтобы вероятности ошибок
первого и второго рода были одинаковы: OCi Fс,р) = 0С2(^с,р)>
2) байесовским критерием при заданных априорных вероятностях Г и S; число р может быть
любым, а С выбирается равным отношению t/s;
3) для любого О < £ < 1 наиболее мощным критерием размера £; числа Сир должны быть
выбраны так, чтобы размер критерия равнялся £:
«1 (бс.р) = Рн, (Т(Х) > с) +р • Рн, (Т(Х) = с) = е.
Мы не ограничиваем значения С областью С > 0. Возможность брать С = О (меньше
бессмысленно, ибо Т(х) ^ 0) избавляет от ограничения £ ^ Phi (^2(Х) > 0) на возможный
размер НМК. Это довольно сомнительное обобщение — ведь уже критерий 6(Х) = I(f2(X) > 0)
имеет единичную мощность при размере равном Phi (^2(Х) > 0). Можно увеличивать размер
и дальше, но мощности расти уже некуда. Такой НМК будет принимать с положительной
вероятностью гипотезу Н2 там, где она верна быть не может — в области iji'^) = О-

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 127
7.3.2. Лемма Неймана — Пирсона
Всюду далее предполагается, что
Функция R(c) = Phi (Т(Х) ^ с) непрерывна по С при С > 0.
A9)
Функция R(c) есть просто хвост функции распределения случайной величины Т(Х):
R(c) = 1-Ph,(T(X)<c).
Ее непрерывность означает, что величина Ас = Phi (Т(Х) = с) равна нулю для
любого С > 0. Это предположение избавляет нас от необходимости рассматривать
рандомизированные критерии. Итак,
Определение 28. В предположении A9) критерий
6с(Х)
I L, f2(Xi,...,Xn) ^ ^
Hi, еслиТ(Х)<С,_Р^1' ^^^"fi(Xi,...,XJ<''
Н2, если Т(Х) ^ С,
f2(Xi,. .. ,Хп)
К2, если ——- ^ С,
fi(Xi,... ,Хг
назовем критерием отношения правдоподобия (КОП).
Размер и вероятность ошибки второго рода этого критерия равны соответственно
oc^ Fс) = Рн, (Т(Х) ^ с) = R(c); осАЬс) = Рн^ (Т(Х) < с).

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 128
Лемма Неймана — Пирсона. Пусть выполнено A9). Тогда существует постоянная С,
при которой критерий отношения правдоподобия является
1) минимаксным критерием; число С следует выбрать так, чтобы вероятности ошибок
первого и второго рода были одинаковы: aiFc) = OCjibc)',
2) байесовским критерием при заданных априорных вероятностях Г и S; число С
выбирается равным отношению т/s;
3) для любого О < £ ^ Phi i'fli^) > 0) наиболее мощным критерием размера £;
число С должно быть выбрано так, чтобы размер критерия равнялся £: aiFc) = £.
Доказательство. Доказать достаточно два утверждения: существование постоянной С,
удовлетворяющей первому и третьему пунктам леммы, и оптимальность
соответствующего критерия. Начнем с третьего пункта.
1. Докажем, что для любого О < £ ^ Рн^ (^2(^) ^ 0) существует постоянная С такая,
что R(c) = aiFc) = £.
Функция R(c) = Phi (Т(Х) ^ с) не возрастает по С. Предел R(c) при С^оо равен
нулю, поскольку событие {Т(Х) = оо} = {fi(X) = 0} имеет нулевую вероятность
Phi (f 1 (X) =0) =0. Заметим также, что
R(+0) = Рн, (Т(Х) > 0) = Рн, (f2(X) > 0) ^ £.
Итак, R(c) непрерывно меняется от R(+0) до О, поэтому для любого О < £ ^ 1^(+0)
существует С такое, что R(c) = aiFc) = £.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 129
2. Для первого пункта докажем существование такой С, что (Xi[bc) = OCjibc)-
Функция 0С2{Ьс) = Рн2(Т(Х) < с), в отличие от R(c), не убывает по С. К тому же
при С ^ О величина OCzi^c) стремится к Рн2(Т(Х) = 0) = Pyizi'^li^) = 0) = 0.
Она тоже, подобно R(c), при С > О непрерывна по С из-за предположения A9):
РнЛТ(Х)=с)
f2(v)dy
fi(y)dy=cPHi(T(X)=c)=0.
{f2(v)=cfi(v)} {f2(y)=cfi(y)}
Поэтому функции R(c) = (Xi Fc) и cX2Fc) пересекаются хотя бы однажды.
3. Далее нам потребуется следующее красивое равенство.
Лемма 3. Введем функцию ф(у) = min{f2('y), cfi(y)}. Для нее
«•2(бс) +CaiFc
<\>{y)dy.
R'"
д
оказательство.
a2Fc)+caiFe) = Рн2(Т(Х) < с)+сРн, (Т(Х) > с) =
h{y)dy+c
h{y)dy.
{Т(у)<с}
{Т(уK=с}
Но на множестве {Т(у) < с} = {fidj) < cfi(t))} подынтегральная функция filv)
совпадает с ф('У). И на множестве {Т('у) ^ с} = {fid/) ^ cf т (у)} подынтегральная

функция cfi('y) тоже совпадает с ф(и). Продолжая цепочку равенств, получим
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 130
ocii^c) + caiFc
Фiy)dy +
ф[у)^у
Ф[у)^у.
ту)<с}
ту]^с}
R^
п
Пусть 6 — любой другой критерий. Лемма 3 влечет странное следствие:
Следствие 4. Каково бы ни было С > О, вероятности ошибок любого
критерия 6 связаны с вероятностями ошибок КОП 6с неравенством
0С2[Ь) + сатF) > oczibc) + сос^Fс).
B0)
Доказательство. Рассматривая для краткости нерандомизированный критерий 6,
получим
«2F) + caiF)
f2(v)dy + с
>
{5(v)=Hi}
{5(V)=H,}
fi(v)dv ^
{5(V)=H2}
ф(у)Aу= ф(у)Aу = a2Fc) + caiFc).
{6(V)=H2} R'^
П

4. Используя неравенство B0), докажем оптимальность КОП во всех трех смыслах.
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
I. Пусть с таково, что aiFc) = OCjibc) = maxjai Fс), СХ2Fс)}. Тогда правая часть
неравенства B0) равна A + с) max{aiFc), OCjibc)}, и для любого иного критерия 6
A + с) max{aiFc), OCzibc)} ^ OCzib) + caiF) ^ A + с) max{aiF), OCzib)}.
Итак, maxjai Fс), СХ2Fс)} ^ maxjai F), а2F)}, т.е. 6с — минимаксный.
II. Пусть с = r/s и S 7^ 0. Тогда для любого иного критерия 6 неравенство B0)
превращается в определение байесовского критерия:
Г г
^2F) + -aiF) ^ сх2Fс) + -aiFc), или sa2F) +raiF) ^ sa2Fc) +raiFc).
s s
Если же S = О, то С = оо. Тогда КОП имеет нулевой размер и автоматически
является байесовским.
Уйти
Стр. 131
III. Пусть с таково, что aiFc) = £. Любой иной критерий 6 из класса Ке имеет
размер cxiF) ^ £. Используя в неравенстве B0) оба этих размера, получим
ocii^c) + С£ = а2Fс) + сат Fс) ^ oczib) + cai F) ^ сх2F) + се.
Итак, а2Fс) ^ СХ2F), т.е. 6с — НМК в классе Ке.
Наконец лемма Неймана — Пирсона доказана. П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 132
Пример 31. Имеется выборка Хт, . . ., Х^ из нормального распределения со
средним а и единичной дисперсией. Построим минимаксный, байесовский для Г = 1/3,
S = 2/3 и наиболее мощный размера £ критерии для проверки гипотезы Hi = {а = ai}
против альтернативы Vij = {oL = dz}, где а^ < aj-
Отношение правдоподобия имеет абсолютно непрерывное распределение при любой из
гипотез, поэтому критерий отношения правдоподобия 28 будет нерандомизированным, и достаточно
описать только его критическую область 6(Х) = Н2. Она определяется неравенством
Т(Х)
f2(X)
fi(X)
1
exp •
^{Xi
ai.
1=1
1=1 )
>c.
B1)
Критерий будет байесовским при С =r/s = 1/2. Упростим неравенство B1). Получим
а^
at
^1п2
Например, при Qi
6(Х)=Н2 при Х>
а2-ai
: О и а2 = 1 критическая область имеет вид X >
In 2.
Чтобы построить минимаксный и наиболее мощный критерии, запишем неравенство B1) в
эквивалентном виде X ^ Ci, и искать будем Ci, а не С. Размер и вероятность ошибки второго
рода равны соответственно
oc^ F) = Phi (X ^ ci) = Phi (лАТ (X-ai )^V^{c^ -a^)) = 1 - Фо,1 (лАТ (ci -a^)) ,
^2F) = Рн2(Х < ci) = Рн2(лАг(Х-а2) < Vri{c^-a2)) = Фо,1 (Vn(ci-a2)) .
При ai F)=£ получим НМК размера £. Отсюда y^{c^—a^) = Ti_£, где Ti_£ — квантиль
уровня 1 — £ стандартного нормального распределения. Тогда Ci = Qi H-Ti—^/y^ и НМК
размера £ имеет вид
6(Х) =Н2 при X > ai +
Tl-
/п

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 133
При ai F) = OCzib) получим минимаксный критерий. Пользуясь свойствами функции
распределения стандартного нормального закона, запишем
1 - Фо,1 (л/К (С1 - ai)) = Фо,1 (л/К (С1 - az)) = 1 - Фо,1 (л/К (а2 - ci)) ,
откуда Ci — ai = а2 — Ci и Ci = (ai + а2)/2. Минимаксный критерий имеет вид
6(Х)=Н2 при Х>-^1^^.
Пример 32. Имеется выборка Х^, . . ., X^t из нормального распределения со
средним О и дисперсией О" , О" > 0. Построим наиболее мощный критерий размера £ для
проверки гипотезы Н^ = {(J = О"!} против альтернативы Н2 = {о" = 0'2}, где О"! < 0'2.
Отношение правдоподобия снова имеет абсолютно непрерывное распределение при любой
из гипотез, поэтому критерий отношения правдоподобия 28 будет нерандомизированным. Его
критическая область 6(Х) = Н2 определяется неравенством
Т(Х)
1 f 1
■ ехр ■
1
2 \а-
L^iP^'
^2 {^ \^^ ^-2/ i=i
что эквивалентно неравенству Х^ ^ Ci. Найдем Ci, при котором размер критерия равен £:
а1F) = РнДх2^с
Phi 2~ ^ ~Z2~ I = 1 — Н^
М
М
TLCi
Отсюда TLCi/o"^ = Hi_£, где Hi_£ — квантиль X -распределения с П степенями свободы
уровня 1 — £. Тогда Ci = Нт—^а^/тг и НМК размера £ имеет вид
6(Х)=Н2 при Х2>
Hi-eO-f
П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 134
8. Критерии согласия
Критериями согласия называют критерии, предназначенные для проверки простой
гипотезы Hi = [3^ = Э^т} при сложной альтернативе Vij = {^^ неверна}. Мы
рассмотрим более широкий класс основных гипотез, включающий и сложные гипотезы, а
критериями согласия будем называть любые критерии, устроенные по одному и тому
же принципу. А именно, пусть задана некоторая функция отклонения эмпирического
распределения от теоретического, распределение которой существенно разнится в
зависимости от того, верна или нет основная гипотеза. Критерии согласия принимают или
отвергают основную гипотезу исходя из величины этой функции отклонения.
Итак, имеется выборка X = (Xi,...,Xrt) из распределения Э^. Мы
сформулируем ряд понятий для случая простой основной гипотезы, а в дальнейшем будем их
корректировать по мере изменения задачи. Проверяется простая основная гипотеза
Hi = [3^ = Э^т} при сложной альтернативе Vij = (Э^ т^ ^^}•
К1. Пусть возможно задать функцию р(Х), обладающую свойствами:
а) если гипотеза Н^ верна, то р(Х) ^ G, где G — непрерывное распределение;
б) если гипотеза Н^ неверна, то |р(Х)| > оо при П -^ оо.
К2. Пусть функция р(Х) задана. Для случайной величины Г| из распределения G
определим постоянную С из равенства £ = Р (|г|| ^ С). Построим критерий:
6(Х) =
Hi, если |р(Х)| < С,
Н2, если |р(Х)| ^ С.
B2)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 135
Мы построили критерий согласия. Он «работает» по принципу: если для данной
выборки функция отклонения велика (по абсолютному значению), то это
свидетельствует в пользу альтернативы, и наоборот. Убедимся в том, что этот критерий имеет
(асимптотический) размер £ и является состоятельным.
Определение 29. Говорят, что критерий 6 для проверки простой гипотезы Н^ является
критерием асимптотического размера £, если его размер приближается к £ с ростом П:
(XI F) = Phi E(Х) / Hi) ^ £ при п ^ оо.
Поскольку альтернатива Н2 всегда является сложной, то, как мы уже отмечали в замечании 16,
вероятность ошибки второго рода любого критерия 6 есть функция OCjib^'Jz) от конкретного
распределения 3^2 из списка возможных альтернатив {3^2 • 3^2 т^ 3^1 }• Или, при ином виде
основной гипотезы, из числа распределений, отвечающих альтернативе Н2.
Определение 30. Критерий 6 для проверки гипотезы Н^ против сложной
альтернативы Н2 называется состоятельным, если для любого распределения Э^2? отвечающего
альтернативе Н2, вероятность ошибки второго рода стремится к нулю с ростом объема
выборки:
0С2[Ь,Э'2) =Рэ^2^^[Х) =Н^) ^ О при П^ОО.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Свойство 10.
1.
2.
aiF) = P
<Х2{Ь,Э^2)
Иначе говоря,
Для критерия 6,
нЛ|р(Х)|^С)
= Р:^,(|р(Х)|<
заданного е
^РAл1^
С) ^ 0 для
. B2), при п -^ оо:
С) =£;
любого распределения
3^2,
построенный критерий имеет асимптотический размер
отвечающего
Н2
£ и состоятелен. 1
Упражнение. Доказать свойство 10.
Указание. По определению, запись Е,п > оо означает, что для любого С > О
Р (£,Tv < С) ^ О при П ^ оо.
Замечание. Если вместо «р(Х) ^ G» в К1(а) выполняется «р(Х) имеет
распределение G», то критерий B2) будет иметь точный размер £.
8.1. Критерии согласия: критерий Колмогорова
Имеется выборка X = (Хт, . . . , Х^) из распределения Э^. Проверяется простая
гипотеза Hi = [3^ = Э^т} против сложной альтернативы Vij = {Э^ у^ ^^}• В том случае,
когда распределение Э^т имеет непрерывную функцию распределения Fi, можно
пользоваться критерием Колмогорова.
Стр. 136
Пусть
Р(Х)
nsup|F^(y)-Fi(y)|.
V

Покажем, что р(Х) удовлетворяет условиям К1(а,б).
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
а) Если Hi верна, то Х| имеют распределение Э^т. По теореме Колмогорова р(Х) ^ Г|,
где Г| имеет распределение с функцией распределения Колмогорова.
б) Если гипотеза Н^ неверна, то Х| имеют какое-то распределение Э^2» отличное от Э^^.
По теореме Гливенко — Кантелли F^(t|) > ^2A^) лля любого у при П -^ оо.
Поскольку Э^1 7^ Э^2» найдется tjo такое, что iFidjo) ~ ^idjo)! > О- Но
sup|F;(y)-Fi(i))|>|F;(yo)-Fi(yo)
|F2(yo)-Fi(yo)|>0.
Умножая на л/п, получим при П -^ оо, что р(Х) = л/т1^^^Ри1^п(У) ~^1 (У) I ^ ^^•
Пусть случайная величина Г| имеет распределение
с функцией распределения Колмогорова
0.5
Чу)= ^[-ЛУг-^^^\ у>0.
3=—оо
0.5 1 у
Рис. 9: График функции К (г))
Это распределение табулировано, так что по
заданному £ легко найти С такое, что £ = Р (г| ^ С).
Стр. 137
Критерий Колмогорова выглядит так:
6(Х) =
Hi, если р(Х) < С,
Н2, если р(Х) ^ С.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
8.2. Критерии согласия: критерий X Пирсона
Критерий X (K.Pearson, 1903) основывается на группированных данных. Область
значений предполагаемого распределения Э^т делят на некоторое число интервалов.
После чего строят функцию отклонения р по разностям теоретических вероятностей
попадания в интервалы группировки и эмпирических частот.
Имеется выборка X = (Xi,...,Xrt) из распределения Э^. Проверяется простая
гипотеза Н^ = [3^ = Э^т} против сложной альтернативы Vij = {Э^ т^ ^^}•
Пусть, как в параграфе 1.6, А^, ..., А]^ — интервалы группировки в области
значений случайной величины с распределением Э^т. Обозначим для j = 1, . . . , к через
Tj число элементов выборки, попавших в интервал Aj
п
-Yj = {число Xi е A^] = Y_ Ч^г ^ Aj),
1=1
и через Pj > О — теоретическую вероятность Рн^ (Хт G Aj) попадания в интервал Aj
случайной величины с распределением Э^т. С необходимостью, рт +...+pic= 1. Как
правило, длины интервалов выбирают так, чтобы рт = ... = Рк = 1/к.
Уйти
Стр. 138
Пусть
Р(Х) = Х
nv^y
j=1
npj
B3)
Замечание 18. Свойство К1(б) выполнено далеко не для всех альтернатив. Если
распределение выборки Э^2 т^ ^^ имеет такие же, как у Э^т, вероятности Pj попадания
в каждый из интервалов Aj, то по данной функции р эти распределения различить
невозможно.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Поэтому на самом деле критерий, который мы построим по функции р из B3),
решает совсем иную задачу. А именно, пусть задан набор вероятностей pi,...,pi^
такой, что рт + ... + Pic = 1. Критерий X предназначен для проверки сложной
гипотезы
Н^ = Iраспределение Хт обладает свойством: Р (Хт G Aj) = Pj для всех j = 1,. . . , к|
против сложной альтернативы Hj = {Н^ неверна}, т.е.
Н2 = {хотя бы для одного из интервалов вероятность Р (Х^ G Aj) отличается от Pj|.
Покажем, что р(Х) удовлетворяет условию К1(а).
Теорема Пирсона. Если верна гипотеза Н^, то при фиксированном к и при П —> оо
p(x) = f (:ii:ii!^^H,_„
где, напомним, У^]c—^ есть X -распределение с к—Т^степенью свободы.
Стр. 139
°Стоит остановиться и задать себе вопрос. Величина р есть сумма к слагаемых. Слагаемые, если вы
не забыли ЦПТ или теорему Муавра — Лапласа, имеют распределения, близкие к квадратам каких-то
нормальных. Куда потерялась одна степень свободы.'^ Причина кроется, конечно, в зависимости слагаемых:
у^ =П-У^ - ... -Л^к-Ь

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 140
Докажем теорему Пирсона при к = 2.
В этом случае ^2 = TL —Т^, Р2 = 1 — Рт- Посмотрим на р и вспомним ЦПТ:
f^. [y^-nv^)^ , [yi-nvi)^ [y^-Щ)^)^ , (п-тт-пA-pi))^
р(Х] = + = +
npi
ПР2
npi
пA -Vb
npi rL(l-pi) rLpi(l-pi) VVnpill -Pl)y
Ho величина Ti есть сумма TL независимых случайных величин с распределением Бер-
нулли Вр^ , и по ЦПТ
У Л -Щ>л
^К
\АгрПТ^^?Т;
где £, имеет стандартное нормальное распределение. Поэтому
2
Р(Х)
/ Ti-npi
I Vnpiii -pi;
^^
Величина £, имеет X -распределение Нт с одной степенью свободы.
П
Для экономистов, только приступающих к знакомству с многомерным нормальным
распределением, матрицами ковариации и всевозможными квадратичными формами, составленными
из (асимптотически) нормальных слагаемых, исключительно полезно познакомиться с
доказательством теоремы Пирсона в общем случае. Параграф А приложения, который познакомит
читателя с многомерным нормальным распределением, стоит напечатать (CTRL+P) и повесить
в изголовье кровати до окончания курса эконометрики.

функция р(Х) удовлетворяет условию К1(б). Действительно,
Оглавление
Упражнение. Вспомнить закон больших чисел и доказать, что если Н^ неверна,
то найдется j G {1,. . . , к} такое, что
прз
п
V]
оо.
« ►►
На стр. ... из 180
Назад
Во весь экран
о^
сталось построить критерии в соответствии с
К2.
Пусть случайная величина Хк—1 имеет распределение H]^_i. По таблице
распределения Hi^_i найдем С равное квантили уровня 1 — £ этого распределения. Тогда
£ = Р (Xic-1 ^ ^) и критерий согласия X выглядит как все критерии согласия:
6(Х) =
Н^, если р(Х) < С,
Н^, если р(Х) ^ С.
УЙТИ
Замечание 19. На самом деле критерий X применяют и для решения
первоначальной задачи о проверке гипотезы Н^ = {Э^ = 3^{\. Необходимо только помнить, что
этот критерий не состоятелен для альтернатив с теми же вероятностями попадания в
интервалы разбиения, что и у Э^^. Поэтому берут большое число интервалов разбиения
— чем больше, тем лучше, чтобы «уменьшить» число альтернатив, неразличимых с
предполагаемым распределением.
Стр. 141
Внимание! Опасность!

Уйти
Замечание 20. Сходимость по распределению р(Х) ^ У^]c-^ обеспечивается ЦПТ,
поэтому разница допредельной и предельной вероятностей имеет тот же порядок, что и
погрешность нормального приближения
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
|Р (р(Х) > С) - Р (Хк-1 > С)| ^ примерно! max
прзA -Pj)
(см. ), где b - некоторая
постоянная. Маленькие значения Tipj в знаменателе приведут к тому, что распределение
р(Х) будет существенно отличаться от Hi^_i. Тогда и реальная вероятность Р (р ^ С)
— точный размер полученного критерия — будет сильно отличаться от £. Поэтому
для выборки объема П число интервалов разбиения выбирают так, чтобы обеспечить
нужную точность при замене распределения р(Х) на Hi^-i.
Обычно требуют, чтобы прт = . . . = Щ)]с были не менее 5-6.
Стр. 142

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
8.3. Критерий X Пирсона для проверки параметрической гипотезы
Критерий X часто применяют для проверки гипотезы о виде распределения, т. е.
о принадлежности распределения выборки некоторому параметрическому семейству.
Имеется выборка X = (Хт, . . . , X^t) из неизвестного распределения Э^. Проверяется
сложная гипотеза
где Э G 0 С R — неизвестный параметр (скалярный или векторный), I — его
размерность.
Пусть R разбито на к > I интервалов группировки А^ U • • • U А]^, и Tj — число
элементов выборки, попавших в Aj. Но вероятность Pj = Рн^ (Хт G Aj) = Pj@)
теперь зависит от неизвестного параметра Э.
Функция отклонения B3) также зависит от неизвестного параметра Э, и
использовать ее в критерии Пирсона нельзя — мы не можем вычислить ее значение:
j=i
npj(e)
B4)
Пусть Э = Э(Х) — значение параметра Э, доставляющее минимум функции р(Х,Э)
при данной выборке X. Подставив вместо истинных вероятностей Pj их оценки Pj@),
получим функцию отклонения
Стр. 143
npj(e)
B5)
j=i

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Условие К1(а) (при выполнении некоторых условий относительно гладкости Pj@)°)
обеспечивается теоремой (R. Fisher, 1924), которую мы доказывать не будем:
Теорема
8. Если верна гипотеза Н^, и
Э, то при фиксированном к и
где Hic_i
р(Х,§) =
dim(e) = 1 -
при П ^ оо
к к
)=1 )=1
_1^ есть X -распределение с к -
IZi
-1
-пу0)У
npj@)
размерность параметра
— I степенями свободы.
(вектора)
Условие (К1(б)) выполнено, если, скажем, рассматривать альтернативные
распределения Э^2 такие, что ни при каких Э набор вероятностей Pj'J^Xi^Ai)^. . . , Pg^2(^l^^l<)
не совпадает с рт (Э), . . . ,pic@).
Построим критерий X •
Пусть случайная величина Хк—1—I имеет распределение H]^_i_]^. По заданному £
найдем С такое, что £ = Р (Xic-i-i ^ С).
Критерии согласия X имеет такой же вид, как все критерии согласия:
б(Х)
Hi, если р(Х,§) < С,
Н2, если р(Х,§) ^ С.
Стр. 144
Все 9 Pj@)/90t90i непрерывны по Э; ранг матрицы ||9pj @)/9Эг|| равен I.

Замечания 19, 20 о количестве интервалов разбиения остаются в силе.
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 145
Замечание 21. Оценку Э, минимизирующую функцию р(Х,Э), нельзя заменить
на оценку максимального правдоподобия для Э, построенную по выборке Х^, . . ., Х^-
При такой замене предельное распределение величины р(Х,Э)
а) уже не равно H]^_i_]^, а совпадает с распределением величины
£,! + ... + £,ti-i+ai imi-i + ■■■ + ai(e)£,ti,
где все £,| независимы и имеют распределение Nqj, а коэффициенты а|(Э),
вообще говоря, отличны от О и 1 (H.Chernoff, E.Lehmann, 1954);
б) зависит от Э.
Почувствуйте разницу:
Замечание 22. Оценку Э, минимизирующую функцию р(Х,Э), можно получить
как оценку максимального правдоподобия для Э, построенную по вектору У^, . . ., У]^
из полиномиального распределения. Функция правдоподобия имеет вид
f(^;e) =
п!
'Ут!...^!^!
(Р1(е)Г .....(Р1,(е)Г\ где J^Pt(e) = i и ^yi = n.
1=1
1=1
Вычисление точки максимума по Э такой функции в общем случае возможно лищь
численно, равно как и вычисление точки минимума функции р(Х,Э).

8.4. Проверка гипотезы однородности: критерий Колмогорова — Смирнова
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Даны две выборки X = (Хт, . . . , Х^) и Y = (Yi, . . . , Ут) из неизвестных
распределений Э^ и S соответственно. Проверяется сложная гипотеза Н^ = [3^ = 3} против
(еще более сложной) альтернативы Hj = {Н^ неверна}.
Критерий Колмогорова — Смирнова используют, если Э^ и S имеют непрерывные
функции распределения.
Пусть F^(t|) и G^(t|) — эмпирические функции распределения, построенные по
выборкам X и У,
P(X,Y)
—— sup|F^(y)-G;^(y)|.
Теорема 9. Если гипотеза Н^ верна, то p(X,Y) ^ Г| при П, га
распределение с функцией распределения Колмогорова.
оо, где Г| имеет
Упражнение. Доказать, что р(Х, У) > оо при П, та ^ оо, если Н2 верна.
И снова: в таблице распределения Колмогорова по заданному £ найдем С такое,
что £ = Р (г| ^ С), и построим критерий согласия Колмогорова — Смирнова:
Hi, если р(Х) < С,
Н2, если р(Х) > С.
MX)
Стр. 146
Замечание 23. Если есть более двух выборок, и требуется проверить гипотезу
однородности, часто пользуются одним из вариантов критерия X Пирсона. Этот критерий (и ряд других
критериев) рекомендую посмотреть в §3.4.2, с. 124 книги Г. И. Ивченко, Ю. И. Медведев.
Математическая статистика. Москва, 1984, 248 с.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
8.3. Проверка гипотезы независимости: критерий X Пирсона
Есть выборка (X, У) = ((Хт, Ут),..., (Хп, Ytl)) значений двух наблюдаемых
совместно случайных величин X и У в П независимых экспериментах. Проверяется
гипотеза Hi = {X и У независимы}.
Введем к интервалов группировки А^, . . . , А]^ для значений X и та интервалов
группировки Vi, . . . , Vra лля значений У.
Y
X
Ai
Ак
к
1=1
Vi V2 ... V^
'Vk,l 'Vk,2 ... 'Vk,m
-v.,! ^/.,2 ... У.,ш
vn
-Vk,.
n
П
осчитаем эмпирические частоты:
^iy) = {число пар (Xi^,yi^), попавших в A|XVj},
Т. j = {число У]^, попавших в Vj},
У1. = {число Xiy попавших в А|}.
Если гипотеза Н^ верна, то теоретические вероятности попадания пары (X, У) в
любую из областей А| X Vj равны произведению вероятностей: для всех 1 и j
Vij = Р ((X, Y) G At X Vj) = Р (X G At) ■ Р (Y G Vj) = Vi ■ V^
Именно эту гипотезу (назовем ее Н^) мы в действительности и проверяем. По ЗБЧ
У-/\ V nt 'VlJ р
П
^vl
П
' ^P^
п
РУ-
Стр. 147
"Поэтому значительная разница между —— и —'■ — (или между Уг ] и —'■ —) может служить
п п п ' п
основанием для отклонения гипотезы независимости.

Пусть
к га / ( л / \2
B6)
1=1 )=1
Оглавление
АА ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Критерий согласия асимптотического уровня £ строится обычным образом.
Упражнение.
есть гипотеза
Чтоб
ы функция р и
теорема 10 не
0 принадлежности распределения выборки
вектором неизвестных
ОМП -Yi^./n
получим B6).
имеет к-га—1
для р^ ]
параметров (р^,
\ -V.^j/n для pV
•••,Pk-l,Pi',--
В функцию
Всего есть к-га интервалов, и по теореме
-(к+т-
-2) = (k-1)(m
падали с
неба,
убедитесь, что
гипотеза Hj 1
параметрическому семейству распределений с 1
•.p^-i)
(см.
размерности 1=к+га-
B4)),
8 при верной Н^
—1) степеней свободы.
2
предельное X -
-2. Подставив 1
распределение 1
Стр. 148
Замечания 19 и 20 по поводу числа к • га интервалов группировки остаются в силе.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 149
8.6. Совпадение дисперсий двух нормальных выборок
Есть две независимые выборки из нормальных распределений: X = (Хт, . . . , Х^)
из Nq^ ^2 и Y = (Yi, . . . , Yra) из Nq^ ^2, средние которых, вообще говоря, неизвестны.
Критерий Фишера предназначен для проверки гипотезы Н^ = {(J^ = 0'2}.
Обозначим через Sq(X) и Sq(Y) несмещенные выборочные дисперсии:
1 — 1 ^ _
S^(X) = ^^{Xi-X)\ Sg(Y) = "^[Yi-YY
1=1 1=1
и зададим функцию отклонения p(X,Y) как их отношение p(X,Y) =
Теорема 11. Если гипотеза Н^ верна, то случайная величина р(Х, Y) имеет
распределение Фишера F^_
1 га-1 с П—1, га—1 степенями свободы.
Доказательство. По лемме Фишера, независимые случайные величины
(n-l)Sg(X) . _(m-1)Sg(Y)
4-1
^m-1
имеют распределения Нт-п,—1 и H^_i соответственно. При 0"^ = (Jj отношение
^2
^^-У(п-1) _ Sl(X) ф\
^m-V(m-l) ^' S^(Y)
P(X,Y)
имеет распределение Фишера с П—1, га—1 степенями свободы по определению 18 и
совпадает с p(X,Y). П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 150
С условием К1(б) дело обстоит сложнее.
Упражнение. Доказать, что для любой альтернативы (J^ ф (Jj
P(X,Y)
-^ ф\ при п,га^оо.
B7)
Построим критерий Фишера и убедимся, что B7) обеспечивает его состоятельность.
Возьмем квантили i^,/1 ^ ^1—е/2 распределения Фишера F^_i т-а—1- Критерием Фишера
называют критерий
6(X,Y)
Hi, если f^/2 ^ р(Х, Y) ^ fi_£/2,
Н2 иначе.
Доказательство состоятельности критерия Фишера.
Покажем, что последовательность квантилей f5 = f5('rL,Ta) любого уровня 0<6<1
распределения Рп,т сходится к 1 при П, га—> оо. Возьмем величину frL,m с этим
распределением. По определению, Р (frL,m<f6) = 5, Р (frL,m>f6) = 1—5 при всех П, га.
По свойству 2 распределения Фишера, f тг,т ^ 1 • Поэтому для любого е > О обе
вероятности Р (frL,m< 1"^) и Р (frL,m> 1+е) стремятся к нулю при П, га ^ ОО, становясь
рано или поздно меньше как 6, так и 1—6. Следовательно, при достаточно больших
П, га выполнено 1—e<f5<l+e.
Для доказательства состоятельности осталось предположить, что гипотеза Н^ не
верна, взять е равное, например, половине расстояния от 1 до (J^/dj и использовать
сходимость B7). Пусть, скажем, при достаточно больших П и та
(Jt
(Jo
<
(Jt
(Jo
+ e = 1 - e < f
£/2-

Тогда вероятность ошибки второго рода удовлетворяет неравенствам
at
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
«2F) = Рн2 (f е/2 < Р < f 1-£/2) ^ РН2 A - е < Р) = РН2 Р > 4 + £
0.
а^
Аналогично рассматривается случай, когда (при достаточно больших TL и та)
f 1-£/2 < 1 + е
^1 ^1
Стр. 151
п
Упражнение. Сформулировать критерий Фишера в случае, когда средние
известны. Какой статистикой вы воспользуетесь теперь?
Критерий Фишера используют в качестве первого шага в задаче проверки
однородности двух независимых нормальных выборок. Особенно часто возникает
необходимость проверить равенство средних двух нормальных совокупностей — например, в
медицине или биологии для выяснения наличия или отсутствия действия препарата. Эта
задача решается с помощью критерия Стьюдента (с ним мы познакомимся на
следующей странице), но только в случае, когда неизвестные дисперсии равны. Для проверки
этого предположения пользуются сначала критерием Фишера. Самое печальное, если
гипотеза равенства дисперсий отвергается критерием Фишера, либо если сразу заведомо
известно, что неизвестные дисперсии различны. Задачу о проверке равенства средних
в этих условиях называют проблемой Беренса — Фишера. Ее решение возможно лишь
в частных случаях, и больше о ней мы ничего говорить не будем.

8.7. Совпадение средних двух нормальных выборок с равными дисперсиями
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 152
Есть две независимые выборки: X = (Хт, . . . , Х^) из N^^^ ^^-^ и Y = (Yi, . . . , Yra)
из Ы^ ^2, причем дисперсия О" одинакова для обоих распределений, но, вообще говоря,
неизвестна. Проверяется сложная гипотеза Hi = [а^ = az}-
Эта задача есть частный случай задачи об однородности. Для ее решения построим
критерий Стьюдента точного размера £.
Теоре
имеет
Из леммы Фишера
ма 12. Случайная ве;\
tn+m—2 ^ \
распределение Стьюд
вытекает следующее утверждение.
ичина trt+m-2.
/ nvn
In + m [^
ента Тп+гп-2 с
равная
(X-ai)-(Y-
az)
-1)Sg(X) + (m-1)Sg(Y)
п + m —2
TL+ra—2 степенями свободы.
Доказательство теоремы 12.
1. Легко видеть, Iубедиться, что л^^^ ^^^ Х-а^ имеет распределение N0,0-2/^^ а Y- а2
имеет распределение Nq ^2/^^^. Тогда их разность распределена тоже нормально с
нулевым средним и дисперсией равной
D (X - ат) - (Y - а2) = — + — = а^ .
п vn nvn

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Нормируем эту разность. Величина
1 / nvn
^о = -
((X-ai)-(Y-a2))
а V 'П. + m
имеет стандартное нормальное распределение.
2. Из леммы Фишера следует, что независимые случайные величины (п—1) Sq(X)/o'
и (га—1) SQ(Y)/a имеют распределения Нт-а-1 и H^_i соответственно, а их сумма
5^ = ^ ((n-l)S^(X) + (m-l)S^(Y))
имеет X -распределение Н^+т-гъ—2 с TL+ra—2 степенями свободы и не зависит от X
и от Y.
3. По определению 17, отношение
^0
как раз имеет распределение Стью
/$2/(п+т-2)
дента Т^+т-гъ—2- Осталось подставить в эту дробь £,о и S и убедиться, что О"
сократится и получится в точности t^+T-a—2 из теоремы 12. П
Уйти
Стр. 153
Введем функцию р(Х,У) =
nvn
TL + ra
X-Y
(n-l)S^(X) + (m-l)S^(Y)
TL + та-2
Из теоремы 12 следует свойство К1(а): если Hi верна, т.е. если ai = aj, то
величина р = t^+T-a-2 имеет распределение Стьюдента Т^+т-г^-2.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 154
Упражнение. Доказать свойство К1(б): для любой альтернативы к основной
гипотезе (т.е. как только а^ j^ aj) величина |р| неограниченно возрастает по вероятности
с ростом П и га.
Указание. Воспользовавшись ЗБЧ или свойствами 2-4 из 1-й лекции, доказать, что
числитель и знаменатель сходятся к постоянным:
X - Y -^ const ф О,
(n-1)Sg(X) + (m-1)Sg(Y) р
n + m —2
const ф О,
тогда как корень перед дробью неограниченно возрастает.
Поэтому остается по £ найти С = "^^—^/2 — квантиль распределения Т^+т-гъ—2- Д-^я
такого С величина t^+T-a-2 из распределения Т^+т-г^-2 удовлетворяет равенству
Р (|Wm-2| > С) = 2Р (Wt^_2 >€) = £.
И критерий Стьюдента выглядит как все критерии согласия:
6fXY) = |^'' ''^" |P(X,Y)|<C,
\Н2, если |p(X,Y)| ^ С.
Упражнение. Доказать, что этот критерий имеет точный размер £.
Упражнение. Построить критерий для проверки гипотезы о равенстве средних
двух независимых нормальных выборок с произвольными известными дисперсиями.

8.8. Гипотеза о среднем нормальной совокупности с известной дисперсией
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 155
Имеется выборка X = (Хт, . . . , Х^) из нормального распределения N^^ ^.2 с
известной дисперсией О" . Проверяется простая гипотеза Н^ = {а = Qq} против сложной
альтернативы Hj = {а 7^ ао}.
Построим критерий точного размера £ с помощью функции отклонения р(Х)
Р(Х)
п-
Х-ао
а
Очевидно свойство К1(а): если Н^ верна, то р(Х) имеет стандартное нормальное
распределение.
Упражнение. Доказать свойство К1(б): если а j^ Qq, то |р(Х)| > оо.
По £ выберем С = Ti_£/2 — квантиль стандартного нормального распределения.
Тогда
£ = РнЛ|р(Х)|^С).
Критерий выглядит как все критерии согласия:
б(Х)
Hi, если |р(Х)| < С,
Н2, если |р(Х)| ^ С.
B8)
Упражнение. Доказать, что этот критерий имеет точный размер £ и является
состоятельным.
Упражнение. Построить критерий для различения трех гипотез: Н^ = {а = Qq},
Н2 = {а < ао} и Нз = {а > ао}.

8.9. Гипотеза о среднем нормальной совокупности с неизвестной дисперсией
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Проверяется та же гипотеза, что и в предыдущем разделе, но в случае, когда
дисперсия О" неизвестна. Критерии, который мы построим, тоже называют критерием
Стьюдента, только одновыборочным.
Введем функцию отклонения р(Х) равную
Р(Х)
п-
Х-ао
1
где ^0
П-
1
£(Xi-X)^.
1=1
Сразу по п. 4 следствия леммы Фишера имеем К1(а): если а = Qq, то р имеет
распределение Стьюдента T^_i.
Упражнение. Доказать свойство К1(б).
Критерий строится в точности как в B8), но в качестве С следует брать квантиль
распределения Стьюдента, а не стандартного нормального распределения. 1"^^^^^У- |
Уйти
Стр. 156
Упражнение. Нарисовать критерий и доказать, что этот критерий имеет точный
размер £ и является состоятельным.
Упражнение. В самом ли деле три последних критерия состоятельны?
Напоминание. А вы доказали выполнение свойства К1(б) для функций отклонения этих
критериев, чтобы говорить о состоятельности?
Примечание. А что такое «состоятельность» критерия?

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 157
8.10. Критерии, основанные на доверительных интервалах
Имеется выборка X = (Хт, . . . , Х^) из семейства распределений 3^q. Проверяется
простая гипотеза Н^ = {Э = Bq} против сложной альтернативы Vij = {67^ бо)-
Пусть имеется точный (асимптотически точный) доверительный интервал [в~^в ]
для параметра Э уровня доверия 1 — £. Взяв произвольное Э^ для выборки из
распределения 9^Qf имеем
Тогда критерий
Ре/(е-<е'<е+) = i -е
MX)
1
£.
Нь если вое (е-,е+),
Н2, если 00 0 (9", 9+)
имеет точный (асимптотический) размер £. Действительно,
«1 F) = Рн, F=Н2) = Рео Оо ^ (е-, е+)) = 1 - Рео (е-< ео< е+) = е (^ е).
Если доверительный интервал строится с помощью «функции отклонения» G(X, Э),
то эта же функция годится и в качестве «функции отклонения» р(Х) для построения
критерия согласия.
Пример 33. Посмотрим на критерий B8). Основная гипотеза Н^ принимается,
только если |р(Х)| < С = ^-^/2^ что равносильно неравенству
■Х-ао|
п-
(J
< Т^1-£/2,
или
X-:^b£Z^<ao<X+''^-/^^
/П луп
Сравните то, что получилось, с точным доверительным интервалом A3) для параметра а
нормального распределения с известной дисперсией.

9. Исследование статистической зависимости
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Часто требуется определить, как зависит наблюдаемая случайная величина от одной
или нескольких других величин. Самый общий случай такой зависимости —
зависимость статистическая: например, Х = £, + Г| и Z = £,+ ф зависимы, но эта зависимость
не функциональная.
Для зависимых случайных величин имеет смысл рассмотреть математическое
ожидание одной из них при фиксированном значении другой (других). Такое условное
математическое ожидание показывает, как влияет на среднее значение первой величины
изменение значений второй. Скажем, стоимость квартиры зависит от площади, этажа,
района и других параметров, но не является функцией от них. Зато в широких
предположениях можно считать ее математическое ожидание функцией от этих величин.
Разумеется, наблюдать это среднее значение мы не можем — в нашей власти лишь
наблюдать значения первой случайной величины при разных значениях остальных. Эту
зависимость можно воображать как вход и выход некоторой машины — «ящика с шур-
шавчиком». Входные данные, или «факторы», как правило, известны. На выходе мы
наблюдаем результат преобразования входных данных в ящике по каким-либо правилам.
Уйти
9.1. Математическая модель регрессии
Пусть наблюдаемая случайная величина X зависит от случайной величины или
случайного вектора Z. Значения Z мы либо задаем, либо наблюдаем. Обозначим
через f (t) функцию, отражающую зависимость среднего значения X от значений Z:
Стр. 158
E(X|Z = t)=f(t).
B9)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Функция f (t) называется линией регрессии X на Z, а уравнение X = f (t) —
регрессионным уравнением. После П экспериментов, в которых Z последовательно принимает
значения Z = ti, ..., Z = tn, получим значения наблюдаемой величины X,
равные Хт, . . ., Хп- Обозначим через £| разницу Х|— Е (X | Z = t|) = Х| — f(t|) между
наблюдаемой в г-м эксперименте случайной величиной и ее математическим ожиданием.
Итак, Х| = f (t|) + £i» i- = 1, . . . , TL, где £| — ошибки наблюдения, равные в
точности разнице между реальным и усредненным значением случайной величины X
при значении Z = t|. Про совместное распределение £i, ..., Ein обычно что-либо
известно или предполагается: например, что вектор ошибок t состоит из независимых и
одинаково нормально распределенных случайных величин с нулевым средним. Нулевое
среднее тут необходимо:
Eet = EXi-f(tt) = E(X|Z = ti)-E(X | Z = tt) = 0.
Требуется по значениям ti, . . . , t^t и Xi, . . . , Х^ оценить как можно точнее
функцию f (t). Величины t| не являются случайными, так что вся случайность сосредоточена
в неизвестных ошибках £| и в наблюдаемых Х|. Но пытаться в классе всех
возможных функций восстанавливать f (t) по «наилучшим оценкам» для f (t|) довольно глупо
— наиболее точными приближениями к f (t|) оказываются Х|, и функция f (t) будет
просто ломаной, построенной по точкам (t|,X|). Поэтому сначала заранее определяют
вид функции f(t). Часто предполагают, что f(t) есть полином (редко больше третьей
или четвертой степени) с неизвестными коэффициентами. Будем пока предполагать,
что функция f(t) полностью определяется неизвестными параметрами Э^, . . . , Э]^.
Стр. 159

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
9.2. Метод максимального правдоподобия
Оценки неизвестных параметров находят с помощью метода максимального
правдоподобия. Он предписывает выбирать неизвестные параметры так, чтобы
максимизировать функцию правдоподобия случайного вектора Х^, . . . , Х^-
Будем, для простоты, предполагать, что вектор ошибок t состоит из независимых
и одинаково распределенных случайных величин с плотностью распределения Н(х) из
некоторого семейства распределений с нулевым средним и, вообще говоря, неизвестной
дисперсией. Очень часто полагают, что £| имеют симметричное распределение —
нормальное Nqq.2, Стьюдента, Лапласа, логистическое и т.п. Поскольку Х| от £| зависят
линейно, то распределение Х| окажется таким же, как у £|, но с центром уже не в нуле,
а в точке f(t|). Поэтому Х| имеет плотность Н(х —f(t|)), и функция правдоподобия
вектора Хт, . . . , Х^ равна, в силу независимости координат,
f(Xi,...,Xn;ei,...,0,c)=MXi-f(ti))-...-H(Xn-f(tn))=H(£i)-...-H(£n). (ЗО)
Если величины £| имеют разные распределения, то Н следует заменить на
соответствующие Н|. В отсутствие независимости произведение плотностей в C0) заменится
плотностью совместного распределения координат вектора £.
Метод максимального правдоподобия предписывает находить оценки неизвестных
параметров Э| функции f (t) и оценки неизвестной дисперсии (или дисперсий) D £|,
максимизируя по этим параметрам функцию правдоподобия C0). Рассмотрим, во
что превращается метод максимального правдоподобия в наиболее частых на практике
предположениях.
Стр. 160

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 161
9.3. Метод наименьших квадратов
Предположим, что вектор ошибок £ состоит из независимых случайных величин
с нормальным распределением Nq^-i. Функция правдоподобия C0) имеет вид
(Xi-f(tJJ-
f(X;e)
1 г (Xi-f(ti))^
ал/2я
1
ал/2я
ехр
2сг2
^;w^^г'^^^[-^zI.^'<^-nч)r
Очевидно, что при любом фиксированном О" максимум функции правдоподобия
достигается при наименьшем значении суммы квадратов ошибок ^(Х| — f(t|)) = ^ £^.
Определение 31. Оценкой метода наименьших квадратов (ОМНК) для неизвестных
параметров 0i,...,0i^ уравнения регрессии называется набор значений параметров,
доставляющий минимум сумме квадратов отклонений
^[Xi-nti]f = ^4'
1=1
1=1
Найдя оценки для Э|, найдем тем самым оценку f(t) для f(t). Обозначим через
f(t|) значения этой функции, и через ti = Х| —t(t|) соответствующие оценки ошибок.
Оценка максимального правдоподобия для О" , она же точка максимума по О" функции
правдоподобия, равна I ^^^^"^^""^-1
f n '
n
1=1
n
C1)
1=1

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Мудрый читатель понял, что основная цель рассмотренного выше примера —
показать, что метод наименьших квадратов не падает с неба, а есть в точности метод
максимального правдоподобия в случае, когда вектор ошибок, а вместе с ним и вектор
наблюдаемых откликов регрессии, состоит из независимых и одинаково распределенных
случайных величин с нормальным распределением.
Пример 34. Пусть плотность независимых случайных величин £| имеет вид
Н(х) = -— ехр{—|x|/(j}, т.е. £| имеют распределение Лапласа.
Тогда при любом фиксированном О" максимум функции правдоподобия достигается
при наименьшем значении суммы ^|Х| — f(t|)| абсолютных отклонений. Оценка
максимального правдоподобия (ОМП) для набора Э^, . . . , Э]^ уже не есть ОМНК.
9.4. Примеры
Найдем ОМНК для функций f (t) в ряде частных случаев. Напомним, что ОМП
совпадает с ОМНК почти исключительно в случае нормальности вектора ошибок.
Пример 35. Пусть функция f (t) = Э — постоянная, Э — неизвестный параметр.
Тогда наблюдения равны Х| = Э + £|, 1 = 1, . . . , П. Легко узнать задачу оценивания
неизвестного математического ожидания Э по выборке из независимых и одинаково
распределенных случайных величин Х^, . . . , Х^- Найдем ОМНК Э для параметра Э:
Стр. 162
эе
J^(Xt-e)^ = -2j^(Xt-e)
1=1
о при Э = X.
Трудно назвать этот ответ неожиданным. Соответственно, & = S^

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Упражнение. Покажите, что в условиях примера 34 ОМП для Э,
минимизирующая ^|Х| —Э|, есть выборочная медиана
§
Xf
если П = 2га—1 (нечётно),
I (^(m)+^(m+l)) ) если П = 2т (четно).
а ОМП для дисперсии равна
^^ = ^^\^1-Щ- Вместо полусуммы можно брать
1=1
любую точку отрезка
^fmb Х|
т+1)
Пример 36. Линейная регрессия.
Рассмотрим линейную регрессию Х| = Эт + t|02 + £i, t = 1, . . . , TL, где 0i и 02
— неизвестные параметры. Здесь f(t) = 0i + t02 — прямая.
Найдем оценку метода наименьших квадратов 0^, 02, на которой достигается
минимум величины ^ £? = ^(Xi - 01 - ti02)^. Приравняв к нулю частные производные
этой суммы по параметрам, найдем точку экстремума.
Уйти
Стр. 163
Упражнение. Убедиться, что решением системы уравнений
90
является пара
§2
Z^i=0>
XtiXi-x-t
902
I.
1=1
et = 0
Z(ti-tJ
§1=Х-Ш,

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Определение 32. Величина
р* =
У1
1
п
Z(ti
ZtiXi
-tJ.
-X-t
нХ(Хг
-W
называется выборочным коэффициентом корреляции и характеризует
зависимости между наборами
чисел Хт,
. . . , Xn
И tl,. ..
) tn-
степень
линейной
Пример 37. Термин «регрессия» появился впервые в работе Francis Galton,
"Regression towards mediocrity in hereditary stature" (Journal of the Anthropological Institute
V. 15, p. 246-265, 1886).
Гальтон исследовал, в частности, рост детей высоких родителей и установил, что
он «регрессирует» в среднем, т. е. в среднем дети высоких родителей не так высоки,
как их родители. Пусть X — рост сына (дочери), а Zi и Z.2 — рост отца и матери.
Для линейной модели регрессии Е (X | Zi = t, Z2 = u) = f(t,u) = B^t + 02U + С
Гальтон нашел оценки параметров:
Е (роста сына | Zi = t, Z2 = u) = О, 27t + 0,2u + const,
a средний рост дочери еще в 1,08 раз меньше.
Стр. 164

9.5. Общая модель линейной регрессии
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Введем два вектора: Z = (Zi,. . . , Zi^) — факторы регрессии и |3 = (Ci,...,Cic) —
неизвестные параметры регрессии. Каждый вектор есть вектор-столбец, а изображен
по горизонтали для удобства. Обозначать вектора мы, как и ранее, будем жирным
шрифтом.
Рассматривается модель регрессии, которая в курсе «Эконометрика» называется
простой (линейной) регрессией:
Е (X I Z = t) = f(t) = |3i ti+.. .+|3ktb или E (X I Z) = f(Z) = |3i Zi+.. .+|3kZb
Пусть в i-M эксперименте факторы регрессии принимают заранее заданные значе-
HH«Z<^' = (zf;',...,zi,''), гдег = 1,...,п.
После тг ^ к экспериментов получен набор откликов X = (Х^, . . . , Хп), где
Xi=|3iZf;' + ... + |3kZi,'' + £i
X2 = |3iZS^' + ... + |3kZif' + £2
[Xn = |3iZp + ... + |3,cZ;,^4en,
ИЛИ, в матричной форме, X = Z |3 + £, где матрица Z(k X п) (матрица плана) равна
/zl^' .
z =
zl-'\
Стр. 165
V4
= (z(i' ... z(
/
Вектор £ = (£!,..., ^ri) состоит из случайных ошибок в данных экспериментах.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Требуется по данным матрице плана Z и вектору результатов X найти оценки для
параметров регрессии |3 и параметров распределения вектора ошибок е.
9.6. Метод наименьших квадратов. Нормальное уравнение
Предположение 1. Матрица Z имеет ранг к, т. е. все к ее строк линейно независимы.
Напоминание 1. Матрица Л (к X к) положительно определена, если t At ^ О
для любого t = (ti ,. . . , tic), причем t At = О, если и только если t = 0.
Напоминание 2. Квадрат нормы вектора U равен ||u|| = U U = ^ U^ ^0.
Норма равна нулю, если и только если U = 0.
Уйти
Стр. 166
Доказательство леммы 4. Благодаря напоминанию 2,
t^At = t"^Z-Z"^t = [Z4 )"^ • (Z"^t ) = \\z4f > о,
причем ||Z t|| = о, если и только если Z t = 0. Но «ранг Z равен к» как раз и
означает, по определению, что Z t = О тогда и только тогда, когда t = 0. П
Скоро нам пригодится корень из матрицы А, существование которого гарантирует

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 167
Лемма 5. Положительная определенность и симметричность матрицы А влекут
существование вещественной симметричной матрицы у А такой, что у Ау А = А.
Действительно, матрица А симметрична, поскольку А = ZZ и А = А. Существование^
матрицы V А с нужными свойствами следует из возможности привести А ортогональными
преобразованиями А = Q DQ к диагональному виду с положительными, в силу положительной
определенности, собственными значениями А на диагонали D. Тогда VA = Q"^VDQ. П
Найдем ОМНК |3 для вектора |3, доставляющий минимум функции S(|3), равной
S(|3)=J^e^=||e|
|Х - Z"^|3f = (X - Z"^|3)"^ • (X - Z"^|3).
1=1
Вместо того, чтобы искать точку экстремума функции S(|3) дифференцированием
по C|, заметим следующее. Величина S(|3) есть квадрат расстояния от точки X G R
до точки Z |3 — одной из точек линейного подпространства (гиперплоскости) в R^
с координатами вида Z t, где t G R .
Минимальное расстояние S(|3) мы получим, когда вектор X — Z |3 будет
ортогонален всем векторам этого подпространства, т. е. когда для любого t G R скалярное
произведение векторов Z t и X — Z |3 обратится в ноль. Запишем это скалярное
произведение в матричном виде
z\x- $) = (z'tV (х-z^ = tT. fzx-zz^ = 0.
°Cm., например, A. И. Мальцев «Основы линейной алгебры», раздел «Унитарные и евклидовы
пространства», параграф «Унитарные и симметрические преобразования», теорема 7.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 168
Подставляя в качестве t базисные вектора в R вида (О,...,0,1,0,...,0), сразу же
получим, что все координаты вектора ZX — ZZ |3 равны нулю. Итак, оценка метода
наименьших квадратов |3 есть любое решение уравнения
ZZ"rp = ZX или АЭ = ZX.
По лемме 4, уравнение C2) имеет единственное решение
^=A-^ZX
C2)
C3)
В том и только в том случае, когда матрица Z(k X п) имеет полный ранг к, где к ^ П.
Уравнение C2) называется нормальным уравнением.
В предположении, что вектор ошибок £ состоит из независимых случайных величин
с нормальным распределением Nq ^^^2 с одной и той же дисперсией, ОМНК совпадает
с оценкой максимального правдоподобия, а ОМП для О" , согласно C1), равна
&'
1
п
Ze?
1
п
|X-ZT^|
1
п
SO).
C4)
9.7. Свойства ОМНК
Отметим несколько свойств, которые, возможно, нам понадобятся в дальнейшем.
1. Разница |3 и |3 равна
Э - |3 = A-^ZX - |3 = A-^Z(Z"r|3 + £) - |3 = А-Ч|3 + A'^Zt - |3 = A'^Ze.
2. Если Е £ = О, то C — несмещенная оценка для C: Е C = C + А~ ZE £ = C.

Пусть выполнены предположения 1 и 2:
Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 169
Предположение 2. Вектор ощибок t состоит из независимых случайных величин с
нормальным распределением Nq ^^^2 с одной и той же дисперсией.
Напоминание
рые моменты,
элемент равен
В частности,
3.
Для произвольного случайного
матрица ковариаций D X
De
COV(Xi,Xj)
= а^ • Е^, где Е^ —
= Е((х-
= Е (xt -
вектора
-Ех)(х-
Exi)(xj
единичная (пхп)
X, коорди
-Ех)')-
-Exj).
-матрица.
наты
— это
которого
матрица.
имеют
чей
(i
ВТО- 1
j)-fi 1
3. Матрица ковариаций вектора л/А|3 равна О" Е]^:
dVa^ = Е (Va0 - Е Va0) (Va0 - Е Va^Y = Е (/Хф-^)) (уХф-^]
= Е fVAA-^ZeVVAA-^Ztl^ = VaA'^ZE ftJ") z"^A-^^Va^.
И
так как
А"^ = А, Еее"^ = а^Е^, то D^A^ = а^ • VAA-^ZZ"^A-^ VA = а^Е^
Свойство 3 означает, что координаты вектора некоррелированы.
Сформулируем дальнейщее следствие этого свойства первым пунктом следующей теоремы. С
утверждениями второго и третьего пунктов читатель встретится в следующем семестре
многократно.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Теорема 13
1.
2.
3.
Вектор
т. е. состоит из 1с
Ьеличина —^~ —
и не зависит от |3
Оценка
(а^)* = ■
-Р)
имеет
к-
мерное
независимых случайных
^ их
а—1с
-z4\
1
п—к
стандартное нормальное
величин с распределением
распределение,
Noj.
1 имеет распределение X с П—к степенями свободы
|Х-
-z.4\\
2 « « 2
является несмещенной оценкой для 0" .
Доказательство теоремы 13.
1. Вектор v А(Р — C) = л/ЛЛ~ Ze = (л/Л)~ Ze есть линейное преобразование нормального
вектора е и поэтому имеет нормальное совместное распределение. По свойству 3, матрица
ковариации этого вектора есть а Е]^, поэтому матрица ковариации нормированного вектора
л/А(Р — Pj/o" есть просто Е]^, а математическое ожидание равно нулю по свойству 2.
Напомним, что координаты многомерного нормального вектора независимы тогда и только
тогда, когда они некоррелированы — см. теорему 14. Первое утверждение теоремы доказано.
2. По построению ОМНК, вектор ортогонален любому вектору вида Z t. В
частности, он ортогонален вектору Z (C — C). По теореме Пифагора, для треугольника с такими
катетами сумма квадратов их длин равна квадрату длины гипотенузы:
Стр. 170
|X-ZT^f+ ||ZT@-P)f = ||X-ZT0 + ZT(^-C)f = ||X-ZTC|

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 171
Поэтому
||Х- ZT^f = ||Х- ZTpf - ||ZT@ - p)f = lief - ||ZT(^ - C)f. C5)
Ho квадрат нормы ||Z (C — P)|| равен квадрату нормы ||л/Л(Р — Р)|| :
||zT@ - p)f = {$- |3)TzzT(^ -13) = (^ - ^VVX'VXi^ - Э) =
= ||Va(^-P)||2 = ||(Va)-1Z£||2.
Осталось заметить, что строки (kxn)-матрицы (у А)~ Z ортогональны:
поэтому к её строк можно дополнить до некоторой ортогональной (tlxtl)-матрицы С.
Первые к координат п-мерного вектора Y = Се/сг совпадают с вектором (^/A)-lZ£/ст.
В результате из C5) получим
П&2 1
\X-Z'$f = \\t/<jf-\\[VA)-'Zt/<jf = '^(^) -Yf-...-Y2. C6)
• \ 2
1=1
Не забудьте, что вектор е/сг имеет п-мерное стандартное нормальное распределение. Тогда
вся разность C6) по лемме Фишера имеет распределение X с П—к степенями свободы и
не зависит от вычитаемого, т. е. от случайного вектора е (и от C тоже, поскольку C есть
функция е).
3. Напомним, что Ех^_]^ = TL—к. Отсюда и из второго утверждения теоремы получим
Е(а
.2л*
П
&2
п—к/ п—к
о" р /" '•^
&2
п-к
(п-к) = а^.
П

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 172
А. Многомерное нормальное распределение
Добавления
Определение 33. Пусть случайный вектор £, = (£,i ,. . . , Е^^а) имеет вектор средних а = Е £, и
невырожденную матрицу ковариаций L, составленную из элементов Ltj = COv(£,i, £,j). Говорят,
что вектор £, имеет нормальное распределение Nq £ в R , если плотность этого вектора равна
hM
1
Ьг) vldi^
ехр
1
fl-^l
а)|
где X е R""
Квадратичная форма (х — а) L (х — а) в показателе экспоненты равна
al^l-
а) = ^(xt-at)
ai .
C7)
T-J
Замечание 24. Вектор, составленный из нормальных случайных величин, не обязательно
имеет многомерное нормальное распределение. Так, вектор (£,, с£,) имеет вырожденную
матрицу ковариаций I ^^2 ), если D £, = 1, и не имеет плотности в R .
Поэтому в условиях следующей теоремы существование совместной нормальной плотности
координат вектора обязательно.
Теорема 14. Пусть вектор £, имеет многомерное нормальное распределение Nq £. Координаты
этого вектора независимы тогда и только тогда, когда они некоррелированы, т. е. когда матрица
ковариаций L диагональна.
Замечание 25. Следовало бы крикнуть «ура!»: свойство, о котором мы давно мечтали,
— чтобы независимость следовала из некоррелированности, — имеет все же место. Но только
для наборов случайных величин с нормальным совместным распределением, и это — очередное
изумительное качество нормального распределения.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
Уйти
Стр. 173
Доказательство. Только в случае диагональной матрицы L с элементами Иц = сг^ = D £,1
квадратичная форма C7) превращается в сумму квадратов
п
и многомерная плотность распадается в произведение плотностей координат.
Надеюсь, читатель поверит следующей теореме без доказательства, будучи в состоянии
доказать ее, как и в одномерном случае, с помощью многомерных характеристических функций.
Многомерная центральная предельная теорема.
1 lycTb с, , с, ,. . . — последовательность независимых и одинаково распределенных
случайных векторов, каждый из которых имеет среднее Е £, =а и невырожденную матрицу
ковариаций L. Обозначим через S^ = ч + • • • +^ вектор частичных сумм.
Тогда при п ^ ОС имеет место слабая сходимость распределений векторов
па
/п
^ Г|, где Г| имеет распределение No,l.
В условиях многомерной ЦПТ распределение любых непрерывных функций g (т| ) слабо
сходится к распределению д(т|)- В качестве д(х) нам будет нужна только д(х) = X. ^1 ~ 11^11 •
Осталось доказать теорему Пирсона.

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
В. Доказательство теоремы Пирсона
План действий:
1. Сначала покажем, что величина р = X.i = i (^j ~^Pj) /Щ^] ^^ть квадрат нормы
некоторого вектора Г|'^^^ = (S^l — тга)Д/тг в R . Затем убедимся в том, что матрица ковариации
типичного слагаемого £, в сумме Sn вырождена, что мешает использовать ЦПТ.
2. Найдем ортогональное преобразование С, приводящее Е,^'^^ к виду
где вектор с, G К уже имеет невырожденную единичную матрицу ковариации. b силу
линейности умножения, вектор Т\^^^ тоже перейдет в вектор С • Т!*^^^ = ("TJ , 0) с нулевой
последней координатой. Но его норма не изменится из-за ортогональности матрицы С.
3. К вектору сумм fj применим многомерную ЦПТ. В пределе получим (к—1)-мерный
нормальный вектор с нулевым средним и единичной матрицей ковариации, т. е. составленный
из независимых величин со стандартным нормальным распределением. Воспользуемся
следствием 5 и тем, что квадрат нормы этого вектора имеет X -распределение Hi^_i.
Реализация:
1. С каждым элементом выборки Xt свяжем вектор-столбец £, :
:(i)
(tb...,t^
I(XiGAi)-pi
л/рТ
I(Xi GAic)-Pk
1,2,..., п.
Уйти
Стр. 174
Получим тг независимых и одинаково распределенных векторов. Среднее а = Е £, равно
нулю, поскольку EI(Xi G Aj
поэтому
4l -npi
Pj для любого j = 1,. . . ,к. Далее, 'Yj = ^|=т I(Xi G Aj),
npi ' ' y/np^ J 01
Найдем матрицу ковариации вектора £,
па
/п
п
составленную из элементов
COV
I(Xi GAt)-pt I(Xi GAj)-pj
\/Pi ' л/РУ
1
л/тру
.((EI(Xi GAt).I(Xi GAj)-ptPj)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
_ 1 IPi-PiPj, еслиг = ]*, _ II -pi, еслиг = ]*,
л/PiPj \0-piPj, если г 7^ j \-л/Р1РУ, еслиХт^]*.
Вырождена эта матрица хотя бы оттого, что координаты вектора £, линейно связаны:
к к к
C8)
2. Из C8) мораль: если последняя строка ортогональной матрицы С будет иметь вид
(\/рТ) • • • ) \/р1с ) (что вполне возможно — норма такой строки равна единице), то после
умножения С на £, получим вектор с нулевой последней координатой — в точности C8).
При умножении вектора £, на матрицу С слева его матрица ковариаций L = Е £,£, перейдет
в В = CLC . Убедимся, что, какой бы ни была ортогональная матрица С, в результате получим
диагональную матрицу из нулей с единицами на главной диагонали, кроме элемента Ъкк = 0.
Ортогональность С означает, что для любых vn ^ ]с и I ^ vn имеют место равенства
к к к к
^CmjCkj = ^<
j = l
j = l
■mjVp7 = 0, ^C^j=l, ^CmjClj=0.
j=l j=l
Учитывая, что И-й элемент матрицы С есть Ci^t, получим
Уйти
Стр. 175
bml = Х ^C^jO-ji Си = ^ ^-CmjVPiPi + Cmi(l -Pi) ) Сц
1=1 \j = 1 / 1=1 \j^i
/Pi) + Cmi Cu = ^ Cu
f 1, m 7^ k, m = I
I 0, m = к или m 7^ I
1=1
Ek-1 0
0 0
Cmi> тт^к
0, m = к
C9)

Оглавление
« ►►
На стр. ... из 180
Назад
Во весь экран
3. Осталось повторить то, что мы уже описали в плане: умножение С • £, = (£, ,0)
приводит к вектору с нулевой последней координатой по C8). Равенствами C9) мы показали,
^П) ^к-1 « т: Г)
что вектор с, G К имеет невырожденную единичную матрицу ковариации Li^_t . Ьекто-
ра с, , с, ,.. . независимы, одинаково распределены, имеют нулевое среднее L • t с, = U.
Все условия многомерной ЦПТ выполнены, поэтому
/\(п) ч -г . . . -h с, ^ .,
Г| = -1= ^ Г|, где Г| имеет распределение No,Eic_i •
По следствию 5, норма вектора fj слабо сходится к норме вектора Г|, состоящего, согласно
теореме 14, из независимых случайных величин со стандартным нормальным распределением:
к-1
т
М\\2
\\г\\\ = 2_^i —X]c-^y ^Д^ Хк-1 имеет распределение Н
к-1-
D0)
1=1
Распределение Нк—i возникло здесь по определению 16. Осталось заметить, что у
векторов Г|'^^% С • Г|'^^% fj , связанных равенствами
л/п
УЙТИ
нормы одинаковы в силу A7): ||л''''Р = ||С-л''''Р = || (^|'''',0)||2 = ||fi'^'||2. И все эти
нормы ведут себя так же как и D0).
Упражнение. Найти среди этих норм величину р из теоремы Пирсона.
П
Стр. 176

Оглавление
_;iJ.
< 1
На стр. ...
► ► 1
► 1
из 1801
Назад 1
Во весь
экран 1
Уйти
Указатель терминов
Аппроксимация Фишера, 112
Асимптотическая нормальность оценки, 53
Асимптотический подход к сравнению оценок, 61
Байесовский критерий, 121, 126, 128
Борелевская функция, 30
Вариационный ряд, 11
Вероятность ошибки г-го рода, 115
Выборка, 7
Выборочная дисперсия, 8, 14
несмещенная, 14
Выборочная медиана, 163
Выборочное распределение, 8
Выборочное среднее, 8, 14
Выборочный коэффициент корреляции, 164
Выборочный момент, 8, 14
Гамма-распределение, 93
Гипотеза, 113
альтернативная, 113
независимости, 114, 147
однородности, 114, 146
основная, 113
простая, 113
сложная, 113
Гистограмма, 12
Гливенко — Кантелли теорема, 16, 137
Группировка наблюдений, 12, 25, 138
Стр. 177
Доверительный интервал, 81
асимптотически точный
й, 82
асимптотический, 81
для параметров нормального распределения,
85, 110, 111
точный, 82
Индикатор события, 10
Информация Фишера, 67
Квантиль, 84
Класс оценок
Ко, 48
Кь(е),48
Ковариационная матрица, 169, 172
Колмогорова
критерий, 136
распределение, 17, 137
теорема, 17, 137
Колмогорова — Смирнова критерий, 146
Корреляции коэффициент выборочный, 164
Коши распределение, 99
Критерий, 115
байесовский, 121, 126, 128
Колмогорова, 136
Колмогорова — Смирнова, 146
минимаксный, 120, 126, 128
наиболее мощный, 122, 126, 128
нерандомизированный, 115
отношения правдоподобия, 125, 127
рандомизированный, 125
Стьюдента, 154
согласия, 134

Оглавление
_;iJ.
< 1
На стр. ...
► ► 1
► 1
из 1801
Назад 1
Во весь
экран 1
Уйти
Стр. 178
Фишера, 149
X Пирсона, 138
для проверки независимости, 147
проверка сложной гипотезы, 143
Критическая область, 117
Лемма
Неймана — Пирсона, 126, 128
Фишера, 105
Линейная регрессия, 163, 165
Линия регрессии, 159
Логарифмическая функция правдоподобия, 39
Матрица
ковариаций, 169, 172
ортогональная, 102
плана, 165
положительно определенная, 166
Метод
максимального правдоподобия, 38
оценка параметров регрессии, 160
моментов, 32
наименьших квадратов, 161
Минимаксный критерий, 120, 126, 128
МНК-оценка, 161
Многомерная ЦПТ, 173
Многомерное нормальное распределение, 172
Мощность критерия, 117
Наиболее мощный критерий, 122, 126, 128
Наименьших квадратов метод, 161
Неймана — Пирсона лемма, 126, 128
Неравенство Рао — Крамера
для несмещенных оценок, 67
для смещенных оценок, 68
Несмещенность оценки, 30
Норма вектора, 166
Нормальное уравнение, 168
Носитель семейства распределений, 63
Отношение правдоподобия, 124
Оценка, 30
асимптотически нормальная, 53
максимального правдоподобия, 40
метода моментов, 32
метода наименьших квадратов, 161
несмещенная, 30
состоятельная, 30
сравнение в асимптотическом смысле, 61
сравнение в среднеквадратичном, 47
эффективная, 49, 63
R-эффективная, 72
Ошибка г-го рода, 115
Ошибки регрессии, 159
Параметр, 28
Параметрическое семейство распределений, 28
Пирсона теорема, 139
Плотность распределения
относительно меры Лебега, 38
относительно считающей меры, 38
Порядковая статистика, 11
Размер критерия, 117

Оглавление
_;iJ.
< 1
На стр. ...
► ► 1
► 1
из 1801
Назад 1
Во весь
экран 1
Уйти
Стр. 179
Ранг матрицы, 166
Рао — Крамера неравенство, 67, 68
Распределение
выборочное, 8
гамма, 93
Колмогорова, 17, 137
Коши, 99
многомерное нормальное, 172
Стьюдента Тк, 98
Фишера Fk,m, 101, 149
Фишера — Снедекора, 101
Х^ Пирсона, Нк, 95
эмпирическое, 8
Регрессии уравнение, 159
Регрессия линейная, 163, 165
Регулярность семейства распределений, 64
Состоятельность
выборочных характеристик, 15
критерия, 135
оценки, 30
Сравнение критериев
байесовский подход, 120
минимаксный подход, 120
Сравнение оценок
асимптотический подход, 61
среднеквадратический подход, 47
Статистика, 30
порядковая, 11
Стьюдента
критерий, 154
распределение, 98
Стэрджесса формула, 13
Считающая мера, 39
Теорема
Гливенко — Кантелли, 16, 137
Колмогорова, 17, 137
Пирсона, 139
ЦПТ для векторов, 173
Уравнение регрессии, 159
Уровень доверия, 81
асимптотический, 81
Уровень значимости критерия, 117
Условие регулярности, 64
Факторы регрессии, 158
Фишера
критерий, 149
лемма, 105
распределение, 101, 149
Фишера — Снедекора распределение, 101
Формула Стэрджесса, 13
Функция борелевская, 30
Функция правдоподобия, 39
логарифмическая, 39
X критерий, 138
для проверки независимости, 147
для проверки сложной гипотезы, 143
X распределение, 95
Эмпирическая функция распределения, 8, 10
Эмпирическое распределение, 8
Эффективная оценка, 49

Оглавление
«
На стр. ... из 180
Назад
Во весь экран
Литература
[1] Боровков А.А. Математическая статистика. М.: Наука, 1984.
[2] Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, Т.2, 1984.
[3] Коршунов Д.А., Чернова Н.И. Сборник задач и упражнений по
математической статистике. Новосибирск: Изд-во Института математики им. С.Л.Соболева
СО РАН, 2001.
[4] Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Hay-
ка, 1965.
УЙТИ
Стр. 180