МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ
МЕТОДЫ ЗА РУБЕЖОМ

MATHEMATICAL
STATISTICS
Basic Ideas and Selected Topics
Peter J. Bickel
University of California
Berkeley
Kjell A. Doksum
University of California
Berkeley
Holden-Day, Inc.
San Francisco—Dusseldorf—Johannesburg—London—Panama
Singapore—Sydney

П. Бикел, К. Доксам
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
ВЫПУСК 1
Перевод с английского Ю. А. ДАНИЛОВА
Предисловие Ю. Н. ТЮРИНА
Москва «Финансы и статистика> 1983

ВБК 22.172
Б 60
МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ
МЕТОДЫ ЗА РУБЕЖОМ
ВЫШЛИ ИЗ ПЕЧАТИ
1. Ли Ц., Джадж Д., Зельнер А.
Оценивание параметров марковских
моделей по агрегированным временным
рядам.
2. Райфа Г., Шлейфер Р.
Прикладная теория статистических
решений.
3. Клейнен Дж. Статистические
методы в имитационном моделировании.
Вып. 1.
4. Клейнен Дж. Статистические
методы в имитационном моделировании.
Вып. 2.
5. Б а р д Й. Нелинейное оценивание
параметров.
6. Б о л ч Б., X у а н ь К. Д.
Многомерные статистические методы для
экономики.
7. И б е ρ л а К- Факторный анализ.
8. Зельнер А. Байесовские методы
в эконометрии.
9. X е й с Д. Причинный анализ в
статистических исследованиях.
10. Π у а р ь е Д. Эконометрия
структурных изменений.
11. Д ρ а й м з Ф. Распределенные лаги.
12. Μ о стел л ер Ф., Тьюки Дж.
Анализ данных и регрессия. Вып. 1.
13. Мостеллер Ф., Тьюки Дж.
Анализ данных и регрессия. Вып. 2.
ГОТОВИТСЯ К ПЕЧАТИ
Л и м е ρ Э. Статистический анализ
неэкспериментальных данных.
Выбор формы связи.
6702060000-048
Б 010(01)-83 30~83
© 1977 by Holden-Day, Inc.
Редколлегия: А. Г. Аганбегян,
Ю. П. Адлер, Ю. Н.
Благовещенский, А. Я. Боярский, Н. К.
Дружинин, Э. Б. Ершов, Т. В. Рябушкин,
Ε. Μ. Четыркин
© Перевод на русский язык,
предисловие, «Финансы и статистика», 1983

φ ПРЕДИСЛОВИЕ К РУССКОМУ ПЕРЕВОДУ
Предлагаемая вниманию советского читателя книга П. Бикела и
К. Доксама «Математическая статистика» представляет собой
доступное, в лучшем смысле популярное изложение главных вопросов
современной математической части статистической науки. Она открывает
теперь уже широко известную серию по теории вероятностей и
математической статистике под редакцией Э. Лемана, выпускаемую
американским издательством «Hoiden-Day».
Авторы этой книги профессор Калифорнийского университета в
Беркли (США) Питер Дж. Бикел и доцент того же университета Ку-
элл Доксам, поставив перед собой цель — дать сжатое и в то же
время доходчивое введение в круг понятий и методов современной
математической статистики, успешно справились с этой задачей.
Чтобы показать, какое место занимает эта книга в системе
современного преподавания математической статистики, напомним
основные черты сложившейся в этом преподавании традиции. К ним
относится изложение материала на основе теории меры и интеграла
Лебега, а также большое внимание к прикладным вопросам, в частности
тщательный анализ реальных проблем, вместе с числовыми
расчетами. Такая традиция была заложена известной книгой Г. Крамера
«Математические методы статистики», на которой воспитано не одно
поколение специалистов. Ее продолжали многие последующие книги,
среди которых выделяется книга С. Р. Рао «Линейные статистические
методы и их применение».
Несомненно, эти черты правильно отражают особенности самой
науки. Но справедливо и то, что читателя, приступающего к изучению
математической статистики, это ставит в нелегкое положение. Ему
одновременно приходится знакомиться со статистическими идеями,
преодолевать трудности математического аппарата, учиться применят^
статистические методы на деле. Помимо прочего читателя затрудняет
разносторонность стоящих перед ним задач.
Многочисленные краткие, вводные и т. п. курсы математической
статистики находят выход из этого затруднительного положения в том,
что говорят обо всем понемногу. Авторы предлагаемой читателям
книги отыскали иной путь. В обучении всякому новому делу, будь то
наука или ремесло, полезно расчленить его на элементы, которым можно
Учиться отдельно. Разумеется, в конце концов все эти элементы
должны слиться в сознании в нечто целое. П. Бикел и К. Доксам объектом
своего основного внимания избрали главные определившиеся к
настоящему времени в области математической статистики идеи, методы и
подходы, обходясь элементарными средствами. К математической подго-
5

Товке читателя они предъявляют скромные требования, опираясь Лишь
на классический анализ (с элементами функционального анализа),
линейную алгебру и теорию вероятностей в объеме, примерно
соответствующем уровню математической подготовки в наших технических и
экономических вузах. Приложения к реальным проблемам также
отнесены на второй план, хотя каждый раздел книги сопровождается
условными упражнениями и задачами, различными по сложности и
разнообразными по тематике.
Необходимые сведения из теории вероятностей авторы сообщают на
двух уровнях: перечень наиболее важных понятий и теорем (без
доказательств) приведен в приложении, содержащем более традиционный
материал, а менее традиционные результаты изложены в гл. 1.
Большой педагогический опыт авторов позволил им избежать
упрощенчества почти при неосторожном проецировании конструкций
математической статистики на элементарный уровень. Там, где
доказательство ведется на эвристическом уровне, читатель получает ясные
указания, как восполнить соответствующие пробелы.
Комментарии и дополнения повышают полноту охвата материала,
показывая различные его взаимосвязи с другими концепциями и
теориями. Большое число задач (их в книге более 400) позволяет не
только уверенно овладеть методами, но и узнать много нового, о чем
авторы не сказали в основном тексте.
Работы по математической статистике обычно содержат таблицы.
Эта традиция не нарушена. К книге приложен небольшой набор
таблиц, необходимых для выполнения упражнений, проведения расчетов
и иллюстрирующих текст. В статистической практике приходится,
конечно, обращаться к более полным сборникам статистических
таблиц.
Как можно заметить по оглавлению, помимо традиционного
материала книга П. Бикела и К. Доксама включает и такие относительно
новые вопросы, как теория статистических решений, устойчивость
статистических правил, логарифмический линейный анализ и др.
Разумеется, изучить математическую статистику по одной этой
книге нельзя. Она на это и не претендует. За ее чтением должна
последовать более углубленная специализация в тех или иных разделах, в
ходе которой можно будет научиться прилагать статистические идеи
к практике, что и составляет настоящую цель этой науки. Но и для
учащихся, и для преподавателей книга П. Бикела и К. Доксама
будет хорошим подспорьем. Полезна она будет и тем практикам, которые,
имея опыт работы в одной области математической статистики,
пожелают овладеть и другими ее разделами.
Ю. Н. ТЮРИН

φ ПРЕДИСЛОВИЕ
Эта книга отражает наши представления о том, каким должно быть
введение в математическую статистику для студентов с хорошей
математической подготовкой, означающей в нашем понимании свободное
владение линейной алгеброй и теорией матриц, математическим
анализом и избранными главами функционального анализа, к числу
которых мы не относим теорию меры. Так как наша книга представляет
собой введение в математическую статистику, мы основательно
опираемся на теорию вероятностей и ожидаем, что читатель знаком с ней в
объеме, например, «Введения в теорию вероятностей» П. Хоела, С.
Порта и Ч. Стоуна. Все необходимые сведения по теории вероятностей
приведены в приложении. Следует подчеркнуть, что теория вероятностей
изложена в приложении кратко, с небольшим числом доказательств и
без примеров или задач.
Любое введение в математическую статистику, по нашему
глубокому убеждению, должно непременно выполнять следующие задачи:
1) давать описание основных понятий математической статистики с
указанием связи теории с практикой;
2) приводить тщательные доказательства большинства
«элементарных» результатов (таких, как лемма Неймана — Пирсона, теорема
Лемана—Шеффе, неравенство информации и теорема Гаусса —
Маркова);
3) обсуждать на эвристическом уровне более сложные результаты
(такие, как оценки максимума правдоподобия в теории больших
выборок и структура байесовских и допустимых решений в теории решений),
причем должно быть четко указано, где именно в доказательствах
имеются пробелы и до какой степени их можно восполнить;
4) показывать, каким образом излагаемые идеи и результаты
находят применение в различных областях математической статистики
(например, в гауссовых линейных моделях, в мультиномиальных моделях
и в непараметрических моделях).
Хотя хороших вводных курсов математической статистики
существует немало, по нашему мнению, ни один из них не обладает
необходимым сочетанием ширины охвата с глубиной изложения. Книга С. Р.
Рао «Линейные статистические методы и их применения» (русский
перевод: М., Наука, 1968) содержит значительную часть материала,
включенного в нашу книгу, и многие другие результаты, но изложение
гораздо более абстрактно и использует теорию меры. На другом конце
шкалы трудностей для книг выбранного нами уровня—«Введение в
математическую статистику» Р. Хогга и Ч. Ч. Крэга (3-е издание). Эти
авторы рассматривают большинство затронутых нами проблем, но во
7

многих случаях не считают нужным подробно обсудить вопросы,
которые мы считаем важными, например теоремы существования,
вычислительную сторону предлагаемых методов и поведение больших выборок.
Наша книга содержит больше материала, чем курс, рассчитанный
на один семестр. В полугодовых курсах математической статистики,
предназначенных для студентов, специализирующихся по
математике, математической статистике, различным разделам физики, и
будущих инженеров, мы читали основное ядро гл. 2—7 (от моделирования
через оценивание и проверку гипотез до линейных моделей). Ощущая
настоятельную необходимость материала, изложенного в гл. 10
(теория решений), мы включали в наши курсы по меньшей мере первые два
раздела из этой главы. Кроме того, мы затрагивали ряд тем из гл. 8 по
дискретным данным и гл. 9 по непараметрическим моделям.
Гл. 1 нашей книги посвящена не столько математической
статистике, сколько теории вероятностей. К сожалению, многие из
необходимых нам сведений не входят в стандартные учебники по теории
вероятностей, но мы вынуждены отложить более основательное знакомство
с ними до конца книги. При чтении лекционного курса гл. 1 можно не
излагать отдельно, а объединять с материалом гл. 2—7 или включать
в пропедевтический курс теории вероятностей, обычно
предшествующий курсу математической статистики.
Особенностью нашей книги является большое число задач. Они
различны по уровню — от тривиальных численных упражнений и
элементарных задач, предназначенных для лучшего усвоения студентами
излагаемого материала, до более трудных проблем, решаемых в тексте.
Отбирая задачи, мы стремились, с одной стороны, предоставить
возможность студенту проверить, насколько активно он овладел тем или
иным разделом, а с другой стороны, продемонстрировать
неисчерпаемое богатство идей и результатов, не включенных в текст книги по
вполне понятным соображениям объема.
При написании книги мы придерживались следующих соглашений.
1) Для сокращения числа сносок мы поместили в конце каждой
главы, перед задачами, примечания, расположенные по разделам, к
которым они относятся. В пределах каждого раздела на
соответствующее примечание в конце главы указывает его номер, например г
означает первое примечание,2 — второе и т. д. В примечаниях содержатся
различного рода отступления, оговорки и дополнительные
библиографические ссылки.
2) Перечень условных обозначений и сокращений с указанием
тех мест, где они впервые вводятся, приведен после предисловия.
3) Основные (традиционные) обозначения для
теоретико-вероятностных объектов (случайных величин, векторов, плотностей вероятности,
функций распределения и моментов) вводятся в приложении.
Мы хотели бы выразить нашу признательность коллегам,
студентам и друзьям, помогавшим нам на различных стадиях работы над
книгой (черновые наброски, пробное издание, окончательный вариант
рукописи).
Беркли Питер Дж. Бикел,
1976 г. Куэлл Доксам
8

φ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
BB(nf ft) биномиальное распределение с параметрами η и #, 2, 223
В (zf s) бета-функция Эйлера, вычисленная при заданных г и s,
1, 23
β (г, s) бета-распределение с параметрами г и s, 1, 23, 24
χ* распределение хи-квадрат с л степенями свободы, 1, 23, 25
#п (р) р-й квантиль распределения χ£, ι, 28
ЕЕ (λ) экспоненциальное распределение с параметром λ, 2, 227
FFh, т ^-распределение с k и т степенями свободы, 1, 26
Г(р) гамма-функция Эйлера, вычисленная при заданном р, 1, 22
Г (ρ, λ) гамма-распределение с параметрами ρ и λ, 1, 22, 23
HH(D, Ν, η) гипергеометрическое распределение с параметрами D, N
и л, 2, 223
ЛШ (л, #i, ... ,Φσ) мультиномиальное распределение с параметрами л, fllf ...,
0g, 2, 224
MV (μ, σ2) нормальное распределение со средним μ и дисперсией σ2,
2, 226
ΝΝ(μν μ2, of, σ|, ρ) двумерное нормальное распределение, 1, 34
двумерное нормальное распределение, 1, 34
стандартная нормальная функция распределения, 2, 226
стандартная нормальная плотность, 2, 226
р-й квантиль стандартного нормального распределения, 1,
28, 167
распределение Пуассона с параметром λ, 2, 224
^-распределение (Стьюдента) с k степенями свободы, 1, 26
р-й квантиль распределения Г&, 1, 28, 170
равномерное распределение на отрезке (а, Ь), 2, 227
количество информации по Фишеру, 1, 138
/ (#) для одного наблюдения, 1, 141
индикатор множества А, 2, 217
производящая функция моментов случайной величины X,
2, 222
функция правдоподобия, 1, 91
логарифм правдоподобия, 1, 112
отношение правдоподобия, 1, 207
статистики критерия отношения правдоподобия, 1, 225
9
NN (μ, Σ)
Φ
φ
Φ)
ΡΡ(λ)
TTh
th(p) .
UU(a, b)
'(*)
h (*)
и
Ψ*
L (θ, χ)
LL (■&, χ)
L (χ, θ0, ®ι)
λ (χ)

X~P
X~ Υ
X^Y
ж
/Ч/
LL
Τη ►
LL(Tn)^
Ρ
/?
/?*
■
н. д. г.
о. я. /с.
о. ле. п.
я. ж.
С. /С. 0.
θ. д. г.
р. и. л«.
«. о. р. ле.
и
а.
X распределен по закону Р, 1, 225
X имеет такое же распределение» как Υ
X равен Υ с вероятностью 1, 2, 216
приближенное равенство
пропорциональность, 1, 89
сходимость по распределению к Т, где Τ ~ F, 2, 228
сходимость по вероятности, 2, 228
вещественная прямая
^-мерное евклидово пространство
конец примера или доказательства
нижняя доверительная граница, 1, 168
оценка наименьших квадратов, 1, 107
оценка максимума правдоподобия, 1, 111
наиболее мощный (критерий), 1, 207
среднеквадратическая ошибка, 1, 45
верхняя доверительная граница, 1, 169
равномерно наиболее мощный (критерий), 1, 207
несмещенная оценка с равномерно минимальной дисперсией,
1, 130

Глава 1 · НЕКОТОРЫЕ ВОПРОСЫ ТЕОРИИ
ВЕРОЯТНОСТЕЙ
В этой главе приведены некоторые сведения из теории
вероятностей, существенные для нашего изложения статистики и не всегда
рассматриваемые достаточно подробно в курсах теории вероятностей.
Теорию меры мы обходим стороной, условившись раз и навсегда,
что все рассматриваемые нами множества и функции измеримы.
1.1. ВВЕДЕНИЕ УСЛОВНОСТИ С ПОМОЩЬЮ
СЛУЧАЙНОЙ ВЕЛИЧИНЫ ИЛИ СЛУЧАЙНОГО ВЕКТОРА
Понятие условности играет важную роль при изучении связей
между случайными переменными или векторами. В этом разделе мы
изложим некоторые результаты, полезные для теории предсказания,
теории оценивания и регрессии.
1.1.А. Дискретный случай
Читатель, несомненно, знаком с понятием условной вероятности —
вероятности события А при условии, что произошло событие θ. Пусть
X и Υ — дискретные случайные векторы. Мы хотим изучить
распределение условной вероятности для вектора X при Υ = у.
Условную функцию частоты ρ (· | у) для вектора X при Υ = у
определим как
р(х|уНР[Х = х|У = у]«.££^§ (1.1.1)
Ρύ (У)
где ρ и ру — функции частоты для (Χ, Υ) и Υ. Условная функция
частоты ρ определена лишь для таких, значении^, для которых Ру(у) > 0.
Из приведенного нами определения ясно, что ρ (· | у) — функция
частоты некоторого распределения вероятности, так как из (А. 8. 11)
следует, что
Такое распределение вероятности называется условным
распределением для X при Υ = у.
Пример 1.1.1. Пусть X = (Х1в ..., Хп), где Xt — индикаторы
серий из η биномиальных испытаний с вероятностью благоприятного ис-
11

хода /?. Пусть Υ = У Xt — общее число благоприятных исходов
Тогда Υ имеет биномиальное распределение ВВ (п, р), и
„РФ)- р"1-·"-" = -М-И-' =J_, (,.,.2)
О'»-"- О'*-*- С)
если все лгг- принимают значения 0 или 1 и Елгг- = у.
Итак, если нам сообщают, что в серии из η биномиальных
испытаний k исходов оказались благоприятными, то речь с одинаковой
вероятностью может идти о любой из серий. ■
Пример 1.1.2. Пусть X и Υ имеют совместную функцию частоты,
заданную табл. 1.1.1.
Та блица 1.1.1
*^—"""-^ у
0
1
2
Ργ (У)
0
0,25
0,05
1 0,05
0,35
10
0,05
0,15
0,10
0,30
20 PXW
0,05 0,35
0,05 0,25
0,25
0,35
0,40
1
Пусть, например, У — число сигарет (округленное до ближайшего
числа, кратного 10), выкуриваемых задень индивидуумом, выбранным
наугад из некоторой генеральной совокупности, а X — общая оценка
состояния здоровья того же индивидуума, колеблющаяся от 0
(хорошее состояние) до 2 (плохое состояние) (1 соответствует среднему — ни
хорошему, ни плохому — состоянию здоровья). При у = 20 получаем:
X
Ρ (*|20)
0
1
7
1
1
7
2
5
7
Эти данные указывают на взаимосвязь между привычкой много
курить и плохим состоянием здоровья, так как ρ (2120) почти вдвое
больше, чем рх (2). ■
Условное распределение для X при Υ = у легко вычисляется в двух
частных случаях:
12

1) если X и Υ независимы, то ρ (χ | у) =* рх (х) и условное
распределение совпадает с частным распределением;
2) если X есть функция от Υ (Х=А (Υ)), то условное распределение
для X вырождено: X = h (у) с вероятностью 1.
Оба утверждения следуют непосредственно из определения (1.1.1).
Из (1.1.1) и (П.4.5) следуют две важные формулы. Пусть q (у | х)
— условная функция частоты для Υ при X = х. Тогда
ρ (χ, у) = ρ (χ | у) ργ (у), (1.1.3)
Я (У I х) Рх (х) ^ „
Ρ (х I У) = (правило Баиеса) (1Л .4)
ζ
(знаменатель в правой части положителен).
Равенством (1.1.3) можно воспользоваться при построении моделей.
Предположим, например, что У — число дефектных изделий в партии
из N изделий, изготовленных с помощью некоторого технологического
процесса, обладает распределением ВВ (Ν, θ). Предположим, что из
партии η раз производится выборка без возвращения, и пусть X —
число дефектных изделий, обнаруженных в выборке. Известно, что X
при заданном Υ = у обладает гипергеометрическим распределением
Η Η (у, Ν, ή). Воспользуемся равенством (1.1.3) и запишем
совместное распределение для X и У:
(y\IN-y\
Р[Х=х, Y = y] = (N)w(\—&f-y V*A"-*/ (1 л 5)
fa\
где комбинаторные коэффициенты L I обращаются в нуль, если а и Ъ —
не целые числа, удовлетворяющие неравенству Ь < а.
Этой же моделью можно воспользоваться, чтобы
проиллюстрировать (1.1.4). Поскольку обычно нам удается наблюдать X, может
оказаться желательным узнать условное распределение для У при X = х.
Из (1.1.4) получаем
где
Эта формула упрощается (см. задачу 1.1.11) до биномиального
распределения
P[Y=y\X = x] = (N-n\{>y-x(l— $)N-n-(y-X) t (1.1.6)
13

1.1.Б. Условное математическое ожидание
для дискретных величин
Пусть X — случайная величина с Ε (|Х|) < оо. Условное
математическое ожидание для X при Y = y (обозначим его Ε = (Х\У=у))
по определению есть
£(X|Y=»y)=S*P(*ly). (1-1.7)
X
Заметим, что в силу (1.1.1), если /?γ (у) > О,
Σι*ιρ«ι»κ2ι«ι^--!$*-. о·1·8»
Пример 1Л .3. Предположим, что Χ ηΥ имеют совместную функцию
частоты, заданную табл. 1.1.1. Тогда
Я(Х|Г = 20) = 0 —+ Ь —+ 2· —= — =1,57.
/ 7 7 7 7
Аналогичным образом, Ε (Χ \ Υ = 10) = |- = 1,17 и £ (X | 7 = 0) =
з
= γ = 0,43. Заметим, что в контексте разговора о вреде курения
величину Ε (X | У = у) можно рассматривать как среднюю оценку
состояния здоровья тех, кто выкуривает за день у сигарет. ■
Пусть g (у) = Ε (X | Υ = у). Случайную величину g (Y) будем
записывать в виде Ε (Χ | Υ) и называть условным математическим
ожиданием для X при заданном Υ*.
В качестве примера вычислим Ε (Хг \ Υ) для Хг и Υ из примера 1.1.1.
/и-П
£(Х1,У = 0 = ^1^1=1|^ = П=«^-==—, где(л-/) = 0. (1.1.9)
Первое из этих равенств выполняется потому, что Хг — характеристи-
/я—1\
ческая функция. Второе равенство следует из (1.1.2), так как L_J —
число способов, которыми i благоприятных исходов могут
распределиться среди η испытаний, если известно, что исход первого испытания
благоприятен. Следовательно,
Ε(Χ1\Υ) = ^. (1.1.10)
п
Условное распределение для случайного вектора X при Υ = у со-,
ответствует единственной вероятностной мере Ру на (Ω, АА). В
частности, определим для Α £ ΑΑ
Ру (А) = Ρ (А | [Υ = у]), если ργ (у) > 0. (1.1.11)
* Следуя традиции, мы будем также обозначать В (Χ, Υ) любую величину,
равную g(Y) с вероятностью I.
14

Величина Ру есть не что иное, как условная вероятностная мера на
(Ω АА), задаваемая соотношением (П.4.2.). Но условное
распределение для X при Υ =у — то же самое, что и распределение для X, если
ρ — вероятностная мера на (Ω, ΑΑ). Следовательно, условное
математическое ожидание совпадает с обычным математическим ожиданием
по вероятностной мере Ру. Это означает, что все свойства
математического ожидания, перечисленные в (П. 10.3) — (П. 10.8), остаются в силе
и для условного математического ожидания при Υ = у. Например,
равенство
Ε № + βΧ2 Ι Υ - У) = α£ (Χχ I Υ = у) + β Ε (Χ2 | Υ = у)
(1.1.12)
выполняется тождественно по у при любых Хг и Х2, таких» что
математические ожидания Ε (| Хх |), Ε (| Х2|) конечны. Так как это
тождество справедливо при всех у,
Ε (аХг + βΧ2 | Υ) = аЕ (Хг | Υ) + β£ (Х2 | Υ). (1.1.13)
Применяя этот прием к любому из соотношений (П.10.3) — (П.10.8),
мы получаем аналогичные свойства условного ожидания. Важный
пример такого рода рассуждений приведен в разд. 1.6.
В двух частных случаях условные математические ожидания
удается вычислить непосредственно. Если X и Υ независимы и Ε (| Χ |)<
< оо, то
Ε(Χ\Υ) = Ε(Χ). (1.1.14)
Это следует из (1).
С другой стороны, из (2) мы получаем, что
E(h(Y)\Y)=h(Y). (1.1.15)
В (1.1.15) неявно содержится утверждение о том, что если Υ = у,
то Υ действует как константа. Продолжив это рассуждение, мы
придем к соотношению, которое можно назвать теоремой о подстановке
для условных математических ожиданий: равенство
£(<7(Х, Y)| Y = y)=£(<7(X, У) Ι Υ = У) (1.1.16)
выполняется при всех у, таких, что ру (у) > 0 и q (Χ, Υ) имеет
конечное математическое ожидание. Утверждение (1.1.16) следует
непосредственно из определений, так как
Ρ [q (Χ, Υ) = α Ι Υ = у] = Р[<7(Х, Υ) = α, Υ = у | γ = у] =
= P[q(X," y) = a | Υ = y] (1.1.17)
при любом а.
Если q (Χ, Υ) = г (X) h (Υ), где функция h ограничена, а г (X)
имеет конечное математическое ожидание, то из (1.1.16) получаем
Ε (г (X) h (Υ) Ι Υ = у) = Ε (г (X) h (у) I Υ = у) «
- А (у) £ (г (X) I Y = y). (1.1.18)
Следовательно,
Ε (г (X) h (Υ) Ι Υ) - h (Υ) Ε (г (X) Ι Υ). (1.1.19)
15

Еще один интуитивно понятный результат состоит в том, «ίτο
среднее условных средних есть среднее:
Е(Е(Х\ Υ)) = £(Χ), (1.1.20)
если X имеет конечное математическое ожидание. Соотношение (1.1.20)
мы будем называть теоремой о двойном математическом ожидании.
Для доказательства (1.1.20) воспользуемся соотношениями (1.1.7)
и (П. 10.5):
Е(Е(Х\\)) = %рч(у)1%хр(х\уЦ = %хр(х\у)ру(у) =
у [ χ J χ> у
= ^хр{х,у)=Е{Х). (1.1.21)
X» У
Изменение порядка суммирования допустимо, так как из конечности
Ε (| X |) следует, что все суммы сходятся абсолютно.
В качестве примера проверим (1.1.20) для Ε (Хг\ У), задаваемого
(1.1.10). В этом случае
£(£(X1|F)) = '£(^-) = -^- = P = £(Xi)l· (1.1-22)
Применив (1.1.20) к X = г (X) A (Y) и воспользовавшись (1.1.19),
мы получим формулу произведения математических ожиданий.
Теорема 1.1.1. Если функция Α (Υ) ограничена и Ε (\г (X) | ) < оо,
то
Ε (г (X)) h (Υ) = Ε (h (Υ) Ε (г (X) Ι Υ)). (1.1.23)
Условная вероятность того, что ΧζΑ при Υ"= у, представима в
виде
Р[ХеА\У = у] = Е(1А(Х)\\ = у)=^р(х\у).
х е А
Полагая в теореме 1.1.1. г (X) = Ια (X), А = 1, (неусловную)
вероятность того, что X £ А, можно записать в виде
Р1ХеА] = Е(Е(г(Х)\\)) = -2Р1ХеА\\ = у)ру(у). (1.1.24)
У
Например, если X и У такие же, как в (1.1.5), то
P[X^x] = %(N )ϋ*{1-<ή»-'Η9(χ)9
у \ У /
где Ну — функция распределения гипергеометрического
распределения с параметрами {у, Ν> η).
1.1.В. Непрерывные величины
Предположим теперь, что (Χ, Υ) — непрерывный случайный
вектор, координаты которого сами являются векторами, с функцией
плотности ρ (χ I у). Исходя из аналогии между функцией частоты и функ-
16

цией плотности, определим функцию условной плотности * для X при
Υ = у следующим образом:
P(x|y)=£%f, (1.1.25)
Ру(У)
если р\ (у) > 0.
Так как частная плотность для Υ — величина ργ (у) —
определяется выражением (П.8.12), то ясно, что ρ (· | у) — плотность.
Поскольку (1.1.25) формально не отличается от (1.1.1), соотношения
(1.1.3) и (1.1.6) полностью переносятся на рассматриваемый случай.
Выражение (1.1.4) переходит в
, . ч Рх(х)?(У|х)
/>(*|У) = — +Ζ > (Ы.26)
| ... J px(t)(7(y|t)^1... dtn
— 00 00
где q — условная плотность для Υ при X = χ. Это соотношение также
называется правилом Байеса.
Если X и Υ независимы, то условные распределения, как и в
дискретном случае, совпадают с частными.
Пример 1.1.4. Пусть Хг и Х2 — независимые и случайные
величины с равномерным распределением UU (О, 1). Υ = min (Xl9 X2),
Ζ = max (Xl9 X2). Совместное распределение случайных величин Υ и
Ζ задается выражением
2 min (*„ у)
F(y,z)=2P[X1<X29 Хг<у, X2<*] = 2j j dx±dx2^
о о
г
= 2jmin(x2>i/)dx2, (1.1.27)
о
если 0 <; у, ζ < 1.
Совместная плотность равна:
р^2) = (2'если0<^г<1. (1.1.28)
(О в противном случае.
Частная плотность для Υ определяется выражением
Κ2ώ = 2(1—у), 0<у<1,
ι
(1.1.29)
[О в противном случае.
Итак, условная плотность для Ζ при Υ — у постоянна на интервале
(у, i).a
Если Ε (|Х|) < оо, то по аналогии с дискретным случаем мы
назовем условным математическим ожиданием для X при Υ = у
среднее значение случайной величины с плотностью ρ (χ | у). Обобщая,
17

можно воспользоваться (П.10.11) и при Ё (\г (Х)|) < оо определить
условное математическое ожидание для г (X) при Υ = у:
£(r(X)|Y = y) = j" ... j r(x)p(x|y)rfx. (1.1.30)
— оо —оо
Как и в предыдущем случае, если g (у) = Ε (г (Х)| Υ = у), то g (Y)
можно записать в виде Ε (г (Χ) | Υ) — условного математического
ожидания для г (X) при заданном Υ. Это определение позволяет доказать,
что Ε (г (X) | Υ) удовлетворяет соотношениям (1.1.24) и (1.1.21). Для
упрощения обозначений X и Υ будем считать вещественными. Тогда
из (П. 10.11) получаем
E(h(Y)g(Y))= j° h(y)g(y)py(y)dy =
00
= j h{y)p4{y)\ J r(x)p(x\y)dx\dy. (1.1.31)
По теореме о двойных интегралах [11, р. 137] правая часть последнего
равенства в (1.1.31) с учетом (П. 10.11) равна:
+ 00 +
J J r(x)h(y)pY(y)p(x\y)dxdy=
-f-oo -j-β
= J J r(x)h(y)p(x,y)dxdy = E(r(X)h(Y)). (1.1.32)
— oo—oo
В качестве примера на применение этих формул мы вычисляем
Ε (Ζ Ι Υ) в примере 1.1.4. В этом случае
ι ι
E(Z\Y^y)^^zp(z\y)dz^^—^^zdz =-^· 0<у<1
о
и, следовательно,
£(Z|y)=-!±£.
1.1.Г. Комментарии к общему случаю
Ясно, что случаи дискретного и непрерывного вектора (Χ, Υ) не
исчерпывают всех возможностей. Например, если случайная величина
X равномерно распределена на (О, 1) и Υ = X2, то (Χ, Υ) не имеет ни
совместной функции распределения, ни совместной плотности.
(Плотность должна быть сосредоточена на у = х2, но тогда она не удовлетво-
1 1
ряла бы условию j J/ (л:, y)dxdy — 1.) Следовательно, вектор (Χ,Υ)
о о
не является в нашем смысле ни дискретным, ни непрерывным. С дру-
18

гой стороны, понятие условной вероятности должно быть таким, чтобы
Ρ IX = и | Υ = Vtt ] = 1. Изложение общей теории условности
выходит за рамки нашей книги. Интересующимся читателям мы
рекомендуем обратиться к книгам Бреймана [5] или Лоева [10]. Отметим
лишь, что Ε (X | Υ = у) и £ (X | Υ) можно определить так, чтобы
они совпадали с (1.1.7) и (1.1.30) в дискретном и непрерывном случаях
и, кроме того," чтобы выполнялись соотношения 15, 16, 20 и 23
этого раздела.
В качестве иллюстрации предположим, что в примере 1.1.4
требуется найти условное математическое ожидание для sin (YZ) при Υ = у.
Как было показано, вычислить Ε (sin (YZ) \ Υ = у) можно
следующим образом: сначала воспользоваться (1.1.16) и получить
Ε (sin (YZ) \Y = y) = E (sin (yZ) \ Υ = у).
Так как при У = у случайная величина Ζ имеет распределение
UU (у, 1),то для завершения вычислений можно воспользоваться
(П. 10.11) и получить
E(sin(yZ)\Y=y)= l f sin (yz)dz = —ί—- [cosy2—cos
О — у) J У (1—у)
УЬ
1.2. ТЕОРИЯ РАСПРЕДЕЛЕНИЙ ДЛЯ ПРЕОБРАЗОВАНИЙ
СЛУЧАЙНЫХ ВЕКТОРОВ
В статистике нам потребуются распределения функций случайных
переменных, возникающих в эксперименте. Примерами таких функций
могут служить суммы, средние, разности, суммы квадратов и т. д.
В этом разделе мы получим результат, который часто оказывается
полезным при нахождении совместного распределения нескольких
функций непрерывного случайного вектора. Этот результат обобщает
соотношение (А.8.9), задающее плотность вещественнозначной функции
непрерывного случайного переменного.
Пусть h = (Αχ, ..., ή&), где каждая из величин hi — вещественно-
значная функция на Rk. Таким образом, h — преобразование,
действующее из Rk в RK Напомним, что якобианом Jh (t) преобразования
h в точке t = (ίχ, ..., tn) называется определитель
/h(t) =
д
Mt)...-f-Mt)
dth
■Ai(t)...
dtk
hk(t)
Основной результат этого раздела — теорема 1.2.2 — основан на
теореме из анализа о замене переменных в кратном интеграле.
Сформулируем эту теорему без доказательства [2,р. 421).
Теорема 1.2.1. Пусть h = (Л1э ..., hk) — преобразование, заданное
на открытом подмножестве В в Rk. Предположим, что г:
1) h имеет в β непрерывные первые частные производные;
19

2) h взаимно-однозначно на J3;
3) якобиан преобразования h не обращается на β в нуль.
Пусть / — вещественнозначная функция (определенная и
измеримая) на области значений h (В) = {(hx (t),..., hk (t)) : t £ В}
преобразования h, такая, что
J |/(х)|Л<оо.
h(B)
Тогда для любого (измеримого) подмножества К в h (В)
J/(x)dx= j /(h(t))|/h(t)|dt. (1.2.1)
Здесь и далее dx означает ахг... dxk> Кроме того, h~* означает
преобразование, обратное преобразованию h, т. е. h"1 (χ) = t в том и
только в том случае, если χ = h (t). Нам понадобится также еще один
результат из анализа [2, р. 417], состоящий в том, что
/ !(t) = L в {1.2.2)
Таким образом, преобразование h удовлетворяет условиям теоремы
1.2.1 в том и только в том случае, если им удовлетворяет обратное
преобразование h"1·
Теперь мы уже располагаем всем необходимым, чтобы вывести
плотность для Υ = g (Χ) = (gx (X), ..., gk (X)) в случае, когда g
удовлетворяет условиям теоремы 1.2.1 и X = (Х19 ..., Xk) — непрерывный
случайный вектор.
Теорема 1.2.2. Пусть X — непрерывный случайный вектор, S —
открытое подмножество в Rk, такое, что Ρ (Χ ζ S) = 1. Если g =
= (ёъ --->gk) — преобразование, действующее из S в Rk, такое, что
g и S удовлетворяют условиям теоремы 1.2.1, то плотность для Υ =
= g (X) определяется выражением
Ρυ (У) =/>х (g-1 (У)) I /g-*(y)l (1.2.3)
при yeg(S).
Доказательство. Функция распределения для Υ имеет вид (см.
(П.7.8)):
^γ (У) = J... . ί Ρχ (*1> ··> *и) dxx...dxk,
Ak
где Ak = {χ ζ Rk: gt (χ) < yi9 i = 1, ..., k).
Воспользуемся теоремой 1.2.1 при h = g"1 и / = рх. Так как
-={t:t<i/i, ί=1, ♦.., k}, то
Ыу)= f ... ] Px(g"x W)l /g-i(t)|dix...d^.
— OO OQ
20

Требуемое утверждение мы получим, если вспомним из раздела П.7,
что всякий раз, когда FY (у) = { ... $ q Цг, ..., tk) dtu ..., dtk
— 00 OO
для некоторой неотрицательной функции q, сама q должна быть
плотностью для Y. ■
Пример 1.2.1. Пусть X = (Х19 Х2), где Хг и Х2 независимые
случайные величины с распределениями NN (О, 1) и NN (0, 4). Что
можно сказать о совместном распределении для Υ1 — Χ1·\·Χ2 и
В данном случае
^х (*ι, χύ = -^ ехР —j [*! + -γ χΛ>
S = R2. Заметим также, что g1(x) = x1 + *2> §2 (х) = *ι—*2> ^Г1(У) =
совпадает с R2
g2l (У) = -2-(У1 — У%), что
и
1
область значений g (S)
(У) =
Подставляя эти величины в (1.2.3), получаем
Ρ γ (Уь У*)= — Рх (у (У1 + &), -j Uh— У*)) = -^ ехр ί—l- f-j· (ί/ι +
+ ί/2)2 + -^-(ί/ι—г/а);
=^гехр(~^"1%?+5у1 + 6ЛЧ
Это пример двумерной нормальной плотности. Более подробно такие
плотности рассмотрены в разд. 1.4. ■
Комбинируя (1.2.2) и (1.2.3), мы замечаем, что при у £ g (S)
Ру(У) =
Рх(й~Цу))
Ко (δ-1 (у)) I
(1.2.4)
Если Χ—случайная величина (& = 1), то якобиан преобразования
g сводится к производной от g. Из требований (1) и (3) (g' должна
быть непрерывной и не обращаться в нуль) следует, что функция g
строго монотонна и, следовательно, удовлетворяет требованию (2). В этом
случае (1.2.4) сводится к известной формуле (П.8.9).
Теорема 1.2.2 допускает полезные обобщения на случай, когда
преобразование g не взаимно-однозначно (задача 1.2.7).
Теорема 1.2.2. позволяет построить один из примеров ситуаций, в
которых функция частоты не совпадает с функцией плотности. Если
X — дискретный случайный вектор, g — взаимно-однозначное
преобразование и Υ = g (X), то ργ (у) = ρχ (g""1 (у)). «Лишний»
множитель в непрерывном случае возникает в общих чертах следующим об-
21

разом. Если А (у) — «небольшой» куб, построенный вокруг у, и V (В)
— объем множества В, то
D (vw.р И (X) 6 А (УН _ Ρ [X 6 S-ΗΛ (у))] V (g-1 (А (у))) _
^¥Ш~ V(Л (у)) Vie-1 И (у)) V(Л (у))
/>xui ш; v (Л (у))
Воспользуемся тем, что преобразование g-1 приближенно можно
считать линейным на А (у). Тогда, как нетрудно показать,
у (Л (У)) I s Ivjr'l·
Обоснование этих приближений составляет содержание теоремы 1.2.2.
Весьма важно следующее обобщение (П.8.10). Элементарные
свойства матриц, которые понадобятся нам при формулировке этого
обобщения, читатель найдет в [4, р. 189—212, 280—290].
Напомним, что g называется аффинным преобразованием
пространства Rk, если существует матрица А размером k X k и вектор с,
такой, что g (х) = хА + с. Если с = 0, то g называется линейным
преобразованием. Функция g взаимно-однозначна в том и только в
том случае, если А — невырожденная матрица, и тогда
8-1(У) = (У-с)А-1, (1.2.5)
у £ Rkt где А"1 — матрица, обратная матрице А.
Следствие 1.2.1. Предположим, что X — непрерывный случайный
вектор, а подмножество S таково, что Ρ (Χ £ S) = 1. Если g —
взаимно-однозначное аффинное преобразование в смысле приведенного
выше определения, то Υ = g (X) имеет плотность
ру (у) - | det А | -1 рх ((у - с) А"1) (1.2.6)
при у £ g (S), где det A — определитель матрицы А.
Утверждение следует из (1.2.4), (1.2.5) и соотношения
h (Г1 (У)) - det А. (1.2.7)
Пример 1.2.1 —частный случай следствия 1.2.1. Дальнейшие
приложения этого следствия приведены в следующем разделе. ■
В качестве второго следствия из теоремы 1.2.2 мы получаем
основное свойство Двух важных семейств распределений, которые также
встречаются в следующем разделе.
Первое семейство имеет плотности
8рл(х)=^(рГ ' (1·2·8)
гдел:> 0.
Параметры ρ и λ должны быть положительными, Г (р) означает
гамма-функцию Эйлера, равную по определению
со
Г (/>)=}>-!<?-<<#. (1.2.9)
22

Интегрируя по Застим, находим, что Г (р + 1) = р Г (р)1 (1,2.10)
и что при положительных целых k Г (k) = (k — 1) ! J
Семейство распределений с плотностями (1.2.8) называется
семейством гамма-распределений. Распределение, соответствующее
плотности gPt λ, мы будем обозначать Г (ρ, λ). Частный случай ρ = 1
соответствует известному экспоненциальному распределению ЕЕ (λ),
задаваемому выражением (П. 13.24). Из (П.8.10) следует, что X
имеет распределение Г (ρ, λ) в том и только в том случае, если λΧ имеет
Рис. 1.2.1. Семейство гамма-распределений
распределение Г (р, 1). Таким образом, l/λ — масштабный параметр
семейства распределений Г (ρ, λ).
Пусть k — положительное целое число. В статистике
гамма-плотность gPt λ при ρ = V2 ky λ = V2 принято называть плотностью
^-распределения с k степенями свободы и обозначать χ|.
Второе замечательное семейство образуют бета-распределения.
Индексами таких распределений служат положительные параметры г
и s. Плотности бета-распределений имеют вид:
bT s (χ) = -
,5W B(r9s)
(1.2.11)
где 0 < χ < 1, В (г, s) « [ Г (г) Г (s)]/ [Г(г + s) ] — бета-функция.
Бета-распределение, соответствующее плотности 6Г> 8, мы будем
обозначать β (г, s). На рис. 1.2.1 и 1.2.2 представлены некоторые типичные
члены гамма-и бета-семейств.
Теорема 1.2.3. Если Хх и Х2 —две независимые случайные
величины с распределениями Г (ρ, λ) и Г (q, λ), то Υ± = Хг + Х2 и
У2 = ^ι/(^ι + ^г) независимы и имеют соответственно
распределения Г (р + ?, λ) и β (ρ, q).
Доказательство. Если λ = 1, то совместная плотность величин
Χλ и Х2 есть
р{ХъХ^[Т{р)Т{Я)\^е^х^^х{^х%-\ (1.2.12)
23

где хх > 0, лг2 > 0. Пусть
(ί/ι, yJ = U(xi, *2>=(*i + *«. -ГХг)·
Тогда функция g взаимно-однозначна на S = {(xlt xt): xx > О,
х2 > 0} и ее область значений S2 = Цу1г уа) : у1 > 0, 0 < уг < 1}.
Заметим, что на 5Х
g-1 («Л. г/г) = (Ш/2> Ι/ι — i/ii/a)-
Следовательно,
1е-1(УиУг) =
ί/ι
1-й
—Ι/ι
= — Уг·
(1.2.13)
(1.2.14)
Кл*)
in
Ν
ill
\Ц\г
\\] 1
-J
φ.
Тм
-И
l· ι
\l
и
=6,s=m
/
/
/
\ /
\>^r=0,5,
S^?Ji^_
•-4^5=
\
\
—ι 1 —
=5
\
\
v*
b — 1.
i
1
i
i
1
i
i
/
/
/
/
/
/
N.
(1.2.15)
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
χ
Рис. 1.2.2. Семейство бета-распределений. (При (г,
s) = (6, 114), (0,5, 9,5) плотности увеличены в
несколько раз.)
Подставив (1.2.13) и (1.2.14) в (1.2.4), мы получим для плотности
случайного вектора (Yl9 У2) = g (Xl9 Хш) величину
где ί/ι > 0, 0 < у2 < 1. Упрощая, преобразуем (1.2.15) к виду
Ρύ {Уъ νύ = Яр+д, ι (й) 6р, α Ы· (1.2.16)
Тем самым при λ = 1 утверждение теоремы доказано. Если λ Φ Ι,
введем новые случайные величины Х[ = λΧχ и Х'2 = λΧ2. Они
независимы и имеют распределения Г (р, 1) и Г (q, 1). Утверждение
теоремы следует из того, что Х[ + Х'2 = λ (Χχ + Хъ), Х[ (Х[ +Х2У1 =
= Χι (Χι + Xt)"1· ■
Повторяя ход рассуждении в доказательстве теоремы 1.2.3,
приходим к следующему общему результату.
24

Следствие 1.2.2. Если Xlf ..., Χη — независимые случайные
величины, такие, что Xt имеет распределение Г (рь λ) (ί = 1,..., η), то
η п
V Х| имеет распределение Г (2 Ρ и λ).
/= ι '=ι
Некоторые другие свойства семейств гамма- и бета-распределений
указаны в задачах и в следующем разделе.
1.3. ТЕОРИЯ РАСПРЕДЕЛЕНИЙ ДЛЯ ВЫБОРОК
ИЗ НОРМАЛЬНОЙ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ
В этом разделе мы введем некоторые распределения, часто
встречающиеся в современной статистике. Для вывода их плотностей мы
воспользуемся теорией, изложенной в разд. 1.2. Однако эти
распределения заслуживают того, чтобы запомнить их не по формулам для
плотности, а на основе их определений и качественных свойств.
1.3.Α. χ2-, F- и t- распределения
В этом разделе мы будем неизменно предполагать, что X = (Хг,
..., Хп), где Xi — некая выборка из генеральной совокупности
NN (0, σ2). Некоторые результаты для нормальных генеральных
совокупностей с ненулевым средним приведены в задачах. Мы начинаем
я
с изучения распределения величины 2 Xf — квадрата расстояния
от начала координат до X.
η
Теорема 1.3.1. Случайная величина V = ^Xf/o2 имеет χη-распре-
деление, т. е. имеет плотность
— (я — 2) Ό
где ν > 0. V 2 /
Доказательство. Пусть Zt = Χ^/σ, i = 1, ..., п. Тогда Zf ~
~ NN (0,1). Так как Zf независимы, теорему достаточно доказать для
п —1, а затем воспользоваться следствием 1.2.2. Если Τ = Zf, то
функция распределения для Τ имеет вид
Ρ [Zf < t] = Ρ [—VF< Ζλ < У Г] (1.3.2)
и поэтому
Ft (t) = Φ (VT) - Φ (-yi). (1.3.3)
Дифференцируя правую и левую части, получаем для Τ плотность
ι_ ι ι
pr{t) = t 29[VF) = ^=t *e \ (L3.4)
25

где £>0, что с точностью до постоянного множителя совпадает с g\_ j_.
2 ' 2
Так как величина множителя определяется требованием, чтобы рт и
gx ι были плотностями, мы получаем с необходимостью равенство
Τ' Τ
рт = gi ± · Тем самым утверждение теоремы доказано. ■
Т' 2
Пусть V к W — независимые случайные величины с
распределениями χΐ и %т и пусть S = (V/k) (W /т). Тогда распределение для S
называется F-распределением скит степенями свободы. Такое
распределение мы будем обозначать FFk,m.
Введем также t-распределение с k степенями свободы, которое
будем обозначать TTk. По определению ТТ^-распределение для Q =
= Z/VV/k, где Ζ и V—независимые случайные величины-с
распределениями NN (0, 1) и χΐ. Докажем теперь следующее элементарное
следствие из теоремы 1.3.1.
k ι k+m
Следствие 1.3.1. Случайная величина (т]Щ 2 Xf / 2 Xf
л/—i+r~
имеет распределение FFk, т. Случайная величина Хг I у (l/k)^Xf
имеет распределение TTh.
Доказательство. Для доказательства первого утверждения
необходимо лишь заметить, что
k J k-\-m \ k I л k+m
Σχ4 2 xf=-hlxf ^ 2 *'· (L3-5)
применить теорему и воспользоваться определением распределения
FFk m. Второе утверждение доказывается аналогично. ■
^тобы определения распределения FFk,m и TTk были полезны при
вычислениях, необходимо знать плотности этих распределений.
Предположим, что S, Q, V, W — те же величины, которые фигурируют в
определениях распределений FFktTn и 77\.
Плотность случайной величины S мы получим, заметив, что если
U = VI(V + W), то
S = J^- = ^L-^-. (1.3.6)
W/m k \—U V '
Так как V~r(-i-*,-£-), W~r{-jm,±J
и случайные величины V и W независимы, то по теореме 1.2 3
случайная величина U имеет бета-распределение с параметрами k/2 и т/2.
Для вычисления плотности случайной величины S необходимо лишь
применить к U формулу замены переменных (П.8.9) с g(u) = (m/k)u
* X ~ F означает, что случайная величина X имеет распределение /\

t/j u). Проделав несложные вычисления, мы получим плоМость
распределения FFk,m (см. рис. 1.3.1):
ps(s)-
(i)
2k -j-(*-2)/ / и ν
при s > 0.
-±-(*+m)
2
(т*'Тт)
7'T
Рис. 1.3.1. Плотности распре- ι
деления FFhi m, при (k, m)= ДО
= (10, oo), (10,50), (10, 10) и
(10, 4) 0,4-
0,2\-
0
'(10. SO)
-(wtw)
-(η,*)
(1.3.7)
Рис. 1.3.2. Плотность
распределения TTki
плотность 7Т4-распреде-
ления;
• плотность
стандартного нормального распределения
Плотность для Q jvibi получим из следующих [соображений.
Поскольку — Ζ имеет такое же распределение, как Z, Q и — Q одинаково
распределены. Следовательно,
/40<Q<<7] = P[0<-Q<<7] =
(1.3.8)
= Ρ [- q < Q < 0] = -±- Ρ [0 < Q2 < q*].
Дифференцируя Ρ [0<Q<q], P[—q<Q<0] и
γΡ [0 < Q2 < <72], получаем
PQ (i) = PQ (—Я) = ЧРя· (<72)> если </ > 0.
(1.3.9)
Из следствия 1.3.1 мы заключаем, что Q2 имеет распределение FT7!, k.
Это позволяет воспользоваться соотношениями (1.3.7) и (1.3.9) и полу
27

чить, что .
о '(Ж)) ' (1310)
pQ(q) = i———-ί (1.3.10)
V5T(i-*)
при — oo < g< oo.
Кумулятивные функции распределений χ2, TTh и FFfef m
приведены в табл. II, III и IV. Точнее, таблГ II—IV дают значения обратных
функций, или квантилей, этих распределений. Пусть α ζ (0, 1). По
определению α-м квантилем или 100 а-м процентилем непрерывного
распределения F называется любое число χ (α), такое, что F (х («))=
= а. Непрерывность F гарантирует, что χ (α) существует при всех
а. Если функция F строго возрастает, то χ (α) единственно при
каждом а. Например, из табл. III мы находим, что (0,95)-й квантиль, или
95-й процентиль, распределения ТТ20 составляет t (0,95) = 1,725.
1.З.Б. Ортогональные преобразования
Обратимся теперь к ортогональным преобразованиям нормальных
выборок. Прежде всего напомним некоторые классические факты и
определения теории матриц, которые можно найти в любых стандартных
учебниках, например в [4].
Пусть А — матрица k X m с элементом а^, стоящим на
пересечении i-й строки и/-го столбца (i = 1, ..., k\ j = 1,..., m). Матрицей А',
транспонированной относительно матрицы А, называется матрица m X
X k, в которой на пересечении i-й строки и /-го столбца стоит элемент
αχ. Например, вектор-строка при транспонировании переходит в
вектор-столбец, матрица, транспонированная относительной квадратной
матрицей, также квадратная.
Матрица А размером η Χ η называется ортогональной в том и
только в том случае, если
А'-А*"1,
или выполняется любое из следующих двух матричных уравнений:
АА' = 1, (1.3.12)
А'А = I, (1.3.13)
где I — единичная матрица η Χ п. Уравнение (1.3.12) требует, чтобы
вектор-строки матрицы А имели единичную длину и были взаимно
перпендикулярны, в то время как уравнение (1.3.13) налагает те же
ограничения на столбцы. Ясно, что матричные уравнения (1.3.12) и (1.3.13)
эквивалентны. Рассматриваемые как преобразования на Rn,
ортогональные матрицы являются движениями, т. е. сохраняют расстояния
между точками. Иначе говоря, если а = (alf ..., αη), b = (Ьг, ... bn),
d(a, b) = 1/ 2 (at — biY — евклидово расстояние между а и b и
A — ортогональная матрица, то
d(a, b) = d(aA, ЬА). (1.3.14)
28

Чтобы убедиться в этом, замеФйм:
сР (а, Ь) = (а-b) (а - Ь)' = (а - b) АА' (а - Ь)' = (1.3.15)
= [(а - b) A] [(a - b) А]' = d2 (aA, ЬА)1.
Наконец, нам понадобится еще одно свойство ортогональных матриц:
если матрица А ортогональна, то
|detA| = 1. (1.3.16)
Оно следует из следующей цепочки равенств:
[det A)2 = [det A] [det ΑΊ = det [ΑΑΊ = det I = 1. (1.3.17)
Так как X = (Χι,..., Χη) — вектор, составленный из независимых
AW (0, а2)-распределенных случайных величин, то плотность для
X можно представить в виде
ι ,L '-; J 0.3.18)
= ■ exp —-L- d* (X, 0) .
Найдем плотность для Υ = g (Χ) = ΧΑ + с, где А —
ортогональная матрица η X п, а с = (с19...9 сп). Из следствия 1.2.1
заключаем, что Υ — (Υχ,..., Υη) имеет плотность
Му)=11^аГРх ((у~е) к~1)=Рх ((у_с) А') (ЬЗЛ9)
(производя последнее преобразование, мы использовали соотношения
(1.3.11) и (1.3.16)). Подставляя (у — с)А' вместо χ в (1.3.18) и
применяя (1.3.15), получаем
PY(y)=lyikF exp[-id2(y-c' 0)НХ (у-с)· (1·3·20)
Поскольку
Рх(у-с)=П{^ф(^)}, (1-3.21)
мы видим, что Yt — независимые нормальные случайные величины с
Ε (Yt) = Ci и общей дисперсией σ2. В частности, если с = 0, то Yl9
··., Υп — снова выборка из нормальной генеральной совокупности
NN (0, σ2).
Полученный результат допускает обобщение: если Ζ = X + d,
то Υ = g (Z) = (Χ + d)A + с = ΧΑ -f (dA + с) имеет плотность
/My) = Px(y-(dA + c)). (1.3.22)
Так как d = (dl9 ..., dn) — произвольный случайный вектор и по
определению Ε (Zi) = Ε (Χι + dt) = dt (i = 1, ..., η), мы доказали
следующую теорему.
29

Теорема 1.3.2. Если Ζ — (Zl9..., Ζη) имеет независимые нормально
распределенные компоненты с одинаковой дисперсией σ2 и g —
аффинное преобразование, заданное ортогональной матрицей А и вектором
с= (с19 ..., сп), то Υ = g (Z) = (Yl9...9 Yn) имеет независимые
нормально распределенные компоненты с дисперсией σ2. Кроме того, если
А = (atj), то
£0Ί) = *,+ 2 αΗΕ{Ζ$) (1.3.23)
/=ι
при i = 1,..., я.
Этот фундаментальный результат неоднократно понадобится нам в
дальнейшем. В качестве приложения его мы выведем еще одно
классическое свойство выборок из нормальной генеральной совокупности.
Теорема 1.3.3. Пусть (Ζΐ9 ..., Ζη) — выборка из генеральной
совокупности с нормальным распределением NN (μ, σ2). Введем
величину
Ζ= — Σ Zt. (1.3.24)
п ι-ι
η
Тогда· Ζ и 2 (Zfe — ^)2 — независимые случайные величины, при-
чем Ζ имеет нормальное распределение Λ/W (μ, σ2/η), a (χ/σ2) χ
η
Χ Σ (Ζ* — Ζ)2 — распределение %Л—1·
Доказательство. Построим ортогональную матрицу А = (аи)
с первым столбцом
\Уп/
Построение такой матрицы эквивалентно построению одного из
многих ортогональных базисов в Rn с первым элементом а1э
осуществляемому, в частности, с помощью метода Грама — Шмидта [4, р. 180].
Пример такой матрицы А приведен в задаче 1.3.15. Пусть ZA = (Yl9
..., Уп). По теореме 1.3.2 компоненты Yt независимы и нормально
распределены с дисперсией σ2 и средними
Ε (У,Н Σ ап Е (Ζ*)=Ι* Σ а* (L3·25)
/=ι /-ι
Поскольку ajt = 1/Ул, 1 ^ / ^ η и матрица А ортогональна,
2 aJh = V^ Σ "n<*Jh=0. k = 29...,n. (1.3.26)
/-ι /«ι
Следовательно,
Ε (Υ±) = μΐ/^ Ε (Yk) = 0, k = 2, ..., η. (J .3,27)
30

η
По теореме 1.3.1 (1/σ2) 2 71 имеет распределение χΙ_ι. Так как по
определению матрицы А
I=w· °·3·28)
доказательство теоремы сводится к доказательству тождества
Но
ν (Zft-Z)2= 2 Zl-TZ %Zh + nP = 2 Zl-nZ\ (1.3.30)
Таким образом, из (1.3.28) получаем
2 (Zft-Z)2= 2 П-У\. (1.3.31)
Наконец,
2 ΚΙ - d2 (Υ, 0) - d* (ΖΑ, 0 Α) = d2 (Ζ, 0) = 2 Z*> (L3·32)
откуда и следует тождество (1.3.29). ■
1.4. ДВУМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
Нормальное распределение — наиболее часто встречающийся
объект в статистике. Оно возникает в теории как аппроксимация к
распределениям сумм независимых случайных величин, порядковым
статистикам, оценкам максимального правдоподобия и т. д. На практике
оказывается, что величины, возникающие в различных ситуациях,
например ошибки измерения, рост, вес, выход химических реакций или
биологических процессов и т. д., распределены почти нормально.
Аналогичным образом возникает в теории при рассмотрении
предельного поведения сумм независимых пар случайных величин, а на
практике — как аппроксимация к совместному распределению двух
величин семейства двумерных нормальных распределений. Примеры
читатель найдет в разд. 6.5.
Напомним, что если Ζ имеет стандартное нормальное распределение,
то распределение AW (μ, σ2) мы получим как распределение случайной
величины g (Ζ) = α Ζ + μ. Таким образом, Ζ порождает сдвигово-
масштабное семейство распределений NN (μ, σ2). Двумерным аналогом
стандартного нормального распределения является распределение
случайных пар с двумя независимыми нормальными компонентами, а
обобщением отображений g (ζ) = σ ζ + μ служит группа аффинных
преобразований. Так мы приходим к следующему определению, в
котором независимые случайные величины Ζχ и Ζ2 с распределением
NN (0,1) порождают семейство двумерных распределений.
31

Плоский вектор (Χ, Υ) имеет двумерное нормальное распределение
в том и только в том случае, если существуют постоянные
а^(\ ^ i, / <2), μΐ9 μ2 и независимые случайные величины Ζν Ζ2 со
стандартным нормальным распределением, такие, что
Χ = μ1 + α11Ζ1 + α^Ζ%9 (1.4.1)
Υ = μ2 "Г #12^1 "Т" #22-^2·
В матричных обозначениях, если А = (αί<7·)> l1 = (Hi» 1*2)» X ^
= (Χ, Υ), Ζ = (Zl9 Ζ2), определение (1.4.1) эквивалентно следующему:
Χ =ΑΖ + μ. (1.4.2)
Из определения (1.4.1) следуют два важных свойства двумерного
нормального распределения.
Утверждение 1.4.1. Частные распределения компонент двумерного
нормального вектора нормальны ^одномерны) или вырождены
(сосредоточены в одной точке).
Это утверждение следует из (П. 13.23). Обратное утверждение
неверно (см. задачу 1.4.11).
Заметим, что
Ε (Χ) = μχ + an Ε (Ζχ) + α21 Ε (Ζ2) = μι, (1.4.3)
Ε (Υ) = μ2
и положим по определению
σχ - VV^FT, σ2 = VVarT: (1.4.4.)
Тогда X имеет распределение AW (μΐ9 σ?), a Υ — распределение
ΝΝ(μ%9αΙ)
Утверждение 1.4.2. Если аффинным преобразованием g (x) = хС +
4- d подействовать на вектор X, имеющий двумерное нормальное
распределение, то g (X) также будет иметь двумерное нормальное
распределение.
Это утверждение очевидно, так как
ХС + d = (ZA + μ)0 + d = Ζ (AC) + (μΟ + d). (1.4.5).
Покажем, что двумерное нормальное распределение можно
описывать первыми и вторыми моментами, и выведем его плотность. Пусть,
как и в разд. П. 11,
р=Сог(Х, Y)= Cov(*»K) , (1.4.6)
если аха2 Ф 0. Определим ковариационную матрицу вектора (X, У)
(или распределения вектора (Χ, Υ)), как матрицу центральных
вторых моментов
Σ = ( σ? Ρ<\σ*ν (1.4.7)
раха2 σΐ
Эту симметричную матрицу по многим соображениям можно считать
правильным обобщением дисперсии на двумерный случай. В этом нас
32

убеждает теорема 1.4.1 (и 1.4.21). Общее определение ковариационной
матрицы и ее свойства (в ^-мерном случае) приведены в (1.4.26), (1.4.18)
и (1.4.29).
Теорема 1.4.1. Предположим, что ога2 #0и |р| < 1. Тогда
^(χ)-ΐΠ^ωρ(-τ((χ-μ)Σ",<χ-',)')]- <'·4·8'
2πσ1Τ/Π^2 FL 2(l-p*)U σχ / (1.4.9)
_2p (*~^ (у—\ь) ^ I у—μ2 у|1
σχ σ2 \ σ2 J jj
Доказательство. Так как вектор (X, F) есть образ вектора (Ζ1?
Ζ2) при аффинном преобразовании, мы можем воспользоваться
следствием 1.2.1 и получить совместную плотность для (Χ, Υ), если матрица
А невырожденная. Прежде всего покажем, что Α Ά = Σ. Заметим, что
А'А = (а*х ~^~а*1 α±ι αΐ2 + α2ΐ α22
\αη α12 + α21 α22 α\2 + α\2
В то же время
af = Var(fluZ1) + Var(02i2:a)=flf1 Var Zx + ah VavZ2 = a2u +
+ ah,ol=a*l2 + ah (1.4.10)
и
ρσ1σ2 = Cov (an Zx + a21 Z2, a12 Zx + a22 Z2) = aufa12 Cov (Zv Zx) +
(1.4.11)
+ (агАг + Ян Я22) Cov (Ζχ, Ζ2) + 021^22 Cov (Zx, Z2) = ana12 +
"τ" α2ια22·
Следовательно, A'A = Σ, и, используя элементарные свойства
определителей, мы получаем
|det A|=V[det A]2 =VdetA'detA=
= VdetA'A = УЗёГЁ=а1ааУТ^рг. (1.4.12)
Так как |р| < 1 и σ^ Φ 0, матрица А не вырождена и мы можем
воспользоваться следствием 1.2.1, чтобы получить плотность для X.
Плотность для Ζ запишем в виде
pz(z) = -i-exp(—i-zz'). (1.4.13)
Также, как и в (1.3.19),
"* (x)-iiTixr {«* (-т к1-"» A"'i '<*-*>А"1')}-
■=17iixг{e,^P(-Tl<!I-,,)A-, ΙΑ-Πχ-μ)'])}· (1.4.14)
Учитывая, что
А-1 [А-1]' - [ΑΆ]-1 = Σ-1, (1.4.15)
33

мы приходим к (1.4.8). Наконец, (1.4.9) мы получаем, так как по
формулам для обратной матрицы
σϊΟ-Ρ1) ^σ,Ο-ρ») 1 (1.4.16)
σισ2(1-ρ2) σ«(1-ρ·) / ■
Из (1.4.7) видно, что матрица Σ невырождена в том и только в том
случае, если охог ^=0 и |р|< 1. Двумерные нормальные
распределения с 0x02=^0 и |р| < 1 называются невырожденными, а при
нарушении хотя бы одного из двух условий σχσ2 Ф0 и |р| < 1 — вы-
рожденными. Если о\ = af\ + а\\ = 0, то Χ ξ== μΐ9 а случайная
величина У имеет распределение NN (μ2, σΐ), в то время как из о\ = 0
следует, что У = μ2, а случайная величина X имеет распределение
NN (μχ, σ|). Наконец, из (П.11.16) явствует, что при ого2 Φ 0 и |р| =
= 1
(У"^=:р (Χ~μι) . (1.4.17)
σ2 σχ
Поскольку, как мы уже отмечали, ХиУ имеют частные
распределения NN (μχ, σ?) и NN (μΐ9 σ|), соотношение (1.4.17) полностью
определяет совместное распределение для (Χ, Υ). Вырожденные
распределения не имеют плотностей, но соответствуют случайным векторам с
нормальными или вырожденными частными распределениями, такими,
что (Χ, Υ) попадает на некоторую заданную прямую или в точку с
вероятностью 1.
Заметим, что ρχ (χ) становится совместной плотностью двух
независимых нормальных случайных величин при ρ = 0. Следовательно,
в случае двумерного нормального распределения независимость
эквивалентна нулевой корреляции. В общем случае это неверно.
Соответствующий пример приведен в задаче 1.4.13.
Пусть заданы неотрицательные постоянные σΐ9 σ2, число ρ, такое,
что' |р| < 1, и числа μΐ9 μ2. Тогда можно построить случайный
вектор (X, У), имеющий двумерное нормальное распределение, с
вектором средних (μχ, μ2) и ковариационной матрицей Σ, задаваемой
формулой (1.4.7). Например, выберем
X = μι + σΑ, У = μ2 + σ2 (pZi + УГ=р1Гг2) (1.4.18)
и применим (1.4.10) и (1.4.11). Двумерное нормальное распределение
с такой структурой моментов обозначим NN (μΐ9 μ2, σϊ, σ|, ρ) или
Ν Ν (μ, Σ). Η
Предположим теперь, что вектор U = (Ul9 U2) получен с помощью
аффинного преобразования
Uг = спХ + c21Y + vx, (1.4.19)
U2 = с12Х -f c22Y + v2
из вектора (X, У), имеющего распределение NN (μΐ9 μ2, σ?, σϊ, ρ).
Из утверждения 1.4.2 следует, что U имеет двумерное нормальное
распределение. Сказанное выше позволяет заключить, что это распреде-
34
Σ

ление полностью определяется средними, дисперсиями и ковариация-
ми компонент Ux и ί/2, которые в свою очередь могут быть выражены
через μ*, of, p, Сц и ν,·. Соотношения между параметрами
распределений имеют следующий вид:
Ε(υι)^νί + €1ίμ1 + €21μ2,
Ε(υ2)^ν2-\-€12μι-\-€22μ29
Varf/1 = cf1 ot + c?2{ol + 2c21cn раха2, (1.4.20)
Var Uг = c\2 o\ + C22 σΐ + 2c12 c22 ρ σχ σ2,
Cov (Uv U2) = cn c12 o\ + c21 C22 о 2 + (cn C22 + c21 c12) ρ σ! σ2.
В матричных обозначениях они записываются не столь громоздко:
(Ε (ί/χ), Ε (U2)) = (vlt v2) + (μι, μ2) C^v + μΟ (1.4.21)
Σ (U) = CSC,
где Σ (U) — ковариационная матрица вектора U.
Если распределение для вектора (Χ, Υ) невырождено и
_L -ρ
Gl °i Vl-P2 |, (1.4.22)
0 -
σ2 Vl-Pa
(vi, v2) = — (μ, μ2) С,
το U1w U2 — независимые случайные величины с одинаковыми
стандартными нормальными распределениями. Следовательно, выбрав за
исходное любое невырожденное двумерное нормальное распределение,
мы можем с помощью аффинного преобразования получить любое
другое двумерное нормальное распределение.
Двумерное нормальное распределение обладает еще одним весьма
важным свойством: нормальность сохраняется и при условности.
Точная формулировка этого свойства содержится в следующей теореме.
Теорема 1.4.2. Если (Χ, Y) имеет невырожденное распределение
Μν(μι> μ2, <*ь σ|, ρ), το
^(μι + ρ-^(ί/-μ2),σ?(1-ρ2)]
— условное распределение для X при Υ = у.
Доказательство. Поскольку У имеет распределение NN (μ2, σ2),
а распределение вектора (Χ, Υ) невырождено, необходимо лишь
вычислить
Ρ (х\у) = —-^-^ = ехр \
РУ(У) огУ*Цу=Р) ^ 20-Р2)
L σ£ σχ σ2 σ| J J
' exp( ! Γ C^-μ.) _p (У-hin
σι-ΐ/2π(1-ρ2) Ι 2 (1—ρ») L ^1 σ2 J J
ото и есть условная плотность для X при У = у. Ш
35
X

Поменяв ролями ХиУ, мы убедимся, что условное распределение
для Υ при X = х есть NN (μ2 + (σ2/σχ) ρ (χ — μχ), ο\ (1 — ρ2)).
Во введении к этому разделу говорилось о том, что семейство
двумерных нормальных распределений естественно возникает в
предельных теоремах для сумм независимых случайных векторов. Основной
результат в этом направлении — центральная предельная теорема для
двумерного случая.
Теорема 1.4.3. Пусть (Sl9 7\),..., (Sn, Tn) — независимые
одинаково распределенные векторы с конечными вторыми моментами. Пусть
Ε (δχ) = μΐ9 Ε (Τ,) = μ2, Var S± = σ?, Var Тг - σ», Cov (Slf Τ,) =
μι) < x, —τ=ι Σ (Γ,-μ*) <y]-*P[X<x, Y<y]
УпГ
ί=\
(1.4.24)
при η ->· οο и любых χ, у, где (X, Υ) имеет распределение NN (О, О,
σϊ, ah p).
Не вдаваясь в подробности, наметим лишь в общих чертах
обобщения на ft-мерный случай. В дальнейшем ft-мерное нормальное
распределение нам не понадобится.
Если U = (ί/χ,..., Uk) — любой случайный ft-мерный вектор, все
компоненты которого имеют конечные вторые моменты, то
математическое ожидание для U определим как
£ (U) = (£ (ί/χ), ...,£((/*)), (1.4.25)
а ковариационную матрицу Σ (U) — как
Σ (U) = (Cov (Uh Uj)) (1.4.26)
(1 < ί < ft, 1 < / < ft).
Если W = UA + v, где А — некоторая (неслучайная) матрица, а
ν — некоторый (неслучайный) вектор, то
£(W) = £(U)A + v, (1.4.27)
S(W) =A'S(U)A. (1.4.28)
Предположим, что Ζ = (Ζχ, ..., Zk) — вектор из ft независимых
случайных величин со стандартным нормальным распределением и А —
матрица ft X ft. По определению ft -мерное нормальное распределение
есть распределение для вектора X = ZA + μ, где μ — ft-мерный
вектор. Пользуясь (1.4.27), (1.4.28) и определением ft-мерной
нормальности, можно показать следующее:
1) если X имеет ft-мерное нормальное распределение, то это
распределение полностью определяется заданием Ε (X) = μ, Σ (Χ) =
= Σ;
2) если матрица Σ не вырождена, то X имеет плотность
рх (х) = j-J — ехр [--i- {(χ-μ) Σ-ι (χ-μ)'}] ; (1.4.29)
(2π) 2 [det Σ] 2
36

3) если матрица Σ вырождена, то X — μ с вероятностью 1
принимает значения в линейном подпространстве β-мерного пространства
ρft. Распределение для X по-прежнему определяется заданием μ, Σ.
Методами матричной алгебры [1, разд. 1.2] можно показать, что
матрица Σ является ковариационной матрицей некоторого
распределения в том и только в том случае, если она неотрицательно определена.
Это позволяет нам утверждать, что для любого заданного β-вектора
μ и любой неотрицательно определенной (k X &)-матрицы Σ
существует одно и только одно ^-мерное нормальное распределение
(обозначаемое NN (μ, Σ)) с вектором математических ожиданий μ и
ковариационной матрицей Σ.
Все остальные наиболее существенные CBoficfBa двумерного
нормального распределения легко обобщаются на случай любого числа
измерений. Аффинные преобразования переводят β-мерные
нормальные векторы в ^-мерные нормальные векторы. Частные и условные
распределения компонент нормальны, выполняется ^-мерное обобщение
теоремы 1.4.3. Интересующие его подробности читатель сможет найти
в работе Рао [11] или в курсах статистики Андерсона [1] и Демпстера
[61.
1.5. АППРОКСИМАЦИИ РАСПРЕДЕЛЕНИЙ И МОМЕНТОВ
1.5.А. Некоторые примеры
Если распределение для вектора X = (Х19 ..., Хп) задано в
удобном аналитическом виде, то в принципе методы предыдущих разделов
позволяют получить распределение для любой функции g от X.
Иногда, например для специфических функций нормальных выборок,
рассмотренных нами выше, при таком подходе удается получить
замкнутые выражения для плотности или функции частоты. Их можно
использовать для построения таблиц распределений, вычисления
моментов, получения распределений связанных с ними величин и т. д.
В других случаях трудности на пути к вычислению всех этих величин
для большинства функций g (X) столь велики, что приходится
обращаться к различного рода аппроксимациям. В этом разделе мы
приведем несколько таких аппроксимаций, применимых при больших я.
Основой для большинства приводимых ниже аппроксимаций
распределений служит следующий вариант центральной предельной
теоремы: если Xlf ..., Хп — выборка из генеральной совокупности со
средним μ и положительной конечной дисперсией σ2 и если X =
η
= (1/п) 2 Хи то при η ->■ оо
ΐΛΓ(Γ-μ) ^
о
где Ζ ~ NN (0, 1). Таким образом, мы получаем аппроксимацию
Ρ[Χ<χ]»φ(^-μ)ν. (1.5.2)
37

Центральная предельная теорема дает аппроксимации
распределений средних одинаково распределенных случайных величин.
Комбинируя ее со следствием П. 14.17, мы получаем аппроксимации
распределений функций h (X) от таких средних.
Действительно, если h имеет в μ ненулевую производную ti (μ),
то из (П. 14.18) при 1п = X, Ъ = μ и ап = У η получаем
УЯ"(А(Х)—Α(μ))<χ]«Φ^], (1.5.3)
где
τ2- σ2[Α'(μ)12. (1.5.4)
Если требуется_аппроксимировать Ρ \h (X) s^ t], то мы записываем
равенство Ρ [А (X) < t] = Ρ [У η (h (X) — h (μ)) < Vn{t — h (μ))]
и из полученной выше аппроксимации заключаем, что имеет место
следующая теорема.
Теорема 1.5.1. Если h имеет в μ ненулевую производную ti (μ), то
PlA(X)<fl*O^J^]b*MV (1.5.5)
Назовем функцию h (X) приближенно нормальной с (асимптотическим)
средним Α (μ) и дисперсией х2/п. _ __
Пример 1.5.1. Функция h (X) = X (1 —X) обычно встречается
при анализе биномиальных выборочных опытов, в которых Xt —
индикатор испытания. В общем случае, так как ti (μ) — (1 — 2μ), вели*
чина X (1 — X) приближенно нормальна со средним μ (1 — μ) и
дисперсией τ2/η = σ2 (1 — 2μ)2/η, если μφ1/2 и σ2 < оо.
Это означает, что
ρ[χ(ι-χ)</]^φ(η2(^μ(1""μ))
В биномиальном случае σ2 = μ (1 — μ). Случай μ = V2
рассмотрен в задачах. ■
С другим типом распределения мы встречаемся в следующем
примере.
Пример 1.5.2. «£-аппроксимация распределения FF. Пусть Хг,
..., Хп — выборка из распределения NN (0, 1). Тогда из следствия
1.3.1 мы заключаем, что
JLSx,
Т.
71 j k+m
— Σ χι
m 1-4+1
имеет распределение FFhtm, где k + m = п. Предположим, что η 7&ι
^ 60, и мы не можем воспользоваться для распределения случайной
38

величины Тп табл. IV (см. т. 2, с. 242). Если k фиксировано, a m (или,
что то же, η = k + m) — достаточно большое число, то
аппроксимацию распределения для Тп можно найти с помощью теоремы Слуцко-
k-\-m
го (П 14.9). Действительно, прежде всего заметим, что (Mm) 2 Xf —
среднее от m независимых случайных величин с распределением
υ? По теореме 1.3.1 среднее случайной величины с распределением χϊ
равно Ε (Ζ2), где Ζ ~ NN (0, 1). Но Ε (Ζ2) = Var(Z) = 1. Кроме
того, из слабого закона больших чисел (П. 15.7) следует, что при
ι *£т ρ
— Σ χϊ-^ι*
m /-*+!
Часть (б) теоремы Слуцкого позволяет утверждать, что при
фиксированном k и η ->■ оо
А 1-1
По теореме 1.3.1 величина 2 ^? имеет распределение χ|. Следователь-
но, если число степеней свободы в знаменателе велико, то
аппроксимацией распределения FFk, m может служить распределение случайной
величины V/k, где V ~ χ|.
Чтобы оценить точность такой аппроксимации, рассмотрим
последнюю строку в табл. IV. В этой строке, слева от которой стоит m = оо,
приведены квантили распределения для V/k. Например, если k = 5
и m = 60, то Ρ [Τη < 2,37] = Ρ [(V/k) < 2,21] = 0,05 и квантили
равны соответственно 2,37 для распределения FF5t60 и 2,21 для
распределения случайной величины V/k. На рис. 1.3.1 плотность для V/k
изображена при k = 10 как плотность распределения FF10t «>.■
1.5.Б. Аппроксимации моментов
Как и в случае распределений, такие аппроксимации могут быть
получены из разложения в ряд функции h (χ) относительно χ = μ.
Например, известное разложение
h (x) = h (μ) + Λ' (μ) (χ-μ) + ± h" (μ) (χ-μ)* + ΙΪ(χ, μ) (1.5.6)
при подходящих условиях (см. задачу 1.5.14) дает
£(Λ(Χ))=Λ(μ) + Λ'(μ)£(Χ-μ) +
+ -Lh"fa)Var{x)+Rn =
= h<fi) + -Lh"Md* + Rn9 (1.5.7)
2η
39

где Rn = Ε (R (X, μ) стремится к нулю как 1/п2. Сравнивая (1.5.6)
и (1.5.7), получаем выражение для [h (X)—E(h(X))]. Раскрывая
квадрат этого выражения и переходя к среднему, получаем
Var (h (Χ)) = -L [h' (μ)]2 σ« + -L \h' (μ) h" (μ) μ3 +
V ; n n l (1.5.8)
где Rn стремится к нулю как l/n3. Величина μ& означает k-и
центральный момент случайной величины Xt. Кроме того, мы воспользовались
тем, что
^(Χ-μ)»^, Ε{Χ-μΥ = ^+ 3(η~1)σ4 . (1.5.9)
В качестве примера сравним Ε (h (X)) и Var (h (X)) с их
аппроксимациями для h (t) = t (1 —ί) и Xi ~ BB (1, p). В этом случае
Ε (h Щ = Ε (χ) -£ (Χ>) =p-[Var (χ) + (β (χ))'] =
= ρ (1-ρ)—i- ρ (1-ρ) = ±ζ!_ρ (1_ρ),
Var (Λ (Χ)) = £ϋ^> {(1-2ρ)*+ ^^ }(^-)2.
Так как h' (t) = 1—2 ί, h" (t) = — 2, то из (1.5.7) получаем
£(А(Х))=р(1_р)_-Lp(l-p),
т. е. в этом случае (1.5.7) дает точное значение Ε (h (X)). Так как μ3 =
= ρ (1 — ρ) (1 — 2ρ), из (1.5.8) получаем
Var(A(x)) = -i-(l-2p)V(l-p)+^{-2(l-2p)p(l-^)X
Χ (1—2p) +
+ 2pa(l-p)2}+#; =
= £ilp£)_|(1__2/,)2 +JL [2p (1 _p)_2 (1 -2p)2]} + R'n.
Следовательно, ошибка аппроксимации составляет
«;=-£i|^-[(l-2p),-2p(l-p)l =
-^1ЬЙ.[1_6р(1-р)].
40

1.5.В. Преобразования, стабилизирующие дисперсию
В предыдущих^разделах нам встретилось несколько важных
семейств распределений (например, биномиальные распределения,
распределения Пуассона, бета- и гамма-распределения и т. д.),
индексируемых одним или несколькими параметрами. Если произвести
выборку из какого-нибудь члена одного из этих семейств, то среднее до
выборке Сбудет иметь асимптотически нормальное распределение с
дисперсией σ2/η, зависящей от параметров, индексирующих
рассматриваемое семейство. Ранее было показано, что гладкие преобразования h (X)
имеют приближенно нормальные распределения. Иногда (см. разд.
6.5) бывает полезно знать так называемые преобразования,
стабилизирующие дисперсию, т. е. такие преобразования h (X), для которых
Var (h (Χ)) приближенно не зависит от параметров, индексирующих
рассматриваемое семейство. Из (L5.5) и (1.5.8) видно, что первым
приближением к дисперсии для h (X) служит σ2 Iti (μ)ΡΛζ.
Следовательно, найти преобразование, стабилизирующее дисперсию, означает
найти функцию h, такую, что
oHti (μ)!1 =s с (1.5.10)
при всех μ и σ, допустимых для распределений рассматриваемого
семейства. Эту функцию обычно удается найти, если σ зависит только от
μ, а μ изменяется свободно. В этом случае (1.5.10) есть не что иное,
как обыкновенное дифференциальное уравнение. Пусть, например,
Χι, --^Хп — выборка из семейства Ρ Ρ (λ). В этом случае σ2 = λ и
Var (Χ) = λ In. Чтобы дисперсия Var (X) приближенно не зависела
от λ, функция h должна удовлетворять дифференциальному уравнению
W (λ)]2 λ = с > 0 при некотором произвольном с и всех λ > 0.
Если потребовать, чтобы функция h была возрастающей, то исходное
уравнение сводится к дифференциальному уравнению h' (λ) = Vc/
I У λ (λ > 0). Его решением служит h (λ) = 2"Vc λ + d, где d —
произвольная постоянная. Следовательно, h (ί) = Λ/ΐ — преобразо*
вание X, стабилизирующее дисперсию, для семейства распределен
ний Пуассона. Подставляя в (1.5.8), находим, что Var Vx ж 1/4 η
и Уп (V Χ — У λ) имеют приближенно нормальное распределение
NN (0, V*).
Несколько других примеров преобразований, стабилизирующих
дисперсию, приведены в задачах.
1.5.Г. Аппроксимация Эджворта и другие аппроксимации
__ Нормальная аппроксимация распределения среднего по выборке,
X использует лишь первые два момента случайной величины X. При
более общих условиях ([3] и [7, р. 538]) нормальное приближение мож*
н° улучшить, если воспользоваться третьим и четвертым моментом.
Пусть jpn — распределение случайной величины ТП9 у1п и уйп — со:
ответственно коэффициенты асимметрии и эксцесса для Тп. Тогда при
41

некоторых условиях
Fn (χ) = Φ (χ)-φ (χ) [-i-γ1η Η2(χ) + -±-γ2„ Я, (χ) +
+ -^ϊϊ· #»(*)] +С (1-5.11)
где гп стремится к нулю быстрее, чем 1/п, а Н2, Я3 и Нъ —
многочлены Эрмита:
#2 (х) = *2 — 1, Н3 (х) = х8 — Зх, Я5 (*) = х5 — 10х3 + 5лг. (1.5.12)
Разложение (1.5.12) называется разложением Эджворта для Fn.
Пример 1.5.3. Аппроксимация Эджворта распределения χ2. Пусть
η
V ~ χ£. По теореме 1.3.1 V имеет такое же распределение, как 2 X?*
где Xi независимы и Xt ~ NN (0, 1), i = 1, ..., д. Из центральной
η
предельной теоремы следует, что Тп = ( 2 χι— η)ΙΎ2η = (V —ή)Λ/2η
имеет асимптотически нормальное распределение NN (0, 1). Чтобы
улучшить эту аппроксимацию, необходимо лишь вычислить γ1η
и γ2η. Из задачи 1.2.4. получаем
_ Д(У-п)з __ 2 у— _ Е(У-п)* о JL
(2/г)2
Следовательно,
L з у л 2л
+ — (хь— 10х3 + 15х)
9п ν '
+ г„.
В табл. 1.5.1 приведены значения этой аппроксимации, точного
распределения и нормальной аппроксимации при /г = 10. ■
В заключение этого раздела мы хотим упомянуть еще два метода
получения аппроксимаций распределений и моментов. Один из них —
численное интегрирование. Этим методом, по крайней мере в принципе,
всегда можно воспользоваться в непрерывном случае, так как
интегралы входят в выражения для функций распределения и моментов.
Однако для большинства функций h (X) численное интегрирование
требуется производить в η измерениях, а при η ^ 3 точность
вычислений сильно ухудшается.
Другой метод известен под названием метода Монте-Карло.
Продемонстрируем этот метод на весьма простом примере. Пусть Х19...,
Хп — независимые случайные^величины' с Xt ~ ВВ (1, V4).
Требуется аппроксимировать Ρ (X (1 — X) ^ t) при различных
значениях t. Мы можем запрограммировать ЭВМ так, чтобы она порождала
* Если при некотором χ правая часть в (1.5.11) отрицательна, то значение
Ρ η (х) считается равным нулю.
42

ν/
CL
Ε
«J
ВС
*
н
О
Pi ~
s
R S
Я V
=f S
rf 4
s tt
о
ЬЙ R
О «J
α s
Ε »S
С £
s ч
R
s
Ε *
S CQ
О о
5 «
2 s
Ο. Η
С ©,
С «ί
«J «<
s
R C$
в о
1 ι
о
■г о>
νο
00
со
ο
ι
-0,61
ΙΛ
00
ο
Ι ι
— 1,15
-1,35
— 1,51
(Ο
со
— 1 ,75
— 1,91
— 1,95
ο
Ι
*
0,4000
ο
со
ο
0,2000
0,1000
0,0500
0,0250
0,0100
0,0050
0,0010
0,0005
1000*0
Точное распределение
0,4000
0,3006
0,2024
0,1051
0,0553
0,0287
0,0105
0,0032
о
о
о
Аппроксимация Эджворта
0,3515
0,2706
0,1964
0,1254
0,0877
0,0655
0,0481
0,0397
0,0284
0,0254
0,0208
Нормальная аппроксимация
5.72
4.79
4,38
3,40
2,95
2,34
1 ,86
1,34
0,77
0,40
о
-0,15
т
<Н*
г1
:ί
н ι
лил
0,9999
0,9995
0,9990
0,9950
0,9900
0,9750
0,9500
0,9000
0,8000
0,7000
0,6000
0,5000
Точное распределение
1,0000
0,9999
0,9996
0,9943
0,9876
0,9724
9096*0
0,9029
0,8008
0,6999
0,5999
0,4999
Аппроксимация Эджворта
1,0000
1,0000
1,0000
0,9997
0,9984
0,9905
0,9684
0,9097
0,7792
0,6548
ю
о*
0,4415
Нормальная
аппроксимация
as
к
2
А
43

Μ «независимых выборок» объемом в η наблюдений, каждое из которых
в любой выборке имеет распределение ВВ (1, V4). Пусть X/i,..., Xjn —
/-я выборка. Вычислим
Г'-Й.*)('"Ы*)
при каждом / = 1, ..., Λί. Если Nj — число величин Tj, меньших или
равных t, то по закону больших чисел дробь (Nt/M) при больших Μ
должна мало отличаться от Ρ (X (1 — X) ^ t).
Выбор Μ и точность таких случайных аппроксимаций могут быть
изучены методами гл. 5. Одна из трудностей, с которой сталкивается
такой наивный подход, состоит в том, что для получения
сколько-нибудь разумной точности число Μ пришлось бы выбирать столь
большим, что это превзошло бы возможности используемой ЭВМ. Однако
существуют различные приемы, позволяющие в отдельных частных
случаях повысить точность (см. [9]). Другая серьезная проблема, с
которой также приходится сталкиваться, — это отсутствие подлинной
случайности чисел, порожденных ЭВМ. Наконец, метод Монте-Карло
не позволяет получать ни аналитических выражений, к которым
применимы традиционные математические методы, ни качественной
картины изучаемого явления. Однако метод Монте-Карло неоценим,
поскольку позволяет понять, когда начинают работать аппроксимации
больших выборок того типа, который мы рассмотрели в этом разделе.
1.6. ПРЕДСКАЗАНИЕ
Приведем лишь несколько примеров тех ситуаций, которые
привели к идеям и методам, излагаемым в этом разделе. В распоряжении
члена приемной комиссии имеются данные за несколько лет о среднем
балле, набранном студентами на вступительных экзаменах и по
окончании первого курса. Пользуясь этой информацией, сотрудник
хочет предсказать успеваемость первокурсников очередного набора по
оценкам, полученным ими на вступительных экзаменах. Держателю
акций необходимо предсказать их котировку на какое-то время вперед
на основе опыта, накопленного за предыдущие годы, и нынешнего
состояния биржи и пакета акций, которыми он располагает. Метеорологу
требуется оценить количество осадков будущей весной.
Правительственный эксперт желает предсказать, сколько горючего потребуется
для отопления жилых домов будущей зимой. Аналогичные проблемы
возникают в любой области человеческой деятельности. Мы
постараемся уложить их в рамки следующей схемы.
Предположим, что известно совместное распределение вероятности
для случайного вектора (или случайной величины) X и случайной
величины У. Требуется найти функцию g; определенную на области
значений, принимаемых X, такую, что величина g (X) (предсказание)
в каком-то смысле «близка» к У. На языке введения X — та
информация, которой мы располагаем, а У — величина, которую необходимо
предсказать. Так, в примере с приемной комиссией X был бы
44

сводкой данных за несколько лет о среднем балле, набранном
первокурсниками на вступительных экзаменах, а У — средним баллом,
полученным ими на экзаменах по окончании первого курса. Совместное
распределение для X и У можно вычислить (или, точнее, достаточно
хорошо оценить) по данным за прошлые годы, которыми располагает
сотрудник приемной комиссии. Смысл выражения «g(X) должна быть
«близка» к У» нуждается в уточнении. Если g (X) используется для
предсказания величины У, то одной из разумных мер расстояния
служит (g (X) — У)2, или квадратшеская ошибка. Так как величина
Υ не известна, то мы обращаемся к среднеквадратической ошибке
(с. к. о.) Ε (g(X) — Y)2 или квадратному корню из нее Ve (g (X) —У)2.
С. к. о. — мера, традиционно используемая в математической
теории предсказаний. Именно такую меру предполагают более
глубокие результаты этой теории (см. [8]). Метод, который мы применяем
для доказательства наших элементарных теорем, допускает обобщение
на другие меры расстояния, например на среднюю абсолютную
ошибку Ε (\g (Χ) — УI) (задачи 1.6.7 — 1.6.11). Насколько широко
применимы понятия, излагаемые в этом разделе, станет ясно в гл. 10, в
которой проблема предсказания отождествляется с проблемой
оптимального решения для байесовских статистик.
Поиск наилучшего (минимизирующего с. к. о.) предсказания мы
начнем с рассмотрения тривиального случая, когда X — константа.
В этом случае все предсказания — также константы, и наилучшим
является число с0, минимизирующее величину Ε (У — с)2 как функцию
от с.
Лемма 1.6.1. Если Q(c) = Ε (У —с) 2, то либо Q (с) = оо при
всех с, либо Q достигает единственного минимума при с = Ε (У).
Доказательство. При любых У и с справедливо неравенство
\ У2 — с2 < (У — с)2 = У2 — 2cY + с2 < 2 (У2 + с2). (1.6.1)
Следовательно,
4- Q (0) - с2 < Q (с) < 2 (Q (0) + с2). (1.6.2)
Значит, за исключением случая, когда Q (0) < оо , Q (с) = оо
при всех с. Если же Q (0) < оо, то математическое ожидание Ε (У)
конечно и мы можем записать, что
Q (с) = Ε (Υ2) — 2cE(Y) + с2. (1.6.3).
Следовательно, Q (с) — парабола, и ее уравнение можно привести к
стандартному виду
Ε (У — с)2 = Ε (Υ)2 — [Ε (Υ)]2 + (с — Ε (Υ))2 = VavY + (c — E (Y))2.
(1.6.4)
Мы видим, что Q (с) достигает единственного минимума при с = Ε (У).
Тем самым лемма доказана. ■
Теперь мы можем решить задачу о нахождении наилучшего (с
минимальной с. к. о.) предсказания величины У, когда X
—произвольно заданный вектор, т. е, найти функцию g, минимизирующую величи-
45

ну £ (У — g (X)). По теореме о подстановке для условных
математических ожиданий (1.1.16)
Ε [(Y-g(X)f \χ = χ] = Ε [(у _ £ (*))»! X = χ]. (1.6.5)
Так как g (χ) — константа, лемма 1.6.1 позволяет утверждать, что
Ε l(Y—g(x))2 Ι Χ = x] > Ε [(Υ — Ε (Υ | Χ = χ))2 | Χ - χ]. (1.6.6)
Из соотношения (1.6.5) и определения условного математического
ожидания получаем
Ε l(Y — g (X))2 I X] > Ε (Υ — Ε (Υ | Χ))2 | Χ]. (1.6.7)
Взяв математические ожидания от правой и левой части неравенства
(1.6.7) и применив теорему о двойном математическом ожидании
(1.1.20), мы придем к неравенству
Ε (Υ - g (X))2 > £ (У - £ (У | Χ))2. (1.6.8)
Следовательно, Ε (Υ | Χ) — наилучшее предсказание (с наименьшей
среднеквадратической ошибкой).
Аналогичное рассуждение, примененное к (1.6.4), дает несколько
больше:
Ε (Y-g(W = E(Y-E(Y\ X))2 + E(g(X)-E(Y\ X))2. (1.6.9)
Мы доказали следующую теорему.
Теорема 1.6.1. Если X — любой случайный вектор, а У — любая
случайная величина, то либо Ε (У —g (X))2 = оо для любой
функции g, либо
Ε (Υ — Ε (Υ I Х))2<£(У— g(X))2 (1.6.10)
для любой функции g, причем строгое неравенство выполняется всегда,
за исключением того случая, когда g (X) = Ε (У | X). Это и
означает, что Ε (У | X) — наилучшее предсказание (с наименьшей
среднеквадратической ошибкой).
Важный частный случай соотношения (1.6.9) мы получим, выбрав
g (χ) = Ε (У) при всехх. При таком выборе g
Var У = Ε (У — Ε (У | X))2 + Ε (Ε (У | X) — Ε (У))2*. (1.6.11)
Если обозначить через Var (У | х) дисперсию условного распределения
для У при заданном х, т. е. Var (У | х) = Ε ([У — Ε (У | χ)]2 | х),
и вспомнить соотношение (1.1.20), то (1.6.11) перейдет в
Var У = Ε (Var (У | X) + Var (Ε (У | X))*. (1.6.12)
* Обе части этого равенства могут обращаться в бесконечность.
46

Проиллюстрируем введенные нами величины на простом примере.
ΓΤνπ-ь Z, и Z, — индикаторы двух биномиальных испытаний с ρ =
5ν2> Χ = 2ι и Г = Z1Zi. Тогда
£(Γ|Χ = χ) = £(Ζ1Ζ2|21=χ)=γΧ,
Var (£ (Υ Ι Χ)) = Var (|λ) = 1 Var (Zx) = _L,
Var (Y | X=x) = £ (\ZX Z2— -L xj21 Zx = x\ =
= x*E (z2 --LJ = д? Var (Z2) = -L x\
Ε\ν&χ{Υ\ΧψΕ[±-Χγ\,
Var (Y) = e{z1Z2—±-J = E (Zf Z» —^-~ ·
Нетрудно видеть, что формула (1.6.12) в нашем примере
выполняется.
Теорема (1.6.12) позволяет доказать следующую теорему, которая
будет играть важную роль в теории оценивания.
Теорема 1.6.2. Если Ε (\Υ\) < оо, а в остальном X и У
произвольны, то
Var (Ε (Υ |X))<Var Y. (1.6.13).
Если Var Y < оо, то строгое неравенство выполняется во всех
случаях, кроме
Υ = Ε (Υ\Χ), (1.6.14)
или, что то же, когда Υ есть некоторая функция от X.
Доказательство. Утверждение (1.6.13) следует непосредственно
из (1.6.12). Равенство в (1.6.12) выполняется в том и только в том слу-"
чае, если
Ε (Var (Y\X)) = E(Y — E(Y\ X))2 = 0. (1.6.15)
Последнее же, как показывает (П. 11.9), выполняется в том и только в
том случае, если выполняется (1.6.14). ■
Пример 1.6.1. Сборочный конвейер работает либо на полную
мощность, либо с производительностью, составляющей половину или
четверть от полной мощности. Каждый день происходят 0, 1, 2 или 3
остановки конвейера из-за неисправностей механизмов. В следующей
таблице приведены функция частоты ρ (х9 у) = Ρ (Χ = χ, Υ = у)
числа остановок Υ и доли от полной мощности X, с которой работает
конвейер, в один из дней, выбранный наугад. Суммы по строкам рх (х)
(приведенные справа от каждой строки) показывают частоту, с
которой конвейер работает с соответствующей мощностью, а суммы по
столбцам ργ (у) — частоту 0, 1, 2-й или 3-й поломок за все дни.
47

^""W^ ν
1
4
1
2
1
Ργ (У)
Ι о
ο,ιο
0,025
0,025
0,15
ρ (*.
■
0,05
0,025
0,025
0,10
У)
2
0,05
0,10
0,15
0,30
3 I
0,05 ι
0,10
0,30
0,45
Ρχ (*)
0,25
0,25
0,50
1
Мы хотим предсказать с наименьшей среднеквадратической
ошибкой число остановок в определенный день по данным о работе
конвейера за месяц. Из таблицы находим
Ε (γ Ι χ = 1) = 2 i Ρ & = i\ x = И = Μ-1 Χ
/=ο
χ {1 (0, 025) + 2 · (0,15) + 3·(0,30)> = 2,45
и аналогично
Ε (υ | Χ = γ) = 2,10 и Ε (γ \ Χ = j)= 1,20.
(1.6.16)
Полученные нами дробные числа не имеют особого смысла как
предсказания величины Y, принимающей значения в натуральных числах.
Но то же предсказание останется в силе, если мы попытаемся
прогнозировать (а для этого у нас есть достаточно оснований) среднее число
остановок конвейера в день за данный месяц. В этом случае если Yt—
число остановок конвейера в день ί, а X — доля полной мощности, с
которой работает конвейер, то наилучшим предсказанием
по-прежнему оказывается
Ух+.-. + Уз
30
ху EjYiW+.^+EiYM Β£(η4(1617)
С. к.о. наилучшего предсказания можно вычислить двумя
способами. Первый способ прямой:
E(Y-E(Y\X))* = % Σ {У-Б{¥\Х=-х))2р(х,у)^
χ 0=0
= (1,20)2(0,10)+ (1.6.18)
+ (1-1,20)* (0,05)+ ... + (3-2,45)2 (0,30) =
= 0,885.
48

Второй способ состоит в использовании (1.6.12):
Ε (Υ—£(F|X))2 = Var Y—Var (E(Y\X)) =
= Ε(Υ2)—Ε[(Ε(Υ\Χ)γ] =
= %у*ру(у)-%[Ер\Х = х)]*рх{х)= (L6·19)
у χ
= 0,885.
Результат, естественно, совпадает с прежним. ■
Пример 1.6.2. Двумерное нормальное распределение. Если (X, У)
имеет распределение NN (μ1? μ2, σ|, σ|, ρ), то теорема 1.4.2
утверждает, что условное распределение для Υ при X = χ есть NN (μ2 +
+ Ρ (ojov (* — Μί)> σ* (ί — Ρ2))· Следовательно, наилучшее
предсказание для Υ при заданном X есть линейная функция μ2 + ρ (σ2/
/σχ) (Χ — μι). Так как
Ε ((Υ — Ε (Υ | Χ = χ))2 | Χ = χ) = σΐ (1 — ρ2) (1.6.20)
не зависит от χ, то с. /с. о. нашего предсказания определяется
выражением
Ε (Υ — Ε (Υ Ι Χ))2 = σ| (1 — ρ2). (1.6.21)
Качественные особенности поведения этого предсказания и с.к.о.
позволяют в какой-то мере понять структуру двумерного нормального
распределения. При ρ > 0 предсказание — монотонно возрастающая
функция от X, указывающая, что большие (малые) значения Υ
определенным образом связаны с большими (малыми) значениями X.
Аналогично при ρ < 0 предсказание указывает, что большие значения
X стремятся следовать малым значениям 7, и мы приходим к
отрицательной зависимости. При ρ = 0 наилучшим предсказанием, как и
следовало ожидать в случае независимости, служит константа μ2. За
меру зависимости разумно принять отношение с. /с. о. наилучшего
предсказания Υ при заданном X к Var Y, которая является
наилучшим предсказанием среди констант. Чем меньше отношение, тем
сильнее зависимость между X и 7. Для двумерного нормального
распределения это отношение в точности равно (1 — р2). Следовательно, для
семейства двумерных нормальных распределений знак коэффициента
корреляции задает тип зависимости между X и Υ, а его величина
показывает, насколько сильна такая зависимость.
Прямая у = μ2 + ρ (σ2/σχ) (л: — μχ), соответствующая наилучшему
предсказанию Υ при заданном X в двумерной нормальной модели,
обычно называется регрессией (или линией регрессии) Υ на X. Термин
«регрессия» был предложен Френсисом Гальтоном и основан на
следующем наблюдении. Предположим, что Υ и X — случайные величины
с двумерным нормальным распределением с одинаковыми средними
μ> дисперсиями σ2 и с положительным коэффициентом корреляции р.
Гальтон измерял рост отца (X) и сына (У), выбранных из большой
популяции людей. Предсказанный рост сына, или средний рост сыновей,
чьи отцы имеют рост X, — величина (1 — ρ) μ + ρ Χ — ближе к
49

среднему μ роста по популяции, чем рост отца. Следовательно, у
высоких отцов сыновья будут, как правило, меньшего роста, т. е.
наблюдается «регрессия к среднему». Эта тенденция компенсируется
«прогрессией» к среднему среди сыновей отцов небольшого роста и не приводит
к каким-либо парадоксам. Вариабельность предсказанного значения
относительно μ должна быть соответственно меньше вариабельности
реальных ростов, и действительно, Var ((1 — ρ) μ + рХ) = ρ2σ2.
Заметим, что на практике, в частности в исследованиях Галь-
тона, точное распределение для (Χ, Υ) неизвестно, и поэтому линию
регрессии приходится строить по оценкам на основе большой выборки
(Χΐ9 Υχ), ..., (Χη, Υη) из генеральной совокупности. Как это делается,
мы увидим в гл. 3 и 7. ■
Решение задачи о нахождении наилучшего предсказания с
наименьшей с. к. о. дает теорема 1.6.1. Однако в связи с этим решением
возникают две трудности: во-первых, для вычисления Ε (Υ | X)
требуется абсолютно точно знать совместное распределение X и У,
во-вторых, наилучшее предсказание может оказаться сложной функцией от
X. Если мы готовы поступиться абсолютным совершенством, то
обоих затруднений удается избежать, сузив круг поисков до
предсказания, наилучшего в классе простых предсказаний. Начинать поиски
естественно с класса линейных комбинаций компонент вектора X. Мы
ограничимся одномерным случаем.
Назовем любую случайную величину вида аХ + Ь линейным пред-
сказанием, а линейную величину такого вида с Ь = 0 — линейным
предсказанием с нулевым свободным членом.
Теорема 1.6.3. Предположим, что Ε (X2) и Ε (Υ2) конечны, а
X и Υ отличны от констант. Тогда единственное наилучшее линейное
предсказание с нулевым свободным членом мы получим, выбрав
a=fl<»=4w' (Ι·6·22)
в то время как наилучшее линейное предсказание ахХ + Ьг имеет
CoviX^l
1 Var(X) v '
Ьг = Е (Υ) =^E (Χ).
Доказательство. Раскрывая Ε (Υ — αΧ)2, получаем
Ε (Υ — aXf = Ε (Υ2) — 2αΕ (ΧΥ) + α2 Ε (Χ2). (1.6.24)
Запишем эту параболу в стандартном виде:
Ε(Υ-αΧΥ = Ε(Χ*)(α- JLJgL)' +[i? (П —Lf^] · (1-6-25)
Следовательно, единственного минимума Ε (Υ — аХ)2 достигает при
а = а0, и
Ε (Υ-α0 Χ)2=£(Ρ) {Е^ . (1.6.26)
50

Для доказательства второго утверждения теоремы заметим, что из
(1.6.4) мы получаем
Е (7 _ аХ - bf = Var (Υ - аХ) + (Ε (Υ) - αΕ (Χ) - b)\ (1.6.27)
Следовательно, при любом а единственный минимум Ε (Υ — аХ —
___ bf достигается при
b^E{Y) — aE (X).
(1.6.28)
Подставляя это значение b в Ε (Υ — аХ — b)2, замечаем, что
значение а, которое, требуется найти, минимизирует Ε [(Υ — Ε (Υ)) —
__α(Χ _ Ε (Χ))!2· Применив результат о линейных предсказаниях с
нулевым свободным членом к случайным
величинам X — Ε (X) и Υ — Ε (Υ), мы
заключаем, что аг — единственное
значение, при котором достигается минимум. ■
Из соотношения (1.6.26) в приложении
мы получим доказательство неравенства
Коши — Шварца (П.11.17). Это связано с
тем, что неравенство Ε (Υ — а0 X)2 > О
эквивалентно неравенству Коши —
Шварца и переходит в равенство в том и
только в том случае, если Ε (Υ — а0Х)2 = 0.
Последнее же соответствует Υ = α0Χ.
(П. 11. 16) можно было бы вывести и
непосредственно, вычисляя Ε (Υ—ахХ—bx)2.
Заметим, что если условное
математическое ожидание Ε (Υ \ X) представимо в
виде аХ + Ь, то а = ах и b = bx, если наилучшее предсказание
линейно, то оно должно совпадать с наилучшим линейным
предсказанием. Такое утверждение согласуется с вычислениями Ε (Υ \ X)
в разд. 1.4 и примере 1.6.2. В этом примере мы ничего не теряем
при переходе к линейным предсказаниям. С другой стороны, в
примере 1.6.1 наилучшее линейное предсказание не совпадает с
наилучшим предсказанием (см. рис. 1.6.1). Использование наилучшего
линейного предсказания «наносит ущерб» около 5%, т. е.
Рис. 1.6.1. Три точки
задают наилучшее
предсказание. Прямая соответствует
наилучшему линейному
предсказанию у =» 1,45*+1,05
Ε (Y—E(Y\X)f
-1,05.
(1.6.29)
1.7. ПРИМЕЧАНИЯ
Раздел 1.1.1 Определение условной плотности (1.1.25) можно обосновать
следующим образом. Предположим, что А (х), А (у) — малые «кубы» с
центрами χ и у и объемами dx и dyt а ρ (χ, у) —непрерывная функция. Тогда Ρ [Χζ
И $' Х^Л (У)1 = Р [Х ^ Л Μ» Υ ^ А (У)]АР [γ ^ А (У)1- Но Р [χ£Λ «>
Ύ К А (у)] ж ρ (χ, у) d xdy, Ρ ΙΥ ζ А (у)] ж ργ (у) dy, и поэтому разумно
положить ρ (х|у) ^ΡίΧζΑ (χ)| Υ ζ Л (y)]/dx » ρ (χ, у)/Ру (у).
Раздел 1.2. *Мы опускаем комментарии к сформулированным нами
условиям теоремы (1.2.1) о преобразовании, поскольку эти условия не слишком
ограничительны. Можно показать, однако, что утверждение теоремы (1.2.1)
останется в силе, даже если функция / предполагается абсолютно интегрируемой по
51

Лебегу, а К принадлежит BBk — борелевскому σ-полю над Rk. Таким образом,
/ может быть любой функцией, а К — любым множеством в Rk, с которым нам
обычно приходится встречаться.
Раздел 1.З.1 При выводе (1-3.15) и (1.3.17) мы воспользовались
стандартными соотношениями
[АВ]' = В'A', det [АВ] = det A det В и det A = det A'.
Раздел 1.5А.1· Знак аппроксимации « в разд. 1.5 надлежит понимать
следующим образом: Fn » F, если Fn-+- F равномерно при η ->· оо. Такое
определение нам позволяет дать теорема Пойа (П. 14.22).
Раздел 1.5Г. * В частности, разложение Эджворта выполняется, если
функция F непрерывна, μ4 < оо и
limsupl E(eitx)\< со.
1.8. ЗАДАЧИ И ДОПОЛНЕНИЯ
Задачи к разд. 1.1
1. Из урны с 4 красными и 4 черными шарами наугад извлекают без
возвращения 4 шара. Пусть X — число красных шаров среди двух первых шаров,
извлеченных из урны, а У — общее число красных шаров, извлеченных из
урны.
а) Найти совместное распределение для X и У и условное распределение
для X при заданном У и для Υ при заданном Λ*.
б) Найти Ε (Υ\Χ = χ) при χ = О, 1, 2.
2. Предположим, что X и Υ имеют совместную плотность ρ (дс, у) =
= k (k — 1) (у —- x)k~* при 0 <х <СУ < U где £ > 2 — целое число.
а) Найти Ε (Х|У).
б) Пользуясь (а), вычислить Ε (Ε (Χ\Υ)).
3. Предположим, что Ζχ и Ζ2 — независимые случайные величины с
экспоненциальными распределениями ЕЕ (λ). Найти Ε (Χ\Υ) при X = Ζχ и Υ =
= Ζχ + Ζ2. 1^
Указание: Ε {Ζχ + Z2|F) = 7.
4. Предположим, что X и Υ имеют совместную функцию плотности ρ (χ, у) =
= х + у при 0<дс<1, 0<у<1.
а) Найти Ε (Χ\Υ = у).
б) Найти £ (Хе[У+(1/У)] |У = #).
5. Пусть (Χΐ9 ..., Хп) — выборка из распределения Пуассона Ρ Ρ (λ) и
m
Sm = Σ *i» m < п.
а) Доказать, что условное распределение X при Sn = k есть
мультиномиальное распределение ММ (&, 1/я, ..., 1/я).
б) Доказать, что Ε (Sm\Sn) = (mln) Sn.
6. Случайная величина X имеет распределение Пуассона РР (λ). При
X = k случайная величина У имеет биномиальное распределение ВВ (k, p),
а) Используя соотношение Ε (etY) = Ε (Ε (eiY \X)) и единственность
производящих функций моментов, показать, что У имеет распределение
Пуассона РР (λρ).
б) Показать, что У и X — У независимы, и найти условное распределение
для X при У = у.
7. Предположим, что X имеет нормальное распределение NN (μ, σ2),
а У = Χ+Ζ, где Ζ не зависит от X, имеет нормальное распределение NN (γ, τ2).
а) Найти условное распределение для У при X = х.
б) Пользуясь правилом Байеса, найти условное распределение для X при
У=у.
8. В каждом из следующих примеров:
а) установить, является ли условное распределение для X при У = у
дискретным, непрерывным или не принадлежит ни к одному из этих типов;
б) найти для каждого случая функцию частоты, плотности или распредели·
ния;
52

в) проверить тождество Ε (Ε (Χ\Υ)) = Ε (Χ).
Ι — , если х2 + #2< 1,
0) Р(Х, У) (*>#) = п
10 в противном случае.
Г4х#, если 0 <х< 1, 0<у<1,
(2) Ргу уъ (*» У) =1Л
^Л* х' (0 в противном случае.
(3) X имеет постоянное распределение UU (0, 1), Υ = X2.
(4) X имеет распределение UU (—1, 1), 7 = X2.
(5) X имеет распределение £/£/ (— 1, 1), Υ = X2 при Χ2 < V4 и 7 = ι/4
при X2>V4.
9. а) Показать, что если X и К ограничены, то Cov (X, 7)=Cov (Χ, Ε (Κ|Χ)).
(Результат верен при менее ограничительных предположениях: достаточно,
чтобы Ε (X2) и Ε (К2) были конечными.)
б) Доказать, что случайные величины X и У из задачи 1.1.8 (в) (1) имеют
нулевой коэффициент корреляции, хотя и не являются независимыми.
10. а) Пусть Хъ ..., Хп — выборка из любой генеральной совокупности,
т
Sm= Σ ^ί» я*<я. Доказать, что совместное распределение для (Х$, Sm) не
зависит от t, i <! т.
Указание: докажите, что совместное распределение для (Хх, ..., Хп)
такое же, как для (Χι , ..., Xin), где (il9 ..., in) — любая перестановка индексов
(1, ..., η).
б) Предположим, что если X и Υ — любые две случайные величины, то
семейство условных распределений для X при заданном У зависит только от
совместного распределения для (Χ, Υ). Вывести из (а), что Ε (Χι|5η) = ... =
= Ε (Xn\Sn) и, следовательно, что Ε (Sm\Sn) = (mfn) Sn.
\ н И. Предположим, что Υ имеет биномиальное распределение ВВ (Nt ft) и
что при Υ = у случайная величина X имеет гипергеометрическое распределение
НН (у, Nt я). Доказать, что
P[Y = y\X=x]=(^~n)$V-x(l-$)N-n-te-x)
(т. е. биномиальной вероятности благоприятных исходов в N — η испытаниях).
Указание: P[Y=y\X=x] = (N~n\w(1—*)^~у/6(а:), где Ь (х) =
-Σζ::)ο'^"—»Ό
-0)Ν-χ ·
У
Задачи к разд. 1.2
1. Доказать, что если случайная величина Ь равномерно распределена на
(— π/2, π/2), то Υ = tg θ имеет распределение Коши с плотностью ρ (у) =
= 1/[π (1 + у2)], — оо <Су < оо. Заметим, что эта плотность совпадает с
плотностью распределения FFl9 полученной из (1.3.10).
2. Предположим, что Хг и Х2 — независимые случайные величины с
экспоненциальным распределением ЕЕ (λ). Пусть Υχ = Хг — Х2 и У2 = Хг·
а) Найти совместную плотность для Υχ и У2.
б) Доказать, что Ух имеет плотность ρ (у)= (1/2) λβ~λ^, — оо < у < оо,
известную под названием плотности двойного экспоненциального распределения,
или плотности распределения Лапласа.
3. Пусть Хг и Х2 — независимые случайные величины с
бета-распределениями соответственно β (гъ s{) и β (r2, s2). Найти совместную плотность для
Ух = Хх и У2 = Х2 (1 - Xj).
53

4. Доказать, что если X имеет гамма-распределение Г (ρ, λ), то
а) ψχ (t) = E(etx) =(j^J, t < λ;
6)£(*0=£f±£l,r>_p:
λ'Γ (ρ)
в) Ε(Χ)=ρ/λ, var (Χ) =ρ/λ2.
5. Доказать, что если X имеет бета-распределение β (г, s), то
я, ptykl Г.·. (f+(*-!)) .
^)var(x)=(r+s)2;;+s+1)·
6. Пусть Vlf ..., Уп+1 — выборка из генеральной совокупности с экспо-
т
ненциальным распределением ЕЕ (1) (см. (П. 13. 24)) и Sm= Σ^ί» /я < я + 1.
а) Доказать, что Τ = (Vi/Sn+i» ···» Уп/Sn+i) имеет плотность
,ч \п\ при ί,>0, 1<*<л, 2И.
ΡΤ(Ί> ..·· W = j /= ι
(θ в противном случае.
Указание: прежде чем приступить к решению задачи, выводите
совместное распределение для (V^n+i, ···, Vn/Sn+l9 Sn+1).
б) Доказать, что U = (Si/Sn+i» ···> Sn/Sn+1) имеет плотность
Γη! при 0 < их < и2 < ... < «тг < 1»
и~ 'п в противном случае.
J=lo
7. Пусть 5Х, ..., 5Г — г непересекающихся открытых подмножеств в Rn,
г г
таких, что Р[Х ζ (J 5^] = 1, g — преобразование, действующее из U Si в Rnt
такое, что
1) g имеет непрерывные первые частные производные в Si при любом i\
2) g взаимно-однозначно на каждом S%\
3) якобиан преобразования g не обращается в нуль на всех Si.
Доказать, что если X имеет плотность рх, то Υ = g (X) имеет плотность
Ру(У)=2 Ρχ (if1 (У)) Kg. («Г1 (У)) Ι"1 Λ (У) при y6g( U S,Y
где g$ — сужение преобразования g на 5^, /$ (у) = 1, если у ζ g (Sj·), а в
противном случае /$ (у) = 0. (Если It (у) = 0, то все слагаемое надлежит считать
равным нулю, даже если преобразование gf в действительности не определено.
г
Указание: Ρ [g (Χ) 6 В] = 2 ^ [g (X) G θ, Χ 6 S7·].
i= ι
8. Предположим, что Xlt ..., Χη — выборка из генеральной совокупности
с плотностью/. Величины Х^ расположенные по порядку от наименьшей до
наибольшей, называются порядковыми статистиками и обозначаются Хщ, ..., Х(п)-
Доказать, что Y= g (X) == (Χ(ι), ..., Χ(η)) имеет плотность
η
pY(y)=tl\ Π f(yi)_ При ί/ι<ί/2< ...<ί/Λ.
54

Указание: пусть
Si = {(*ι, ..., Хп) ' xi < ... < хп}>
Sz = {(*ь ··> хп) : *2 < *ι < ..· < Хп}
и т Д. А° 5η· Воспользуйтесь предыдущей задачей.
9. Пусть Xlt ..., Хп — выборка из равномерного распределения UU (О, 1)
/См (П. 13.29)).
а) Доказать, что порядковые статистики из Х = (ХЬ ..., Хп) имеют
распределение, плотность которого приведена в задаче 1.2.66.
б) Доказать, что Xk имеет бета-распределение β (&, η — k + 1).
в) Доказать более общее утверждение: Хц) — Х(^) имеет
бета-распределение β (/ - k, n-l+k+ 1).
Указание: для доказательства б) и в) воспользуйтесь теоремой 1.2.3.
10. Пусть ΛΊ, ..., Хп — выборка из генеральной совокупности с
плотностью / и функцией распределения F.
а) Доказать, что условная плотность для (Хц), ..., Х(г>) при заданных
(*(r+i>. ···» Х(п))
г!Д/(*(0)
р(Х(\)> ••·»*(Γ)Ιχ(Γ+υ* "·»*(π)) ^ΤΤ" ~»
77 (*<г+1))
если *(1)"< ... <*(г)<*(г+1).
б) Дать интерпретацию полученного результата.
И. а) Доказать, что если генеральная совокупность из задачи 1.2.10
имеет равномерное распределение UU (0, 1), то
^(1) Х(г)
— '•"'Τ И (*(г+1)· ""·*<«))
Л(г+1) л(г+1)
независимы.
б) Доказать, что Х(п)у X(n)/X(n_l)t X{n-\)lX{n-2)> ···» *<a>/*<i>
в этом случае независимы.
12. Пусть функция распределения F имеет плотность /, непрерывную и
положительную на интервале (а, Ь) и такую, что F (Ь) — F (а) = 1, — оо << а <
< & <^+ оо. (В действительности все результаты остаются в силе, если
предположить, что F непрерывна.)
а) Доказать, что если X имеет плотность /, то Υ = F (X) равномерно
распределена на (0, 1),
б) Доказать, что если U ~ UU (0, 1), то F"1 (U) имеет плотность /.
в) Пусть С/(Х) <... < U(п) — порядковые статистики, принадлежащие
выборке объемом η из генеральной совокупности с равномерным распределением
VU (0, 1). Доказать, что тогда F"1 (U^)) < ... < F"i (£/(п)) распределены как
порядковые статистики, принадлежащие выборке объемом η из генеральной
совокупности с плотностью /.
13. Пользуясь задачами 1.2.96 и 1.2.12, доказать, что если X(h) — &-я
порядковая статистика, принадлежащая выборке объемом η из генеральной
совокупности с плотностью /, то
14. Пусть Х(!), ..., Х(п) — порядковые статистики, принадлежащие
выборке объемом η из генеральной совокупности с экспоненциальным распределением
Доказать, что пХа), (п—\)(Х(2)—Х(1)), (п—2)(Хш-Х(2)), ...
"·"' (Х(я) — Х(п-1))
независимы и одинаково распределены по закону ЕЕ (1).
55

Указание: примените теорему 1.2.2 непосредственно к плотности из
задачи 1.2.8.
15. Пусть Ть, — случайная величина из (П. 16.4).
а) Доказать, что Т^ имеет распределение FF (k> λ).
б) Из тождественности событий [Ν (1) <! k — 1] = [Ть > 1] вывести
тождество
С . . νι λ1
J^^^oT1"'
Задачи к разд. 1.3
1. Пусть X и Υ — независимые случайные величины с одинаковым
распределением NN (О, σ2).
а) Доказать, что X2 + Υ2 и Х/Ух2 + К2 независимы,
С) Пусть О = arcsin (XI ^ X9 + F2). Доказать, что д равномерно
распределена на (— π/2, π/2).
в) Доказать, что л/Υ имеет распределение Коши.
Указание: воспользуйтесь задачей 1.2.1.
2. Предположим, что Υ ~ Г (k/2, k/2), k > 0 и что при Υ = у случайная
величина X имеет условное распределение NN (О, у~г).. Доказать, что X имеет
распределение FF^. При & = 1 мы получаем пример, когда Ε (Ε (Х|К)) = 0, в
то время как Ε (Χ) не существует.
3. Доказать, что если Ζχ Ζη такие, как в теореме 1.3.3, то
У« Γζ-μ) I у Σ (Zi-l)V(n-i)
имеет распределение FFn^.
4. Доказать, что если Xlt ..., Хп — независимые случайные величины с рас·
η
пределением ЕЕ (λ), то Τ = 2λ2^ί имеет распределение %\п.
Указание: докажите сначала, что 2 ΧΧχ им^еет распределение Г(1, 1/2) = χ^·
5. Доказать, что если Х1$ ..., Xm; Yl9 ..., Υη — независимые случайные ве-
S = (п/т) ( J χλΙ ( J» К,)
личины с распределением ££ (λ), то
имеет распределение FF2mt2n.
6. Предположим, что Хг и Х2 — независимые случайные величины с
распределениями Г(р, 1) и Г(р + 2", 1). Доказать, что Υ = 2"]/ХХХ2 имеет
распределение Г (2р, 1).
7. Предположим, что X имеет плотность р, которая симметрична
относительно 0, т. е. ρ (χ) = ρ (— х) при всех *. Доказать, что £ (Xk) = 0, если & —
нечетно, и что &-й момент конечен.
8. Пусть Χ /ν/ NN (μ, σ2). Доказать, что r-й центральный момент случайной
величины X
rl<f
при четном г ,
Ε(Χ-μΥ= 2^(γ)ΐ
О при нечетном г.
Указание: при нечетном г воспользуйтесь задачей 1.3.7. При четном г
положите m = г/2 и учтите, что, поскольку 7= [(X — μ)/σ]2 имеет распределение
χ?, £ (У") можно найти из задачи 1.2.4. Воспользуйтесь далее тем, что Ε (Χ —
— μΥ = σΓ Ε (Ym).
56

9. Доказать, что если X ~ TTki то
пои τ четном и г < k. При г > k моменты не существуют, нечетные моменты
павны нулю при г < k. Среднее случайной величины X равно 0 при k > 1,
\аг χ = k/(k — 2) при А! > 2.
Указание: докажите, что в обозначениях разд. 1.3 при четных г
Ε (Хт) =Е(Qr )= k* rΕ(Zr)Ε (ν"» r)t
где Ζ ~ NN (0, 1) и V ~ χ|, после чего воспользуйтесь задачами 1.2.4 и 1.3.7.
10. Пусть X ~ FFk.m. тогда
Е(ХГ) =
если _ - k <г < 2т- ПРИ Других г величина £ (Хг) не существует. При
m > 2 Ε (Χ) = m/(m — 2), а при m > 4
* 2m2(fe+m-2)
Var Λ = .
k(m—2)2 (m—4)
Указание: докажите, что в обозначениях разд. 1.3 Ε (Хг) = Я (Qr) =
= (т//г)г £ (Vr) £ (№""г)» гДе У ~ %l и №~ Xm» после чего воспользуйтесь
задачей 1.2.4.
И. Пусть X имеет распределение AW (θ, Ι).
а) Доказать, что Υ = X2 имеет плотность
РуМ = -+=ге-±(°^\е«У-у+е-«Я), , > 0.
2у2ку
ь
Эта плотность соответствует распределению, известному под названием
нецентрального распределения %2с 1 степенью свободы и параметром
нецентральности О2.
б) Доказать, что
оо
РУ(У)= Σ pW = i)f2i+i(y)>
/= о
где R ~ РР (ό-θ2), a fm— плотность распределения χ^. Дать вероятностную
интерпретацию полученной формулы.
Указание: разложите е^ у и е~**'у в ряд Тейлора.
12. Пусть Xl9 ..., Хп — независимые нормальные случайные величины с дис-
п
Персией 1 и Ε (Х£ = Of, i = 1, ..., я, и О2 = Σ Φ*· Доказать, что плотность
η
случайной величины V = 2^/2 определяется выражением
оо
1= О
57

где R ~ РР i-®2) и ?т ~~ плотность распределения χ2^. Распределение
случайной величины известно под названием нецентрального распределения χ2 с т
степенями свободы и параметром (нецентральности) О2.
Указание: воспользуйтесь ортогональным преобразованием Υ = ΧΑ, та-
п η
ким, что Υχ= 2 (fyXi/O). Величина V имеет такое же распределение, как 2^2>
где Ylt ..., Υη — независимые случайные величины с единичной дисперсией
Ε (Υχ) = θ, Ε (Yi) = 0, i = 2, ..., η. Воспользуйтесь затем задачей 1.3.11 и
тем, что
оо Г оо "I
Μ*)=ί Σ p(R=i)hi+i(v-s)\fn-i(s)ds.
о Li-о J
13. Пусть Хх, ..., Хп — независимые случайные величины с распределением
η
NN (О, 1) и V= (Хх+ θ)2+Σ*/2· Доказать, что Ρ (V>i>) при фиксирован-
ных ι/ип — строго возрастающая функция от О2. Обратите внимание на то, что
V имеет нецентральное распределение χ* с параметром нецентральности О2.
14. Пусть V и W — независимые случайные величины, причем № ~ χ^
и V имеет нецентральное распределение χ| с параметром нецентральности О2.
Доказать, что S = (Vlk)l(Wlm) имеет плотность
оо
Р500 = 2 P(R=i)fk+2i,m(s),
i= О
где Λ л/ Ρ Ρ (g- О2), а //, m — плотность распределения FFjf m. Распределение
случайной величины S известно под названием нецентрального распределения
FFk, т с параметром (нецентральности) О2.
15. Пусть Xl9 ..., Хп — независимые нормальные случайные величины с
общими средним и дисперсией,
т т
*(«.)=<!/«) Σ Xi и S*m = Σ (Xi-X(m)Y-
/=1 /= 1
а) Доказать, что
5m==5m-l + J^-(*m~~X(m-l)) ·
б) Пусть
Г1=УпХ(/г), >V4*2-*(i))l/~T' ^3=№-^(2))|/Λγ,...
.... Ул=(^п-^(п-1))1/ ~ ·
Доказать, что матрица А, определяемая соотношением Υ = ΧΑ,
ортогональна и, следовательно, удовлетворяет условиям теоремы 1.3.3.
в) Найти совместную плотность для (Х(П). 5|, ..., S%). _
16. Доказать, что в предположениях теоремы 1.3.3 Ζ и (Ζχ — Ζ, ..., Ζη —-
— Ζ) независимы. _ _ _
Указание: достаточно доказать, что Ζ не зависит от (Ζ2 — Ζ, ..., Ζη — Ζ).
η
Это даст еще одно доказательство независимости Ζ и Σ (Ζ$ — Ζ).
58

Задачи к разд. 1.4
1. Пусть (Χ, Υ) ~ NN (1, 1, 4, 1, j). Найти:
а) Р (X + 2Υ < 4);
б) Р(Х<2|К = 1);
в) совместное распределение для X + 2 К и ЗК — 2Х.
В остальных задачах этого раздела (X, К) имеет распределение NN (μι,
μ2, σ!» σ1» Ρ)·
2. Пусть F (·, ·, μχ, μ2, σ?, σ|, ρ) — функция распределения для (X, К).
Доказать, что
/ *—μι *—μ2 \
\ σχ σ2 /
имеет распределение NN (0, 0, 1, 1, р) и тем самым выразить F (·, ·, μι, μ2, σ|,
σ|, ρ) через F (·, ·, 0, 0, 1,1, ρ).
3. Доказать, что X + Υ и X — Υ независимы в том и только в том случае,
если σ? = of.
4. Доказать, что если σχσ2 > 0, |р| <: 1, то
(Ι—Ρ2) Ι of oto2
- μ*)21
имеет распределение χ|.
Указание: рассмотрите случайный вектор (Ult ί/2), задаваемый
соотношениями (1.4.19) и (1.4.22).
5. Выведите следующее соотношение, принадлежащее Шеппарду:
F(0,0,0,0, 1,1,р)= — +— arcsinp.
Указание:
Р[Х<0, Κ<0]=Ρ[ί/1<0, ρί/Χ+УГ=ф2 ^2 < 0] =
-'[*<·. £>тгУ-
6. Геометрия двумерной нормальной поверхности.
а) Пусть 5С = {(#, #) : р(Х> у) (х, у) = с}. Предположим, что σ| = σ|.
Доказать, что {Sc} — семейство эллипсов с центром в точке (μΐ9 μ2) и общей
большой осью, задаваемой уравнением {у — μ2) = (х — μι) при ρ > 0 и (у —
— μ2) = — (х — μι) при ρ < 0. Если ρ = 0, то {Sc} — семейство
концентрических окружностей.
б) Если χ = с, то рх (с, у) как функция от у пропорциональна нормальной
плотности, т. е. сечения поверхности ζ = ρχ (х, у) плоскостями,
параллельными плоскости (у, ζ), пропорциональны гауссовым (нормальным) плотностям.
В действительности это утверждение справедливо для сечений любыми
плоскостями, перпендикулярными плоскости (х, у).
7. Определим двумерную производящую функцию моментов случайного
вектора (U, V) как
V.v>(M)«*(ei£/+iV).
где правая часть предполагается конечной для (s, t) из некоторого непустого
открытого множества, содержащего (0, 0).
а) Доказать, что если функция ·ψ,^ у ν определена, то
dk+m
E(UkVm) = +(с/. V) (*> 0 |«-*-о.
dskdtm
59

б) Доказать, что если (U, V) имеет распределение NN (μ1} μ2, of, σ|, ρ),
το
ty(U,V)(s> 0=exp 5μχ+ /μ2 + — {σ? sa + a| ί2 + 2ρσισ2ίϊ/> =
=τβχρ[μ(β,0#+γ{(?,ΟΣ(β,0')].
8. Пусть (Xif Κχ) (Χη, Κη)— выборка из распределения ΝΝ(μίί μ2, σ*, σ|, ρ)=
=^(μ, Σ),Χ-(ΙΜ) 2 *Ь^ = (1/м) 2 Yt. 5J =
/=1 /==1
= 2 (**-*)2> 5t - Σ (У|-W 5i2 - Σ (χι—Χ)(κι—Ρ).
ί= 1 / = 1 i= l
а) Доказать, что п{Х—щ, К—μ2)Σ-χ (Х-—μχ, 7— μ2) имеет распределение χ| .
б) Доказать, что (Χ, Ϋ) и (Sf, Sf, S12) независимы.
Указание: а) воспользуйтесь задачей 1.4.4;
б) Пусть А—ортогональная матрица с первым столбцом (l/Vtt » ···
... , 1/УпУ и (Ult ...,ί/„)=(*ι. ....*n)A, (Vit .... V„) =
=(Κι, ..., Κη)_Α. Доказать, что(£/2, У2), . ..,(£/Л, Уп) образуют выборку
из генеральной совокупности с распределением NN(0, О, af, σ|, ρ). Обратите
η η η
внимание на то, что5?= Σ ^9 ^* = Σ ^ ^12= Σ ^<^Ь в то ВР^МЯ как
/= 2 /= 2 /== 2
9. Пусть в модели из задачи 1.4.8 /? = 512/5ι52 и
т^ yjn=2JR
а) Доказать, что Τ имеет распределение 7ТЛ_а при ρ = 0.
б) Найти распределение для R при р=0.
Указание: не ограничивая общности, вы можете положить о\ = σ| = 1.
Пусть С — ортогональная матрица (п — 1) X (п — 1) с первым столбцом
(U2, .... Un)'/Sl9 (W2, ..., Wn) = (V2, ..., Vn)C. Докажите, что Т можно
представить в виде Τ = L/Λί, где
L=512/51-Wr2 hM*^(S2S!-S?2)/(ai-2)S?= 2 W1-2)·
*= з
Докажите также, что если иг = %,..., £/n = unt то при любых ых ип
случайная величина 7 имеет распределение ΤΤη_ι, после чего воспользуйтесь
соотношением (1.1.24) для непрерывного случая.
10. Доказать, что условное распределение для аХ + ЬУ при сХ + dY = *
нормально.
Указание: не ограничивая общности, вы^можете положить α = d = 1,
6 = с = 0, так как (аХ + 6У, сХ + dY) также имеет двумерное нормальное
распределение. Дайте прямое доказательство для случая σΧσ2 = 0 и |р| = 1.
11. Пусть ра — плотность распределения NN (0, 0, 1, 1, 0), а р2 —
плотность распределения WW (0, 0, 1, 1, ρ). Предположим, что (Χ, Υ) имеет
совместную плотность
p(x>y)=-lfPi(Xf У) + — Р2(х>У) ·
60

Доказать, что X и Υ имеют нормальные частные плотности, но их
совместная плотность нормальна в том и только в том случае, если ρ = 0.
12. а) Предположим, что Ut = μ + αΖ^ + $Zuli i= 1 kt где Ζθ9
Zk — независимые случайные величины с распределением NN (0, σ2).
Вычислить математическое ожидание и ковариационную матрицу для U = (Ul9
yk). Является ли U случайным вектором с β-мерным нормальным
распределением? ^
б) Произвести те же вычисления и ответить на тот же вопрос для £/$,
определяемых соотношениями
Ot=Z±, ϋ2=Ζ2 + αϋΐ9υ3=Ζ3+αϋ2 Uk=Zh+ aUh-i .
13. По аналогии с конструкцией, использованной в задаче 1.4.11, построить
пару случайных величин (Χ, Υ) так, чтобы они
1) имели частные нормальные распределения;
2) были некоррелированы;
3) не были независимыми.
Имеют ли такие случайные величины двумерное нормальное распределение?
Задачи к разд. 1.5
1. Вывести формулу (1.5.9).
2. Пусть Sn имеет распределение χ2.
а) Доказать, что при больших η случайная величина V^n — Т/я имеет
π риближенно нормальное распределение WW (0, 1/2) (так называемая
аппроксимация Фишера).
б) Вывести из (а) аппроксимацию* Ρ [Sn < χ] « Φ (\/2х — '\/Тп).
в) Сравнить аппроксимацию (б) с центральной предельной
аппроксимацией Ρ [Sn << χ] « Φ ((χ—η)/~[/2η) и точными значениями Ρ [SnO] из табл. II
при χ = х0 90, χ = *о,99» л = 5, 10, 25 (xq означает <у-й квантиль распределения
Хп)·
3. Предположим, что Хи ..., Хп — выборка из генеральной совокупности
со средним μ, дисперсией σ2 и третьим центральным моментом μ3. Дать строгое
обоснование формулы
Е[(п(Х)-Е(п(Шг=-^- [h' (μ)]»μ,+-^-Α·(μ)[Α' (μ)]2σ4 + #η,
где Rn -> 0 как 1/я3.
Указание: воспользуйтесь формулой (1.5.9).
4. Можно доказать, что (при подходящих условиях) точность нормальной
аппроксимации к h (X) возрастает с уменьшением коэффициента асимметрии
γ1η для h (X).
а) Исходя из этого факта и используя задачу 1.5.3, объяснить численные
результаты задачи 1.5.2 (в).
б) Пусть Sn ~ χ2. Следующая аппроксимация к распределению случайной
величины Sn (предложенная Уилсоном и Хилферти [12]) оказалась необычайно
точной:
Пользуясь формулой (1.5.7) и задачей 1.5.3, объяснить, почему достигается
столь высокая точность.
5. Нормализующее преобразование для распределения Пуассона. Пусть
*ι Хп — выборка из распределения Ρ Ρ (λ).
а)_Доказать, что только преобразования &, при которых Ε (h {Χ) —
Ε (h (X)))3 = 0 с точностью до членов порядка 1/п2 при всех λ > 0, имеют вид
h (t) = cf2/3 + dt
61

б) Пользуясь (а), обосновать аппроксимацию
'[*<i]-M(^f-4
λ1/-
6. Пусть Хь ..., Χη — выборка из генеральной совокупности со средним μ
и дисперсией σ2 <: оо. Доказать, что
-^ .2 <*,_*>> А,
/=: 1
Указание: воспользуйтесь тем, что 2 (%i—Х)2 = 2 №—М-)2--
1 = 1 / = 1
— μ(Χ-μ)2, и (П. 15.7).
7. Нормальная аппроксимация к распределению ТТ. Пусть Xlf
выборка из распределения NN (μ, σ2) и
Хп-
"п-Т/л (Χ-μ) ΐ/ ~^Σ(Χί
"ν\2
-χ):
Найти аппроксимацию Ρ (Тп <х) ж Φ (χ) при больших л. Обратите внимание
на то, что Тп ~ ΤΤη_ι (см. задачу 1.3.3).
Указание: воспользуйтесь предыдущей задачей и теоремой Слуцкого
(П. 14.9).
8. Пусть Хъ ..., Хп — независимые случайные величины с функцией
частоты /, заданной таблицей
X
f
0
θ2
1
2 Ь (1—Φ)
2
1-θ2
где 0 <θ < 1. _
а) Найти аппроксимацию для Ρ [X <Cj\ как функцию от θ и ί.
б) Найти аппроксимацию для Ρ [У X <! t] как функцию от θ и /.
в) Какое распределение служит аппроксимацией для распределения
случайной величины У« (X — μ) + X2, где μ = Ε (Χι)?
9. Преобразование^ стабилизирующее дисперсию для биномиального
распределения. Пусть Хх, ..., Хп—индикаторы биномиальных испытаний с
вероятностью благоприятного исхода О. Доказать, что единственное преобразование
п, стабилизирующее дисперсию, такое, что h (0) = 0, h (1) = 1 и /ι' (/) > 0 при
всех /, имеет вид h (t) = (2/π) arcsin (У?).
10. Дайте строгое обоснование следующих выражений для моментов
случайной величины h (Χ, Ρ), где (Х1э Уг), ..., (Хп, Уп) — выборка из двумерной
генеральной совокупности с Ε (Χ) = μν Ε (Υ) — μ2, Var (Χ) = of, Var (Υ) =
= σ|, Cov (Χ, F)_= ρσ!σ2.
a) Ε (h (Χ, 7)) = h (μΐ9 μ2) + Rn> где #n -> 0 как \1п при /ζ -> оо.
б) Var (Λ (Χ, 7))»
~ — {[^i (μΐ» μ2)]2 σ?+2Α1 (μί, μ2) /*2 (μι μ2) ρσί σ2 +
/2
+ [Αί(μίμϊ)]2σ1}+Γ„,
62

где
и гп
д д
h (х, #)=-^Γ h (*· У)> h (x> У)^~^Н(<Х> У)
_* 0 как 1/л2 при я->оо.
Указание: h (Χ, Υ) — h (μ^ μ2) = ht (μ1§ μ2) (Χ*— μχ) + h2 (μχ, μ2) (7 —
— μ2) + Яп, где Rn -> О как 1/л при л -> оо.
11. Пусть Bmin имеет бета-распределение с параметрами т и я, где m и
я — целые числа, и пусть т -> оо и η -*■ оо, так что m/(m + я) -*· α, 0 < а < 1.
Доказать, что при этом
-L— < * -> Φ (χ).
Va(l-a) _J_
Указание: воспользуйтесь тем, что Bm, n = (mX/nY) [1 + (mX/ziF)]"1, где
Χι, ···, ^т» ^Ί» ···» Уп—независимые случайные величины со стандартным
экспоненциальным распределением.
12. Пользуясь задачей 1.2.5, дайте прямое доказательство того, что в
условиях предыдущей задачи, если т/(т + п) — α -> 0 как \/(т + л)2, то
~ г> m α(1 — α)
Ут + п
т, η
т+п
xm, n *
т-\-п
где Rm, n-^0 как l/(m + η)2.
13. Пусть 5η ~ χ2. Пользуясь аппроксимацией Стирлинга и задачей 1.2.4,
дайте прямое доказательство того, что
Ε (УТп) =Уп+ Rn,
где Rnl~\/n -*- 0 при η -> оо. Напомним аппроксимацию Стирлинга:
Г(р+1)
l{V*re-Pp" 2)-*1
при р-> оо. (Можно доказать, хотя это и не требуется, что величина iV/i^nl
ограничена.)
14. Предположим, что Хх Хп — выборка из некоторой генеральной
совокупности и что h — вещественнозначная функция от' X, производные которой
порядка k обозначим ft<ft>, k > 1. Пусть |ft(*) (дс)| <; Μ при всех χ и некоторой
постоянной Λί, а четвертый момент μ4 конечен. Доказать, что в этом случае
имеют место разложения (1.5.6) и (1.5.7).
Указание:
h (x)-h (μ)-Α' (μ) (дс-μ)
Λ(2)(μ)
(*-μ)2 -
Α(3)(μ)
(χ-μΥ
Следовательно,
Μ
Я (й (Χ)) -ή (μ)-Α' (μ) Ε (Χ-μ)-
Α<2> Μ
<
2
Ι^(3)(μ)Ι
£ & -μ)2
<
Μ
|£(χ-μ)Ί+-^-£(Χ-μ)4<
6
Ι*(8)(μ)Ι Ι μ.) , Λί (μ4 + 3σ«)
«2
+ ■
24
η*
63

15. Пусть Хъ ..., Хп — выборка из генеральной совокупности со средним
μ и дисперсией σ2 <: оо. Предположим, что h имеет вторую производную Л",
непрерывную в μ, и что h! (μ) = 0.
а) Доказать, что ~\/n[h(X) — h (μ)] ->0, в то время как случайная
величина η [h (Χ) — h (μ)] асимптотически распределена как (1/2) h" (μ) σ2У, где
V ~%Ь
б) Пользуясь частью (а), доказать, что при μ = 1/2
η[Χ(ΐ-Χ)-μ(1-μ)]^-σ2^
где V ~ χ|. Выразите аппроксимацию распределения для случайной величины
X (1 — X) через функцию распределения χ| при μ = 1/2.
Задачи к разд. 1.6
1. Пусть случайный вектор (Χ, Υ) такой же, как в задаче 1.1.1.
а) Найти для Υ при заданном X наилучшее предсказание, наилучшее
линейное предсказание и наилучшее линейное предсказание с нулевым свободным
членом.
б) Вычислить с. к. о. для предсказаний из (а).
2. В примере 1.6.1 вычислить в явном виде наилучшее линейное
предсказание с нулевым свободным членом, его с, к. о. и отношение этой с. к. о. к с. к. о.
наилучшего предсказания и наилучшего линейного предсказания.
3. В задаче 1.1.6 найти наилучшие предсказания для Υ при заданном X
и для X при заданном У. Вычислить с. к. о. для каждого из этих предсказаний.
4. Пусть Ult U2 — независимые случайные величины со стандартным
нормальным распределением, X = £/f + U\, Yt = Uv Имеет ли X какое-нибудь
значение для предсказания величины У?
Указание: Υ = "]/X (Ui/l/lC). Воспользуйтесь задачей 1.3.1.
5. Привести пример, когда наилучшее линейное предсказание для Υ при
заданном X есть константа (т. е. не позволяет ничего сказать об У), в то время
как наилучшее предсказание для Υ при заданном X позволяет точно
предсказывать Υ.
6. Привести пример, когда X позволяет точно предсказывать У, но Υ не
позволяет ничего сказать об X.
7. Пусть Υ — любая случайная величина и R (с) = Ε (|Υ — с|). Доказать,
что либо R (с) = оо при всех с9 либо R (с) достигает минимума, если с — любое
из чисел, удовлетворяющих неравенствам Ρ [Υ > с] > 1/2, Ρ [Υ <! с] > 1/2.
(Число, удовлетворяющее этим условиям, называется медианой распределения
случайной величины У.)
8. Пусть Υ имеет распределение NN (μ, σ2).
а) Доказать, что Ε (\Υ — с\) = oQ [(с — μ)/σ], где Q (t) = 2 [φ (t) +
+ t Φ (01 - L
б) Доказать прямыми вычислениями, что μ минимизирует Ε (\Υ — с\)
как функцию от с.
9. Пусть X и Υ — любые две случайные величины. Постройте наилучшее
предсказание для Υ при заданном X с наименьшей абсолютной ошибкой.
10. Предположим, что X имеет плотность р, симметричную относительно с:
ρ (с — χ) = ρ (χ + с) при всех χ (см. разд. 2.1). Доказать, что с — медиана
распределения случайной величины X.
11. Доказать, что если (X, У) имеет двумерное нормальное распределение,
то предсказание для Υ при заданном X, наилучшее в смысле наименьшей с. к. о.,
совпадает с предсказанием, наилучшим в смысле наименьшей абсолютной
ошибки.
12. Во многих случаях наблюдаемые биологические величины, например
рост и вес, можно считать суммой ненаблюдаемых внутренних (генетических)
и внешних (обусловленных окружающей средой) величин. Предположим, что
X и Υ — измерения такой величины для случайно выбранных отца и сына, Х\
X" и У, Υ" — внутренняя и внешняя компоненты величин X и Υ: X = X' +
+ Х\ Υ = Υ' + Υ\ Пусть (Χ', Ϋ>) имеет распределение NN (μ, μ, σ2, σ2, ρ),
а Χ", Υ" — случайные величины с распределением MV (ν, τ2), независимые друг
от друга и от (X', У).
64

а) Доказать, что корреляция между X и Υ слабее, чем между X' и У\ т. е.
|Сог(Х, У)\ <ΙΡΙ·
б) Доказать, что ошибка, совершаемая при использовании л для
предсказания (в случае наилучшего предсказания) F, больше, чем ошибка, совершаемая
при использовании X' для предсказания К'.
13. Предположим, что X имеет плотность р, симметричную относительно с
и унимодальную, т. е. ρ (χ) не возрастает при χ > с.
а) Доказать, что Ρ [|Х — ί| < s] достигает максимума как функция от t
при любом s > О, тогда ί = с.
б) Предположив, что (Χ, Υ) имеет двумерное нормальное распределение,
мы наблюдаем X = χ и предсказываем σ (л;) для У. Пусть наш проигрыш
составляет (в некоторых единицах) 1, если \σ (χ) — Υ\ > s, и 0 — в противном случае.
Доказать, что предсказание, минимизирующее наш средний проигрыш, есть
наилучшее предсказание с наименьшей с. к. о.
14. Пусть Zx и Ζ2 — независимые случайные величины, имеющие
экспоненциальное распределение с плотностью λ^λΛΓ, χ > О, X = Ζ2 и Υ = Ζχ-\- ΖΧΖΖ.
Вычислить:
а) £(К|Х= *),
б) Я (5 (Г|Х)),
в) Var(E(Y\X))t
г) Var(K|X= *),
д) Ε (Var (7|X)),
е) наилучшее предсказание для Υ при X = χ с наименьшей с. /с. о.,
ж) наилучшее линейное предсказание для Υ при X = χ с наименьшей с. /с. о.
Указание: напоминаем, что Ε (Ζχ) = £" (Ζ2) = l/λ и Var (Zx) = Var (Z2) =
= 1/λ2.
1.9. БИБЛИОГРАФИЯ
1. A n d e r s ο η Τ. W. (1958). An Introduction to Multivariate Statistical
Analysis. J. Wiley & Sons. New York. Русский перевод: Андерсон Т.
Введение в многомерный статистический анализ. М., Физматгиз, 1963.
2. А р о s t о 1 Т. (1974). Mathematical Analysis. 2nd edition, Addison —
Wesley, Reading, MA.
3. В i с k e 1 P. J. (1974). Edgeworth expansions in nonparametric
statistics. — Ann. Statist. 2, 1 — 20.
4. В i r k h о f f G. and Μ а с 1 a n e S. (1965). A Survey of Modern
Algebra, 3rd edition. Macmillan. New York.
5. В r e i m a n L. (1968). Probability, Addison-Wesley, Reading, MA.
6. D e m ρ s t e r A. P. (1969). Elements of Continuous Multivariate
Analysis. Addison-Wesley, Reading, MA.
7. F e 1 1 e r W. (1971). An Introduction to Probability Theory and Its
Applications. Vol. 11, 2nd edition. J. Wiley & Sons. New York. Русский перевод:
Φ e л л е р В. Введение в теорию вероятностей и ее приложения Т. 2. М., Мир,
8. GrenanderU. and Rosenblatt M. (1957). Statistical Analysis
of Stationary Time Series. J. Wiley & Sons, New York.
9. HammersleyJ. M. and Hanscomb D. С (1964). Monte Carlo
Methods, Methuen & Co. London.
10. LoeveM. (1963). Probability Theory. 3rd Edition. Van Nostrand. New
York. Русский перевод: Л о э в М. Теория вероятностей. М., Мир, 1967.
П. Rao С. R. (1973). Linear Statistical Inference and Its Applications. 2nd
edition, J. Wiley & Sons. New York. Русский перевод: Р а о С. Р. Линейные
статистические методы и их применения. М., Наука, 1968.
^ 12. W i 1 s о η Ε. В. and H i 1 f e r t у Μ. Μ. (1931). The distribution of
chi square. — Proc. Nat. Acad. Sci., U/S/A. 17, 684.
65

Глава 2 · СТАТИСТИЧЕСКИЕ МОДЕЛИ
2.1. ФОРМУЛИРОВКА СТАТИСТИЧЕСКИХ МОДЕЛЕЙ
Большинство исследований и экспериментов, проводимых в
научных целях или на производстве, в крупных или небольших масштабах,
направлено на получение данных, анализ которых и составляет
конечную цель работы. Математическая статистика имеет дело с такими
ситуациями, когда полученные тем или иным способом данные можно
рассматривать как исход некоторого случайного испытания. Вот
несколько примеров таких ситуаций.
а) Перед нами генеральная совокупность из N элементов,
например партия каких-то изделий. Неизвестное число Ν$ этих элементов
имеет дефекты. Перебирать все изделия одно за другим слишком
дорого, поэтому, чтобы получить информацию относительно θ, из всей
партии производится выборка объемом η без возвращения, и все входящие
в нее изделия подвергаются контролю. Полученные данные
представляют собой число дефектных изделий в выборке.
б) Экспериментатор производит η независимых измерений
значения физической постоянной μ. Его измерения подвержены случайным
флуктуациям (ошибкам), поэтому результаты измерений можно
мысленно представить в виде сумм μ плюс некоторые случайные ошибки.
в) Мы хотим сравнить эффективность двух способов выполнения
какого-нибудь задания в сходных условиях, например двух способов
приготовления кофе, понижения уровня загрязнения окружающей
среды, лечения болезни, выработки энергии, прохождения лабиринта
и т. д. Можно считать, что мы имеем дело с проблемой сравнения
эффективности двух методов, применяемых к элементам некоторой
генеральной совокупности. Мы производили т + η независимых
испытаний следующим образом: выбрав наугад т + η элементов
генеральной совокупности, применяем к т из них первый метод, а к остальным
η элементам — второй метод. Каждое испытание дает нам одну или
несколько количественных либо качественных оценок эффективности.
Например, сравнивая два лекарства А и β, мы могли бы назначить т
случайно выбранным пациентам лекарство А, η другим таким же
образом выбранным пациентам — лекарство В и затем приняться
измерять температуру, кровяное давление пациентов, интересоваться
медицинским заключением о состоянии их здоровья и т. д. Случайная
вариабельность достигалась бы при этом главным образом за счет
естественного различия в реакциях пациентов на одно и то же лекарство,
но свой вклад внесли бы и ошибки измерения, и колебания в уровне
химической чистоты лекарств,
66

Приведенные выше примеры понадобятся нам при формулировке
статистических моделей и помогут продемонстрировать некоторые
трудности, возникающие при построении таких моделей. Начнем с
рассмотрения ситуации (а), которую в дальнейшем условимся называть
выборочной проверкой.
Пример 2.1.1. Выборочная проверка. Математическая модель,
навеянная приведенным выше описанием, вполне определена.
Произведено случайное испытание. Выборочное пространство состоит из
чисел 0,1, ..., fly соответствующих количеству обнаруженных дефектных
изделий. На этом пространстве зададим случайную величину X так,
что X (k) = k, где k = 0,1, ..., п. Если Nil· — число дефектных
изделий в генеральной совокупности, из которой производится выборка,
то из (П. 13.6) получаем
P[X^k]==\k l\" k I при max(n_iV(l—θ), 0)<
[η )
<&<min(Wfl,rt). (2.1.1)
Следовательно, X имеет распределение Η Η (Νθ, Ν, η).
Основное отличие нашей модели состоит в том, что величина iVft не*
известна и, вообще говоря, может принимать любые значения от 0 до
N. Таким образом, хотя выборочное пространство и σ-поле полностью
определены, мы не в состоянии однозначно указать распределение
вероятности, а можем лишь описать семейство {НН (iVfl, Ν, η)}
распределений вероятностей для X, любое из которых могло бы быть
порождено наблюденными данными. ■
Обратимся теперь к ситуации (б), достаточно простой, но трудно
формулируемой, как это нередко бывает в статистике.
Чтобы определить нашу модель, нам понадобится важное понятие
симметрии распределения. Случайная величина Υ называется
симметрично распределенной относительно точки с (иногда говорят, что
распределение для Υ симметрично относительно точки с), если Υ + с и
— Υ + с имеют одно и то же распределение. Если У имеет функцию
плотности или частоты р, то симметрия относительно точки
эквивалентна (см. задачу 2.1.7):
Ρ (У + с) = ρ (с — у) при всех у. (2.1.2)
Например, распределение NN (μ, σ2) симметрично относительно точки
μ, биномиальное распределение ВВ (п, V2), симметрично
относительно точки (V2) п. Гамма-распределение не симметрично относительно
любой точки.
Пример 1.2.1. Модель измерения. Пусть Χχ,..., Хп — η
измерений постоянной μ. Каждое измерение можно представить в виде
Χι = μ + ε*, 1 <i </ι, (2.1.3)
где ε = (ε1? ..., εη) — вектор ошибок. Что следует предположить
относительно распределения вектора ε, который вместе с μ полностью
67

определяет совместное распределение величин Х19 ..., Хп7 Ответ йа
этот вопрос, разумеется, зависит от того, как производятся измерения.
Обычно принимают следующие минимальные допущения.
(1) Распределение для ε не зависит от μ.
(2) Величина ошибки, совершаемой при одном измерении, не
влияет на величину ошибки, совершаемой при всех остальных измерениях,
т. е. 81э..., гп — независимые случайные величины.
(3) Распределение для ошибки одного измерения такое же, как для
ошибки любого другого измерения, т. е. εΐ9 ..., εΛ — одинаково
распределенные случайные величины.
(4) Совместное распределение ошибок непрерывно и симметрично
относительно 0.
Такая модель возникает при изучении результатов неоднократно
повторенных воспроизводимых экспериментов и в других случаях при
проведении измерений. Мы будем называть такую схему моделью
одного образца со сдвигом.
Хотя принятые нами допущения не слишком ограничительны,
важно подчеркнуть тем не менее, что они являются допущениями и
выполняются в лучшем случае лишь приближенно. Например, если μ —
длина какого-то предмета, το·Χΐ9 ..., Хп не отрицательны, и
предположения (1) и (4) несовместимы.
Обычно приходится вводить более сильные предположения, j
(5) Ошибки имеют совместное распределение NN (0, σ2) с
неизвестной дисперсией σ2, τ. е. Xt образуют выборку из генеральной
совокупности с распределением NN (μ, σ2). Иногда бывает разумно принять
еще одно дополнительное предположение:
(6) Дисперсия распределения (5) известна. ■
От чего зависит выбор тех или иных допущений? Ясно, что при
выборе допущений мы руководствуемся соображениями,
представляющими смесь опыта, физической интуиции и попыток выдать желаемое за
действительное. Так, нагромождая одно за другим допущения (1)—(6),
мы получаем возможность, если принятые нами допущения
выполняются, комбинировать известным способом наши измерения, чтобы
весьма эффективно оценить μ, а также судить о точности нашей
процедуры оценивания (см. примеры 3.3.1, 4.2.3). Опасность состоит в том,
„что если принятые нами допущения не выполняются, то наш анализ,
оставаясь вполне корректным в рамках нашей модели, может иметь
весьма косвенное отношение к реально проведенному испытанию. Как
показывают два рассмотренных нами примера, степень нашей
осведомленности и контроля может от испытания к испытанию колебаться
в весьма широких пределах.
В некоторых приложениях мы часто используем неоднократно
проверенные теоретические модели, и такого рода опасность мала. Так,
число дефектных изделий в первом примере заведомо имеет
гипергеометрическое распределение, число α-частиц, испускаемых
радиоактивным веществом за небольшой промежуток времени, имеет
распределение Пуассона и т. д.
В некоторых приложениях мы можем в разумных пределах
обеспечивать лишь одни, но никак не другие аспекты. Так, в примере
68

2 1.2 мы можем обеспечить независимость и одинаковость распредели
ний наблюдений (для этого достаточно, чтобы их производили
одинаково подготовленные наблюдатели, каждый из которых не знает, какую
величину «намерил» другой). Однако тип возникающего при этом
распределения ошибок почти не контролируем.
Со специфическими трудностями мы сталкиваемся при анализе
экспериментов в медицине и общественных науках. Например, при
проведении сравнительных испытаний того типа, о котором упоминалось
в примере (в), группа пациентов, получающих лекарства А или J5,
может оказаться бессистемной, а не случайной выборкой из
генеральной совокупности больных, страдающих данной болезнью. В этой
ситуации (и в общем случае) важно рандомизировать выборку, сделать
ее случайной. Мы используем таблицу или любой другой генератор
случайных чисел для того, чтобы т пациентов, на которых будет испы-
тываться действие лекарства А, с достаточной точностью можно было
считать выборкой без возвращения из множества т + η пациентов,
отобранных для проведения опыта. Не будь таблицы или генератора
случайных чисел, мы не могли бы сказать, не объясняются ли
наблюдаемые различия в действии лекарств тем, что экспериментатор поставил
(быть может, неумышленно) одно лекарство в более
«привилегированные» условия, чем другое (например, отобрал для испытания лекарства
В только тяжелобольных пациентов). Однако исследование модели,
основанной на минимальном допущении о рандомизации, чрезвычайно
затруднительно. Обычно приходится принимать некоторые
дополнительные предположения. Статистические методы для
контролируемых экспериментов такого рода приведены в разд. 6.4. Б и 9.1.
Естественно возникают два вопроса.
(А) Каким образом мы можем убедиться в том, что имеющиеся
данные достаточно хорошо согласуются с принятой нами моделью?
(Б) Каким образом мы можем гарантировать, что серьезные
проблемы в исходных допущениях не окажут сколько-нибудь заметного
влияния на результаты нашего анализа (в рассмотренном выше
примере — на оценку величины μ и ее вариабельность)?
Эти вопросы мы подробно рассмотрим в гл. 9, а пока будем
действовать так, как если бы все наши допущения выполнялись, и,
используя два приведенных нами иллюстративных примера, определим
элементы статистической модели.
Пусть задано случайное испытание с выборочным пространством
Ω. Зададим на этом выборочном пространстве случайный вектор Х=
= (Χι, ..., Хп). Если ω — исход испытания, то Χ (ω) будем называть
наблюдениями или данными. Часто случайный вектор X бывает
удобно отождествить с его реализацией —данными Χ (ω). Поскольку
мы наблюдаем только вектор X, нам необходимо рассмотреть
распределение вероятности только для X. Предполагается, что оно
принадлежит некоторому семейству РР распределений вероятности на Rn.
Это семейство Ρ Ρ мы будем называть моделью. Так, в примере 2.1.1
мы наблюдаем X, и семейство Ρ Ρ — это семейство всех гипер
геометрических распределений с выборкой объемом η и генеральной
совокупностью объемом N. В примере 2.1.2, если выполняются допущения
69

(l) — (4), το Ρ Ρ — семейство всех распределении, при которых
случайные величины Xlf ..., Хп независимы и одинаково распределены
с общей плотностью, симметричной относительно некоторого числа μ.
Обычно представляют интерес различные «параметры» семейства PP.
Так, в примере 2.1.1 нас интересовала информация о доле θ дефектных
изделий от общего числа, которую можно считать средним от XIп.
В примере 2.1.2 нас интересовала величина μ, которую можно считать
центром симметрии распределения измерений. Помимо параметров,
представляющих интерес, обычно существуют мешающие параметры,
соответствующие другим, неизвестным, свойствам распределения
вектора X. Например, в модели измерения, если ошибки нормально
распределены с неизвестной дисперсией σ2, σ2 — мешающий параметр.
Полезные и мешающие параметры удобно объединить в один мульти-
параметр Φ, индексирующий семейство PP. Параметр θ служит
указателем, позволяющим узнать, о каком именно из возможных
распределений данных идет речь. Параметр $ принимает значения из
известного параметрического пространства Θ1. Таким образом, модель можно
записать в виде РР = {Р$ : Ь ζ Θ}. В примере 2.1.1. в качестве^
естественно выбрать долю дефектных изделий в партии, и Θ = {О,
UN, 2/iV,..., 1}. В примере 2.1.2, если выполняются допущения (1)—
(6), можно положить θ = μ. Тогда Θ — множество всех
допустимых значений неизвестной константы. Если выполняются только
допущения (1) — (5), то совместное нормальное распределение
наблюдения необходимо отождествлять по среднему μ и дисперсии σ2.
Следовательно, мы можем выбрать θ = (μ, σ2), а Θ будет некоторым
подмножеством плоскости. Например, при μ > 0 и произвольной дисперсии
σ2 параметрическое пространство Θ = {(μ, σ2): μ > 0, σ2 >
(^совпадает с положительным квадрантом плоскости.
Заметим, что в рассмотренных нами и любых других задачах
существует много способов выбора параметра, или параметризации
модели. В качестве нового параметра мы можем выбрать любую
взаимнооднозначную функцию от ύ\ Так, в примере 2.1.1 в качестве параметра
можно выбрать число дефектных изделий Ν$ в генеральной
совокупности, а в примере 2.1.2, если выполняются допущения (1) — (5),
модель можно параметризовать первым и вторым моментами
нормального распределения (т. е. взять в качестве нового параметра (μ, μ2 + σ2)).
Поскольку выбор параметров обычно подсказывается моделью,
параметризация иногда оказывается не взаимно-однозначной, т. е.
Лн = Р&2, даже если (^ Φ Ь2. Такие параметризации называются
неидентифицируемыми. Их по возможности следует избегать. Если из
*ι Φ *2 при всех #!, *2 ζ Θ следует, что Р^ Φ Р$2, то параметриза-
ция называется идентифицируемой.
Пусть, например, Хг и Х2 — случайные величины с
распределениями NN (<*! + ν, 1) и NN (аа + ν, 1), где а1э а2, ν — свободные
параметры. Если вектор Φ = (αχ, α2, ν) выбран в качестве параметра
распределения для (Х19 Х2), то Ь — неидентифицируемая
параметризация. В этом мы убедимся, заметив, что если Οχ = (0, 0, 2) и $2 =
= (1,1,1), то Ры = Pq2, хотя &г Φ Φ2. Другие примеры
приведены в задачах и в гл. 7.
70

До сих пор мы считали параметр Φ вещественным числом, или
вектором, но это совсем не обязательно. Например, если в примере 2.1.2
выполнены только предположения (1)—(4), то распределение ошибок
удобнее всего параметризовать «вектором» Φ = (μ, /), где /
пробегает семейство всех плотностей, симметричных относительно 0. Полезно
ввести различие между моделями, допускающими «естественную»
параметризацию векторами θ = (д1э ..., #&)€©, где Θ — некоторое
«хорошее» подмножество в Rk, и моделями, не допускающими такой
естественной параметризации. Модели первого типа называются
параметрическими, модели второго типа — непараметрическими
моделями. Различие между теми и другими является не совсем четким
из-за характеристик «естественная» и «хорошая», носящих в
известной мере произвольный характер. В параметрических моделях, в
частности в моделях из примеров 2.1.1 и 2.1.2, если выполняются
допущения (1) — (5) или (6), как правило, гипотезы носят весьма
ограничительный характер и распределение для данных определяется
несколькими первыми моментами. В непараметрических моделях, в
частности в моделях из примера 2.1.2, если выполняются допущения (1)—
(4), формы распределений могут варьироваться более или менее
свободно.
Если зависимость от θ желательно указать в явном виде, мы будем
обозначать Р$ распределение, соответствующее любому заданному
значению параметра ύ\ Математические ожидания, вычисленные в
предположении X ~ Р$, будем обозначать Е&, функции распределения —
F (·» ®)> функции плотности и частоты — ρ (·, Φ). Если никакой
путаницы при этом не возникнет, мы будем иногда опускать параметры,
стоящие в индексах или аргументах.
Удобно предположить, что в дальнейшем для любой
рассматриваемой нами модели справедливо одно из следующих двух утверждений.
(I) Все распределения Р$ непрерывны с плотностями ρ (χ, Φ).
(II) Все распределения Р$ дискретны с функциями частоты ρ (χ, θ),
и существует множество {хг, х2, ...}, не зависящее от Φ и такое, что
«о
2 Ρ (χ*, Ό) = 1 при всех Φ.
Такие модели мы будем называть регулярными моделями. Заметим,
что в примере 2.1.1, если Φ — доля изделий с дефектами, плотность
Ρ (k, ϋ)Ι = /\> [ X = k] определяется выражением (2.1.1). В
примере 2.1.2, если выполняются допущения (1) — (5) и Φ = (μ, σ2).
р(х,») = П -ί-φ(2=*.)-(σ y2-7i)-"exp J--L-2 (**-μ)4,
t = l ^ I *=1 J
(2.1.4)
а если выполняются допущения (1) — (4) и θ = (μ, /), то
р(х,*)=П /(*ι-μ). (2.1.5)
При проведении опыта наша цель состоит в том, чтобы, используя
данные индуктивно, уточнить наши представления о распределе-
71

ниях, реализующихся в действительности, и получить информацию об
истинном значении Φ. Такой подход противоположен дедуктивному
подходу теории вероятности, в которой мы сначала точно указываем,
какое распределение вероятности реализуется, а затем вычисляем
вероятность исхода того или иного опыта. Существует много способов,
позволяющих использовать данные индуктивно. Предположим, что в
примере 2.1.2 мы хотим получить число, мало отличающееся от истинного
значения μ, т. е. найти для μ (точечную) оценку. Обычно в качестве
оценки выбирают среднее значений, образующих выбор, т. е. величину
X = (Хг + ... + Хп)1п (обоснованность такой оценки мы обсудим
в последующих главах). С другой стороны, может оказаться, что в
примере 2.1.1 нам необходимо знать только, будет ли θ ниже некоторого
критического предела θ0 (в этом случае партия товара считается
принятой) или выше некоторого предела θχ > θ0 (в этом случае вся
партия идет в брак). Например, мы можем установить правило, по
которому вся партия считается бракованной, если в выборке доля изделий с
дефектами Х/п > 0lf и принимается, если Χ/η ^ Ьг. Такая
процедура называется критерием. В дальнейшем мы определим критерии,
оценки и установим критерии для отбора тех и других. Пока же мы
лишь подчеркнем, что любая оценка, критерий или какая-нибудь
другая статистическая процедура основаны на использовании функций от
наблюдаемых величин, или, как их принято называть, статистик.
Поскольку наблюдения случайны, то статистики и основанные на них
индуктивные решения также случайны. Следовательно, любая
конкретная совокупность данных может привести к заключениям, весьма
далеким от истины. Мы можем надеяться лишь, что наши выводы
окажутся правильными часто или с высокой вероятностью либо будут
мало отличаться от среднего. Так, если в примере 2.1.2 выполняются
допущения (1) — (5), даже если X может сильно отличаться от μ, при
больших η значительные отклонения маловероятны, так как в силу
неравенства Чебышева при больших η вероятность Р$[ \Х — μ| ^
^ σ] мала.
Вопрос о том, как использовать данные, часто оказывается
неразрывно связанным с вопросом о формулировке модели. Рассмотрим,
например, ситуацию (в), о которой говорилось в начале главы. Если
предположить, что существует единственная численная мера действия
лекарств и различие в действии лекарств на любого заданного
пациента есть константа, не зависящая от выбора пациента, то наше внимание,
естественно, сосредоточится на оценивании этой константы. Если же
различие в действии лекарств сложным образом зависит от выбора
пациента (каждое лекарство дает сложный эффект), то нам придется
ввести соответствующую меру различия в действии лекарств и решить,
каким образом ее можно оценить. Нередко исход испытания помогает
выбрать модель и подходящую меру различия. Затем эта модель,
зависящая от данных, используется для решения вопроса о том,
какого рода оценкой меры различия надлежит воспользоваться
(см., например, Мандел [ 152). Такой подход не согласуется со
схемой, принятой в нашей книге: мы выбираем модель до того, как
наблюдаем данные. Один из недостатков построения модели по данным ςο-
73

тоит в том, что при таком подХоДе становится трудным, если не невбЗ*
можным, следить за точностью наших оценок или вероятностью
получения правильных выводов 2. Относительно подхода к некоторым
аналогичным задачам, укладывающегося в схему, принятую в нашей
книге но несколько выходящего за ее рамки, см. Доксам [6], а также Бьер-
ве'и Доксам [2].
Встречаются и такие ситуации, когда выбор подлежащих
наблюдению данных зависит от экспериментатора и методов, используемых им
для получения вывода. Например, в уже упоминавшейся ситуации (в)
пациенты могут обследоваться один за другим, последовательно, а
решение о назначении того или иного лекарства данному пациенту
может приниматься на основе изучения его истории болезни. Но
экспериментатор может поступить и иначе, например сначала назначить
лекарства А четным и В нечетным пациентам, а через какое-то время
назначить всем то лекарство, которое дало лучший эффект на большем
количестве пациентов. Кроме того, статистическая процедура может быть
запланирована так, что экспериментатор отменит лекарства А и В, как
только будут получены статистически значимые данные о лучшем
действии одного из них. Таким образом, число обследуемых пациентов
(объем выборки) случайно. Проблемы такого рода относятся к области
последовательного анализа и планирования эксперимента. Наша
общая модель не охватывает их, и мы не будем рассматривать такие
проблемы в нашей книге. Более подробные сведения читатель сможет
почерпнуть в книгах Везерилла [21], Кендалла и Стьюарта [11].
2.2. ДОСТАТОЧНОСТЬ
Выбрав статистическую модель, мы, естественно, стремимся
отделить содержащуюся в данных несущественную информацию, которая
может лишь помешать правильной оценке ситуации г.
Начнем с формализации того, что мы понимаем под «уменьшением
данных». Назовем любую скалярную или векторнозначную функцию
наблюдаемых данных статистикой и обозначим Τ (X) или Т.
Пользуясь нашей прежней терминологией, можно сказать, что статистика —
это случайный вектор или вектор, определенный на выборочном
пространстве Ω. Если Τ сопоставляет одно и то же значение различным
выборкам, то, удерживая или учитывая только значение Τ (Χ), мы
производим уменьшение данных. Идея достаточности состоит в том, чтобы,
уменьшив данные, сохранить лишь те статистики, использование
которых не ведет к потере информации.
Так, в примере 2.1.1 мы производили выборки из генеральной
совокупности, просматривали одно за другим все изделия, попавшие в
выборку, и отмечали, соответствует ли каждое из них принятому
стандарту или содержит какой-нибудь дефект. Полученные нами данные
можно было бы представить в виде вектора X = (Х19 ..., Хп), где
Xi = 1, если i-e изделие в выборке имеет дефект, и Хг = О — в
противном случае. Полное число наблюденных изделий с дефектами Τ =*
η
** Σ Xt представляет собой статистику, отображающую многие раз-
73

Лйчкыё значения (kl9 ..., Хп) в одно и то же число. Интуитивно яейо,
что в рассматриваемом случае никакой потери информации не
произойдет, если мы запишем и будем использовать только Т.
Один из способов придать точный смысл выражению «статистика,
использование которой не приводит к потере информации»,
заключается в следующем. Статистика Τ (Χ) называется достаточной для
параметра θ в том и только в том случае, если условное распределение
для X при Τ (X) = t не содержит <К Таким образом, если значение
достаточной статистики Τ известно, то выборка X = (Хг, ..., Хп) не
содержит никакой дополнительной информации относительно Ь.
Пример 2.2.1. Машина изготовляет одну за другой η деталей.
Каждая деталь может быть надлежащего качества с вероятностью Φ и
бракованной с вероятностью 1 — Φ, где Φ— неизвестная величина.
Предположим, что между качеством отдельных деталей никакой
зависимости не существует. Пусть Xt = 1, если ί-я деталь хорошего
качества, и Xt = 0 — в противном случае. Тогда X = (Х19 ..., Хп) —
запись η биномиальных испытаний с вероятностью Ф. Из (П. 9.5)
получаем
P[X1 = ^f...,Xn=x„] = <H(l-*)»—, (2.2.1)
η
где Xi равны 0 или 1, s = 2 #ι· Как показано в примере 1.1.1, услов-
η
ное распределение для X при S = У\ Xt = s не содержит Φ. Следо-
вательно, S — достаточная статистика для Ф.И
Если Τ (Χ) —достаточная статистика, то, взяв ее и какой-нибудь
случайный механизм, например генератор случайных чисел, мы можем
физически реализовать эксперимент, который позволит нам, не зная
Ь, построить случайный вектор X' = (Х{9 ..., Х'п) с таким же
распределением, как у вектора X. Сделать это можно в два этапа следующим
образом. Прежде всего мы наблюдаем Т. (Заметим, что за
исключением тривиальных случаев распределение для Τ зависит от θ.) Затем мы
производим еще одно случайное испытание (независимо от первого
испытания), исход которого X' имеет условное распределение для X при
полученном значении Т. Поскольку это условное распределение не
зависит от Φ, второй этап вводит в систему чисто информативную
случайность. Докажем, что в дискретном случае X и X' имеют одинаковое
распределение. Из (1.1.3) следует, что при t = Τ (χ')
рх« (χ') = ρ (χ', t) = ρ (χ' I t) ρτ (0 = νχ (χ').
Приведенная выше конструкция остается в силах и в общем
случае.
Пример 2.2.2. Предположим, что покупатели подходят к прилавку,
следуя распределению Пуассона, с частотой появления (параметром)
Φ. Пусть Хг— время появления у прилавка первого покупателя, Х2 —
промежуток времени между появлением у прилавка первого и второго
покупателей. Из (П. 16.4) мы заключаем, что Хх и Х2 — независимые
случайные величины, имеющие одинаковое экспоненциальное
распределение с параметром θ. Докажем, что статистика Τ = Хг + X*
74

статочна для ft. Прежде всего заметим, что по теореме 1.2.3 при
любом ft статистики ΧΛΧχ + Х2) и Хг + Х2 независимы и первая из
иих оавномерно распределена на (0,1). Следовательно, условное
распределение для Х11{Х1 + Х2) при X, + Х2 =t есть UU (0, 1)
независимо от /. Из разд. 1.1 мы заключаем, что при Хх + Х2 = t
условное распределение для iXJiXi + Х2)1 (*ι + Х2) совпадает с
условным распределением для X{t /(Хг + Х2) и, следовательно, при Хх +
л. X2 = t случайная величина Хг имеет распределение UU (0,/).
Это означает, что при Хг + Х2 = t независимо от ft случайный
вектор (Χι, ^2) имеет такое же распределение, как (Χ, Υ), где X —
случайная величина, равномерно распределенная на (0,1) и Υ =
_- f χ. Следовательно, Хх + Х2 — достаточная статистика. ■
В обоих рассмотренных нами примерах объем данных удалось
значительно уменьшить. Вместо записи нескольких чисел нам достаточно
сохранить только одно число. Хотя полученные нами статистики
«естественны», важно подчеркнуть, что существует немало других статистик,
выполняющих ту же работу. Например, информация о том, что в 5
испытаниях было 3 благоприятных исхода, эквивалентна информации
о том, что разность между числом благоприятных и неблагоприятных
исходов равна 1. В общем случае если Тх и Т2 — любые две
статистики, такие, что 7\ (х) = 7\ (у) в том и только в том случае, когда
Т2 (х) = Т2 (у), то 7\ и Т2 содержат одну и ту же информацию
и допускают одинаковое уменьшение данных. Такие статистики
называются эквивалентными. Дальнейшие примеры эквивалентных
статистик приведены в задаче 2.2.4.
В общем случае прямая проверка достаточности довольно
затруднительна, поскольку сопряжена с необходимостью вычислить
условное распределение. К счастью, существует простой необходимый и
достаточный признак достаточности статистики. Доказательство этого
признака было предложено в различных формах Фишером, Нейманом,
а также Халмошем и Сэвиджем. Иногда его называют теоремой
факторизации для достаточных статистик.
Теорема 2.2.1. В регулярной модели статистика Τ (Χ) с областью
значений I достаточна для ft в том и только в том случае, если
существуют функцияg (t, ft), определенная при ί£/ и ft ζ Θ, и функция Λ,
определенная на Rn, такие, что
Ρ (х, #) = g (Τ (х), ft) h (x) (2.2.2)
при всех x£Rn, ft 6 Θ.
Мы докажем теорему 2.2.1 для дискретного случая. Полное
доказательство можно найти, например, в [13, р. 47—49].
Доказательство. Пусть (х1э х2, ...)—множество возможных
реализаций вектора X и tt = Τ (хг·). Тогда статистика Τ дискретна
и Σ Ρ& [Т = ti\ = 1 при любом ft. Тем самым необходимость
признака (2.2.2) доказана. Чтобы доказать его достаточность, следует лишь
Убедиться в независимости Р$ [X = χ;· | Τ = tt] от ft при любых i й
75

/. В силу данного нами определения условной вероятности для
дискретного случая достаточно доказать, что Р& [X = χ7· | Τ = tt] не
зависит от 6 на каждом из множеств S{- = {& : Р$ [Т = tt] ^ 0},
i = 1,2,...
Но если выполняется (2.2.2), то
Из (1.1.1) и (2.2.2) получаем при Ъ ζ. St:
Po[X = xj\T=ti\=P<>[X = x}\T = tiVPb[T = ti}= /%·** -
=if|M, если Τ(χ,)-/„
= 0, если Τ (x,)^. (2.2.4)
Из (2.2.3) заключаем, что
( 0 при Т(х$ФЬ
ΡΦ[Χ = χ^|Γ = ί,] =
^ при T(x,)=/f. (2.2.5)
Σ Λ (χ*)
№ (**)-'ι>
Следовательно, Τ — достаточная статистика. Наоборот, если Τ —
достаточная статистика, то пусть
g (th О) = Ρ* [ Τ = hi h (χ) = Ρ [Χ = χ | Τ = Г (χ)]. (2.2.6)
Тогда из (1.1.3) следует, что
ρ (χ, φ) = Ρ* [Χ = χ, Τ = Г (χ)] = g (Τ (χ), Φ) А (х).И
Пример 2.2.2 (продолжение). Если Xl9 ..., Хп — промежутки
времени между появлениями у прилавка η покупателей, то
совместная плотность для (Х19..., Хп) имеет вид (см. (П. 16.4)):
Ρ (*1,..., *п> fl) = fl"exp[ — О 2 *il. (2·2·8)
L /=i J
если все х% > 0; в противном случае ρ (х1э ..., хп, θ) = 0. Из теоремы
/г
2.2.1 можно заключить, что Τ (Χι,..., Χη) = 2 -Χι — достаточная
/=ι
статистика. Выберем g(i, θ) = №е~**9 если ί > 0, Φ > 0, и Я (xl9...,
xn) = 1, если все х-г > 0, в остальных случаях обе функции равны
нулю. В следующем разделе мы введем целый класс статистик,
допускающих простые достаточные статистики. К этом классу принадлежит
и рассмотренный нами пример. ■
Пример 2.2.3. Оценивание объема генеральной совокупности.
Рассмотрим генеральную совокупность, состоящую из Φ элементов с
индексами от 1 до О*. Из этой генеральной совокупности мы производим
выборку с возвращением, наблюдаем η элементов и записываем их
индексы Х19 ..., Хп. Здравый смысл подсказывает, что для получения ин-
76

формации относительно Φ нам необходимо сохранить только запись
величины Хм = max (^i> ···» Хп)· Действительно, можно показать, что
χм достаточная ^статистика. Распределение вероятности для X
имеет следующий вид:
ρ(*ι,....,*η, #) = #-п, (2.2.9)
если все х% — целые числа, заключенные между 1 и Φ, а в остальных
случаях ρ (#ι,..., я», Ф) равна нулю. Выражение (2.2.9) можно
преобразовать к виду
Ρ(*ι,..., Хп> О)=О—/ЦЛ)<01, (2.2.10)
где #<n> — max (хг,...9 хп). По теореме 2.2.1 Х(п)— достаточная
статистика для <К ■
? Пример 2.2.4. Пусть Х19 ..., Хп — независимые и одинаково
распределенные случайные величины, каждая из которых имеет
нормальное распределение со средним μ и дисперсией σ2 (оба параметра
неизвестны), и Φ = (μ, σ2). Тогда плотность для (Х1$ ..., Хп) определяется
выражением
Ρ(*ι,..., *η> Ο) = [2πσ2] 2 ехр!--^ Σ (х, —μ)"| =
η
-в-ч" ! [«φ(^}][^(—=г(J, "-2μ J/')}]'
(2.2.11)
Ясно, что плотность ρ(Χχ9...,χη9 ϋ) сама является функцией только
от ( 2 **» 2 *Ч и *- Применяя теорему 2.2.1, мы заключаем,
что 7\(Хь..., Хп) = [2 Х*> 2 *Ч ~~ Достаточная статистика
для Φ. В этом случае часто используется эквивалентная достат
точная статистика Тг(Хъ..., Хп) = Г(1/п) 2 *i,(l/*) 2 (**-*Н
— η
где Х = (1/я) 2 Xj. Первая и вторая компоненты вектора называ-
ются выборочным средним и выборочной дисперсией. Ш
Используя рассуждения из разд. 1.1, можно показать, что Τ (X)
— достаточная статистика для Φ в том и только в том случае, если для
любой другой вещественнозначной статистики S (X) с Е$ (| S (Х)|) <
< оо при всех Φ условное ожидание при заданной Т(Х) не зависит от
у1. В этом случае Е* (S (X) | Τ (X)) мы записываем как Ε (S (Х)|
Ι Τ (X)).
Ίΐ

Принятое в нашей книге определение достаточности так же, как
и сам термин, впервые было введено Р. А. Фишером в [8]. Другие
определения, основанные на иной интерпретации достаточности, были
предложены Халмошем и Сэвиджем в [9] и Колмогоровым в [12]. К
счастью, можно показать, что все эти определения эквивалентны.
2.3. ЭКСПОНЕНЦИАЛЬНЫЕ СЕМЕЙСТВА
Модели всех примеров, рассмотренных в предыдущем разделе,
обладают одной интересной особенностью: во всех этих моделях
существует естественная достаточная статистика, размерность которой как
случайного вектора не зависит от объема выборки. Класс семейств
распределений, который мы вводим в этом разделе, был впервые
независимо открыт Купменом, Питменом и Дармуа при исследованиях именно
этого свойства. Впоследствии были обнаружены и другие общие свойства
этих семейств, и они стали играть важную роль во многих областях
современной теории статистики. В нашей книге мы неоднократно
будем встречать их в различной связи.
2.З.А. Однопараметрический случай
Семейство распределений модели {Р$ : Φ ζ Θ} называется одно-
параметрическим экспоненциальным семейством, если существуют ве-
щественнозначные функции с (Φ), d (Φ) на Φ, вещественнозначные
функции Τ и S на Rn и множество A cz Rn, такие, что функции плотности
(частоты) ρ (χ, Φ) распределения Р$ можно записать в виде
ρ (χ, θ) - {ехр [с (0) Τ (χ) + d (0) + S (χ)]} ΙΑ (χ), (2.3.1)
где Ια — индикатор множества Л. Подчеркнем, что функции с, d, S
и Τ — не единственные. Множество А не должно зависеть от Φ.
В однопараметрическом экспоненциальном семействе случайная
величина Τ (Χ) является достаточной статистикой для Φ. В
правильности этого утверждения нетрудно убедиться непосредственно:
достаточно лишь отождествить £* о» г 00-И № с g (Τ (χ), Φ) и
[ехр S (χ)] Ια (χ) с Λ (χ) β теореме факторизации. Величину Т мы
будем называть естественной достаточной статистикой однопарамет-
рического экспоненциального семейства.
Приведем несколько примеров.
Пример 2.3.1. Нормальное семейство. Пусть Ρμ — нормальное
распределение с неизвестным средним μ и известной дисперсией σ2.
Тогда плотность распределения Ρμ равна:
-exp[-£-^-(-4+ln(VrH]· (2·32)
78

Следовательно, распределения Ρμ образуют однопараметричео-
кое экспоненциальное семейство с
*(μ)=^Γ, ά<μ) = —£-, (2.3.3)
о *"δ
Т(х)=х, 5(*) = -(^ + 1п(У2яа0)).
С другой стороны, если Q0* — нормальное распределение с
известным средним μ0 и известной дисперсией σ2, значения которой
заполняют положительную ось, то, как нетрудно видеть, {Qa*} — однопара-
метрическое экспоненциальное семейство с
СИ==_1^"' Τ(χ) = (χ-μ0)\Μ (2.3.4)
Пример 2.3.2. Биномиальное семейство. Пусть X имеет
распределение ВВ (л, «), 0 < О < 1. Тогда
ρ (χ, #) = (Μ О* (1 -θ)»-* /л (х), (2.3.5)
где Л = {0, 1, ..., /г}. Преобразуя (2.3.5), получаем
p(x,0) = {exp^lni^-j+nln(l—0) + 1п (Mil IA(x). (2.3.6)
Следовательно, семейство распределений величины X есть не что иное,
как однопараметрическое экспоненциальное семейство с
с (ft) = In (-3—), d (О) = η In (1 —θ),
(2.3.7)
Г (χ) = *, 5(*)=1η(Λ
Семейства распределений, возникающих при выборе из однопара-
метрических экспоненциальных семейств, сами являются однопарамет-
рическими экспоненциальными семействами. В частности,
предположим, что Χχ,..., Xm независимы и одинаково распределены с общим
распределением Р$, где {Р-&} — однопараметрическое
экспоненциальное семейство, как в (2.3.1). Если {Р«Г\ $ £ Θ} — семейство
распределений для вектора X = (Х1э ..., Хт), рассматриваемого как
случайный вектор в Rwn и ρχ (χ, Ь) — соответствующие функции
плотности (частоты), то
т т
Рх (*,*)= Π Pxf(xi,#)= Π {ехр[с(#) Г (хг)+ <*(#) +
+ S(x,)]}Mx() = {exp|"c(<>) fj T(xt)+md($) +
+ |s(Xi) l}/^(m)(xi xm), (2.3.8)
79

где A<m> = {(χχ,..., xw) : Xi 6 Л, 1 < i < m) и χ = (Xl, ..., xm).
Следовательно, распределения ptf1* образуют однопараметрическое
экспоненциальное семейство. Если ввести верхний индекс т для
обозначения соответствующих Т, с, d и S, то
<·<«> (fl) = с (fl),
m
Т('")(х1,...(хго)=2Т(хг)· (2·3·9)
«=ι
m
S(")(x1,...,xm)==2S(^)·
Подчеркнем, что естественная достаточная статистика Т(т>
одномерна при любом /п.
Например, если X = (Xl9..., Xm) — вектор из независимых и
одинаково распределенных случайных величин с распределением
ΝΝ(μ, σ§) и {Ρμ1*}— семейство распределений вектора X, то {Ρμ1*} —
однопараметрическое экспоненциальное семейство с естественной до-
m
статочной статистикой Т^т) (X) = 2 Х|.
/=ι
Некоторые другие важные примеры представлены в следующей
таблице. Доказательство соответствующих утверждений мы
предоставляем читателю.
Таблица2.3.1
1 Семейство распределений
РР (θ)
Г (ρ, λ)
β (г. s)
ρ фиксировано
λ фиксирована
г фиксировано
s фиксировано
с
In θ
-λ
(P-I)
(e-1)
e-i) ι
τ
χ
χ
1η χ
1η (1-х)
1η χ
Статистикой T<m> (Λχ,..., Хт), соответствующей однопараметри-
ческому экспоненциальному семейству распределений выборки из лю-
т
бого приведенного в таблице семейства, служит 2 Τ (Χι)·
80

В нашем первом примере 2.3.1 достаточная статистика Т^т) (Хг, ...*.
т
Хт) = 2 Xt имеет распределение NN (/ημ, /ησ§). Та же
группировка, использованная в (2.3.4), показывает, что это семейство
нормальных распределений является однопараметрическим экспоненциальным
семейством при любом т. В дискретном случае можно доказать
следующий общий результат.
Теорема 2.3.1. Пусть {Р$} — однопараметрическое
экспоненциальное семейство дискретных распределений с соответствующими
функциями с, d, S, Τ и множеством Л и пусть {Q&} — семейство
распределений статистики Τ (Χ). Тогда {Q^} — однопараметрическое
экспоненциальное семейство дискретных распределений с функциями
частоты q (·, Φ), представимыми в виде
q(t, О) = [ехр {с (О) ί + d (#) + S* (ή)] U*(f)
с надлежащими S* и Л*.
Доказательство. По определению
?(*,*) = Л>[Г(Х) = Я = Σ ρ(χ,θ) =
{χ:Γ(χ)-ί>
= 2 {ехр [с (Φ) Г (χ) + d (Φ) + S (x)]} Ια (χ) =
{χ:Γ(χ)-0
= exp [c(*)t + d№ I 2 ^(х))/л* (f), (2.3.10)
где Л* —образ множества Л при преобразовании Т. Утверждение
теоремы мы получим, положив S* (t) = In {2^ίχ)} при ί ζ Л*,
в противном случае S* (f) = 0. ■ {х6Л ; Пх)-0
Аналогичная теорема справедлива и в непрерывном случае, если
распределения статистики Τ (Χ) сами непрерывны. Более
удовлетворительное определение экспоненциального семейства, позволяющее
избегать технических ограничений, но существенно использующее
теорию меры, можно найти у Лемана [13, р. 52].
Полагая η = с (Φ), мы получаем важную и полезную новую
параметризацию экспоненциального семейства (2.3.1). В новой
параметризации это экспоненциальное семейство имеет следующий вид:
р0 (χ, η) - {ехр [цТ (х) + da (η) + S (χ)]} ΙΑ (χ), (2.3.11)
где
dQ (η) = - In J ... J ехр [η Τ (χ) + S (χ)] dx
Α
в непрерывном случае, а в дискретном интеграл заменяется суммой.
Заметим, что если функция с взаимно-однозначна, то d0 (r\)=d (с'Чп))·
Если η = с (#) при Φ £ Θ, то функция d0 (η) конечна, так как
р(х, ·&) — плотность. Пусть Η — множество всех η, на которых
Функция d0 (η) принимает конечные значения. Тогда Η — либо
интервал, либо все пространство R, и класс моделей (2.3.11) с η £ Η
содержит класс моделей (2.3.1) с θζΘ. Модели, задаваемые формулой
(2.3.11) с параметром η, принимающим значения из Я, называются одно-
параметрическим экспоненциальным семейством в естественной фор-
81

ме. Сформулируем один результат, который понадобится ним 6
дальнейшем.
Теорема 2.3.2. Если вектор X распределен по (2.3.11) и η —
внутренняя точка множества Я, то производящая функция моментов
статистики Τ (Χ) существует и задается выражением
ψ (s) = exp [d0 (η) — d0 (s + η)]
для s, принадлежащих некоторой окрестности нуля.
Кроме того,
Ε (Τ (Χ)) = - dh (η), Var (Τ (Χ)) = - d£ (η).
Доказательство. Докажем теорему для непрерывного случая.
Производя несложные вычисления, получаем
ψ (s) - Ε (exp (sT (X))) = J... J {exp [(s + η) Τ (χ) +
A
+ <*o (η) + S (χ)] } dx - {exp [d0 (η) - d0 (s + η)]} Χ
X f...f {exp [(s + η) 7 (x) + d0 (s + η) + S (x)]} dx =
= exp [ d0 (η) — d0 (s + η)],
поскольку второй множитель равен 1 как интеграл от плотности.
Доказательство завершается, если воспользоваться тем, что i|)(s) —
производящая функция моментов (см. (П. 12)). ■
Приведем типичный пример того, как применяется теорема 2.3.2.
Пример 2.3.3. Пусть Xv ..., Хп — выборка из генеральной
совокупности с плотностью
ρ (χ, #) = (χ/W exp (— χ2 /2θ2), χ> 0, θ > 0.
Такое распределение известно под названием распределения Рэлея.
Оно используется для моделирования «времени до первого отказа»
некоторых типов оборудования. В этом случае
Ρ (х, θ) = ( fl (Xi!®2)) exp I - 2 tf/20*) =
^exp — У xf—n\n№+ 2 lnx, L
L 2** /Γι i-i J
η = c (#) = _ 1/2 №, fl* = _ ΐ/2η, d (*) = — η In #2 и d0 (η) «
= /г In (— 2 η). Следовательно, естественная достаточная статистика
η
2 Л/ имеет среднее — η /η = г/гФ2 и дисперсию n/η2 = 4п<И.
Прямое вычисление этих моментов достаточно сложно. ■
2.3.Б. ^-параметрический случай
Анализ «естественной формы» наводит на мысль, что однопарамет-
рические экспоненциальные семейства естественно индексируются
одномерным вещественным параметром η и допускают одномерную
достаточную статистику Τ (Χ). Купмен, Питмен и Дармуа, рассмотрев
82

более общий случай, пришли в своих исследованиях к следующему
семейству распределений, естественно индексируемых ^-мерных
параметров и допускающих fe-мерную достаточную статистику.
Семейство распределений {Р$ : Φ £ Θ} называется k-парамет-
рическим экспоненциальным семейством, если существуют веществен-
нозначные функции cl9...9 ck, άοτ Φ, вещественнозначные функции Tl9
..., 7\, S на Rn и множество A cz Rn, такие, что функции плотности
(частоты) распределения Р$ представимы в виде
р(Х| *) = {ехр|"2 cf(*)Tf(x) + rf(*) + S(x)lJ/A(xr. (2.3.12)
По теореме 2.2.1 вектор Т(Х) = (7\ (X), ..., Tk (X)) есть достаточная
статистика. Вектор Τ (X) мы будем называть естественной
достаточной статистикой ^-параметрического экспоненциального семейства.
Пусть снова X = (Χι,..., Xm)> где X* — независимы и одинаково
распределены так, что их общее распределение пробегает &-парамет-
рическое экспоненциальное семейство с функциями (частоты)
плотности (2.3.12). Тогда распределения вектора X образуют &-параметри-
ческое экспоненциальное семейство с естественной достаточной статис-
т т
тикой Т<ш> (X) = ( Σ Тг (Хг),..., Σ Tk (Xr)). Теорема 2.3.1 так же, как
г=1 г=1
и ее непрерывный аналог, допускает обобщение на ^-параметрическое
экспоненциальное семейство. Доказательства являются
непосредственными обобщениями соответствующих доказательств при k = 1.
Пример 2.3.1 (продолжение). Нормальное семейство с неизвестным
средним и неизвестной дисперсией. Пусть Р$ = NN (μ, σ2), Θ =
= {(μ, σ2) : — οο < μ < οο, σ2 > 0}. Плотность распределения Р$
можно представить в виде
р(,,*)-еч> [■£-*—£-—±-(-£+1η(2πσ>))], (2.3.13)
что соответствует двупараметрическому экспоненциальному семейству
с
Tt(x) = x*t (2.3.14)
<*(*)= —^^ + 1η(2πσ2)), S(x) = 0, A = R.
Если мы наблюдаем выборку X = (Xl9 ..., Хт) из генеральной
совокупности с распределением NN (μ, σ2), то предыдущие соображения
т т
приводят нас к естественной достаточной статистике (2^ь Σ Χ?),
полученной в предыдущем разделе. ■
* Заметим, что любое β-параметрическое экспоненциальное семейство есть
в то же время £'-параметрическое семейство при любом k' > L· Однако
существует естественное наименьшее значение k, которое и является истинной
размерностью семейства (см. [7]).
83

Некоторые другие примеры ^-параметрических
экспоненциальных семейств, такие, как мультиномиальное и двумерное нормальное
распределения, приведены в задачах при обсуждении «естественной
формы» и аналога теоремы 2.3.2.
Заметим, что пример 2.3.3 выходит за рамки изложенной нами
теории. Естественная достаточная статистика max (Xl9 ..., Хп), одно-
п
мерная при любом объеме выборки, непредставима в виде 2 Τ (Xt)-
Семейство распределений в этом примере и семейство распределений
UU (О, Ό1) не являются экспоненциальными. Несмотря на
существование классов таких примеров, как эти, усилиями Купмена, Питмена,
Дармуа и других авторов была разработана теория, показывающая,
что, при соблюдении надлежащих условий регулярности, семейства
распределений, допускающие ^-мерные достаточные статистики при
любых объемах выборки, должны быть β-параметрическими
экспоненциальными семействами. Некоторые интересные результаты и обзор
литературы можно найти в статье Брауна [3]. Частный результат
этого типа приведен в задаче 2.3.10.
2.4. БАЙЕСОВСКИЕ МОДЕЛИ
В предыдущих разделах мы исходили из предположения, что не
существует иной информации об истинном значении параметра, кроме
той, которая содержится в данных. Однако встречаются и такие
ситуации, в которых, по мнению большинства статистиков, относительно
истинного значения параметра можно сказать нечто большее. Так, при
рассмотрении примера 2.1.1 может оказаться, что в прошлом нам
приходилось неоднократно принимать партии по N изделий, которые
затем распределялись. Если потребители представили точные записи
числа обнаруженных ими изделий с дефектами, то мы можем
построить распределение частоты {π0,..., κν} для доли ·& бракованных
изделий в предыдущих партиях, т. е. л^ — частота партий, в которых
имеется i изделий с дефектами, i = 0,1, ..., N. Разумно предположить,
что значение Φ в очередной партии есть реализация случайной
величины θ с распределением
Ρ [Φ = UN] = π,, i = 0, ..., Ν. (2.4.1)
Нашу модель мы задаем, указывая совместное распределение
наблюденного числа X дефектов в выборке и случайной величины <К
Известно, что при # = UN случайная величина X имеет
гипергеометрическое распределение Η Η (ι, Ν, ^.Следовательно,
P[X = k9* = ilN] = P[u = i/N]P[X = k\b = llN] =
= „fVjjVz*i. (2.4.2)
о
Это — пример байесовской модели.
84

Немало статистиков считает, что всегда разумно и даже необходимо
рассматривать истинное значение параметра 6 как реализацию
некоторой случайной величины θ с известным распределением. Это
распределение не всегда соответствует физически реализуемому испытанию,
а скорее мыслится как своего рода мера априорных представлений
экспериментатора об истинном значении Φ. Тем самым окончательный
статистический вывод становится субъективным.
Теория, которой придерживается эта школа статистиков,
изложена Л.Дж. Сэвиджем [8], Райфой и Шлейффером [17] и Линдли [14].
Интересный анализ различных точек зрения по этим вопросам можно
найти в брошюре [19]. Большинство статистиков не разделяет
сформулированных выше взглядов на Φ и ограничивает использование
таких моделей ситуациями, аналогичными примеру с выборочной
проверкой, когда распределение для Φ допускает объективную
интерпретацию в терминах частот *. Однако, как показано в гл. 10, придавая
параметру Φ из чисто теоретических соображений распределение,
лишенное какой бы то ни было субъективной интерпретации, мы можем
получить важные и полезные результаты в классических
(небайесовских) моделях.
В этом разделе мы определим и рассмотрим основные элементы
байесовских моделей. Дополнительный материал по байесовским
процедурам приведен в гл. 10.
Пусть {Р$ : Φ £ Θ} — регулярная параметрическая модель. Чтобы
построить байесовскую модель, введем случайный вектор θ, область
значений которого содержится в Θ, с функцией плотности или частоты π.
Функция π отражает наши предположения или информацию
относительно параметра Φ до испытания и называется априорной функцией
плотности или частоты. Распределение Р& мы рассматриваем как
условное распределение для X при # = Φ. Совместное распределение
для (#, X) есть распределение исхода случайного опыта, в котором мы
сначала выбираем # = вв соответствии с π, а затем при заданном
Φ = Φ выбираем X в соответствии с Р$. Если X и θ оба непрерывны или
оба дискретны, то, как следует из (1.1.3), вектор (#, X) соответственно
непрерывен или дискретен с функцией плотности или частоты
/ (θ, χ) = π (Ο) ρ (χ, Ο). (2.4.3)
Поскольку ρ (χ, Φ) мы рассматриваем как условную функцию
плотности или частоты при θ = Φ, то до конца этого раздела будем
обозначать ее ρ (χ Ι Φ).
Соотношение (2.4.2) — частный случай соотношения (2.4.3).
В «смешанных» случаях, когда, например, Φ непрерывен, а X
дискретен, совместное распределение не является ни непрерывным, ни
дискретным.
Отличительная особенность байесовской модели — условное
распределение для θ при X = х, называемое апостериорным
распределением для *. До того как произведен опыт, информация или
предположение относительно истинного значения параметра описывается
априорным распределением. После того как значение χ вектора X получе-
85

но, информация относительно ft определяется апостериорным
распределением.
В качестве конкретной иллюстрации обратимся снова к примеру
2.1.1. Пусть N = 100, и мы исходя из прежнего опыта считаем, что
каждое изделие может иметь дефект с вероятностью 0,1 независимо от
других изделий в партии. Приняв такое предположение, мы приходим
к априорному распределению
Щ=1 ^°)(0,1У(0,9)100^ (2.4.4)
при i = 0,1, ..., 100. До испытания любого изделия вероятность того,
что в данной партии окажется не менее 20 изделий с дефектами, при
нормальном распределении с поправкой на непрерывность (П.15.10)
составляла
P[100ft>20]=P
1000-10
) (0,1) (0,9) J
Vl00(0,l)(0,9) Vl00(
» 1 _ф (JbL\ = 0,001. (2.4.5)
Предположим теперь, что из партии произведена выборка объемом в 19
изделий, в которой 10 изделий оказались с дефектами, что приводит к
Ρ [100 ft > 20 I Χ = 10] » 0,30. (2.4.6)
Чтобы вычислить апостериорную вероятность, содержащуюся в (2.4.6),
мы рассуждаем в общих чертах следующим образом. Если до
испытания каждое изделие имело дефект с вероятностью 0,1 и было
доброкачественным с вероятностью 0,9 независимо от остальных изделий,
то, после того как из партии извлечены для выборочного контроля 19
изделий, каждое из оставшихся изделий по-прежнему дефектно с
вероятностью 0,1 и доброкачественно с вероятностью 0,9. Следовательно,
величина 100 ft — X— число изделий с дефектами, оставшихся
после того, как из партии извлечены 19 изделий,—не зависит от X и
имеет распределение ВВ (81; 0,1). Следовательно,
Ρ [100ft > 20 |Х= 10] = Ρ [100ft—X>10|X=10] =
__рГ (100О—Χ)—8,1) ^ 1,9 1
L 1/81 (0,9) (0,1) ^ 1/81 (0,9) (0,1) J~
«1—Φ (0,52) = 0,30. (2.4.7)
В общем случае для вычисления апостериорной вероятности можно
воспользоваться одним из вариантов правила Байеса (1.1.4). Он
утверждает следующее.
(1) Апостериорное распределение дискретно или непрерывно в
зависимости от того, дискретно или непрерывно априорное
распределение.
86

(2) Если π (Φ Ι χ) — соответствующая (апостериорная) функция
частоты или плотности, то
п(<Их)=|
я (ft) ρ (χ Ι Ο)
— ; ! ; , если параметр ft дискретен,
%n(t)p(x\t)
t
κ ,ρ" ' '— , если параметр ft непре-
+j\<OP<«IO* РЫвен·
В тех случаях, когда диХ оба непрерывны или оба дискретны, мы
получаем в точности правило Байеса, примененное к совместному
распределению для (ft, X), задаваемому соотношением (2.4.3). Приведем
пример.
Пример 2.4.1. Биномиальные испытания. Пусть Xl9...9 Хп —
индикаторы η биномиальных испытаний с вероятностью благоприятного
исхода ft, где 0< ft < 1. Если предположить, что ft имеет априорное
распределение с плотностью π, мы получим по формуле (2.4.8) для ft
апостериорную плотность
/а, ч Jt(ft)ft*(l—ft)1*"* /о л пч
π(Α [*!,...,*„)= χ —* 1 . (2.4.9)
\n(t)tk{\—tf-kdt
о
η
где 0<ft<l, хг = 0 или 1, ί = 1,....,η, £= 2 *ι·
Заметим, что апостериорная плотность зависит от данных только
η
через полное число благоприятных исходов У. Хи а эта величина, как
известно, является достаточной статистикой. Ту же апостериорную
плотность мы получим, если ft имеет априорную плотность π и мы наб-
п
людаем только величину S = 2 Хи имеющую при ft = ft
распределение ВВ (п, ft) (задача 2.4.14). Таким образом, вместо π (ft | хг,..., хп)
η
можно записать π (ft| k)> где k = 2 *ι·
Чтобы выбрать априорную плотность π, нам необходим класс
распределений, сосредоточенных на интервале (0,1). Одним из таких
семейств является двупараметрическое семейство бета-распределений.
Этот класс распределений обладает тем замечательным свойством, что
апостериорные распределения также являются
бета-распределениями. Действительно, подставляя в (2.4.9) плотность распределения
β (г, s) (1.2.11), получаем
π (ft 1 к) = ϋ'~1 (1 ""d)S""1 °*(1 ~®)n~k _ ft*4"1""1 (l -ft)"-**5-1
С С
(2.4.10)
87

Коэффициент пропорциональности с, зависящий только от k, г и $,
должен быть равен (см. (1.2.11)) B(k + r, η — k + s), а
апостериорное распределение для ft при S = k имеет вид β (k + г,
η — k + s).
Как видно из рис. 1.2.2, β -кривые сильно различаются между
собой по форме и поэтому могут служить хорошей аппроксимацией для
многих разумных априорных распределений. Предположим, например,
что нас интересует доля ft «гениев» (1Q ^ 160) среди населения
какого-нибудь города. Чтобы получить информацию, мы производим
выборку в η человек. Если η мало по сравнению с численностью
городского населения, то (П.15.13) позволяет нам предположить, что число
X наблюденных нами «гениев» имеет распределение, достаточно
близкое к В В (п, ft). Далее мы можем либо располагать какой-нибудь ин-
- формацией о «процентном содержании» «гениев» среди населения
аналогичных городов страны, либо составить некое мнение относительно
вида априорного распределения для ft. Мы можем предположить, что
ft имеет плотность с максимумом в нуле, как показано пунктирной
линией на рис. 1.2.2. Затем мы можем выбрать г и s в распределении
β (г, s) так, чтобы среднее было равно r/(r + s) = 0,05, а
дисперсия была очень,мала, и в результате получить плотность,
изображенную на рис. 1.2.2 сплошной линией.
Если нас интересует ft, относительно которого мы не располагаем
ни информацией, ни какими-либо соображениями, то можно
предположить, что параметр ft равномерно распределен на (0,1), т. е.
воспользоваться бета-распределением с г = s = 1. ■
Поясним некоторые из особенностей байесовских моделей на этом
примере.
(1) Если существует достаточная статистика Т, то апостериорное
распределение зависит от данных только через Т. Кроме того,
апостериорное распределение совпадает с условным распределением для ft при
я
заданной статистике Т. В нашем примере Τ = 2 ^£·
(2) Существует естественное параметрическое семейство
априорных распределений, для которых апостериорные распределения
принадлежат к тому же семейству. В нашем примере таким свойством
обладает семейство бета-распределений. Такие семейства, называемые
сопряженными, встречаются довольно часто.
Пусть, например, Х19 ..., Хп — выборка из] ^-параметрического
экспоненциального семейства. Тогда
p(x|ft) = exp ( 2 с,(Ъ) 2 ТН*|)+ 2 S(*i)+mf(ft)l IA(x), (2.4.11)
где ft принадлежит β-мерному пространству Θ. Сопряженное
экспоненциальное семейство мы получаем по формуле (2.4.11), считая η
η
и 2 Т§ fa), i — 1,..., k, параметрами и рассматривая ft как параметр,
значение которого требуется определить. Действительно, пусть
88

5 ... j" exp 2'/cj(*> + '*+id(*) l·»!···^*.
—-co — oo W = 1 '
(2.4.12)
Q = {(/i, ..., ί*+ι):ω(/ι, .... /fc+1)< oo}.
Тогда справедливо следующее утверждение.
Утверждение 2.4.1. (k + 1)-параметрическое экспоненциальное
семейство, задаваемое плотностью
π(0|*ι,..., i*+i) = exp j2^(*)/j+ifc+irf(*)-ln0(/lf...f tk+1)V (2.4.13)
где (ίχ *Λ + ι)£Ω> сопряжено семейству, задаваемому плотностью
ρ (х И) (2.4.11).
Доказательство. Если ρ (χ | Φ) определяется формулой (2.4.11),
а π — формулой (2.4.13), то при χ ζ Л
л (»| χ) ~ ρ (χ | О) л («| ίχ /Λ) c-s
^ exp ( 2 cj (Φ) f 2 ^(*ι)+ <il + (**+ι+Ό d(*)) c*
„ V'"! „ J (2.4.14)
\ f=i *=i /
где символ ~ означает, что величины, стоящие справа и слева от
него, пропорциональны. Так как две пропорциональные плотности
вероятности должны быть равны, то π (θ | χ) принадлежит
экспоненциальному семейству (2.4.13), задаваемому последним выражением в
(2.4.14), что и доказывает наше утверждение. ■
Нетрудно проверить, что бета-распределения получаются при этом
сопряженные биномиальным распределениям.
Пример 2.4.2. Пусть Х19 ..., Хп — выборка с распределением
NN($, σ2), где σ2 — известная дисперсия, ад — неизвестное среднее.
Чтобы выбрать априорное распределение для Φ, рассмотрим сопряжен*
ное семейство модели, заданной плотностью (2.4.13). Из примера 2.3.1
известно, что при η — 1
р(*|0)~ехр{-^—£-}. (2.4.15)
Это 1-параметрическое экспоненциальное семейство с
О*
Тг(х) = х, Cl({>)=-£-, d(0)
σ» ν ' 2d»
Сопряженное 2-параметрическое экспоненциальное семейство имеет
плотность
*(<4*ι, *2) = ехр{-±_ Ί--Ц- ίι-ΙηωΛ, 4)}· (2.4.16)
89

и дисперсией
Дополняя до полного квадрата, получаем
ji(0|/lf *2)~ехр{—^-(*—У'}· (2.4.17)
Таким образом, π (Φ | tl9 t2) определена только при /2>0и всех /х
и есть не что иное, как плотность, распределения NN (tjt^ o2/t2).
Следовательно, наше сопряженное семейство состоит из распределений
NN (η, τ2) со свободным средним η и положительной дисперсией τ2.
Начав с априорной плотности распределения NN (η, τ2), мы
получим в параметризации (tv t2):
h=^,k=^. (2.4.18)
τ2 τ2
η
Заметим, что ^Xi=s. Тогда из (2.4.14) следует, что апостериорное
распределение имеет плотность (2.4.16) с
σ2 ησ2
Из (2.4.17) находим, что π (ΦΙ*) имеет нормальную плотность со
средним
"<··»>-$-(7+"Π·+Ξ] <"·"»
^-i^Hi+i)"- (2Л20)
Заметим, что из интуитивных соображений (2.4.19) можно представить
в виде
μ (s, η) = w±x + w2r\, (2.4.21)
где
щ= — τ2(η), ^2=1—^ = ^^.
σ2 τ2
Таким образом, апостериорное среднее μ (s, n) есть взвешенное
среднее априорного среднего η и выборочного среднего χ с весами w1 и
ша. Это согласуется, как и должно быть, с условным распределением
η
для О при заданной статистике 2 ^ (задача (2.4.14). ■
Важная особенность этого примера состоит в том, что в отличие от
распределения UU (0, 1) в предыдущем примере на этот раз не
существует априорного распределения вероятности, которое бы отвечало
неполной информации или полному незнанию. Естественный
кандидат в априорные распределения — плотность η (Φ) = 1 — имеет
J π (Φ) d$ = oo. Но подставив в этом примере π (Φ) == 1 в
— oo
(2.4.8), мы получим правильное «апостериорное» распределение, а
именно NN (х, о2/п)\ Такие неотрицательные функции π с J π (t)dt —
•-99
90

fc- с© были введены Джеффрисом в [10l. Эти функции часто
используются в байесовском анализе и называются несобственными
априорными распределениями. В качестве введения в теорию таких
распределений можно рекомендовать курс Линдли [14].
Выбор π (θ) = 1 в общем случае приводит к
π (р | χ) ~ ρ (χ I Ъ). (2.4.22)
В правой части (2.4.22) стоит функция плотности или частоты для X,
рассматриваемая как функция от Φ при фиксированном X. При такой
интерпретации мы можем записывать ρ (xl9 ..., хп, Φ) = L (Φ, xl9 ...,
xn) и называем р функцией правдоподобия. Эта функция играет важную
роль и в небайесовской статистике. Функцию правдоподобия можно
рассматривать как отображение, переводящее х19..., хп в функцию А,
задаваемую соотношением h (Φ) = L (Φ, xl9 ..., χη). Если понятие
статистики расширить так, чтобы оно включало функции наблюдений,
принимающих значения из некоторого функционального пространства,
то функция правдоподобия будет статистикой (значения ее будут
функциями от Ф). Эта статистика достаточна и обладает тем замечательным
свойством, что является функцией любой другой достаточной
статистики. Такое свойство допускает следующую интерпретацию: если мы
знаем меньше того, что содержится в функции правдоподобия, то часть
информации, имеющейся в данных, теряется. Минимальное свойство
функции правдоподобия было установлено в работе Дынкина [7].
Барнард и другие развили теорию статистического вывода, основанную на
использовании функции правдоподобия. Этот подход изложен в [1].
2.5. ПРИМЕЧАНИЯ
Раздел 2.1.1 Изложенная в разд. 2.1 модель является «классической»
моделью, в которой данные порождены распределением, соответствующим
фиксированному, но, к сожалению, не известному значению параметра θ. Байесовский
подход, включающий в модель субъективное значение О, изложен в разд. 4
этой главы.
2 Мы отнюдь не утверждаем, что в практических приложениях такой
подход непременно должен рассматриваться как нежелательный. Нередко
пользоваться им бывает разумнее, чем слепо придерживаться модели, ошибочность
которой подтверждается данными (см. [20] и [5]).
Раздел 2.2.3· Подчеркнем, что разделение отнюдь неозначает отбрасывания.
Наши модели обычно являются аппроксимациями. Информация, несущест·
венная для вывода о параметрах в контексте выбранной модели, может
оказаться жизненно важной для выбора и самой модели. Дальнейшие подробности на
эту тему см. в разд. 9.6.
Раздел 2.4.1 Даже в этих случаях распределение для θ в действительности
не известно, но может быть оценено на основе данных. Модели, в которых это
обстоятельство учитывается в явном виде, были предложены Роббинсом под
названием «эмпирических байесовских моделей». Существует очень интересная
теория таких моделей, выходящая за рамки нашей книги. Новейшие ссылки
указаны в работах [16] и [4].
2.6. ЗАДАЧИ И ДОПОЛНЕНИЯ
Задачи к разд. 2.1]
1. Сформулировать следующие модели, указав распределение
вероятностей данных и параметрическое пространство. Для каждой модели определить,
является ли она параметрической или непараметрической.
91

а) Геолог измеряет диаметры большого чисЛа камешков (п) в гаЛечном
отложении на дне старого русла реки. Теоретические соображения позволяют ему
считать, что логарифм диаметров гальки распределен нормально со средним
μ и дисперсией σ2. Геолог хочет использовать свои наблюдения для получения
информации относительно μ и σ2, но величины параметров заранее ему не
известны.
б) Предположим, что в модели измерения из примера 2.12 показания
измерительного прибора смещены в положительную сторону на 0,1 единицы. В
остальном ошибки являются одинаково распределенными нормальными
случайными величинами с известной дисперсией.
в) В задаче (б) предположим, что смещение положительно, но величина его
неизвестна. Встретите ли вы какие-нибудь трудности при формулировке
утверждений относительно μ в такой модели?
. г) Число яиц в кладке подчиняется распределению Пуассона с неизвестным
средним λ. После того как яйцо отложено, из него с неизвестной вероятностью ρ
независимо от остальных яиц может вылупиться молодая особь. Энтомолог
изучает группы из η таких насекомых, подсчитывает число отложенных яиц и
число молодых особей, вылупившихся в каждой кладке.
2. Являются ли следующие параметризации идентифицируемыми?
(Доказать или опровергнуть.)
а) Параметризация задачи 2.1.1 (в).
б) Параметризация задачи 2.1.1 (г).
в) Параметризация задачи 2.1.1 (г), если энтомолог наблюдает только
число яиц, из которых вылупилось потомство, но не число яиц в кладке.
3. Какие из следующих параметризаций идентифицируемы? (Доказать
или опровергнуть).
а) Хи ..., Хр независимы сХг~ NN (α* + ν, σ2); θ = (αχ, α2, ..., αρ, ν,
σ2) и Pq -— распределение для Χ = (Xlt ..., Χρ).
б) То же, что в (а), но α = (аь ..., ар) принадлежит множеству {(alf ..., ар):
: Σ Ч = 0}.
в) X и ^независимы с распределением NN (μχ, σ2) и NN (μ2, σ2), θ = (μι, μ2),
и мы наблюдаем только Υ — Χ.
г) Xijy ί = 1,..., ρ; / = 1, ... , Ь, независимы с Хц ~ NN(\iij, σ2), где μ^=
=ν+αί+λ/, φ = (α$,..., αρ, λχ,..., λ&, ν, σ2) и Р^ — распределение для
Xll9..., Хръ*
д) То же, что в (г), но (ах, ..., ар) и (λχ,..., λ&) ограничены множествами, для
которых
>>>е = 0и 2 λί=0.
/=ι /=ι
4. а) Пусть U — любая случайная величина* а V — любая другая
неотрицательная случайная величина. Доказать, что при любом t
(Если Fx и FY— функции распределения, для которых Fx(t) < Fy (t) при
любом t, то говорят, что X стохастически больше Y.)
б) Дать формальное описание (как в задаче 2.1.1) следующей модели. Из
генеральной совокупности очень большого объема случайно выбирают две
группы численностью в пг и п2 человек. Каждый член второй (подопытной) группы
получает одну и ту же дозу лекарства, способствующего понижению кровяного
давления, и спустя час у него измеряют давление. Каждый член первой
(контрольной) группы получает одинаковую дозу «пустышки», после чего через
час у него измеряют давление. Известно, что лекарство либо понижает
„ давление, либо не оказывает никакого эффекта, но распределение кровяного
давления у лиц, отобранных для испытания, до и после приема лекарства совершен-
* но неизвестно.
92

5. Будем~фиксировать число студентов , поступающих на некий
факультет, а также число студентов, выбывающих и оканчивающих каждый год на
протяжении последующих k лет. Пусть Νι — число выбывших, а М$ — число
окончивших к концу ί-го года, i = 1, ..., k. Предлагается следующая модель:
/гх1 ... «fe! mxl ... т^Х r\ l R l Л
где
μ1+...+μΛ + ν1+...+νΛ+ρ = 1, 0<μ, < 1, 0< vj< 1, 1 < i < k,
и параметр θ = (μχ, ..., μ&, vb ..., vk) не известен.
а) Какие допущения положены в основу этой модели?
б) Если k велико, то оценить θ весьма трудно. Предлагается упростить
задачу, введя μί = л (1 — μ)'"1 μ, ν* = (1 —π) (1 — ν)'""1 ν при i = 1, ..., kt
где 0 < π < 1, 0 < μ < 1. Какие допущения положены в основу такого
упрощения?
6. Регулярны ли следующие модели? (Доказать или опровергнуть.)
а) Рф — распределение случайной величины X, когда X равномерна на
(О, Φ), Θ = (0, оо).
б) Р$ — распределение случайной величины X, когда X равномерна на
{О, 1, 2, ..., θ}, Θ= {1, 2, ...}.
в) Предположим, что X ~ NN (μ, σ2). Пусть Υ = 1, если X < 1, и Υ = X,
если X > 1, О = (μ, σ2) и Рф — распределение для К.
г) Предположим, что при испытании лекарства возможная реакция
оценивается числами 0,1; 0,2; ...; 0,9, возникающими с частотами ρ (0, 1),
ρ (0, 2), ..., ρ (0,9), и что эффект лечения должен состоять в повышении
реакции в Φ раз (О — некоторая фиксированная величина), Р$— распределение
реакций на лекарство.
7. Доказать, что Υ — с имеет такое же распределение, как — Υ + с, в том
и только в том случае, если функция плотности или частоты ρ для У
удовлетворяет при всех t соотношению ρ (с + t) = ρ (с — t).
Указание: симметрия, о которой говорится в задаче, означает, что Ρ (7 ·<
< t + с) = Р (- Υ < * - с) = Ρ (Υ > с - t) = 1 - Ρ (Υ < с - О-
Задачи к разд. 2.2
1. Пусть Х1э ..., ХЛ—выборка из генеральной совокупности с
распределением РР (О), где О > 0.
η
а) Доказать прямыми вычислениями, что 2^£ — достаточная статистика
для О.
б) Доказать то же утверждение с помощью теоремы Фишера—Неймана.
2. Предположим, что из партии, состоящей из N изделий, N$ из которых
имеют дефекты, случайным образом извлечены без возвращения η изделий.
Пусть Xi = 1, если t-e изделие дефектно, и Х$ = 0, если i-e изделие доброка-
п
чественно. Доказать, что 2Хе — достаточная статистика для О (дайте прямое
доказательство и приведите доказательство, основанное на использовании теоремы
Фишера—Неймана).
3. Предположим, что Xlt ..., Хп — выборка из генеральной совокупности
с одной из следующих плотностей:
а) р(х, OJ^Ox*-1, 0<*< 1, θ>0;
б) ρ (χ, θ) = φ аха- 1 ехр ( —Ъх? ), χ > О, О > 0, а>0
93

(плотйость распределения Вейбулла);
в) р(х, 0) = Оа*/*(* + 1), х>а, θ >0, α>6
(плотность распределения Парето).
Найти вещественнозначную достаточную статистику при фиксированных
#, а.
4. а) Доказать, что Тг и Т2 — эквивалентные статистики в том и
только в том случае, если Т2— Η (Тг) при некотором взаимно-однозначном
преобразовании Я, отображающем область значений 7\ в область значений Т2. Какие
из следующих статистик эквивалентны? (Доказать или опровергнуть.)
η η
б) Π Xi и 2 ln xi> χί >0·
t* = l / = 1
η η
В) 2 χ1 И Σ 1η Xi> Xi > °·
/ = 1 /=1
//г η \ / η η \
γ) 2 **. Σ *? и Σ **> Σ (*ι-*π.
\/=ι /= ι / ν=ι t=i /
д) (s *ι. 2 *Л и ίΣ *«■ Σ (**-*)3ί
5. Пусть (θχ, Фа) — двумерный параметр. Предположим, что Тг (X) —-
достаточная статистика для Οχ, если параметр фа известен и фиксирован, а Г2 (X)—
достаточная статистика для $2i если параметр Ъг известен и фиксирован. Будем
считать также, что Ьг и 02 изменяются независимо, θχζθχ, Фа£&2 и
множество 5 = {χ : ρ (χ, Ο) > 0} не зависит от О. -"
а) Доказать, что если Тг и Т2 не зависят соответственно от Фа и ^ι» το
{Тг (х), Т2 (х)) — достаточная статистика для Ό·.
б) Привести пример, когда (Тг (X), Т2 (X)) —достаточная статистика для
Ό·, Tj (X) — достаточная статистика для§х, если параметр 02 фиксирован и
известен, то Т2 (X) — не достаточная статистика для $2, если параметр Οχ
фиксирован и известен.
6. Пусть X принимает заданные значения vlf ..., Vk+i с вероятностями
Фъ ···> ®k+v Предположим, что Xlt ..., Хп независимы и распределены так же,
как X, параметр О = (Ох, ..., 0^+1) не известен и может принимать значения из
множества θ = {(Оь ..., 0А+1) : О* > 0, 1 < i < fc + 1, 2 fy = О· ПУСТЬ
Nj — число величин Χι, равных ν$.
а) Доказать, что N = (Nlt ..., Nk) — достаточная статистика для О.
б) Какое распределение имеет (Nlf ..., Λ^χ)?
7. Пусть Х1$ ..., Хп — выборка из генеральной совокупности с плотностью
Р(х, *) =
а) Доказать, что min (Xlt ..., Χη) —достаточная статистика для μ при
фиксированной дисперсии σ.
б) Найти одномерную достаточную статистику для σ при фиксированном
среднем μ.
в) Привести пример двумерной достаточной статистики для О.
8. Пусть Xl9 ..., Хп — выборка из некоторого непрерывного распределения
F с неизвестной плотностью /. Рассматривая / как параметр, доказать, что
порядковые статистики Х(Х), ..., Х(П) (см. задачу 1.2.8) достаточны для /.
94
(Vехр {"
[ °
-т)
при
- при χ > μ,
*< μ.

9. Пусть Χι, ..., Χη— выборка из генеральной совокупности с плотностью
а (О) h (χ) при $г < χ < 02,
остальных случаях,
где h (χ) > О, J h (χ) dx= 1, θ =(*1э i>-a), — с» < #х < ft2 < с» и α (θ) =
— 00
-1
'.«■κ τ:
J J h(x)dx\
Найти для этой задачи двумерную достаточную статистику и применить
полученный результат к семейству распределений UU (Ъъ *&2).
10. Дана некоторая дискретная регулярная модель. Пусть Τ —
статистика с возможными значениями tu ..., tq. Разбиением, индуцированным
статистикой 7\ по определению называется класс множеств Slt ..., Sq, где S( = {(xv
..., Χη)'- Τ(*ι> .··. Xn) = U}.
η
а) Найти разбиение, индуцированное статистикой Τ (xlf ..., χη) = 2** в
примере 2.2.1.
б) Доказать, что если Тг (X) — достаточная статистика, а Г2 (X) - другая
статистика, индуцирующая то же самое или более тонкое разбиение, чем Ти
то Т2 также является достаточной статистикой. (Разбиение называется более
тонким, чем другое, если каждое из входящих в него множеств целиком
содержится в некотором множестве, входящем в другое (более грубое) разбиение.)
Функция правдоподобия (разд. 2.4) индуцирует наиболее тонкое разбиение
любой достаточной статистики и называется необходимой или минимальной
достаточной статистикой. Дальнейшие подробности см. в работе [7]. (Основная идея
принадлежит Леману и Шеффе [11, гл. 4].)
Задачи к разд. 2.3
1. Доказать утверждения, содержащиеся в табл. 2.3.1.
2. Пусть Хи ..., Хп такие же, как в задаче 2.2.3. В каждом из случаев (а),
(б) и (в) доказать, что распределение для X образует однопараметрическое
экспоненциальное семейство. Выписать в явном виде с, d, 7\ 5 и Л.
3. Пусть X — число неблагоприятных исходов до первого благоприятного
исхода в серии биномиальных испытаний с вероятностью благоприятного
исхода О. Тогда Рф [X = k\ = (1 — $)k θ, fc = 0, 1, 2, ... Такое распределение
называется геометрическим распределением GG (Oj.
а) Доказать, что семейство геометрических распределений является одно-
параметрическим экспоненциальным семейством с Τ (χ) = χ.
б) Вывести из теоремы 2.3 1, что если Xlt ...t Xn — выборка из GG (О), то
η
распределения для У] Χι образуют однопараметрическое экспоненциальное
семейство.
η
в) Доказать, что 2^i из (б) имеет отрицательное биномиальное распре-
1=1
деление с параметрами (л, Ό·), задаваемое
р«
ГДх^Ы"**-1 )(!-<»*««, А-о.1,2,
(Отрицательное биномиальное распределение — это распределение числа
неблагоприятных исходов до п-го благоприятного исхода в серии биномиальных
испытаний с вероятностью благоприятного исхода О.)
95

Указание (к задаче (в)): по теореме 2.3.1
Г п 1
рО 2 Xi = k\ =cfe (* ""^)* ^n * 0 < θ· < 1. Следовательно,
ьГо (1—ω) As! Жой
ω=0
4. Какие из следующих семейств распределений являются
экспоненциальными семействами? (Доказать или опровергнуть.)
а) Семейство распределений UU (О, О).
б) ρ (χ, θ)'= {exp [- 2 In θ + In (2*)]} /(0§ ф) |(*).
в) Р (х, θ) = §-, χ ζ {0,1 + θ; ...; 0,9 + θ}.
г) Семейство распределений NN (θ, θ2), θ > 0.
д) ρ (χ, θ) = 2 (χ + θ)/(1 + 20), 0 < χ < 1, θ > 0.
е) ρ (χ, Φ) — условная функция частоты биномиального распределения
ВВ (л, О) случайной величины X при X > 0.
5. Доказать, что следующие семейства распределений являются двупарамет-
рическими экспоненциальными семействами, и указать функции с, d, 7\ S и
множество Л.
а) Семейство бета-распределений.
б) Семейство гамма-распределений.
6. Пусть X и (Хх, ..., Χη) такие же, как в задаче 2.2.6.
а) Доказать, что распределения для X образуют ^-параметрическое
экспоненциальное семейство, и указать с, d, Τ, S и Л.
б) То же, для (Хь ..., Хп).
в) Пользуясь теоремой 2.3.1, доказать, что семейство мультиномиальных
распределений (я, #и ..., 0&) есть (k — 1)-параметрическое экспоненциальное
семейство с Tj (Ν) = Wj.
7. Пусть (Xlt Κχ), ..., (Χη, 7η) — выборка из генеральной совокупности
с двумерным нормальным распределением. Доказать, что распределения для X
образуют пятипараметрическое экспоненциальное семейство, и указать с, d,
Т9 S к А.
8. Доказать, что семейство распределений в примере 2.2.3 не является одно-
параметрическим экспоненциальным семейством.
Указание: если бы оно было однопараметрическим экспоненциальным
семейством, то существовало бы множество Л, такое, что на Л при всех О
выполнялось бы неравенство ρ (*, Ό·) > 0.
9. Доказать аналог теоремы 2.3.1 для дискретных ^-параметрических
экспоненциальных семейств.
10. Пусть / (*, О) — положительная плотность на вещественной прямой,
непрерывная по χ при любом О. Предположим, что если (Хи Х2) — выборка
объемом 2 из / (·, θ), то Хх + Х2—достаточная статистика для О. Доказать, что
/ (·, Ф) соответствует однопараметрическому экспоненциальному семейству
распределений с Τ (χ) = χ.
Указание: существуют функции g (t, θ), h (xly x2), такие, что In / (xlt θ) +
+ In / (*2, Φ) = g (#i + *2> 0) + h (xi* *г)· Зафиксируйте ϋ0 и положите
г (χ, θ) = In / (χ, Φ )— In / (*, Оо), <?(*, fl)=g(*, «; —gf*. ϋ0). Тогда ? (*х+
+ *2» θ) = г (*b θ) + г (χ2> θ) и, следовательно, [г (хи О) —г (0, θ)] + [г (*2,
О) - г (0, θ)] = г (хг + х2, О) - г (0, θ).
11. Пользуясь теоремой 2.3.2, получить производящую функцию моментов
для:
а) нормального распределения;
б) гамма-распределения;
в) биномиального распределения;
г) распределения Пуассона;
д) отрицательного биномиального распределения (см. задачу 2.3.3).
96

Задачи к разд. 2.4
1. Предположим, что параметрическое пространство состоит из двух точек
Οι и #2 и чт0 при Данном ^ опыт приводит к случайной величине X, функция
частоты которой ρ (χ) ft) задана таблицей
**\JC
θ1
θ2
1
0,8
0,4
2
0,2
0,6
Пусть π — апряорная функция частоты для ft, такая, что π (Ох) = 1/2,
л (ft2) = 1/2.
а) Найти апостериорную функцию частоты л (ft\x).
б) Предположим, что мы хотим использовать X для предсказания ft. Найти
наилучшее предсказание с наименьшей с. к. о.
2. Рассмотрим опыт, в котором при заданном ft исход X имеет плотность
ρ (x\ft) = (2х/$), 0 < χ < О. Пусть π — априорная плотность для ft.
а) Найти апостериорную плотность для ft при π (θ) = 1, 0 <! θ <! 1.
б) Найти апостериорную плотность для ft при л (ft) = ЗО2, 0 «< ft << 1.
в) Вычислить наилучшее предсказание для ft с наименьшей с. /с. о. на
основе X из (а) и (б).
г) Предположим, что Xlt ..., Хп независимы и имеют такое же
распределение, как X. Найти апостериорную плотность для ft при Хх = хи ..., Xn = xnt
если л (ft) = 1, 0<О< 1.
3. Предположим, что X имеет при заданном ft геометрическое
распределение, как в задаче 2.3.3.
а) Найти апостериорное распределение для ft при X = 2, если априорное
распределение для ft равномерно на
U ' 2 ' 4 J
б) Каково наиболее вероятное значение для ft при Х = 2 и при X = k в
условиях задачи (а)?
в) Найти апостериорное распределение для ft при X = k, если ft имеет
априорное распределение β (г, s).
4. Пусть Хь ..., Хп такие же, как в примере 2.2.3 , т. е.
ρ(*ι, ...·*»!*)"
1
где xlt ..., хп— натуральные числа, заключенные между 1 и θ, Θ = {1, 2, 3, ...}
а) Предположим, что ft имеет априорную частоту
где α > 1 и с (α) ==
/ = 1 J
Доказать, что
п(1\хг, ... , *п) = —; , /=m, m + 1,...,
,·Λ+β
где т — max (лгх
.... ,хп),с(ь, ο=ί 2 / ч · ь>ь
97

б) Предположим, что max (xlt ..., χη)=χ1 = т при всех п. Доказать, что
л (т\хг, ..., хп) ->· 1 при η ->■ оо и любом я. Проинтерпретировать этот результат.
η _
5. Предположим, что в примере 2.4.1. η велико, (1/л) 2*1 = * достаточно
|=!
далеко от 0 и 1 и априорное распределение есть распределение β (г, s).
Обосновать следующую аппроксимацию апостериорного распределения:
где
~ к - , г ~ μ(\ —μ)
n+r+ s n+r + s ' n+r + s '
Указание: воспользуйтесь задачей 1.5.11.
6. Предположим, что в примере 2.4.2 априорное распределение есть распре-
п
деление WW (η, τ2). Пусть η -*· оо и (\/п) Σ*ί -*■ с- Доказать, что при η -*■ оо
апостериорное распределение для ft при любых η и τ2
Уп h-(i/n) 2 **
<х
■Ф.(др).
(Пример возникновения мнений с увеличивающейся информацией.)
7. Доказать, что сопряженным семейством распределений для семейства
распределений Пуассона является семейство гамма-распределений.
8. Найти сопряженное семейство распределений для семейств гамма-^и^бе*
та-распределений:
а) с одним фиксированным параметром;
б) с двумя свободными параметрами.
9. Найти сопряженное семейство распределений для нормального
семейства, используя в качестве параметра 0 = (#ь 02), где fti=E^X)t 02 == l/CVar^, X)#
10. Используя (2.4.8), дать строгое доказательство того, что если в примере
2.1.1 D = Nft имеет распределение ВВ (Ν, π0), то апостериорное распределение
для D при X = k совпадает е распределением для & + Z, где Ζ имеет
распределение ВВ (Ν — л, π0).
И. Пусть (Xl9 ..., Xn+k) — выборка из генеральной совокупности с
плотностью / (x\ft), θζθ. Пусть ft имеет априорную плотность π. Доказать, что
условное распределение для (ft, Xn+li ..., Xn+k) ПРИ ^ι = *ι» ..., Xn = *n
совпадает с распределением для (К, Zl9..., Ζ&), где 7 имеет апостериорное
распределение для ft при Χλ = хь ..., Хп=*п, а при 0= / случайные величины 1Ъ
образуют выборку из генеральной совокупности с плотностью / (x\t).
12. (А. Н. Колмогоров). Дана регулярная модель с конечным Θ.
а) Пусть статистика Τ (Χ) обладает тем свойством, что при любом
априорном распределении для ft апостериорное распределение параметра ft зависит от
X только через Τ (X). Доказать, что Τ (X) — достаточная статистика.
б) Наоборот, доказать, что если Τ (Χ) — достаточная статистика, то при
любом априорном распределении апостериорное распределение зависит от X
только через Τ (χ).
Указание: воспользуйтесь теоремой 2.2.1.
13. Пусть {Рф : θ ζΘ} — экспоненциальное семейство в естественной
форме.
а) Доказать, что сопряженное семейство распределений является
двупараметрическим экспоненциальным семейством с плотностями
я(Ф, (я. /)) = e*i+,uf(*)+e(,l'i)/e(*).
(Обратите внимание на то, что (я, t) — параметр сопряженного семейства.)
98

б) Обобщите полученный результат на случай ^-параметрических
экспоненциальных семейств.
14. Докажите, что в примерах 2.4.1 и 2.4.2 условное распределение для д
η
при 2^i ~ ^ согласуется с апостериорным распределением для # при
/=1
η
Хг^хъ ..., Хп=Хп> где 2 xi=k-
Указание (к примеру 2.4.2).
2*ι=* +Σ β,.
/ = 1 /=1
где Ej — независимые случайные величины с распределением NN (0, σ2) и не
зависят от Ф, имеющего распределение ΝΝ(μ, τ2). Воспользуйтесь теоремой 1.4.2.
15. Пусть Хи ..., Хп — выборка, такая, что ρ (х|0) — регулярная модель
и интегрируемая как функция от Ф, Л = {х : ρ (л:|0·) > 0 при всех θ}. Доказать.
что семейство априорных плотностей
N J N
я(*)=П ρ (ξι Ι θ) / J Π ρ(ξ,|*)<ί<>,
/==1 / Θ /=1
где ξέζ^ и Ν ζ {1, 2, ...}, есть сопряженное семейство распределений для
ρ (х|Ф) и что апостериорное распределение для О при X = χ имеет вид:
π(θ,χ)=Πρ(ξΊο)/ί Пр(£|*)Л>'
где Ν'=Ν + η и ( ^ ,..., ξ^)=(ξι, ... , 1Ν , *1,...,^Л).
2.7. БИБЛИОГРАФИЯ
1. Barnard G., J е η k i η s G. Μ. and W i η s t e η СВ. (1962).
Likelihood inference and time series. — J. Roy. Statist. Soc. Series A125, 321—372.
2. В j e r ν e S. and D о k s u m K. (1975). Some alternatives ti linear
models in the analysis of variance (mimeographed). University of California,
Berkeley.
3. В г о w η L. D. (1964). Sufficient statistics in the case of independent
random variables. — Ann. Math. Statist. 35, 1456—1474.
4. С ο χ D. R. and Η i η k 1 e у D. (1974). Theoretical Statistics, Chapman
and Hall, London. Русский перевод: Кокс Д., Хинкли Д. Теоретическая
статистика. М., Мир., 1978.
5. D a n i е 1 С. and W о о d F. (1971). Fitting Equations to Data. J. Wiley
& Sons. New York.
6. D о k s u m K. (1974). Empirical probability plots... — Ann. Statist,
2,267—277.
7. D у η k i η Ε. Β. (1951). Necessary and sufficient statistics for families
of distributions. — Sel. Transl. Math. Stat, and Prob. 1, 23—41.
8. F i s h e г R. A. (1922). On the mathematical foundations of theoretical
statistics. Reprinted in: Contributions to Mathematical Statistics (by R. A. Fisher)
(1950). J. Wiley & Sons. New York.
9. Η a 1 m о s P. R. and S a v a g e L. J. (1949). Application of the Radom —
Nikodym theorem to sufficient statistics. — Ann. Math. Statist. 20, 225—241.
10. J e f f г е у s H. (1948). Theory of Probability. 2nd edition. Oxford
University Press. London.
11. Kendall M. G. and S t u a r t A. (1961, 1966). The Advanced
Theory of Statistics, vols. II, III. Hafner Publishing Co. New York. Русский
перевод: Кендалл М. Д ж., Стьюарт А. Статистические выводы и
связи Т. 2. М., Наука, 1973; Многомерный статистический анализ и временные
ряды. Т. 3. М., Наука, 1966.
99

12. К о 1 m о g о г ο ν А. (1942). Sur l'estimation statistique des paramet-
res de la loi de Gauss. — Изв. АН СССР. Мат. серия, 6, 3—321
13. L e h m a η η Ε. L. (1959). Testing Statistical Hypotheses. J. Wiley &
Sons, New York. Русский перевод: Леман Э. Л. Проверка статистических
гипотез. М., Наука, 1964.
14. L i n d 1 е у D. V. (1965). Introduction to Probability and Statistics
from a Bayesian Point of View, Part 1: Probability; Part 2: Inference. Cambridge
University Press. London.
15. Μ a n d e 1 J. (1964). The Statistical Analysis of Experimental Data»
J. Wiley & Sons, New York.
16. Μ a r i t ζ J. (1970). Empirical Bayes Methods. Methuen & Co. London.
17. R a i f f a H. and S с h 1 a i f f e r R. (1961). Applied Statistical Decision
Theory. Division of Research, Graduate School of Business Administration,
Harvard University, Boston.
18. Savage L.J. (1954). The Foundation of Statistics. J. Wiley & Sons,
New York.
19. S a v a g e L. J. et al. (1962). The Foundation of Statistical Inference.
Methuen & Co. London.
20. Τ u k e у J. W. (1971). Exploratory Data Analysis. Preliminary Edition,
Addison-Wesley, Reading, MA.
21. W e t h e r i 1 1 G. B. (1966). 'Sequential Methods in Statistics. Methuen
& Co. London.

Глава 3 · МЕТОДЫ ОЦЕНИВАНИЯ
Построив статистическую модель, мы обычно хотим оценить
параметры неизвестного распределения, порождающего данные. Если мо~
дель задана семейством {р$ : ft ζ Θ} распределений случайного
вектора X, то любую величину, которую мы хотели бы оценить, можно
считать вещественнозначной функцией q, определенной на Θ.
Например, в гипергеометрическом примере 2.1.1 число изделий с
дефектами в партии можно рассматривать как функцию q (ft) = N ft, где ft —
доля изделий с дефектами. В примере 2.1.2 (модель измерений)
истинное значение μ измеряемой константы есть функция вектора ft =
= (μ, σ2) или ft = (μ, /) в зависимости от принятых нами исходных
допущений.
Чтобы оценить q (ft), мы выбираем статистику Τ и оцениваем ее
при исходе испытания Хх = х19 ..., Хп = хп. Так если ft0 — истинное
значение ft, мы наблюдаем Хг = х1У ..., Хп = хп и, используя оценку
Т, принимаем в качестве предсказания неизвестного числа q (ft0)
известное число Τ (хг, ..., хп). Например, в модели измерений, выбрав
для оценки постоянной μ статистику Τ (X) = (Хг + ... + Х-п)1п =
= X, мы провозглашаем среднее измерений в качестве предсказания
для истинного значения постоянной μ.
Как выбрать разумные оценки для данной функции q (ft)? В этой
главе мы познакомим вас с четырьмя основными методами
оценивания, привлекательными по чисто интуитивным соображениям:
принципом подстановки частот, методом моментов, методом наименьших
квадратов и методом максимума правдоподобия. Другие подходы,
требующие для своего обоснования более основательной математической
подготовки, приведены в гл. 4, 9 и 10.
Два условия
1) Оценку параметра или функции от параметра мы будем обычно
обозначать значком ^ . Например, ft — оценка параметра ft, q —
оценка функции q.
2) Оценку мы будем отождествлять с ее значением в точке, если это
не приведет к каким-либо недоразумениям.
3.1. ПРИНЦИПЫ ПОДСТАНОВКИ
В этом разделе мы рассмотрим модели, в которых Хг,... , Хп —
выборка из одного распределения, которое полностью или частично
неизвестно.
101

3.1.А. Подстановка частот
Предположим, что мы наблюдаем η мультиномиальных испытаний,
в каждом испытании значения vl9 ...,ufe из генеральной совокупности,
которой принадлежит выборка, известны, но неизвестны их
вероятности р19 ..., pk. Если
Nt = число индексов /, таких, что Xj = ό19
простейшей интуитивной оценкой вероятности pt служит число^
Niln — доля выборочных значений, равных щ. В качестве примера
рассмотрим генеральную совокупность людей, профессиональная
деятельность которых относится к одной из пяти категорий 1, 2, 3, 4
или 5. Здесь k = 5, щ = i, i = 1,2,..., 5, pi —доля людей в гене·
ральной совокупности, занимающихся деятельностью ί-й категории/
Niln — доля людей, занимающихся деятельностью i-й категории,!
в выборке. Некоторые данные о распределении занятости по катего-!
риям датчан мужского пола, чьи отцы принадлежали к категории 3,'
приведены в следующей таблице вместе с оценками pt = Njn (дан^
ные заимствованы нами из работы Мостеллера [7]).
Категории работ
ι
Nt
Pi
1
23
0,03
2
84
0,12
3
289
0,41
4
217
0,31
5
95
0,13
5
/=1
ςλ-1
Рассмотрим теперь более общую проблему оценивания
непрерывной функции q (ρχ,..., pk) пропорций генеральной совокупности. Самым
естественным является подход, основанный на принципе подстановки
частот, при котором неизвестные частоты генеральной совокупности
рх,..., pk мы заменяем наблюдаемыми частотами выборки NJn, ...,
Nk/n, т. е. используем
Т(Х1,...)Х„) = <7(-^,...,^) (3.1.1)
для оценки функции q (ρχ, ..., pfe). Например, предположим, что в
приведенной выше таблице распределения профессий по категориям к
профессиям «синего воротничка» относятся категории 4 и 5, а к профессиям
«белого воротничка» — категории 2 и 3. Нас могла бы, в частности,
интересовать оценка величины
Я (Ρι> ···> Рб) = (Р4 + Ре) — iPi + Рв)
102

_ разности между долей синих и белых воротничков. Принцип
подстановки частот приводит к оценке
г(х1,...,хп)=р+-^Н-+-)'
\ η η J \ η η ]
составляющей в нашем случае 0,44—0,53 = — 0,09.
Предположим теперь, что частоты р19 ..., ph не изменяются
свободно, а являются непрерывными функциями m-мерного параметра Ф=
^'(Όί,..., ®т) и нам необходимо оценить некоторую компоненту
параметра Φ или, в более общей постановке, некоторую функцию q (Φ).
Многие модели, возникающие при анализе дискретных данных в гл. 8,
принадлежат именно к такому типу. Простым примером может служить
выборка из популяции, находящейся в генетическом равновесии
относительно одного гена с двумя аллелями. Если предположить,
что идентификации поддаются три различных генотипа, то мы приходим
к допущению о существовании трех типов индивидуумов с частотами,
определяемыми так называемыми пропорциями Харди — Вейнберга:
Ρι = Φ*, Ρ2 = 2Ф (1 - О), р3 = (1 - О)2, (3.1.2)
где0<О< 1.
Если Ni — число индивидуумов типа i в выборке объемом п, то
(Ν19 Ν2, Ν3) имеет мультиномиальное распределение с параметрами
(η, ρχ, р2> Рз)> задаваемыми соотношениями (3.1.2). Предположим, что
требуется оценить θ — частоту одной из аллелей. Так как θ = Vpx,
то можно воспользоваться принципом подстановки частот и оценить
О величиной УЫц/п. Заметим, однако, что θ можно представить и в
виде О = 1 —У ρ зу поэтому 1 —ΥΝζίη — также правдоподобная
оценка частоты О.
Рассмотрим общий случай. Предположим, что требуется оценить
непрерывную функцию q от О. Если ρχ,..., pk — непрерывные функции
от О, то q (О) можно представить в виде непрерывной функции от
19 ""Pfe* ?(*) = * (Μ*). .«. Р*(*)). (зл.з)
где функция h определена и непрерывна на
А = ((Р1,..мРЛ):р|>0,2 P£=l).
Оценка функции q (Φ) по методу подстановки частот г есть по
определению
T(X1,...,Xn)=hff,...9&y (3.1.4)
Как мы видели в примере с пропорциями Харди — Вейнберга,
представление (3.1.3) и оценка (3.1.4) обычно не совпадают. В гл. 4 мы
покажем, как выбирать из таких оценок.
Юз

3.1.Б. Метод моментов
Это еще один метод, позволяющий быстро получать оценки на
основе идеи подстановки. Предположим, что тг (Ф), ..., тг (Ф) —
первые г моментов генеральной совокупности, из которой производится
выборка, т. е.
т,(*) = Е*(Х{). (3.1.5)
Определим /-й момент выборки rrij по формуле
П 1-1
Чтобы применить метод моментов к проблеме оценивания функции
q (Φ), необходимо представить ? (Φ) в виде непрерывной функции g
первых г моментов. Итак, пусть
<7(*) =g(nh (*)..— т,(Щ.
Метод моментов предписывает нам оценивать функцию q (θ)
величиной
Г (X) = g(ml9 ..., mr).
Пусть, например,
q (О) = Var (Χ) = m2 (Φ) — m\ (#).
Нашей оценкой по методу моментов будет дисперсия выборки σ2,
определяемая по формуле
9=Я-/я?=— Σ«-χ2 = — Σ (χ*-χ)2. (3.1.7)
п ι=ι η /-ι
Последнее равенство получено из формулы (1.3.30).
Пример 3.1.1. Пусть Χχ,..., Χη —та же выборка из
распределения NN (μ, σ2), что и в примере 2.1.2, для которой выполняются
допущения (1) — (5). Метод моментов дает для μ оценку X, а для σ2 —
оценку σ2. ■
Пример 3.1.2. Пусть Χχ,..., Хп — индикаторы серии
биномиальных испытаний с вероятностью благоприятного исхода Φ. Так как
mi (р) = ^ι метод моментов приводит к естественной оценке для θ—
величине X (частоте благоприятных исходов). Для дисперсии
генеральной совокупности Φ (1 — Ό1) первый момент дает оценку X (1 — X).
Поскольку мы имеем дело с (неограниченными) биномиальными
испытаниями, эти оценки совпадают с оценками, получаемыми по методу
подстановки частот (см. задачу 3.1.4). ■
Пример 3.1.3. Оценивание размеров генеральной совокупности
(продолжение). В примере 2.2.3 мы нашли, что μ = Е& (Xt) = γ χ
Χ (Φ + 1). Следовательно, ϋ = 2μ — 1 и 2Χ — 1 — оценка для θ
104

по методу моментов. Ясно, что это неразумная оценка, если Х(п) —
= max Хг > 2Х — 1, так как в принятой нами модели θ всегда не
меньше Х(п)· ■
Как и метод подстановки частот, метод моментов нередко дает
несколько оценок для одной и той же q (θ). Например, если мы
производим выборку из пуассоновской генеральной совокупности с
параметром Ф, то Ь является для генеральной совокупности и средним, и
дисперсией. Метод моментов может дать либо выборочное среднее,
либо выборочную дисперсию. Метод моментов позволяет построить и
другие оценки для Φ. Какой из нескольких процедур следует отдать
предпочтение, мы расскажем в разд. 4.4.
Принцип подстановки частот допускает обобщение на случай,
когда выборка производится из непрерывных распределений и даже
из векторных генеральных совокупностей. Это обобщение, известное
под названием принципа эмпирической подстановки, включает в
качестве частного случая метод моментов. Оно изложено в задачах и в
разд. 9.6.
Каковы достоинства метода моментов и подстановки частот?
(а) Эти методы приводят к легко реализуемым вычислительным
процедурам и поэтому весьма удобны для получения предварительных
оценок.
(б) Если объем выборки велик, то оценки по методу моментов и
подстановки частот с большой вероятностью близки к оцениваемым
значениям (состоятельность).
Минимальное свойство оценок по методу моментов и подстановки
частот и их поведение при больших выборках рассмотрены в разд.
4.4. Основная трудность, возникающая при использовании
метода моментов и подстановки частот, состоит в том, что они не дают
единственной оценки. Кроме того, как мы видели, в некоторых случаях
эти методы приводят к неразумным оценкам.
Оказывается, что существуют «наилучшие» оценки по методу
подстановки частот — те, которые дает метод максимума правдоподобия.
К сожалению, как мы увидим в разд. 3.3, вычисление таких оценок
нередко наталкивается на значительные трудности.
3.2. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
З.2.А. Общие модели и модели линейной регрессии
Метод наименьших квадратов был предложен в начале
девятнадцатого века Гауссом для оценивания в задачах астрономических
измерений г и играет важную роль во многих областях статистики, например
в дисперсионном анализе и в теории регрессии. В этом разделе мы
ограничимся кратким введением в метод наименьших квадратов и
приведем несколько примеров. Подробное изложение метода мы отложим до
гл. 7.
Предположим, что наблюдения представимы в виде
Υ i = gi (*!,...» *г) + e,f l<i< η, (3.2.1)
105

где gi —известные функции, а вещественные параметры ΰν...9 ΦΓ
неизвестны, и их требуется оценить. Параметры (^ ..., дР) свободные
и принимают значения из некоторого множества в Rr. Относительно
Zi предполагается, что они удовлетворяют следующим ограничениям:
Ε (β|) = 0, 1 < i < л, (3.2.2)
Var (Bt) = σ2 > 0, 1 < i < л, (3.2.3)
Cov (e,f ej) = 0, 1 < i </ < n. (3.2.4)
Здесь σ2 также является параметром, и для уточнения совместного
распределения вектора (βχ,..., εη) требуется дополнительная
информация. Метод наименьших квадратов применяется для оценивания
только параметров ΰ1!,..., Фг> причем нередко в таких ситуациях, в которых
относительно модели трудно сказать что-нибудь, кроме (3.2.2) —
-(3.2.4).
Предположения (3.2.2) — (3.2.4) выполняются, если zt —
независимые и тождественно распределенные случайные величины с
нулевым средним и конечной дисперсией. Важный частный случай:
8f образуют выборку из генеральной совокупности с распределением
NN (0, σ2).
Простым примером такого рода может служить модель измерения
из примера 2.1.2. Мы многократно измеряем одну и ту же численную
величину Φχ с ошибками, распределенными либо нормально с нулевым
средним, либо по крайней мере симметрично относительно нуля. В этом
случае г = 1 и gt (OJ = (^ при всех i.
Важный класс примеров возникает при изучении вариаций одной
величины, которая частично определена как функция других, не
доступных нашему контролю, величин.
Предположим, например, что нам необходимо выяснить, каким
образом повышение содержания χ некоторого вещества или удобрения в
почве увеличивает содержание у этого вещества в растениях,
выросших на этой почве. Для некоторых веществ и растений зависимость
между χ и у можно приближенно описать линейным уравнением у ==
= #! + ®2 х> если х изменяется в достаточно малом интервале.
Проведя несколько экспериментов с одним и тем же л: и как можно более
тождественными растениями и почвой, мы обнаружим, что значения
у будут изменяться в некотором диапазоне. Вариабельность у
вынуждает нас отказаться от детерминированной модели у = ϋ1 + ϋ2χ
в пользу случайной модели Υ = Ьг + $2х + ε*, где ε^ —
случайная «ошибка», введенная .для объяснения случайных вариаций,
обусловленных различиями между растениями, почвами и другими
возможными факторами*. Если мы проведем η независимых опытов с
(возможно, различными) значениями х19...9 хп переменной х, то наша
модель будет иметь вид:
Υι= *ι + *Л + ε,, i = 1,..., η, (3.2.5)
* В примерах такого рода χ обычно называется независимой переменной,
а У — зависимой переменной.
106

ошибки εχ, ..., εη независимы. Если ошибки имеют нулевое среднее
и одну и ту же дисперсию σ2, то модель называется моделью линейной
«мпессии. Заметим, что модель линейной регрессии удовлетворяет
Упущениям (3.2.1) -(3.2.4) с г = 2 и *, (*ι, *,) = *ι + *t *ι,
i~l,...,n.
Приведем результаты одного эксперимента, к которому применима
модель регрессии (данные заимствованы из книги Снедекора и Кок-
рена [9, р. 139]). В почву девяти опытных участков внесены различные
количества х, фосфора. Υ — количество фосфора в кукурузе,
выросшей на различных участках через 38 дней.
Xi
Yi
1
64
4
71
5
54
9
81
11
76
13
93
23
77
23
95
28
109
Точки (Xi, Yi) и оценка прямой $г + ®2Х нанесены на график,
изображенный на рис. 3.2.1.
Но вернемся к общему случаю. Рассмотрим Υ как случайную
точку в Rn. Ее «ожидаемое значение» — вектор (g± (·&), ..., gn (&)), где
·& = (Ό1!,..., fly). Метод наименьших
квадратов утверждает лишь, что
оценивать параметр Φ мы должны по точ-
ке φ = (ф1э ..., fly), которая
максимально приближает ожидаемое
значение вектора к наблюдаемой точке
(У1э ...,Yn). Иначе говоря, если мы
наблюдаем Υ1 = у^..., Υη = Уп> то
параметр (д1э..., Фг) должен миними-
п
зировать выражение 2 (Hi — gi O&i» · · ·»
$r))2, когда (ϋν ..., ΰγ) пробегает все
параметрическое пространство Ω. В
качестве оценки для функции q (ϋ)
мы используем q (Φ). Такие
процедуры называются оценками наименьших
квадратов (о. н. к.).
Если gi — дифференцируемые функции и область значений векто-
Ра (gi.·-·. gn) замкнута, то $ всегда определена. Если Ω—открытое
пространство, то, как следует из векторного анализа, оценка наименьших
квадратов Φ должна удовлетворять уравнениям
ю
20
30 χ
Рис. 3.2.1. Линейная
регрессия для данных по
содержанию фосфора
™> ιΖχ
Σ tor-gi№=o,j=i г.
107

Эти уравнения, называемые нормальными уравнениями, приводятся к
виду
Σ [Уг-gj W -£r Si (*) = <>, /= 1,... ,r. (3.2.6)
Оценки метода наименьших квадратов удовлетворяют нормальным
уравнениям во всех рассматриваемых нами примерах.
Если функции gt (*!,..., ΰν) линейны по параметрам Oj,..., Фг, то
нормальные уравнения переходят в систему линейных уравнений, и их
можно решить в явном виде. Общую ситуацию, известную под
названием линейных наименьших квадратов, и соответствующую модель, в
которой ε^ — независимые ошибки с нормальным распределением,
NN (0, σ2) (линейную модель), мы рассмотрим в гл. 7. Здесь же
приведено лишь несколько иллюстративных примеров.
Пример 3.2.1. В модели измерения У| = Фх + е*, г = 1,
Зй. (*ι)/^ι = 1 · Нормальное уравнение имеет вид:
ί = 1
и допускает решение *х — (\1п) 2j У ι — У- ■
Пример 3.2.2. Регрессионная модель. Предположим, что
выполняется модель линейной регрессии. Требуется оценить Ьх и Фа.
Нормальные уравнения имеют вид:
2(ifc-*i-<>2*i) = 0 (3.2.7)
1=1
и
Если не все *| равны, то мы получаем решения
η η
* = -^ ^ (3.2.8)
Σ (*«-*)2 2 (**~*)2
и £i=="y—*θ2*. (3.2.9)
где х = (1/я) 2 *ь У = (1/л) 2 0ι· (3-2.9)
Прямая у = $ι + ^2Х называется линией регрессии выборки
или линией наилучшей подгонки й,...,упв^,..м хп- Геометрически,
если di = \yt — (а + δ*ι) Ι — расстояние по вертикали от точ-
108

ки {хи Уд Д° прямой у = а + Ьх, линия регрессии — это линия,
минимизирующая сумму квадратов расстояний для η точек (хг,
Ух), ...» (χη> Уп)- Линия регрессии для данных по содержанию фосфора
приведена на рис. 3.2.1. Для нее Ъх = 61, 58 и Ф2 = 1,42. ■
З.2.Б. Взвешенные наименьшие квадраты
В примере 3.2.2 и во многих аналогичных ситуациях
предположение о том, что дисперсии ошибок et одинаковы для всех уровней xt
независимой переменной, может быть неразумным. Однако зависимость
Var (Bi) от Xi можно учесть по крайней мере с помощью
мультипликативных постоянных, т. е.
Var (ε*) = wto2, (3.2.10)
где σ2 — неизвестная дисперсия, как и прежде, a wt — известные
веса. Такие модели называются гетероскедастическими (в отличие от
моделей с одинаковой дисперсией, называемых гомоскедастическими).
Метод наименьших квадратов к * гетероскедастической модели
непосредственно неприменим. Рассмотрим, однако, величины
Ywi ~\/wi Ywi
Заметим, что Var (г^У wi) = wio2!wi== а2. Следовательно, если
положить g* (Ф) = £* (Ф)/У7ЙТ, 8* =гг1Ущ> ТО
я*=*;(*)+*;, ι<ι<η9 (3.2.Н)
и Zi удовлетворяют исходным допущениям (3.2.1) — (3.2.4) метода
наименьших квадратов. Оценкой взвешенных наименьших квадратов
параметра j&_ служит величина Ф, минимизирующая при заданных
zi = У% lVwi выражение
Σ [2|-ft· № = Σ —\Уг-ёг{П2 (3.2Л2)
ί = 1 *=1 Wl
как функцию от Φ.
Пример 3.2.3. Взвешенная линейная регрессия. Пусть г = 2 и
gt (Φι, Фа) = Φι + Ф2 *i> ί = 1, .··> л. Требуется найти значения Фх
и Ф2 параметров Фх и Ф2, минимизирующие выражение
Σ uiI^-(*i + *2^i)P. (3.2.13)
где ϋ| = 1/о^. Эту задачу можно решить с помощью аналогов
нормальных уравнений (3.2.7). Можно воспользоваться также
предсказаниями из разд. 1.6, Пусть (Χ*, Υ*) — пара дискретных случайных вели-
109

чин с возможными значениями (х19 уг), ..., (хп, уп) и распределением
вероятности
рцх: υ*) = (*и yS = uh * = ι,..., η,
где Ut=-Vi / 2^» ί=1,...,ι.
Если g (Χ*) = Фх + Ό·2 Χ* — линейное предсказание для У* на
основе X*, то его с. к. о. равна:
Ε [Y*-g (Х*)]2 = 2Jiif [»,-(*!+ *,*,)]■.
Следовательно, задача о минимизации выражения (3.2.13)
эквивалентна задаче о нахождении линейного предсказания для Υ* с наименьшей
с. к. о. По теореме 1.6.3 находим
*,в£2*И
*,у*) ЛЩХ1УЛЖи>у){Жнх)
(3.2.14)
Var(X*) « /л
и
*! = £(/·)-*, Ε (Χ*) = 2 Wi у,-*, 2 Щ xt.
Более подробно модели, связанные с регрессией, рассмотрены в
разд. 7.1.
3.3. ОЦЕНКИ МАКСИМУМА ПРАВДОПОДОБИЯ
Метод максимума правдоподобия был впервые предложен К. Ф.
Гауссом в 1821 г. Однако творцом его обычно считают английского
статистика Р. А. Фишера, повторно открывшего основную идею Гаусса в
своей работе [4] 1922 г. и впервые изучившего особенности метода.
В приводимом ниже варианте метод максимума правдоподобия
имеет смысл лишь в регулярных параметрических моделях. Пусть ρ (χ,Ο) —
функция частоты или плотности для X, если ϋ имеет истинное значение,
и Θ — подмножество ^-мерного пространства. Рассмотрим ρ (χ, θ)
как функцию от Φ при фиксированном х. Назовем эту функцию
функцией правдоподобия и обозначим ее L (Ф, х) (х — наблюдаемое
множество значений, полученных в эксперименте). Если X дискретен, то
при любом θ функция правдоподобия L (Ф, х) задает вероятность
наблюдения х. Таким образом, L (Ф, х) можно рассматривать как меру
того, насколько «правдоподобен» параметр θ для того, чтобы произвести
наблюдаемый х. Аналогичная интерпретация применима и в
непрерывном случае.
Метод максимума правдоподобия состоит в нахождении значения
^(х) — параметра, производящего данные с наибольшим «праадопо-
110

добием». Таким образом, если X ==х, то мы ищем θ (χ),
удовлетворяющее соотношениям
L (д (х), х) = Ρ (х- ** W) = max {ρ (χ, θ) : θ ζ Θ} = (3.3.1)
= max {L (0, χ): θ 6 Θ}.
Если такое значение ft существует, то любую функцию q (ft) мы
оцениваем величиной q (ft (х)). Оценка q(b (χ)) называется оценкой
максимума правдоподобия (о. м.п.) функции q (ft).
Приведем простой числовой пример, иллюстрирующий метод
максимума правдоподобия.
Пусть ft = 0 или 1/2, а р (χ, ft) задана следующей таблицей:
X ^s.
1
2
0
0
1
ι Ι
2
0,10
0,90
Тогда ft (1) = V2, ft (2) = 0. Если Χ = 1, то единственная
разумная оценка для ft равна 1/2, так как значение 1 не могло бы появиться
при ft = 0.
Оценки максимума правдоподобия не обязательно должны
существовать или быть единственными (см. задачи 3.3.12 и 3.3.4). В
остальной части этого раздела мы покажем, как вычислять оценки максимума
правдоподобия во многих важных случаях, когда они существуют и
единственны.
З.З.А. Однопараметрические семейства
Если параметр ft веществен, то о. м. п. нередко получается при
контроле.
Пример 3.3.1 Нормальное распределение с известной дисперсией.
Пусть X ~ NN (0, σ2), где дисперсия σ2 известна, и φ —
стандартная нормальная плотность. Функция распределения
L(ft,x) =-L9(±=!j
— нормальная плотность со средним χ и дисперсией σ2. Следовательно,
максимум достигается лишь при
<>(*) = *.
Рассмотрим более общую ситуацию. Пусть Хг, ..., Хп _
выборка из генеральной совокупности с нормальным распределением
NN (ft, о2). Из задачи 3.3.6 следует, что о. м. п. для ft на основе
111

Xl9 ..., Xn совпадает с о. м. п. на основе достаточной статистики X с
нормальным распределением NN (ft, о2In). По аналогии с нашим
результатом при η = 1 мы заключаем, что
ft(Xx, .... Хп) = *
— о. м. п. для Φ. ■
Пример 3.3.2. Оценивание размеров генеральной совокупности
(продолжение). В разд. З.Ь^было показано, что метод моментов
приводит к неразумной оценке 2Х — 1 размеров ft генеральной
совокупности в примере 2.2.3. Какова оценка максимума правдоподобия для ft?
Из (2.2.10) видно, что функция правдоподо-
0,8\
од
т
0,2\-
бия I (ft, х) равна нулю при ft = 1
Ц8%(Щ max (хх, ..., хп) — 1, затем скачком воз-*
растает до [max (xlf ..., xn)]~n, после чего
монотонно убывает. Общий ход функции
ρΐ ι ι t ♦ правдоподобия представлен на рис.3.3.1.Яс-
/ 2 з а 5 θ но, что max (Хг,..., Хп)—о. м. п. для ft.
Рис. 3.3.1. Функция прав- Пусть по определению
доподобия для примера
3.3.2: «==2, х=(0,1) II (ft, χ) = In L (ft, Χ) = In ρ (x, ft).
Предположим, что Θ — открытое множество, и функция II
дифференцируема по ft при фиксированном х. Тогда если существует о. м. п.
θ (χ), то она должна удовлетворять уравнению правдоподобия
Л-ЩЪ,х) = 0. (3.3.2)
Действительно, если ft максимизирует р(х, ft), то ft максимизирует
и In ρ (χ, ft), так как In ρ — возрастающая функция от р.
Уравнение (3.3.2) следует из стандартных рассуждений математического
анализа (см. например, [1]).
Мы выбираем In p из-за особенно простой формы, которую
принимают уравнения, если Xt — независимые случайные величины с
плотностями fi (x, ft) при ι = 1,..., п. В этом случае, поскольку
II (ft, x)=lnp(x, ft) = In Π ft (xu *)== 2 ln/f (*„ ft), (3.3.3)
мы получаем уравнение правдоподобия
Σ-^1η/ι(*ι,*Η0. (3.3.4)
Приведем пример.
Пример 3.3.3. Рассмотрим популяцию, состоящую из особей трех
типов (1, 2 и 3), для которых выполняются пропорции Харди — Вейн-
берга:
ρ (1, Ь) = ft2, ρ (2, ft) = 2ft (1 - ft), ρ (3, ft) = (1 - ft)2,
112

где О < * < 1 (см. (3.1.2.)). Если мы наблюдаем выборку из трех
особей и получаем χλ = 1, х2 = 2, д:3 = 1, то
LL (θ, χ) = ρ (1, Φ) ρ (2, θ) ρ (1, θ) = 2fl5 (1 - θ).
Уравнение правдоподобия имеет вид
— LL($, x)= J — = 0
и допускает единственное решение Φ = 5/6. Так как при всех
θ б (0, 1) выполняется неравенство
д* LL(ft,x)=-4--—l—<01
д№ fl2 (1—θ)2
то 5/6 минимизирует функцию LL (Φ, χ). Рассмотрим теперь общий
случай. Пусть пг, п2 и /г3 означают количество единиц, двоек и троек среди
чисел {#1, ..., хп}- Мы увидим, что в этом случае, если числа 2% + п2
ил2 + 2п3 оба положительны, оценка максимума правдоподобия
существует и определяется выражением
?(х) = 2ηι+η* . н (3.3.5)
Пример 3.3.4. Пусть X — число покупателей, подходящих к
прилавку за η часов. Если принять обычное упрощающее
предположение о том, что моменты появления покупателей у прилавка образуют
пуассоновский процесс, то X имеет распределение Пуассона с
параметром ηλ, где λ — ожидаемое число появлений покупателей за час, или
скорость появления покупателей у прилавка. На практике λ —
некоторая неизвестная положительная постоянная, которую требуется
оценить на основе X. Так как X принимает значения {0, 1, 2, ...} с
вероятностями
ρ(6,λ)= гУ,Ь0, 1..., (3.3.6)
то уравнение правдоподобия принимает вид
~ LL (λ, х) = — η + — = 0 (3.3.7)
и допускает единственное решение λ = х/п. Если χ > 0, το λ —
о. м. п. для λ (см. ниже). Если л: = 0, то о. л*, п. не существует, но
при λ \ 0 решение стремится к максимуму. ■
Для успешного применения уравнения правдоподобия
необходимо знать, в каких случаях его решение является о. м. п. Достаточное
условие, известное из анализа, состоит в том, что функция
правдоподобия должна быть вогнутой по Φ. Если LL дважды дифференцируема,
то, как известно, условие вогнутости эквивалентно неравенству
-^LL(».x)<o,
113

которое должно выполняться при всех ft. Этим условием мы
воспользовались в примере 3.3.3. Наиболее успешно оно применяется к
экспоненциальным семействам.
Теорема 3.3.1. Пусть
ρ (χ, ft) = ехр {с (ft) Τ (χ) + d (ft) + S (χ) },
χζΑ, ΰζθ
и С означает внутренность области значений, принимаемых функцией
с (ft). Предположим, что функция с (ft) взаимно-однозначна.
Если уравнение
Ε* (Τ (Χ)) = Τ (χ) (3.3.8)
имеет решение ft (χ), такое, что с (ft (χ)) ζ С, то ft (χ) — о. м. п.
параметра ft.
Доказательство. Предположим сначала, что с (ft) = ft (т. е.
что мы рассматриваем семейство в его натуральной форме). Во
избежание путаницы переобозначим на время ft через η, a d — через d0.
Кроме того, будем предполагать, что η пробегает естественное
параметрическое пространство Я, определенное в разд. 2.3. Из (2.3.11)
получаем
^ = Τ(χ) + ^(η), (3.3.9)
•f^=*;'W>· (3-з.ю)
По теореме 2.3.2 в точке η, лежащей внутри Я,
- d'o (η) = £η (Γ (Χ)), (3.3.11)
- d% (η) = Vai-η (Τ (Χ)) > 0. (3.3.12)
Из (3.3.10) и (3.3.12) мы заключаем, что LL — вогнутая функция. С
другой стороны, из (3.3.9) и (3.3.11) следует, что уравнение
правдоподобия эквивалентно уравнению (3.3.8). Следовательно, если решение
уравнения (3.3.8) существует, то оно должно быть о. м. я. Наконец,
единственность следует из того, что do (ft) не обращается в нуль.
Доказательство для случая с (ft) = ft на этом завершается. В общем
случае значения функции правдоподобия
LL (ft, χ) = с (ft) Τ (χ) + d (ft) + S (χ) = с (ft)7 (χ) +
+ d0 (с (ft)) + S (χ),
когда ft принимает все допустимые значения, образуют подмножество
в области значений, принимаемых функцией η Τ (χ) + d0 (η) +
+ S (χ), когда η пробегает Я. Но значение с (ft), соответствующее
любому решению уравнения (3.3.8), есть η, максимизирующая функцию
у\Т (х) + d0 (η) + S (χ) при всех ч]£Н. Следовательно, значение
ft должно максимизировать LL. Ш
Приведем несколько примеров того, как применяется теорема (3.3.1)
114

Пример 3.3.1 (продолжение). В этом случае
Т(Х)=2Х£,
/—1
Ε* (Т (X)) = лФ,
и мы приходим к уравнению
допускающему единственное решение: Φ = χ. Ш
Пример 3.3.3. (продолжение). В этом случае
L(#, x)=2n*Wn>+n* (l_^)2ns+n2==2n» f—5— V*1+,li(l— fl)2*.
Можно выбрать
Ε* (Т (X)) = £<> (2 Νχ + Ν2) = 2ηΰ>2 + 2л# (1 — Φ) = 2 л<К
Уравнение (3.3.8) переходит в уравнение 2^ = 2пг + пг, и мы
получаем утверждение (3.3.5). ■
Пример 3.3.4. (продолжение). В этом примере мы имеем однопара-
метрическое экспоненциальное семейство с Τ (χ) = χ. Так как Ε (Х)=
= ηλ, из теоремы 3.3.1 мы заключаем, что при χ > 0 величина χ In —
единственная о. м.п. ■
Заметим, что во всех рассмотренных нами случаях метод моментов
совпадал с методом максимума правдоподобия. Использование о.м.п.
означает, что Τ есть оценка своего математического ожидания.
В тех случаях, когда вычислить Е& (Т (X)) трудно, теорема 2.3.2
иногда помогает составить уравнение (3.3.8). Так, в примере 2.3.3 с
распределением Рэлея
т (Х)= 2 χ!>Е [т №) = 2пЬ* и tf=1/ 2 *№ .
Во всех рассмотренных нами задачах нам удавалось получать о. м.п
в явном виде. Обычно найти явную оценку довольно трудно, так как
уравнение правдоподобия, вообще говоря, трансцендентно. Приведем
лишь один пример.
Пример 3.3.5. Дискрешизованное время жизни. Рассмотрим η
изделий, у которых время Χχ,..., Хп до первого отказа (первой поломки)
образует выборку из распределения ЕЕ (fl). Пусть проверка изделий
производится в дискретные моменты времени аг < ... < ak, поэтому
в действительности мы наблюдаем У1э..., Уп, такие, что
У
j
alf если α/_! < Xj < al9 /= 1,..., k, я0=0;
dk+u если Xj > k, dk + i >ak
при / = 1, ..., п. Если Ni — число индексов /, таких, что Yj = аи
£ = 1,..., k + 1, то мультиномиальный вектор N = (iVx,..., iVfe+1) —
115

достаточная статистика для ft, и функция правдоподобия для N
имеет вид (см. (П. 6.6) и (П. 13.13)):
МФ./Ч,..., ** + ,) = —-^ ,П рГПЧ (3-3.13)
где
Pi(*) = re/-1*-r^i/=!....,*,
/?*+1 (ft)=e flfe ,
а уравнение правдоподобия —
Ση^=Σ«/; fl V ,<„ -«»"*+»-0. (3.3.14)
Можно показать, что уравнение (3.3.14) допускает единственное
решение ft, но указать его явный вид можно только в том случае, если
выполняется соотношение а/ = bj + с при некотором b > 0 и
вещественном с. Но уравнение (3.3.14) можно решить приближенно обычными
численными методами. Мы опишем один из таких методов—метод
Ньютона — применительно к рассматриваемому примеру.
Для получения хорошей первой оценки параметра ft начнем с
данных. Например, если мы ожидаем, что значение ft будет мало, a k
не'слишком велико, то можно воспользоваться подстановкой частот.
Тогда если Nk+1/n оценивает величину ρ^+ι (θ) = г^, то ft =
= (— l/ak) In (Nh+1/n) — хорошее начальное значение. Но для
всех ft, достаточно близких к ft, по теореме о среднем
ИЛИ
iw *i5>+(.-i)fiLfI_f^LYV (3315)
WW p,C«) [nit) U(*>jj ( *
Если правую часть (3.3.15) подставить вместо p}(ft) / pj (ft) в (3.3.14),
то получится уравнение, линейное относительно ft, с решением
,_,»и(»>1,г,»Iр,т \р,№) I)
Оценка ft(D есть первое приближение к о. м. /г., полученное по методу
Ньютона (см. [6, р. 97]). Заменив -{Гв(3.3.16) на b(lh мы получим ft<2).
Повторив все вычисления с ft<2), мы найдем ft(3> ит.д. В результате
мы построим последовательность ft(m>, сходящуюся к ft" если ft
достаточно близко к корню ft. При разумном выборе исходного
приближения ft нередко последовательность ft(m> можно оборвать на ftx.
116

Весьма распространенным вариантом метода Ньютона [8, р. 366],
также позволяющим получать приближения к о. м. п, является метод
Фишера, в котором за исходное выбирается соотношение
/==1 * Pj(b)\ f2x \Pjifi) \pjifi) J )
которое затем итерируется нужное число раз.
В задачах оба метода — Ньютона и Фишера — применяются для
решения численного примера. ■
З.З.Б. Максимум правдоподобия в многопараметрических моделях
Уравнение правдоподобия переносится на случай, когда θ = (fl^,
..., $η) — векторный параметр, принимающий значения из некото-
рого открытого множества в Rk. Иначе говоря, если значение О =
=(/θ1,..., Фй) существует, то оно должно удовлетворять системе k
уравнений правдоподобия
-^ΙΙ(Φ,χ) = 0,ί«1, ...,*. (3.3.18)
при всех х, таких, что LL имеет частные производные первого порядка
по θ.
Так же, как и в однопараметрическом случае, наиболее удобным
признаком того, что получаемые решения соответствуют максимуму
правдоподобия, служит вогнутость. Условие вогнутости позволяет
получить следующее обобщение теоремы 3.3.1 (ход доказательства
теоремы 3.3.2 намечен в задачах).
Теорема 3.3.2. Пусть
ρ (χ, О) = exp {Jj Ъ (*) Tt (x)+d (0) + S (x)j,
x£A, ΰζθ
и С — внутренность области значений вектора (сг (Φ), ..., ck (Φ)).
Если уравнения
£*(Г, (X)) = Tt(x) при i= 1, ..., k
(3.3.19)
«-"-Ч «""Ν. «""Ν. «""Ν.
имеют решение Ь (χ) = (θχ (χ), ..., $h (χ)), такое, что (q (Φ (χ)), ...,
ch (Φ (χ))) £ С, то θ — единственная о. л. п. для θ.
Пример 3.3.6. Нормальное распределение с двумя неизвестными
параметрами. Пусть Χι,..., Χη —такие же, как в примере 3.3.1, но
дисперсия σ2 также не известна. Именно такую ситуацию мы
рассматривали в примере 2.1.2, когда считали, что выполняются
предположения (1) — (5). Требуется найти оценки максимума правдоподобия
для μ и σ2. Оценка дисперсии σ2 в такой ситуации важна, если мы хо-
117

тим получить хоть какое-то представление о точности наших
измерений и о X. Положив Φ = (μ, σ2), мы, как показано в разд. 2.3,
получим, что ρ (χ, Φ) — двухпараметрическое экспоненциальное
семейство с
σ2
Следовательно,
2σ2
Ее (7\ (Χ)) = ημ,
Ε^ (Γ, (Χ)) = η (σ2 + μ2).
При η ^ 2 уравнения
ημ = Σ*,, (3.3.20)
η (σ2 + μ"2) = Σχϊ
имеют в качестве решения выборочное среднее и выборочную
дисперсию
? = *, (3.3.21)
?=-Ly (Xi-x)\
п А
а они являются о. м. п. при σ2 > 0. Так как σ2 = 0 в том и только в
том случае, если все наблюдения равны, а вероятность этого события
равна 0, то о. м. п. всегда существуют и определяются соотношениями
(3.3.21). ■
Остальные примеры приведены в задачах.
3.3.В. Максимум правдоподобия и другие методы
Отметим кое-какие связи между максимумом правдоподобия и
другими из обсуждавшихся нами идей.
1. Если X дискретен, то оценки максимума правдоподобия можно
рассматривать как оценки принципа подстановки частот.
Отождествление результатов проведено в задаче 3.3.17.
2. Оценивание по методу наименьших квадратов можно
рассматривать как частный случай применения максимума правдоподобия. В
частности, предположим, что ошибки ε^ в (3.2.1) — независимые и
одинаково распределенные случайные величины с распределением NN (μ, σ2).
Тогда
Ρ (У. *ι *г. a2) = (aV*t)-"exp {--^г 2 (Л~ ft (θι· ···. «г»1}-
(3.3.22)
118

Независимо от дисперсии σ2 правдоподобие достигает максимума
η
в том и только в том случае, если 2 (Уг — gi (*ΐι···ι ®г))2 достигает
минимума. Таким образом, если принять эту модель, то оценки
наименьших квадратов являются оценками максимума правдоподобия.
3. С байесовской точки зрения, если параметрическое пространство
β конечно и мы принимаем априорное распределение, в силу которого
все значения параметра Φ равновероятны, ясно, что Φ — значение
параметра Φ с наибольшей апостериорной вероятностью. Если θ —
отрезок и мы задаем на Θ равномерную априорную плотность, то Ь — мода
апостериорной плотности. (Модой плотности ρ по определению
называется любое значение t> при котором ρ (t) принимает наибольшее из
возможных значений.)
Остальные связи между оцениванием по максимуму правдоподобия
в экспоненциальных семействах и несмещенным оцениванием мы
укажем в следующей главе.
3.4. ПРИМЕЧАНИЯ
Раздел З.1.1 Оценки, основанные на принципе подстановки частот,
иногда называются состоятельными по Фишеру. В [4] Р. А. Фишер привел веские
аргументы в пользу того, что рассмотрению подлежат только оценки,
удовлетворяющие принципу подстановки частот, и что из таких оценок следует выбирать
лучшие. Развитые Р. А. Фишером соображения, по существу, приводят к
оценкам максимума правдоподобия.
Раздел 3.2.* Превосходный исторический обзор развития методов
наименьших квадратов читатель найдет в [3].
3.5. ЗАДАЧИ И ДОПОЛНЕНИЯ
Задачи к разд. 3.1.
1. Рассмотрим популяцию, состоящую из особей трех различных типов,
которые встречаются в пропорциях Харди—Вейнберга О2, 20/(1 —Ό·) и (1 — Ό·)2,
где0<й<1.
а) Доказать, что Г3 = Njn + Nj2n — оценка параметра θ на основе
принципа подстановки частот.
б) Воспользуемся оценкой (а). Какова оценка на основе принципа
подстановки частот отношения «шансов за и против» Ф/(1 — О)?
2. Рассмотрим η систем с временем Xlt ..., Хп до первого отказа.
Предположим, что Xlf ..., Хп независимы и одинаково распределены с
экспоненциальными распределениями ЕЕ (λ).
а) Найти оценку параметра λ по методу моментов.
б) Найти оценку параметра λ по методу моментов, отличную от оценки (а).
в) Найти оценку по методу моментов вероятности Ρ (Хг > 1) того, что одна
система будет бесперебойно» работать не менее месяца.
3. Предположим, что моменты времени Х1у ..., Хп до первого отказа в
задаче 3.1.2 имеют гамма-распределение Г (О, λ) с двумя неизвестными
параметрами О и λ. Доказать, что оценки для φ и λ по методу моментов имеют вид
где о2 — выборочная дисперсия.
Указание: воспользуйтесь задачей 1.2.4.
4. Пусть Xf,..., Хп — индикаторы η биномиальных испытаний с
вероятностью благоприятного исхода Ь.
119

а) Доказать, что Χ — оценка для θ по методу моментов.
б) Найти оценки по методу моментов для Var# Х = θ (1 — 0)/^, используя
сначала только первый момент, а затем только второй момент генеральной
совокупности. Доказать, что обе эти оценки совпадают.
в) Объясните, почему в данном случае все оценки принципа подстановки
частот для q (θ) должны совпадать с q (X).
5. Пусть Xlt ..., Хп — выборка из генеральной совокупности с функцией
распределения F и функцией частоты или плотности р. Эмпирической функцией
распределения Fn называется функция Fn (χ) = [число Xf, не превосходящих
х]/п. Если функция q (θ) представима в виде q (θ) = s (F), где s — некоторая
функция от F, то оценкой эмпирической подстановки для q (θ) называется s (Fn).
а) Доказать, что в конечном дискретном случае оценки эмпирической
подстановки совпадают с оценками подстановки частот.
^ ^ , число величин X;, равных χ
Указание: выразите F через ρ и Fn через ρ (χ) = .
б) Доказать, что в непрерывном случае X ~ Fn означает: X = Хг с
вероятностью \1п.
в) Доказать, что оценка эмпирической подстановки для /-го момента т,·
есть /-й выборочный момент irij.
Указание: воспользуйтесь тем, что
+ 00
mj= j τί dF (x) или mj = EF (Xj), где X ~ F.
г) При tx < ... < tk найти совместную функцию частот для Fn (У, ...,
Указание: рассмотрите (Nlt..., Nk, j), где N1~nFn (/χ), N2—n [Fn (t2)—~
-Fn («), ·.., Λ7Λ + , = η (l -?n (fc)) ·
6. Пусть X(j) <;...<! X(n) — порядковые статистики выборки Xlt ..., Χη
(см. задачу 1.2.8). Существует взаимно-однозначное соответствие между эмпири-
ческой функцией распределения Fn и порядковыми статистиками в том смысле,
что если известны порядковые статистики, то мы можем построить Fn, а если за-
дана эмпирическая функция распределения Fni то известны порядковые
статистики. Опишите это соответствие более подробно.
7. Пусть ·$ρ φ = Ε (etx) — производящая функция моментов для
случайной величины X, или, что эквивалентно, для ее распределения F. Пусть *ψρ
конечна при / из некоторой окрестности нуля. Тогда Кр (0 = 1η tyF (t)
называется производящей функцией кумулянтов распределения F. В окрестности нуля
К ρ (t) допускает разложение в ряд
где К}— /-й кумулянт распределения F.
а) Доказать, что Κι = Ε (X), К2 = Var X, /Сз = £ (*3) — 3£ (Χ) Χ
Χ Ε (Χ2) + 2 [Ε (Χ)]3 и вообще /Cj — многочлен относительно моментов
случайной величины X.
б) /-й кумулянт /С/ эмпирической функции распределения называется /-м
выборочным кумулянтом и является для /С/ оценкой по методу моментов.
Приведите три первых выборочных кумулянта.
120

8. Пусть (Χι, Υι), (X2, Уг)> ···» (^n> У п) — некоторое множество
независимых и одинаково распределенных случайных векторов с общей функцией
распределения F. Естественной оценкой для F служит двумерная эмпирическая
функция распределения Fn (s, t), определяемая следующим образом:
^ число векторов (Х$, У г), таких, что Х$ << s, У$ < t
Fn (s, 0= ·
η
а) Доказать, что Fn(-t ·)—функция распределения вероятностной меры
на R2, сопоставляющей каждой точке (Xj, Yi) массу \1п.
б) Определим выборочное произведение моментов порядка (t, /),
выборочную ковариацию, выборочный коэффициент корреляции и т. д. как
соответствующие характеристики распределения Fn. Доказать, что выборочное
произведение моментов порядка (t, /) задается выражением
П k = \
выборочная ковариация — выражением
J П _ 1 П
— Σ (Xh-x)(Yh-Y)=— Σ XkYk-χγ,
n k=i n w
где"Х, Υ — выборочные средние для Хь ..., Хп и Ylt ..., Уп. Выборочный
коэффициент корреляции задается выражением
2 (xh-x)(Yk-?)
у 2 (Xh-xr 2 (у*-?)2
Все эти величины являются естественными оценками соответствующих
характеристик генеральной совокупности и называются также их оценками по
методу моментов. Обратите внимание на то, что, как следует из (П. 11.19),
- 1<г<1.
9. Предположим, что Х= (Хь ..., Хп), где Х$ независимые нормальные
случайные величины с распределением NN (0, σ2).
а) Найти оценку дисперсии σ2, основанную на втором моменте.
б) Построить оценку для σ, используя оценку (а) и соотношение σ = "ΐ/σ2^
в) Используя принцип эмпирической подстановки и соотношение Ε (\Χι\) =
= σ "l/2/π, построить оценку для σ.
Задачи к разд. 3.2
1. Тело единичной массы помещено в силовое поле неизвестной постоянной
напряженности О. В моменты времени tlt ..., /„показания прибора,
измерявшего положение тела, были Ylt ..., Υη. Показания прибора Yi отличается от
истинного положения тела (θ/2) tf на случайную ошибку ε$. Предположим, что ε$
имеют среднее 0 и некоррелированы с постоянной дисперсией. Найти о. н. к.
для θ.
2. Доказать, что формулы из примера 3.2.2 можно вывести из теоремы 1.6.3,
если рассмотреть распределение, сопоставляющее каждой из точек (хи #х), ...,
(*п, Уп) массу Мп.
3. Предположим, что в моменты времени xlt ..., хп произведены наблюдения
^ι» ···» Уп и что выполняется модель линейной регрессии. В момент времени хп+1
требуется произвести наблюдение Yn+1. Какова оценка наименьших квадратов
на основе Ylt ..., Уп наилучшего (с наименьшей с, к. о.) предсказания для Уп+1?
121

4. Доказать, что две выборочные линии регрессии совпадают (при
перестановке осей) в том и только в том случае, если все точки (#$, у{) в действительности
лежат на одной прямой. _ ^
Указание: запишите прямые в виде ** ~ х' = ρ ■ ~ У\
σ τ
5. Линия регрессии минимизирует сумму квадратов расстояний по
вертикали от точек (хи ух),..., (хп,уп). Найти прямую, минимизирующую сумму
квадратов расстояний по перпендикулярам от тех же точек.
Указание: речь идет о минимизации величины
η
2 fol-*i-*· *i)2
/=1
1+θ|
6. а) Пусть Ylt ..., Yn — независимые случайные величины с равными
дисперсиями, такие, что Ε (Yj) = axj, где Xj — известные постоянные. Найти
оценку наименьших квадратов для а.
б) Свяжите свой ответ с формулой для наилучшего линейного
предсказания с нулевым свободным членом.
7. Доказать, что оценка наименьших квадратов всегда определена и
удовлетворяет нормальным уравнениям, если gi дифференцируемы, область
значений (glt ..., gn) замкнута и θ = (Οχ, ..., ΰ>) принимает значения из Ω = Rr.
8. Найти оценки наименьших квадратов для модели Kj = Οχ + φ2*ί + εί>
задаваемой формулой (3.2.5), при Οχ > О, ft2 < 0.
9. Пусть Yi^fti + et, / = 1, ... , η, и Уг- = 02-|-8$, / = ^+1, ..., % +
+ я2, где гг гп ,л — независимые случайные величины с
распределением ^NW (0, σ2). Найти оценки наименыиих][квадратов для Οχ и ΰ·2.
Задачи к~разд. 3.3
1. Пусть Хъ ..., Хп — выборка из генеральной совокупности с одной из
следующих функций плотности или частоты. Найти оценку максимума
правдоподобия для ф.
а) / (*> ft) = Ъе~~^*% *> 0, ft>0 (плотность экспоненциального
распределения).
б) / (*, /6,)=ΰ'^χ""~(^+1\ χ > с, с — положительная постоянная, θ > 0
(плотность распределения Парето).
в) / (*> ft) — c&cx~(c+1)t х^ ft, с — положительная постоянная, θ > 0
(плотность распределения Парето).
г) /(*, ^^yWx^1^111, о<*<1, θ>ο
(плотность бета-распределения β C]/ftt U)·
А) / (х> ft) = (x/ft2) ехр (—х2/2Ь2), χ > 0, θ > 0 (плотность распределения
Рэлея).
е) / (х, О) = Осд^""1 ехр {—- ftxc}, χ > 0, с — положительная постоянная,
θ > 0 (плотное! ь распределения Вейбулла).
2. Пусть Χχ, ..., Хп —- выборка из распределения WW (μ, σ2), где
относительно μ и σ2 известно лишь, что они неотрицательны. Найти для μ и σ2 оценки
максимума правдоподобия.
3. Пусть Xlt ..., Хп — независимые и одинаково распределенные случайные
величины с плотностью
f(x, ft)=—ехр { —(χ—μ)/σ}, *>μ,
σ
где θ = (μ, σ2), — οο < μ < οο, σ2 > 0.
122

а) Найти оценки максимума правдоподобия для μ и σ2.
б) Найти оценку максимума правдоподобия для Р# [Хх > /] при t > μ.
4. Пусть Xlt ..., Χη — выборка из распределения UU [0—1/2, 0+ 1/2].
Доказать, что любая величина 7\ удовлетворяющая неравенству Х(П) — 1/2<!
< Τ ^. Χ(ι) + 1/2, является оценкой'максимума правдоподобия для О. (Мы
пишем UU [а, Ь], чтобы ρ (а) я ρ (b) были равны (6 — а)"1, а не 0.)
5. Доказать, что если в примере 3.3.6 η — 1, то оценки максимума
правдоподобия для θ = (μ, σ2) не существует.
6. Предположим, что Г (X) — достаточная статистика для О, а О (X) —
о. Л£. л. для О. Доказать, что О зависит от X только через Τ (Χ), если оценка О
единственна.
7. Пусть X ~ Pq, θ ζ Θ и -0· — о. и*, л. для О. Предположим, что h —
некоторая взаимно-однозначная функция, отображающая Θ на Θ. Зададим η ==
= h (О), и пусть / (Χ, η) означает функцию плотности или частоты для X в
зависимости от η, τ. е. используя η, параметризуем модель заново. Доказать, что
h ф) — о. м. п. для η (т. е. что преобразование параметра не сказывается на
оценках максимума правдоподобия).
8. Пусть Хъ ..., Хп —- выборка из однопараметрического
экспоненциального семейства / (·, О), записанного в естественной параметризации. Доказать,
что — ^' (О) = X —- оценка максимума правдоподобия для — а' (О) = Е§ (Х{).
9. С помощью теоремы 3.3.1 вывести оценки максимума правдоподобия в
следующих моделях.
а) Наблюдения: индикаторы биномиальных испытаний с вероятностью
благоприятного исхода О. Требуется получить оценки для О и Var^, Χχ—0 (1—О).
б) Наблюдения: Хх — число неблагоприятных исходов до первого
благоприятного исхода, Х2 — число неблагоприятных исходов между первым и
вторым благоприятными исходами и т. д. в серии биномиальных испытаний с
вероятностью благоприятного исхода О. Требуется оценить О.
в) Получить о. м. п. для как можно большего числа моделей из задачи 3.3.1.
10. Пусть Хъ ..., Хп — независимо распределенные случайные величины
с NN (О,·, 1), 1< i < л.
а) Найти оценки максимума правдоподобия для Oj в предположении, что
Oj — свободные параметры.
б) Решить задачу (а) при η = 2, если известно, что 0Х <<02. Общее решение
этой и аналогичных задач см. в [2].
11. Пусть (Xlt Кх), ..., (Xni Yn) — выборка из генеральной совокупности
с распределением WW (μ1§ μ2, σ?, σΐ, ρ).
а) Доказать, что о. м. я. для of, σ|, и ρ, если μ1 и μ2 предполагаются
известными, являются величины
σ} = (1/Λ) 2 (**-μι)2> ?! = 0/я) Σ (К*-^)2
= 1 J
*=ι
б) Доказать, что если μ1 и μ2 не известны, то о. м. п. для μχ, μ2, σ|, σ| ρ
совпадают с оценками по методу моментов из задачи 3.1.8.
Указание (к (б)): пользуясь непрерывностью генеральной совокупности,
можно предположить, что erf > 0, σ| > 0, jp| < 1, и применить теорему 3.3.2.
12. (Кифер—Вольфовитц). Пусть (Х1$ ..., Хп) — выборка из генеральной
совокупности с плотностью
123

где φ — стандартная нормальная плотность и ϋ· (μ, σ2) ( θ - {(μ, σ2) : — οο <
< μ < οο, σ2 > 0}. Доказать, что оценки максимума правдоподобия не
существуют, но sup ρ (χ, μ, σ2) = sup ρ (χ, μ, σ2) в том и только в том случае, если μ
σ μ, σ
совпадает с одним из чисел xlt ..., хп.
13. Пусть X ~ НН (b, N, п). Доказать, что оценка максимума
правдоподобия для Ь при фиксированных Nun определяется выражением
Я*)=[^-(л/+1)],
если — (Ν + 1) — не целое число, и
•"-^ X X
Ь(Х) = — (Ν+1) или —(yv + 1) —1
η \ η
в противном случае, где It] — целая часть числа /, т. е. наибольшее целое число,
не превосходящее t.
Указание: рассмотрите отношение L (Ь + 1, x)/L (bt x) как функцию от 6.
14. Пусть Xlt ..., Хт и Кь ..., Υ η—две независимые выборки из
генеральных совокупностей с распределениями NN (μχ, σ2) и NN (μ2, σ2). Доказать, что
О = (Χ, Κ, σ2) — о. м. п. для О = (μι, μ2, σ2), где
[т
(т + п).
(Xi-X)*+ 2J (Yi-Y)2
/=ι
15. Пусть в примере 3.3.5 k — 2, аг = 0,4, а2 = 1,1. Предположим, что
Nt = 30, N2 = 33, JV3 = 37.
а) Вычислить ϋ= — (1/flfe) In (Nk+1/n).
б) Вычислить dd), 0(2), если O(i) определяется по формуле (3.3.16).
16. Доказать теорему 3.3.2.
Указание: рассмотрите случай, когда с-г (Ό·) = О, i = 1, ..., k, после чего
повторите ход рассуждений, приведенный в доказательстве теоремы 3.3.1.
Покажите, что матрица
дЫ
отрицательно определена и поэтому (как доказывается в векторном анализе)
производные дЬЫдЬъ ..., дЬЫд$ъ могут обращаться в нуль не более чем в
одной точке.
17. Оценки максимума правдоподобия можно рассматривать как оценки
принципа подстановки частот, если Хъ ..., Хп — выборка из дискретной
генеральной совокупности. Пусть Хг = νι с вероятностью р% (О), i = 1, ..., k.
Предположим, что при любом (πχ, ..., π&), π$Ξ> 0, i = 1,..., k9 Σπ^ = 1 мы можем
однозначно определить функцию О (π), для которой
Σπ$ In pi (О (π)) = max Σπέ In pf (θ),
а) Доказать, что о. м. п. Ό· есть просто ϋ {Njn, ..., Ν^Ιη).
б) С другой стороны, доказать, что при любом θ и любых вероятностях
(jtlt ..., π/t) выполняется неравенство 2 Pi W ln Pi W Ξ> ΣΡί W 1η πί·
18. Цензурированные геометрические времена ожидания. Если время
измеряется дискретными периодами, то для времени X отказа изделия часто
используется модель
Ρ^[Χ = Λ] = θΛ-1(1—θ), £=1,2,...,
где 0 <Ф < 1. Предположим, что мы записываем время отказа только в том
случае, если отказ происходит не позже r-го периода, а в противном случае отме-
124

м лишь, что изделие прослужило по крайней мере г + 1 периодов. Пусть
наши наблюдения Υ1% ...,Υη независимы, одинаково распределены и имеют общую
функцию частоты
/(*, «) = θ*-1ο—*). λ = ι г.
JF(r + l, *) = 1-Р*[Х<г] = 1-2 θ*"10-#) = »Γ·
k=\
Шод «/* + Ь мы понимаем, что изделие просуществовало по крайней мере г + 1
периодов.) Пусть Μ — число индексов t, таких, что К$ = г + 1. Доказать, что
оценка максимума правдоподобия для θ на основе У1э ..., Уп имеет вид:
*=1
19. Дать строгое доказательство того, что для функции правдоподобия
L (Χ, θ) общего вида метод Ньютона, применяемый по такой же схеме, как в
примере (3.3.5), приводит к оценке
-£ч°М».»)
♦ι-*-?
^lnl«>.«)
— первому приближению к оценке максимума правдоподобия, где θ — оценка,
полученная на предыдущем этапе, или нулевое приближение.
20. Рассмотрим некий непосредственно не наблюдаемый наследственный
признак, вызывающий болезнь у определенной части обладающих им
индивидуумов. Для семей, в которых один из членов является носителем болезни,
желательно оценить долю θ членов семьи, обладающих этим признаком.
Предположим, что семья состоит из η членов, из которых один страдает болезнью,
вызываемой наследственным признаком (и, следовательно, является носителем этого
признака), X — число членов семьи, являющихся носителями наследственного
признака. Так как известно, что X ^ 1, то для X часто используется модель
случайной величины Υ с условным распределением ВВ (/г, Ό·), если известно, что
а) Доказать, что Ρ (Х = х) = Р (У =χ \ Υ > 1) =
Qo*(l_0)»-
x = l,..., л.
1—(1—0)я
б) Пользуясь задачей 3.3.19, доказать, что
ff(l — У)[1— (1—^)nJ {*—п§— х(1—Щп)
*ι=θ-
Λθ2 (1 —θ)η [η — 1 +(1 — fl)n] —[1 —(1 — θ)"]2 [(1 —2θ) χ +Λθ2]
— первое приближение к оценке максимума правдоподобия для Ό·.
в) Найти Οχ в задаче (б) при л = 5, χ = 2, если нулевым приближением
выбрано^ = х/п.
21. Пусть Хх, ..., Хп — независимые случайные величины. Известно, что-
распределение величины Xf есть условное распределение величины К при
заданном неравенстве Υ ~ 0, где Υ ~ NN (10, 1).
125

а) Вывести первое приближение λχ к о. м. п. для λ, пренебрегая условием
К>0.
Указание: воспользуйтесь задачей 3.3.19 (h (χ) = χ* — пример функции,
обычно используемой для преобразования случайных величин к «почти
нормальным» случайным величинам).
б) Вычислить λχ по следующим данным (уровни холестерола в крови):
254, 240, 279, 284, 315, 250, 298, 384, 310, 337.
22. Оценивание по наименьшим абсолютным величинам. В модели разд. 3.2
оценка наименьших абсолютных величин определяется как значение параметра
η
θ, минимизирующее величину 2 I Yi — gi C^i» ···> Фг)|.
а) Доказать, что оценка наименьших абсолютных величин совпадает с
оценкой максимума правдоподобия, если ε$ независимы и одинаково
распределены с общей плотностью
ρ (t) = —- е ~~' *' (распределение Лапласа).
б) Доказать, что медиана случайных величин Ylf ..., Υη в примере с
измерениями одного образца 3.2.1 совпадает с оценкой наименьших абсолютных
величин (воспользуйтесь задачей 1.6.7). Общий класс оценок, минимизирующих
η
2 Ρ (Kf —θ) при подходящих функциях р, рассмотрен в интересной работе Ху-
бера [5].
23. Пусть Х1$ ..., Хп — выборка из распределения Коши:
'<**>-„(,+(Lw·
а) Доказать, что если п= 1, то θ = Хг.
б) Доказать, что если η = 2, то уравнение правдоподобия имеет кратные
корни, хотя о. м. п. существует и единственна.
3.6. БИБЛИОГРАФИЯ
1. А р о s t о 1 Т. (1974). Mathematical Analysis. 2nd edition, Addison —
Wesley, Reading, MA.
2. Barlow R., Bartholomew D., Bremner J. M. and В г u η k
Η. D. (1972). Statistical Inference Under Order Restrictions. J. Wiley & Sons,
New York.
3. EisenhartC. (1964). The meaning of least in least squares. —
Journal Wash. Acad. Sciences 54, 24—33.
4. Fisher R. A. (1922). On the mathematical foundations of theoretical
statistics. Reprinted in: Contributions to Mathematical Statistics (by R. A. Fisher)
(1950), J. Wiley & Sons. New York.
5. Η u b e r P. (1964). Robust estimation of a location parameter. — Ann.
Math. Statist. 35, 73 — 101.
6. Isaacson E. and К e 1 1 e r Η. Β. (1966). Analysis of Numerical
Methods, J. Wiley & Sons, New York.
7. Mosteller F. (1968). Association and estimation in contingency
tables. — J. Amer. Statist. Assoc. 63, 1—28.
8. R а о С. R. (1973). Linear Statistical Inference and Its Applications, 2nd
edition, J. Wiley & Sons, New York. Русский перевод: Р а о С. Р. Линейные
статистические методы и их применения. М., Наука, 1968.
9. Snedecor G. W. and С о с h r a n. W. (1967). Statistical Methods,
6th edition, Iowa State University Press, Ames, IA.
126

Глава 4 · СРАВНЕНИЕ ОЦЕНОК-
ТЕОРИЯ ОПТИМАЛЬНОСТИ
Чтобы как можно лучше использовать данные, математические
статистики занялись поиском оценок и процедур, оптимальных в том
или ином смысле. В этой главе мы познакомим читателя с некоторыми
разделами теории оптимальности, разработанной Фишером,
Крамером, Рао, Блекуэллом, Леманом, Шеффе и другими. В первом'разделе
мы вводим меру эффективности оценки — среднеквадратическую
ошибку, и обсуждаем некоторые свойства оценок, в том числе
несмещенность. В следующих двух разделах мы излагаем явные методы
получения наилучших несмещенных оценок. Последний раздел посвящен
оптимальности оценок максимума правдоподобия и родственных им
оценок при больших выборках. Вопрос о том, как сказывается на
оптимальности учет приближенного характера большинства моделей, мы
оставляем до гл. 9.
4.1. КРИТЕРИИ ОЦЕНИВАНИЯ
Каким образом измерить эффективность оценки Τ (X) параметра
<7(#)? Естественная мера ошибки \Т(Х)— ^ (Ό·) | не
удовлетворительна по двум причинам.
1) Она зависит от неизвестного значения параметра Φ.
2) Она случайна. Следовательно, ее невозможно вычислить даже
как функцию от Φ до того, как произведен опыт.
Второе затруднение удается преодолеть, рассматривая, как в
проблеме предсказания, средние меры ошибки. Это означает, что мы
измеряем эффективность оценки по дисперсии распределения для \Т — q\.
Например, мы можем воспользоваться средней абсолютной ошибкой
Ε | Т(Х) — q ($) |. Обычно вместо нее используют
среднеквадратическую ошибку (с. /с. о.) R (Φ, Τ), задаваемую соотношением
R (Ф, Т) = Ε IT (Χ) - q (v)]2.
Выбор с. /с. о. в качестве меры эффективности оценки обусловлен
главным образом соображениями удобства: с. /с. о. легче вычислить чем
Другие меры. Кроме того, как мы увидим в разд. 4.4, если объем
выборки велик, то многие оценки имеют распределение, мало
отличающееся от нормального со средним q (p). Это означает, что все меры
Дисперсии, по существу, эквивалентны. Например, если Τ имеет
нормальное распределение со средним q (θ), то средняя абсолютная
ошибка пропорциональна квадратному корню из с./с.о., т. е.
Ε (\Т (X) - q (Ф)|) = УШУЙФТТ).
127

С. к. о. определяется средним и дисперсией случайной величины
Т. Действительно, если R (Φ, Τ) < оо, то ее можно представить в
виде
д (Ф, Г) = Var (Г (X)) + б2 (Φ, Τ), (4.1.1)
где
ft (О, Т) = Е(Т (Х))-?(*) (4.1.2)
называется смещением оценки Τ (Χ). По существу, (4.1.2) есть не что
иное, как формула (1.6.4). Если математическое ожидание считать
центром распределения оценки Τ (Χ), то смещение измеряет, как
далеко и в каком направлении этот центр находится от нашей цели q (Ь).
Дисперсия в (4.1.1) служит мерой того, насколько «кучно»
распределение Τ (X) группируется вокруг центра. Эту характеристику Τ (Χ)
иногда называют точностью оценки. Проиллюстрируем вычисление
смещения и с. к. о. на следующем примере.
Пример 4.1.1. Оценки среднего и дисперсии нормального
распределения. Пусть Xlf ..., Хп — выборка из генеральной совокупности с
распределением NN (μ, σ2). Рассмотрим оценки максимума
правдоподобия для μ и σ2:
*μ = Χ,
o> = ±±(Xi-X)\
/= ι
По теореме 1.3.3. X ~ NN (μ, σ2/η), поэтому если положить
Φ = (μ, σ2) и q (Φ) = μ, το
b (#, Χ) = Ε (Χ) — μ = 0.
Следовательно, __
д (#, χ) = Var (Χ) = ο2/η.
С другой стороны, по теореме 1.3.3 ησ2/σ2 ~ χη-ι· Следовательно,
если q (ϋ) = σ2, то
Поскольку дисперсия случайной величины с распределением χΐ
равна 2k, мы вычисляем, что
η /α ^оч σ4 Л7 ί ησ2 λ , σ4 σ4 гГ|/ 1Ч . «, σ4(2Λ —1) __
/?№,σ2 = Var -\ = [2 (η—Ι) +1]= —* . ■
4 ' Φ \ σ2 / л* /ζ2 ν / ι J β2 -
Вычисления дисперсии и смещения нередко сопряжены со
значительно большими трудностями, чем в этом примере. Для облегчения
расчетов удобно воспользоваться аппроксимациями из разд. 1.5.
В разд. 4.4 мы рассмотрим один из таких примеров.
Совершенно в стороне от практической проблемы вычисления еж.о.
лежит теоретическая проблема выбора наилучшей оценки, если
используем с. к. о. Мы снова сталкиваемся с той трудностью, что R (Φ, Τ)
128

зависит каким-то образом от ft: либо непосредственно через
оцениваемый параметр, либо через другие неизвестные мешающие параметры.
Сравнение среднеквадратических ошибок двух оценок 7\ и Т2 означает
сравнение двух функций от ft. В типичной ситуации R (ft, 7\) < R (ft,
Τ ) при некотором ft, а при других значениях ft выполняется обратное
неравенство. Так, в примере 4.1.1 мы можем сравнивать X с оценкой
аХ, где а — постоянная, значение которой заключено между 0 и I1.
Нетрудно видеть, что __
Ь(Ъ9аХ)=(а— 1)μ,
д(О, aX) = Var(aX) + (fl— ;ΐ)2μ2 = α2— + (α-1)2μ2·
/г
Ясно, что при малых μ оценка аХ_лучше, чем X, но при больших |μ|
преимущество на стороне оценки X.
Пусть S и Τ — две оценки, такие, что при всех ft выполняется
неравенство R (ft, Τ) <! R (ft, S), причем при некоторых ft имеет место
строгое неравенство. В'этом случае оценке Τ разумно отдать
предпочтение перед оценкой S. Мы говорим, что оценка Τ лучше оценки S и что
оценка S неприемлема.
Существует ли оценка, улучшающая все остальные оценки? На
этот вопрос мы должны дать отрицательный ответ. Действительно,
зафиксируем любое значение параметра ft и обозначим его ft0.
Рассмотрим оценку S (х) — q (ft0) при всех х. Тогда
R (ft0, S) = 0.
Следовательно, для любой равномерно наилучшей оценки Τ должно
было бы выполняться равенство R (ft0, Τ) ==■ 0, а так как значение
ft0 выбрано произвольно, R (ft, Τ) = 0 при всех ft. Таким образом,
Τ должна была бы идеально точно оценивать q (ft) независимо от
значения ft, что невозможно, за исключением тривиальных случаев.
Поскольку абсолютного чемпиона среди оценок не существует, при
выборе оптимальной процедуры нам приходится прибегать к другим
критериям.
Один из выходов состоит в том, чтобы рассматривать класс
процедур, заведомо не содержащий неразумных оценок типа приведенной
выше оценки S, и искать оценку, превосходящую все остальные
оценки в данном классе. Сейчас мы определим один такой класс — класс
несмещенных оценок.
В идеале мы хотели бы иметь оценки с малым смещением и высокой
точностью (малой дисперсией). Поскольку смещение представляет
собой систематическую ошибку, разумно попытаться учесть ее до того,
как мы приступим к выяснению точности. Для этого достаточно
потребовать, чтобы
£(T(X))=<7(ft), (4.1.3)
или
Ь (ft, Τ) = 0*
* Заметим, что смещение зависит от оцениваемой величины. Для своего
математического ожидания любая оценка — несмещенная.
129

при всех θ. Любая оценка Т, удовлетворяющая соотношению (4.1.3)
при всех #, называется несмещенной для q($). Если Τ —
несмещенная оценка для q (θ), то, как следует из (4.1.1),
д (О, Т) = Var (Г (X)). (4.1.4)
В примере 4.1.1 нам уже встречались как смещенные, так и
несмещенные оценки. Выборочное среднее — несмещенная оценка для μ.
Выборочная дисперсия — смещенная оценка для σ2. Именно из-за
смещенности оценки σ2< обычно вместо нее используют несмещенную
оценку
s* =—^—Э=—!—- V №-Х)2· (4.1.5)
η—ι η—ι /^—1
Требование несмещенности оценки обладает рядом
привлекательных черт. Во-первых, вряд ли разумно систематически переоценивать
или недооценивать интересующее нас значение параметра. Во-вторых,
несмещенность позволяет исключать из рассмотрения заведомо нелепые
оценки, например, такие, как S (х) = q (θ0) при всех х. Для этой
оценки ψ
6(0, S)>r<7(0«)-?(*)·
Перед нами пример оценки, очень точной, но весьма
недостоверной, за исключением значений #, близких к $0\) В-третьих,
оказывается, что в классе несмещенных оценок нередко удается найти оценку
Т*, которая лучше всех остальных несмещенных оценок, т. е. для
любой несмещенной оценки S
R (Ф, т*) = Var (Г* (X)) < Var (S (X)) = R (#, S). (4.1.6)
Такая оценка Г* называется несмещенной оценкой с равномерно
минимальной дисперсией (н. о. р. м. д). В разд. 4.2 и 4.3 мы остановимся на
теории несмещенного оценивания более подробно.
Понятие несмещенности сопряжено с кое-какими трудностями.
а) Несмещенные оценки могут не существовать.
б) Даже если я. о. р. м. д. существуют, они могут быть
неприемлемыми.
в) Свойство несмещенности не инвариантно относительно
функциональных преобразований, т. е. оценка Φ может быть несмещенной для
Φ, но оценка q (Ь) окажется смещенной для q (Φ). Все эти замечания мы
обсудим более подробно в последующих разделах этой главы.
Из затруднения, связанного с отсутствием наилучшей процедуры,
существуют и другие выходы, отличные от поиска оптимальной
процедуры в классе несмещенных оценок. Один из возможных выходов
состоит в том, чтобы трудную задачу сравнения двух функций R (Φ, S),
R (Φ, Γ) свести к более простой задаче сравнения чисел, каким-то
образом связанных с этими функциями.
1) Можно взять весовую функцию π и усреднить ее по Ф, т. е. если
параметр Φ веществен, принять за меру эффективности оценки Τ вели-
130

чину
J #(Ф, Τ)π(*)ί».
— оо
Такой подход позволяет вычислить наилучшую процедуру. Он
соответствует введению априорной плотности π на Φ (см. разд. 2.4).
Вычисления и свойства таких байесовских процедур мы рассмотрим в разд.
10.2 и 10.3
2) Предположим, что в качестве меры эффективности оценки Τ мы
приняли наихудший из возможных вариантов —
max R (О, Г).
Наилучшие в указанном смысле процедуры называются
минимаксными. Их мы рассмотрим в разд. 10.2 и 10.4.
В заключение подчеркнем еще, раз, что трудности сравнения
функций более или менее исчезают по мере увеличения числа наблюдений.
Существуют «приближенно» наилучшие процедуры. Этот круг идей мы
рассмотрим в разд. 4.4.
4.2. НЕСМЕЩЕННЫЕ ОЦЕНКИ
С РАВНОМЕРНО МИНИМАЛЬНОЙ ДИСПЕРСИЕЙ
Начнем с примера, наглядно показывающего, какого типа задачи
мы научимся решать к концу этого раздела. Пусть Хг, ..., Хп —
выборка из генеральной совокупности с распределением NN (μ, σ2), где μ и
σ2 неизвестны. В двадцатых годах нашего века между физиком А. Эд-
дингтоном и одним из основателей статистики Р. А. Фишером
разгорелась дискуссия относительно того, какой из двух типов оценок
шкалы σ следует считать наиболее подходящим. Фишер отстаивал
величину, кратную стандартному выборочному отклонению
α» ΐ/- Σ (Χι -Χ)*.
ψ η /=ι
в то время как Эддингтон отдавал предпочтение выборочному среднему
отклонению
а = ± у |Х,-Х|.1 (4.2.1)
п ,г,
Рассматриваемые здесь естественные кратные величин σ и σ
являются несмещенными. Итак, пусть σχ= ασ и σχ = со, где α = о/Е(а)
и с = σ/Ε (о) приведены в задаче 4.2.13. В примере 4.2.3 мы покажем,
что ах — н. о. р. м. д. Следовательно, а19 всегда лучше, чем а19 и спор
решается в пользу Фишера 2.
Обращаясь к общему случаю, предположим, что требуется оценить
функцию q (θ) на основе X = (Х1э..., Хп), распределенного по Р$,
Ь ζ Θ, и для Φ мы располагаем достаточной статистикой Τ (Χ). В сле-
131

дующей теореме мы докажем, что если S (X) — некая оценка функции
q (ft), то, используя Τ (Χ), оценку, которая лучше (или во всяком
случае не хуже), всегда можно построить следующим образом. Вычислить
условное математическое ожидание S* (/) = Ε (S (Χ) | Τ (Χ) = t).
Оценка Г* (X) = S* (Т (X)) по крайней мере не уступает оценке
S (X). Заметьте, что поскольку Τ (Χ) — достаточная статистика, то
S* (t) не зависит от ft и, следовательно, Т* — вполне «законная»
оценка. Приведенные нами нестрогие рассуждения можно сформулировать
в виде теоремы.
Теорема 4.2.1. (Рао — Блекуэлла). Пусть Τ (X) —достаточная
статистика для ft и Е® (\S (Х)|) < оо при всех ftg Θ. Тогда при
всех ft £ Θ
Ε* I Г* (X) — q (ft)] 2 < Ε* [S (X) - q (ft)]2*. (4.2.2)
Если Var-a· (S) < оо, то выполняется строгое неравенство, за
исключением того случая, когда Т* (X) = S (X) **.
Доказательство. Напомним формулу (4.1.1), из которой получаем,
что
ElS — q (ft)] 2 = Var (S) + b* (ft, S). (4.2.3)
Заметим, что по теореме о двойном математическом ожидании (1.1.20)
£(Т*) = Ε (S) и, следовательно, Ь (ft, Τ*) = Ъ (ft, S). После этого
теорема 4.2.1 становится эквивалентной утверждению о том, что
Ε IE (S I Τ) — Ε (S)]2 < Ε IS — Ε (S)]2, (4.2.4)
причем равенство выполняется в том и только в том случае, если
5 (X) = Т* (X). Но это — не что иное, как теорема 1.6.2, в которой
Υ = S (X), X = Τ (Χ). ■
Если бы мы применили теорему Рао — Блекуэлла к нашим
оценкам σχ и а19 используя достаточные статистики X и σ2 (из примера
2.2.4), то обнаружили бы, что можем улучшить а19 но не ох. Тем не ме-
нее мы не можем заключить, что оценка ог оптимальна. Для этого к
фишеровскому' понятию достаточности необходимо добавить
принадлежащее Леману и Шеффе [11] понятие полноты. Статистика Τ
называется полной, если единственная вещественнозначная функция g,
определенная на области значений статистики Τ и удовлетворяющая
условию
Еъ [g (Τ)] = 0 при всех ft, (4.2.5)
есть функция g (Τ) = 0. Ясно, что полнота является свойством
семейства распределений для Т, порождаемых при изменении ft, и в
дальнейшем мы будем говорить не только о полных статистиках, но и о
полных семействах распределений 3.
Пример 4.2.1. Пусть Х19..., Хп —выборка из распределения
η
Пуассона РР (ft). Из разд. 2.3 известно, что Τ = S Xi — достаточ-
.· ι
* Обе части неравенства могут обращаться в бесконечность.
** Равенства между статистиками в силу соглашения (П.8.13) должны
выполняться лишь в том случае, когда вероятность Р$ равна 1 при всех ϋ.
132

дая статистика, а из разд. П. 13 — что Τ имеет распределение РР (пЬ)<
Докажем, что статистика Τ полна» Пусть g —такая функция, что
Еъ L· (Л1 = О ПРИ всех * > 0. Тогда
е-пь у g«(^=o при всех О>0.
Из курса математического анализа (см., например, [2, р. 236])
известно, что все коэффициенты степенного ряда тождественно равны нулю.
Следовательно, g (i) = 0 при i = 0, 1, 2, ..., что и требовалось
доказать. ■
Сформулируем теперь основной результат этого раздела.
Теорема 4.2.2 (Леман — Шеффе). Если Τ (Χ) — полная
достаточная статистика и S (X) — несмещенная оценка функции q (Φ), то
Τ* (Χ) = Ε (S (X) Ι Τ (Χ)) — несмещенная оценка с равномерно
минимальной дисперсией для q (Φ). Если Var# (Τ* (Χ)) < οο при всех
θ, το Τ* (Χ) — единственная я. о. р. м. д. для q (Φ).
Доказательство. Так как b (Φ, Τ*) = b (Φ, S), если S —
несмещенная оценка, то Г* — также несмещенная оценка. По теореме
Рао — Блекуэлла Т* имеет дисперсию, которая не больше, чем
дисперсия оценки S, а при Var (S) < оо строго меньше дисперсии
оценки S, за исключением того случая, когда S = Т*. Остается доказать,
что Т* не зависит от выбора начальной несмещенной оценки,— тогда
Г* лучше всех несмещенных оценок. Предположим, что Т* = ft (T)
и ΤΙ = g2 (Τ) — несмещенные оценки функции q (Φ), полученные
по алгоритму Рао — Блекуэлла. Тогда
Е* (ft (Τ) - g2 (Τ)) = Ε* (ft (Γ)) - Ε* (g2 (Τ)) = 0 (4.2.6)
при всех Φ. Так как Τ — полная статистика, то ft (Τ) = g2 (T).
Следовательно, Τ* = Ε (S \ Τ) не может зависеть от S.
Единственность следует из той части теоремы 4.2.1, где доказывается
единственность Т*. Ш
Заметим, что теорему Лемана — Шеффе можно использовать для
поиска н. о. р. м. д. функции q (Φ) двумя способами. Оба основаны на
предположении, что мы располагаем полной достаточной статистикой
Т(Х).
(1) Если можно найти статистику вида h (T(X)), такую, что h(T(X))—
несмещенная оценка функции q (Φ), то h {Τ (Χ)) — н. о. р. м. д.
Это следует из того, что в силу соотношения (1.1.15) условное
ожидание для h (Τ (X)) при заданной величине Τ (X) равно h (Τ (Χ)).
(2) Если для q (Φ) можно найти хотя бы какую-нибудь
несмещенную оценку S (X), то Ε (S (Χ) | Τ (X)) — н. о. р. м. д. В этом
«обличье» подход Лемана — Шеффе дает еще один метод получения
конструктивных оценок.
Чтобы воспользоваться теоремой Лемана — Шеффе, необходимо
проверить полноту. Приведем еще один пример.
Пример 4.2.2. Полнота семейства гипергеометрических
распределений Η Η (Ν Φ, Ν, η). В примере 2.1.1 Χ — достаточная статистика
по теореме факторизации 2.2.1. Докажем, что X — полная статистика,
133

или что семейство гипергеометрических распределений полно (оба
утверждения эквивалентны). Требуется доказать, что если
E*{g(X)) = 0 при θ = 0 , γ, ..., 1, (4.2.7)
то g (k) = 0 при А = 0, ..., п. Рассмотрим случай η ^ Ν Χ
Xmin {#, 1 — ft). Тогда
/jVflWJV — Mfr\
** (я (χ» = 2 (N^k g {k)- (4·2·8)
U/
£ = 0
Так как £# (g (X)) = g(0), то, как мы видели, из (4.2.7) следует, что
g (0) = 0. При Φ = 1AV получаем
ίΤ"1) ίΤ-1)
E*(g(X))= W „ч n/ g(0) + U/ "Γυ g(l)= 0 (4.2.9)
0 0
и, следовательно, g (1) = 0. Рассуждая по индукции, заключаем, что
g (0) = g О) = ..·· = g (n) =0 и, следовательно, g (X) = 0.
Этим результатом можно воспользоваться для оценивания
параметра ·&. Так как Е$ (X I п) = Φ (задача 4.2.12) и Х/п — функция от
X, то Х/п —н. о. р. л*. 5. ■
Следующая теорема дает обширный класс моделей, для которых
существует полная достаточная статистика.
Теорема 4.2.3. Пусть {Р$ : Φ £ Θ} —А-параметрическое
экспоненциальное семейство, задаваемое соотношением (2.3.12).
Предположим, что множество внутренних точек области значений вектора
с = (сг (Ь), ..., ck (ft)) непусто (содержит открытый β-мерный
прямоугольный параллелепипед (П.7.1)). Тогда статистика Τ (X) = (Тг (X),
..., Тк (X)) полна и достаточна.
Пример 4.2.1 так же, как и задача 4.2.1, в которой
устанавливается полнота семейства биномиальных распределений, — частный
случай этой теоремы. Доказательство общего результата, эквивалентного
единственности преобразования Лапласа — Стильтьеса, можно
найти в книге Лемана [10, р. 53].
Приведем несколько примеров применения теоремы 4.2.3.
Пример 4.2.3. Семейство нормальных распределений. Пусть X =
= (Χι,..., Χη) — выборка из генеральной совокупности с
распределением NN (μ, σ2), у которого μ и σ2 неизвестны. Как было показано в
гл, 3, распределения для X образуют двухпараметрическое семейство
экспоненциальных распределений по ft = (μ, σ2). Поскольку, когда ft
пробегает параметрическое пространство Θ, значения (μ/σ2, — 1/2σ2)
заполняют нижнюю полуплоскость, предположения теоремы 4.2.3
η η
выполнены. Следовательно, Τ (X) = (5 Х-и 2^?) — полная и до-
134

статочная статистика. Поскольку X — функция от Т, X—я. о. р. м. д.
для μ, если дисперсия σ2 неизвестна.
Обратимся теперь к оцениванию шкалы параметров σ2 и σ. В
примере 4.1.1 было показано, что, хотя выборочная дисперсия не
является несмещенной оценкой для σ2, таковой служит величина s2 =
η
= [l/(n — 1)] 2 (Χ— Χ)2- Так как s2 — функция от полной
достаточной статистики Т, s2 — я. о. р. м. д. для σ2, если среднее μ
неизвестно. (Подчеркнем, 4TOS2 не является я. о. р. м. д. для σ2, если μ
известно (см. задачу 4.2.5).) Аналогичные рассуждения показывают, что
а ог — я. о. р. м. д. для σ, если среднее μ неизвестно (что и
утверждалось в начале этого раздела). ■
Пример 4.2.4. Оценивание вероятности раннего отказа. Иногда
продолжительность службы (до первого ремонта) оборудования
разумно считать случайной величиной с экспоненциальным распределением,
параметр λ которого неизвестен. Модели такого типа рассмотрены,
например, в [3].
Предположим, что η «тождественных» единиц оборудования
находятся в эксплуатации и мы наблюдаем промежутки времени Х19 ...,
Хп до первого раннего отказа, т. е. Ρχ [ Хг < х] = 1 — е~Хх при
некотором фиксированном х.
Так как экспонента — частный случай семейства гамма-распреде-
п
лений, то из табл. 2.3.1 и теоремы 4.2.3 мы заключаем, что Τ = 2Хг—
полная достаточная статистика для λ. Чтобы найти я. о. р. м. д.,
воспользуемся подходом (2). Заметим, что S (Хг) = Ι[Χχ ^*j
—несмещенная оценка для ^ (λ) = 1 — е~Кх. По теореме Лемана —
Шеффе Г* = Ε (S (Хг) \Т) — н. о. р. м. д. функции q (О). Чтобы
вычислить Т*, воспользуемся следующими рассуждениями. Запишем:
£(S(X1)|T = 0 = P[Xi<A:|r = /l = p[^< —1г = Л. (4.2.10)
По теореме подстановки для условного математического ожидания
(1.1.16) правая часть (4.2.10) равна Ρ 1(Хг/Т) < (*/ί) | Τ = fl.
Величина Хг/Т не зависит от Τ и имеет бета-распределение β (1, η —1).
Чтобы убедиться в этом, прежде всего заметим, что Хг и (Х2 + ... +
+ X п) — независимые случайные величины и по следствию 1.2.2
вторая из них имеет распределение Τ (п — 1, λ). Затем применим
теорему 1.2.3. Если bltTl-i означает плотность распределения β (1, η —1),
то
(χ/t)
E(S(XJ\T = t) = J b§n-i(u)du. (4.2.11)
о
135

Так как Ь1уП-Х (и) = (п — 1) (1 — и)п~2 при 0 < и < 1,
η
, если ^ ^* ^ *»
7^*
η— Ι
, если
(4.2.12)
1 в остальных случаях.
Эта оценка отличается от оценки максимума правдоподобия
(метода моментов) 1 — €τλχ9 где λ = (1/Х). Оценка максимума
правдоподобия есть также функция достаточной статистики и, следовательно,
должна быть несмещенной. Можно показать, что при больших η
разность между оценкой (4.2.12) и оценкой максимума правдоподобия
пренебрежимо мала по сравнению с отличием каждой из них от q (λ)
(см. задачу 4.2.19).
Пример 4.2.5. Оценивание параметра θ при выборе из
равномерного распределения UU (0, ϋ\. Пусть X = (Χι,..., Хп)— выборка
из генеральной совокупности с распределением UU (О, Φ), где 0 <
< Φ < оо и параметр Ь неизвестен. Тогда
р(х, ϋ) = —-, если max(xx, ...,л;„)<д (4.2.13)
и minfe, ..., хп)>0.
Эту модель можно рассматривать как непрерывную аппроксимацию
к задаче оценивания размеров генеральной совокупности (примеры
2.2.3 и 3.3.2).
Требуется найти для Φ н. о. р. м. д. Рассуждая так же, как в
примере 2.2.3, заключаем, что Мп = max (Χι,..., Χη) —достаточная
статистика для Ф. Оказывается, что Мп к тому же и полная статистика.
Действительно, заметим, что
РШп<Л = Р 1Хг < t, ..., Хп < t] = {Р1Хг < *]}». (4.2.14)
Поскольку
(О при ί<0,
PlXi<t] = \
— при 0<f<ft, (4.2.15)
U при t ^ Φ,
Мп имеет плотность
т (t, ft) = ηϋ~η tn~l при 0 < t < θ. (4.2.16)
Следовательно, полнота статистики Λίη эквивалентна утверждению
о том, что
E*(g{Mn)) = n*-n$g(t)t*-* dt= 0 (4.2.17)
о
136

при всех θ > 0, откуда g (Мп) = 0. В общем случае это заключение
следует из теории интегрирования Лебега. Приведем прямое
доказательство его для непрерывной функции g. Записав (4.2.17) в виде
§g(t)tn-ldt=0 (4.2.18)
о
и продифференцировав обе части по Φ, получим при всех ΰ,>0
&*-ig(P) = о, (4.2.19)
что и доказывает полноту в рассматриваемом нами частном случае.
Таким образом, из теории Лемана — Шеффе следует, что любая
несмещенная функция от Мп есть н. о. р. м. д:
Повторяя рассуждения из примера 3.3.2, можно показать, что Мп
есть оценка максимума правдоподобия для Φ, если выбор
производится из распределения UU (0, Ф). Но Мп — смещенная оценка.
Это следует из того, что
Е* (Мп) = JL |> Λ = -^L^. (4.2.20)
о
Из (4.2.20) мы заключаем, что [(п + \)1п] Мп — несмещенная
оценка и, следовательно, я. о. р. м. д. Ш
4.3. НЕРАВЕНСТВО ИНФОРМАЦИИ *
В этом разделе мы получим нижнюю границу для дисперсии
статистики, которая позволяет доказывать, что некоторая оценка
является я. о. р. м. д. В моделях нашей книги с фиксированным объемом
выборки такой подход уступает по мощности методу, изученному
нами в предыдущем разделе. Тем не менее нижняя граница представляет
интерес сама по себе, а также находит некоторые приложения в
теории решений и встречается в теории асимптотической оптимальности,
излагаемой нами в следующем разделе.
Всюду далее предполагается, что рассматривается регулярная
параметрическая модель и, кроме того, что Θ — некоторое открытое
подмножество на прямой. Функцию ρ (χ, Φ) в дальнейшем мы будем
считать плотностью. Весь анализ и результаты для дискретного
случая, по существу, совпадают с приводимыми ниже теоремами для
непрерывного случая и будут обозначаться теми же номерами.
Относительно семейства {Р$ : Φ ζ Θ} примем два следующих предположения
регулярности.
(I) Множество А = {χ : ρ (χ, Ό1) > 0} не зависит от Φ. При всех
х£Л, Φ ς Θ производная дIn ρ (χ, ^/dO* существует и конечна.
(II) Если Τ—любая статистика, такая, что Е$ (\Т\) < оо при
всех Ь ζ Θ, то операции интегрирования и дифференцирования по
137

-f-oo + oo
Φ в I... f Τ (χ) ρ (χ, Ό1) dx перестановочны, т. е.
— оо —ОО
д
[+00 -{-00 -| + 00 -{-00
j ... j T(x)p(x,$)dx = j ... J Г(х)-£-р(х,0)Лс,
— OO 00 J 00 OO
(4.3.1)
если правая часть (4.3.1) конечна.
Заметим, что (4.3.1) выполняется, в частности, если Τ (χ) = 1 при
всех х. Это позволяет переставлять дифференцирование и интегрирова-
+00 +00
ние в J... J ρ (χ, Φ) dx.
— 00 —OO
Предположение II в том виде, как оно записано, практически
бесполезно. В действительности нам требуются простые достаточные
условия на ρ (χ, Φ), при соблюдении которых предположение II
выполняется. Классические условия можно найти, например, в [2, р. 1671.
Теория интеграла Лебега позволяет сформулировать более простые
предположения. Пусть, например, предположение I выполнено.
Тогда условие II выполняется, если при всех Т, таких, что Е$ (\Т\) < оо
при всех Ф, интегралы
ϊ···Ττ<χ)[^·"<!,·*,]'"",ϊ-Τΐ7'(χ)[-έ',(χ·*)]ΐΛ
— 00 —00 ^-ОО —00
— непрерывные функции от θ 2. Нетрудно проверить (используя
теорию преобразования Лапласа), что однопараметрическое
экспоненциальное семейство в совершенно общем случае удовлетворяет
предположениям I и II.
Утверждение 4.3.1. Если ρ (χ, Ό1) = 1А(х) ехр {с (Φ) Τ (χ) + d ($)+
+ S (χ)} — экспоненциальное семейство и с (Φ) имеет на Θ
ненулевую непрерывную производную, то выполняются предположения I и II.
Например, пусть Хг, ..., Хп — выборка из генеральной
совокупности с распределением NN (Φ, σ2), где дисперсия σ2 неизвестна.
Тогда (см. пример 2.3.1) с($) = Φ/σ2 и предположения I и II
выполнены. Аналогичным образом (см. табл. 2.3.1) предположения I и II
выполняются для выборок из бета- и гамма-распределений с одним
фиксированным параметром.
Если выполняется предположение I, то можно ввести важную
характеристику семейства {Р$} — количество информации по Фишеру,
задаваемую соотношением
+ 00 +00
/(0) = £(-^-1п(р(Х, #))*= J ... j (-^lnp(x,Q)Jp(x,b)dx-
— ОО ОО
·*·> 00 —- ОО
Заметим, что 0 ^ / (θ) < оо.
138

Пример 4.3.1. Пусть Xl9 ..., Χη — выборка из генеральной
совокупности с распределением Пуассона РР (Ф). Тогда
2* (ςχΛ .
Сформулируем теперь основной результат этого раздела.
Теорема 4.3.1 (неравенство информации). Пусть Τ (Χ) — любая
статистика, такая, что Var# (Т (X)) < оо при всех Φ. Обозначим
Е$ (Т (X)) через ψ (Φ). Будем считать, что предположения I и II
выполняются и 0 < / (Φ) < оо. Тогда при всех Φ функция ψ
(^дифференцируема, и
Var,(T(X))>Ji^l!*. (4.3.3)
Доказательство. Начнем с тождеств, справедливых при всех Φ:
-j- оо 4- оо
J ... J р(х,0)Лс=1, (4.3.4)
— ОО 00
-f- оо -{- оо
J ... j Τ(χ)ρ(χ,θ)ίίχ = ψ(<>). (4.3.5)
_ ОО 00
Из предположений I и II получаем
ϊ···Τ-£ρ(χ'*>Λ-^"···ϊρ(χ·Η=ο (4·3·6)
ОО 00 I 00 ОО J
и
+
ί "· J T{x)-kp{X'®)dX==-k\ J '" J nx)p(x,fl)dx]==
-00 ОО L — 00 ОО J
= ψ# (*)**. (4.3.7)
Умножая и деля подынтегральное выражение на ρ (χ, Φ) и используя
тождество
JL in/(*) = _! —/(*),
* Заметим, что неравенство (4.3.3) остается в силе и в том случае, если
I (Щ = оо (и производная -ψ' (О) конечна) или если Var^ (Τ (Χ)) = оо. ^
** Из конечности Var^ (Г (X)) и / (θ) следует, что левые части равенств
^4.3.6) и (4.3.7) конечны в силу интерпретации этих интегралов как ковариаций,
вытекающей из (4.3.10).
139

заключаем, что (4.3.6) и (4.3.7) эквивалентны соответственно
соотношениям
-}- оо -}- со
£(-^-1п(р(Х, <*))= J ... J* ^-~ \пр(х,Ъ)]р(х,Ъ)ах = 0 (4.3.8)
00 ОО
и
-J- ОО -j- ОО
£<T(X))jLlnp(X,<» = j* ... J r(x)(JLlnp<x,<»)x
ОО ОО
Хр(х9й)ах=чр'(Ъ). (4,3.9)
Учитывая (П. 11.14), мы заключаем из (4.3.8) и (4.3.9), что
Cov (JL In ρ (Χ, φ), Γ [(Χ)) = ψ' (Ο). (4.3.10)
Применим теперь к случайным величинам 51η ρ (Χ, Ф)/сН> и Τ (Χ)
корреляционное неравенство (П. 11.16). Используя (4.3.10), получаем
|*4*)|<l/"var(r(X))Var(^-lnp(X,*)). (4.3.11)
Но из (4.3.8) и (4.3.2) мы выводим равенство
Var^lnp(X,*)) = 7(<>). (4.3.12)
Утверждение теоремы следует из (4.3.11) и (4.3.12). ■
Нижняя граница в неравенстве информации зависит от Τ (Χ)
через ψ (Φ). Рассмотрев класс несмещенных оценок для q (Φ) = Φ, мы
получим универсальную нижнюю границу, задаваемую следствием
4.3.1.
Следствие 4.3.1. Предположим, что условия теоремы 4.3.1
выполнены и Τ — несмещенная оценка для Φ. Тогда
Vard(T(X))>-j—. (4.3.13)
/ (0)
Число VI (Ф) часто называют нижней границей Рао—Крамера.
Разумеется, неравенство информации можно рассматривать как
ограничение, задающее нижнюю границу дисперсии любой
несмещенной оценки для ψ (Φ).
Рассмотрим еще один важный частный случай.
Следствие 4.3.2. Пусть X = (Xlf ..., Хп) — выборка из
генеральной совокупности с плотностью / (χ, ϋ), Φ £ θ, и выполняются
условия теоремы 4.3.1. Тогда
Var^(T(X))>-tt^, (4.3.14)
nlx (О)
где
/1(*) = £(-~1п/(Хь О))'. (4.3.15)
140

Доказательство. Утверждение теоремы следует из (4.3.3) и того,
ЧТ° Г " 1
/(0) = Var[-iLlnp(X,0)]=Var 2-^·1η/(Χ«,*) =
Первое равенство мы получаем из (4.3.12), второе и третье — из
независимости от Xi9 а последнее — из (4.3.8) и одинаковости
распределения всех Xi. Ш
Величину /χ (ft) часто называют количеством информации,
содержащимся в одном наблюдении.
Выясним, каким образом неравенство информации можно
применить к задачам несмещенного оценивания. Если семейство {Ρ«>}
удовлетворяет предположениям I и II и если существует несмещенная
оценка Г* функции ψ (ft), такая, что Var [Г* (X)] = [ψ' (ft)]2//(ft) для
всех ft ζ Θ, то Τ* — как оценка функции ψ — н.о.р.м.д.
В качестве примера, показывающего возможности такого подхода,
докажем, что X — н. о. р. м. д. для ft, если Х19 ..., Хп — выборка из
нормального распределения с неизвестным средним ft и неизвестной
дисперсией σ2. Как уже отмечалось, условия неравенства
информации выполнены. Из следствия 4.3.2 мы заключаем, что X— н.о.р. м. д.,
если
Var®=^· (4·316)
Но Var (Χ) = σ2/η, а если φ — плотность нормального
распределения NN (0, 1), то
'■<Μ>{τ·(^)}Γ-*(^-±·<41,7>
и мы получаем (4.3.16). Поскольку X — н. о. р. м. д. независимо от
σ2, то в действительности мы доказали, что X — н. о. р. м. д., даже
если дисперсия σ2 неизвестна.
Аналогичным образом можно доказать (задачи 4.3.1 и 4.3.2), что
если Xlf ..., Хп — индикаторы η биномиальных испытаний с
вероятностью благоприятного исхода ft или выборка из распределения
РР (ft), то X — несмещенная оценка с равномерно минимальной
дисперсией для ft. Во всех этих ситуациях X следует однопараметриче-
скому экспоненциальному семейству. Это не случайно.
Теорема 4.3.2. Предположим, что семейство {Р& : ft ζ Θ}
удовлетворяет предположениям I и II и существует несмещенная оценка
Г* функции ψ (ft), достигающая при любом ft нижней границы
неравенства информации (теорема 4.3.1). Тогда {Р&} — однопараметриче-
ское экспоненциальное семейство с функцией частоты или плотности
вида
ρ (χ, ft) = {ехр [с (ft) Τ* (χ) + d (ft) + S (χ)]} ΙΑ (χ). (4.3.18)
141

Наоборот, если {Р$} — однопараметрическое экспоненциальное
семейство, задаваемое (2.3.1), ис(#) имеет непрерывную ненулевую
производную на Θ, то Τ (Χ) достигает нижней границы неравенства
информации и является н. о. р. м. д. для Е® (Т (X)) 3.
Доказательство. Докажем прямое утверждение, оставляя
доказательство обратного утверждения до задач. Из условий равенства в
(П. 11.16) известно, что Т* достигает нижней границы при всех Φ в
том и только в том случае, если существуют функции аг (Φ) и а2 (Φ),
для которых
-£-1пр(Х, *) = д1(0)Г(Х) + а8(0) (4.3.19)
с вероятностью Ρ#=1 при любом Φ. Исходя из этого равенства
случайных величин, докажем, что Р$ [Х£Л*] = 1 при всех Φ, где
Α*={χ: — Ιηρ\χ9ϋ) = α1(^)Τ*(χ) + α2(ϋ) при всех *6θ]. (4.3.20)
Интегрируя обе части равенства (4.3.19) по Ф, получаем (4.3.18).
Переход от (4.3.19) к (4.3.20) может показаться не имеющим
принципиального значения, однако он необходим по следующим
соображениям.
Выберем два значения хх, χ2ζΑ, для которых выполняется
(4.3.19) и Т* (хг)ФТ*(х2). Тогда функции αλ (Φ) и а2 (Φ) можно найти
как решения системы линейных уравнений
JLlnp~(xx, *) = fli(*)r (Χχ) + α2(Φ),
^ In ρ (*,*) = Μ*) ^ WW*)·
Так как производная д 1η ρ (χ, Ь)1д$ непрерывна по Φ при χ ζ Л,
мы заключаем, что аг и а2 непрерывны.
Так как А не зависит от Ф, равенство в (4.3.19) выполняется с
вероятностью Р$> = 1 при всех Φ и Φ'. Из (П.2.6) заключаем, что
Р*>[^1пр(Х>Ъ) = аЛЪ)Т*(Х) + а2(Ъ)
при Ъ = Ъ19 Ф2, ...1 = 1
при любом О' и любом счетном плотном подмножестве {Ό^, Ф2, ... }
параметрического пространства Θ. Из непрерывности аъ а2 и д In р(х, Ф)/
дФ получаем, что
Р*>
д
\np(Xt^) = a1('&)T*(X) + a2('&) при всех *ςθ] = 1
при любом Φ' £ Θ. ■
Нередко случается (см. пример 4.2.5) с распределением UU (0, Ф),
что предположения I и II не выполняются, хотя и. о. р. м. д.
существуют. Хуже того, как видно из теоремы 4.3,2, во многих ситуациях
предположения I и II выполняются и существуют несмещенные
оценки для ψ (Φ) с равномерно минимальной дисперсией, но дисперсия наи-
142

лучшей оценки не равна границе [ψ' (ΰ*)]2// (θ). Все эти и аналогичные
вопросы разобраны в задачах. Известно несколько уточненных
вариантов неравенства информации. Известны также более
существенные обобщения неравенства информации на модели с многомерным Φ.
Подробности и ссылки читатель найдет в книге Рао[14, р. 326—329].
4.4. ТЕОРИЯ БОЛЬШИХ ВЫБОРОК
Во всех моделях имеется немало интересных функций q (Φ), для
которых не существует несмещенных оценок и тем более не
существует наилучшей несмещенной оценки. Например, если X имеет
биномиальное распределение ВВ (η, Ό·), то не существует несмещенной
оценки отношения шансов Ф/(1 — Φ) (см. задачу 4.2.2). Даже если
н. о. /?. м. д. существуют, они иногда оказываются неразумными, как
в задаче 4.2.15, или равномерно неулучшаемыми, как в задаче 4.2.10.
Не последнее значение имеет и то обстоятельство, что н. о. р. м. д.
часто бывают, как в задаче 4.2.17, сложными функциями
наблюдений и оценить их эффективность по с. к. о. удается лишь с большим
трудом. Альтернативные подходы, такие, как метод моментов,
максимума правдоподобия, наименьших квадратов, байесовские и
минимаксные процедуры гл. 10, обычно приводят к смещенным оценкам.
Кроме того, эти оценки часто отличаются одна от другой и, как
правило, не сравнимы с н. о. р. м. д. или между собой, т. е. отношение
с. /с. о. для каких-нибудь двух оценок меньше 1 при одних значениях
θ и больше 1 при других значениях д. По вполне понятным причинам
не существует единого мнения относительно того, какую оценку
считать самой лучшей. Но если данных много, объем выборки «велик»,
то картина несколько проясняется.
Если мы извлекаем большую выборку Х19 ..., Хп из генеральной
совокупности с совместной функцией плотности или частоты / (χ, Ф),
где Φ—вещественное число или векторный параметр, / (л:, Φ) и q (Φ) —
«гладкие» функции от Φ. Формулируя каждое утверждение,- мы будем
подкреплять их главным образом примерами.
4.4.А. Состоятельность
Если Тп (Х1э ..., Хп) — «разумная» оценка функции q (·&) и η
велико, то Тп (Хг, ..., Хп) с большой вероятностью близка к (/(Φ).
Это свойство известно под названием состоятельности.
Чтобы придать нашему утверждению точный математический
смысл, рассмотрим последовательность {7^ (Х1э ..., Хп)}, η >
1,оценок функции q (Φ), «аналогично порожденных» для каждого объема
выборки. Например, Тп (Х1э ...,ХП) может быть несмещенной оценкой
с равномерно минимальной дисперсией, основанной на η
наблюдениях, или с. к. о., основанной на η наблюдениях. Оценка Тп
состоятельна в том и только в том случае, если
Р[\Тп(Х1, ..., xn)_f (Ф)|>8]-*0
при η ->■ оо и любом ε > 0.
143

По закону больших чисел
(А) если (Nl9 ..., Nh) имеет мультиномиальное распределение с
параметрами (п, рг, ..., р&), то о. м. п. Njn — состоятельная оценка
для Pi при i = 1, ..., k;
(Б) выборочное среднее есть состоятельная оценка среднего μ
генеральной совокупности, если μ — существует. Верно и более общее
утверждение: /-й выборочный момент
есть состоятельная оценка /-го момента Ж; генеральной
совокупности, если rrij существует.
В качестве следствия из этих утверждений можно
сформулировать следующую теорему.
Теорема 4.4.1
А. Если Тп — оценка, полученная на основе принципа
подстановки частот в многомерном случае, т. е.
г-*(* *■)■
где h (ρχ (Ό1), ..., pk (Φ)) = q ip) и А—непрерывная функция, то Тп —
состоятельная оценка.
Б. Если Тп — оценка, полученная по методу моментов, т. е.
Тп = g(m>i, ···> mr),
где
?(%(*), .... mr (*)) = <7 (*)
и функция g непрерывна, то Тп — состоятельная оценка.
Можно доказать, что н. о. р. м. д. всегда состоятельны, а с. к. о.
обычно состоятельны.
4.4.Б. Асимптотическая нормальность и связанные с ней
свойства
В большинстве проблем оценивания «разумные» оценки Тп имеют
асимптотически нормальное распределение со средним μη (θ) и
дисперсией On (Φ). Под этим мы понимаем, что существуют
последовательности μη (Φ) и ση (Φ), для которых
φ (*-*"«»)
\ σ„(«) /
— хорошая аппроксимация для Ρ [Тп (X) < t] при всех t. Обычно
можно положить
μη (*) = Ε (Τη (X)),
ol (Φ) = Var (Tn (Χ)).
144

В строгом смысле наша аппроксимация означает, что
limP
П-+ео
Tn(Xlt...9 Χη)-μη($) =
:1 = Ф(*) (4.4.1)
при всех 2. Если мы имеем дело с такой аппроксимацией, то μη (Φ)
называется асимптотическим средним оценок Тп (Х19 ..., Хп), а
о% (Ф)— асимптотической дисперсией оценок Тп (Хх, ..., Хп).
Естественно также назвать стандартным асимптотическим смещением
оценки Тп(Х19 ..., Хп) величину [μη (φ) — ? (Φ)]/ση (Φ). Оценку
Т„ (Χι, · ·> Яп) мы назовем асимптотически несмещенной, если при
п ->· оо стандартное асимптотическое смещение стремится к нулю.
Введенные нами обозначения приводят к значительным
логическим трудностям. Прежде всего заметим, что μη (Φ) и оп (Ф) определены
неоднозначно. Любые другие последовательности μη (φ) и ση (Φ),
такие, что ση (ϋ)Γαη (Φ)-* 1 и (μη (φ)/ση (Φ)/-(μ» (Φ)/ση (Φ))-* 0 при
η-^οο также являются асимптотическими средним и дисперсией.
В этом проявляется неустранимый «изъян» соотношения (4.4.1):
оно ничего не говорит нам о том, насколько большим должно быть η
для того, чтобы аппроксимация вероятности Ρ [Тп (Хъ ..., Хп) < Д,
задаваемая Φ (It — μη (Φ)]/ση (Φ)), была хорошей. Судить о годности
аппроксимации мы можем по старшим членам разложения Эджворта
для распределения вероятностей оценок Тп (Хъ ..., Хп), или, что то
же, по коэффициенту асимметрии и эксцессу для Тп, а в тех
случаях, когда это возможно, — по результатам вычислений,
проводимых по методу Монте-Карло.
В действительности такие понятия, как состоятельность,
асимптотическое среднее, асимптотическая дисперсия и несмещенность,
являются свойствами последовательности оценок {Тп (Xl9 ..., Хп)},
η ^1, а не какой-то отдельной оценки Тп. Например, когда мы говорим
о том, что с. к. о. для q (Φ) состоятельна и асимптотически не смещена,
то имеем в виду обладающую этими свойствами последовательность
оценок, порождаемую применением максимума правдоподобия при
различных я. Иначе говоря, состоятельность и асимптотическая
несмещенность —свойства метода максимума правдоподобия, а не
оценки максимума правдоподобия для выборки какого-то конкретного
объема.
Оказывается, что для «разумной» Тп асимптотическая дисперсия
имеет порядок 1/п, т. е. при п-+- оо
по% (Φ) ->- σ2 (Φ) > 0 (4.4.2)
для некоторой функции σ2 от Ф.
Оценка Тп асимптотически несмещенная. Если выполняется
(4.4.2), то это означает, что при п-*оо
Υή(μη (Φ)-?(φ))->0*. (4.4.3)
Заметим, что если (4.4.2) и (4.4.3) выполняются, то в (4.4.1) μη (Φ)
можно заменить на q (Φ), а σ£ (Φ) — на σ2 (Φ)/η.
* Из (4.4.3) не обязательно следует, что ~γηΰ (ϋ,Τη) -> 0, а из (4.4.2) не
обязательно следует, что η Var^ (Tn) -+ σ2 (Φ) (см. задачу 4.4.9).
145

Если ап (θ) -* 0 и μη (θ) ->· q (#), то нетрудно доказать, что
оценка Тп состоятельна. Соотношение (4.4.3) наводит на мысль о том, что
асимптотическая несмещенность — свойство более сильное. Например,
из асимптотической несмещенности следует, что если μη (Φ), ο\ (·&) и
R (Ф, Тп) — среднее, дисперсия и среднеквадратическая ошибка для
Тп, то при η ->· оо
w^Tl + 5sw J ( '
Некоторые примеры состоятельных, но асимптотически смещенных
оценок приведены в задачах.
По теореме 1.5.1 асимптотической нормальностью и несмещенностью
в смысле (4.4.2) и (4.4.3) обладают оценки метода моментов,
основанные только на одном моменте и, в частности, оценки подстановки
частот в моделях биномиальных испытаний.
Пример 4.4.1. Биномиальные испытания. Пусть Х1э ..., Хп —
индикаторы я биномиальных испытаний с вероятностью
благоприятного исхода О*. Оценка подстановки частот для q (Φ) совпадает с с. /с.
о. д. q (Хп), где Хп — наблюдаемая частота благоприятных исходов,
я
(1/я) Σ-Xj. Если функция q дифференцируема, то по теореме 1.5.1
/«1
где Ζ ~ NN(0, [qf (Φ)]2 θ(1 — Φ)). Следовательно, мы можем
положить
и для оценок q (Хп) выполняются (4.4.2), (4.4.3). ■
Существует полезное обобщение теоремы 1.5.1, которое мы
сформулируем без доказательства (доказательство см. в книге Рао [14,
р. 3871).
Теорема 4.4.2. Пусть Тп — оценка из теоремы 4.4.1 А или Б и
производные
Х-*(У)И -/-g(y)
существуют и непрерывны.
(а) Тогда в случае подстановки частот
Vn(7V-A(pb...t Ρη))^ΝΝ(0, σ»,
где
σΛ2= Σ Рг \j^Λ(ρ)]2-Γ Σ Pt^wT* (4·4·5)
* При вычислении производных рг ръ рассматриваются как
«независимые переменные», не связанные соотношением рг + ,.. + ри = 1.
146

где
И
(б) Если /η2Γ<°°, то в случае метода моментов
Vn(Tn-g(ml9..., mr))^NN{0, τ£),
>ι = Σ -т^-^М-
g(m).
Приведем пример, к которому применима оценка (4.4.5). В модели
Харди—Вейнберга (3.2.1) мы рассмотрели две оценки подстановки
частот для Ф:
7\(X) = l/-^-' (4-4.7)
Tz(X)=l~Y^-! (4.4.8)
а в примере 3.3.3 — оценку максимума правдоподобия
Т,(Х)=Л+^а-. (4.4.9)
Эти оценки соответствуют
hi (Pi, Pi, Рз) = VTiy
h2(Pi> Pif Рз) = 1 — Vf>l>
hz (Pi> p2> Рз) = Pi + γΡ2·
Соответствующие асимптотические дисперсии равны σ?//ι, где
of=4Tk)-(w)!=T<'-)=T<'-n
(4.4.10)
о1 = ±-(1-р3) = ±.(1-(1-Щ,
_Можно также показать, что моменты распределения величины
Vη (Ti (Χ) — Φ) можно аппроксимировать моментами предельного
распределения, как в разд. 1.5.
* При вычислении производных р^, ..., pk рассматриваются как
«независимые переменные», не связанные соотношением р± + ... + рь = 1.
147

Продемонстрируем (4.4.6) на примере. Рассмотрим выборочную ди-
сперсию σ2 = т2 — tn\ как оценку дисперсии σ2 генеральной
совокупности. В этом случае
g (ml9 т2) = т2 — т2,
и если /п4 < оо, то σ2 асимптотически нормальна со средним σ2 и
дисперсией τ|/η, где
τ| = Var (Χ? — 2т1Х1) = Var (Xx — тг)2 = Ε (Хг — тг)* — σ*.
Заметим, что эта σ2 имеет такую же асимптотическую дисперсию,
η
как и естественная оценка (1/п) 2 (Xt — μ) для σ2, если среднее μ
известно.
4.4.В. Асимптотическая эффективность и оптимальность
Предположим, что Г(1) = {Т(п°} и Т<2> = {Т(п2)} — две оценки
(последовательности оценок), асимптотические дисперсии которых
Оп\ ($), oL· (*) удовлетворяют соотношению noli (Φ) ->- of (ft), i =^= 1, 2,
при /г->оо. Обе оценки асимптотически несмещенные. Определим
асимптотическую эффективность е{&, Т(п°, Т(п2)) оценки Т,{,1>
относительно Т(п2) следующим образом:
е^П^П2^^· (4.4.11)
Обоснованием такого определения служат -следующие соображения.
Предположим, что aJ^O) = Var# (T^0), i = 1, 2, и асимптотическое
среднее каждой оценки Т^ можно принять за ее истинное среднее.
Тогда из (4.4.4) следует, что
lim^^^lim J^L^fimве(*, Г-, П">. (4.4.12)
Эффективность имеет еще одну важную интерпретацию: е (θ, TV \ Т(п2))
служит пределом отношения mln объемов выборок, удовлетворяющих
условиям, при которых Т^1) и Т(п2) имеют приближенно равные
асимптотические дисперсии (или среднеквадратические ошибки). Эти
свойства так же, как и другие, рассмотрены в задаче 4.4.10.
В качестве иллюстрации рассмотрим оценки Т(п° и Т(п2),
задаваемые соотношениями (4.4.7) и (4.4.8). В этом случае обе оценки
асимптотически несмещенные для Φ и при η ->■ оо
4
4
148

Следовательно,
Мы заключаем, что при ft > 1/2 оценка Т<2> лучше, чем Г*1), а при
# = 1/2 — обе оценки одинаково эффективны.
Если оценка Тп асимптотически нормальна и не смещена, а й —
одномерный параметр, то разумно ожидать, что для асимптотической
дисперсии оценки Тп будет выполняться граница информации для
дисперсии несмещенных оценок функции q (ft), т. е. мы ожидаем, что в этом
случае при всех
lim inf
*<·»/»]>'· <4·4·13»
где /χ (ft) — величина, определяемая из (4.3.15). Это типичный
случай, но так бывает не всегда (см. задачу 4.4.7).
Если (4.4.2) также выполняется, то неравенство (4.4.13)
эквивалентно неравенству
a2(ft)> wm% (4.4.14)
при всех ft. Эта граница справедлива для оценок теоремы 4.4.2 (см.
задачу 4.4.15).
Например, рассмотрим выборочную дисперсию как оценку для ft,
если Х19 ..., Хп имеют общее распределение Пуассона Ρ Ρ (ft). В этом
случае асимптотическая дисперсия для σ2 оказывается равной
— (Е(Хг—ft)4—ft2) = — (ft+3ft2—ft2) = ft(l + 2ft)/rc.
η η
Кроме того,
«'W-jU-'
Таким образом, граница информации [qf (ϋ^ΙαΙ-^ (ft) = ft/n меньше
асимптотической дисперсии ft (1 + 2ft)In для σ2.
Процедуру оценивания, порождающую последовательность
оценок Тп (Х19 ..., Хп), асимптотически нормальных и удовлетворяющих
предельным переходам (4.4.2) и (4.4.3), естественно назвать
асимптотически эффективной (или наилучшей асимптотически нормальной
(н. а. н.)), если в (4.4.14) она приводит к равенству при всех ft.
Относительно любой другой оценки, удовлетворяющей неравенству
(4.4.14), все асимптотически эффективные оценки обладают
эффективностью, которая больше или равна 1. Поскольку неравенство
выполняется не всегда, иногда встречается «сверхэффективность» (задача
4.4.7).
Как правило, оценки максимума правдоподобия асимптотически
эффективны. Например, в рассмотренном нами случае пуассоновского
143

распределения (асимптотическая) дисперсия оценки максимума
правдоподобия X равна $Ιη. Следовательно, X асимптотически эффектов-
на и, в частности, асимптотически предпочтительнее оценки σ2.
В качестве второго примера рассмотрим * оценку q (Xn) функции
q (ϋ) из примера (4.4.1) с биномиальным распределением. В этом случае
- Е.г ( ** il -Xl) У - Ел ( Xl~* V - '
*[ # ι_<> ; νθ(ΐ-θ)/ «ο—«)
Следовательно, <7 (Хп) эффективна.
Другой интересный пример Харди — Вейнберга. Оценка
максимума правдоподобия Т3, задаваемая формулой (4.4.9), является
естественной достаточной статистикой однопараметрического
экспоненциального семейства. Ее асимптотическая дисперсия, задаваемая
формулой (4.4 10), равна ее истинной дисперсии. Следовательно,
оценка Τз асимптотически эффективна. Этот пример показывает, что, как
только мы отказываемся от неограниченной мультиномиальной
модели, класс оценок, определяемых условиями теоремы 4.4.2, становится
весьма широким и что утверждение об асимптотической
эффективности оценок максимума правдоподобия вполне содержательно.
Почему оценки максимума правдоподобия асимптотически
эффективны? В общих чертах ответ на этот вопрос сводится к следующему.
Пусть t|)(x, f)= JL In/(χ, θ)|*=*. (4.4.15)
αν
♦■""Ν.
Предположим, что оценка максимума правдоподобия Фп существует
и удовлетворяет уравнению правдоподобия
2ΨΜη(^ι 4 = 0 " (4.4.16)
/=ι
при всех х19 ..., хп. По теореме о среднем
=[ i ψ (Xo ад] (*» (Χι,..., χ»)-*)·
где ψ' (λ:, 0 = (д2/д№) lnf(x, #)|^в^ 'и fl^ — некоторая точка между
# и К·
Используя (4.4Л6), получаем
ι_
-я 2 2+№. θ)
W*<* *■>-»>" bwkJmi-ял ' (4Л17)
где /?„=η-ι 2 Μ>'(*ι, #;)-£(Ψ'(^ι, *))!/£ <Ψ'(Χι, Ο)).
150

При подходящих условиях 4П — состоятельная оценка, и величина
(1/я) ΣΨ' (**> *«) веДет себя>
как (1/я) ^Ψ' С^ь^)» которая по закону
больших чисел (П. 15.7) стремится к ff(i|/ (Xlt ft)). Тогда Rn
стремится к 0 по вероятности. Кроме того, из (4.3.6) мы получаем
£(*(Xi,*))=JS^ln/(Xlf*)j=0. (4.4.18)
Можно показать (задача 4.3.9), что
Ε (ψ' (Хъ *)) = Ε (JL· In / (Xlt *)) =
= -*(-^- In/(Χι, *))"= -/ι (θ). (4.4.19)
Следовательно, если 0 < /χ ϊ*β·| < оо, к правой части (4.4.17) мы
можем применить центральную предельную теорему и теорему
Слуцкого и заключить, что У η (Ьп (Хх,..., Хп) — ϋ) стремится, как
правило, к нормальной случайной величине со средним 0 и
дисперсией / (θ)//2 (Φ) = III (ft).
Придать этому утверждению точный смысл в общем случае
нелегко, поэтому в задаче 4.4.12 мы предлагаем более простой подход. Тем
не менее метод, изложенный в общих чертах в соотношениях (4.4.16) —
(4.4.19), допускает обобщение на более сложные ситуации, в которых
параметр ft не одномерен. Этот же метод позволяет также доказывать,
что близкие процедуры, такие, как оценки щг) из примера 3.3.5 и
задачи 3.3.20, асимптотически нормальны и эффективны.
Оказывается, что при надлежащей интерпретации «большой вы·
борки» и разумном выборе определения асимптотической
оптимальности оценки максимума правдоподобия асимптотически нормальны и
эффективны для обширного круга моделей. К сожалению, литература
по свойствам оценок максимума правдоподобия для больших выборок
и их эффективности рассеяна по многим источникам. Некоторые
ссылки читатель может найти у Крамера [7] и Рао [14] для моделей
единственной выборки, у Биллингсли [4] — для марковских цепей и у
Андерсона [1] —для других моделей с зависимыми Xt. Общий обзор и
дополнительную литературу см. в работе Кендалла и Стьюарта [9,
т. II и III].
Максимум правдоподобия — не единственный метод, гарантирую»
щий асимптотическую оптимальность. Н.о.р.м.д., если они
существуют, также обладают асимптотической оптимальностью. То же
можно сказать и о первых приближениях по методу Ньютона, таких,
как ft(1) из (3.3.16) или задачи 3.3.20, о байесовских оценках гл. 10 и
многих других процедурах. Но если {Тф} и {Гф}— две
асимптотически эффективные последовательности, то обычно при η ->· оо и любом
ε>0
Я[|Уя(П1}№.-. *η)-η2)(Χι,..., Χ»))|>β]-*0, (4.4.20)
151

т. е. обе оценки неразличимы с точностью до членов порядка (1/"|//г),
с которой они «работают».
Так, в примере 4.4.1, если q — многочлен степени т по θ, то при
/г ^ т для q (ϋ) существует н.о.р.м.д. Она асимптотически
нормальная, несмещенная и эффективная. Убедимся в этом для q (ϋ) = Φ (1 —
— Φ) — дисперсии генеральной совокупности. Несмещенная оценка
с равномерно минимальной дисперсией в этом случае (задача 4.2.18)
есть Тп (Хп) = (п/(п — 1))ХП (1 — Хп). По теореме Слуцкого
\ η — 1 / η — 1
имеет такое же предельное распределение, как Уп (Хп (1 — Хп) —
— Φ (1 — ΰ·)). Следовательно, если выбрать
ΑΙ —1 П
то Тп (Хп) будет удовлетворять (4.4Л) и (4.4.2). Кроме того,
νή[μη(®)—#(1 — »)] = "^"^(1-θ)^0 при п^00
η— 1
Следовательно, Тп (Хп) обладает асимптотической несмещенностью*.
Эта же оценка обладает и асимптотической эффективностью, так как
On (Φ) то же, что и для оценки максимума правдоподобия и в
действительности выполняется (4.4.20).
4.5. НЕСМЕЩЕННЫЕ ОЦЕНКИ И ОЦЕНКИ МАКСИМУМА
ПРАВДОПОДОБИЯ. СРАВНЕНИЕ
Каким из этих двух главных типов оценок следует пользоваться?
На этот счет единого мнения у статистиков нет.
1. Если мы оцениваем математическое ожидание естественной
достаточной статистики Τι (Χ) в экспоненциальном семействе, где
(с1(,&),..., ch (Φ)) изменяется свободно, то и максимум правдоподобия,
и соображения несмещенности приводят к заключению об
использовании Ti в качестве оценки.
2. Если объем выборки велик, то и н. о. р. м. д., и оценки
максимума правдоподобия дают, по существу, один и тот же ответ. В этом
случае следует выбрать ту оценку, которая удобнее для вычислений.
3. Оценки максимума правдоподобия существуют «чаще», и когда
они существуют, то вычислять их обычно легче, чем несмещенные
оценки с равномерно минимальной дисперсией. Это утверждение ис-
* Проверка несмещенной оценки на асимптотическую несмещенность кое-
кому покажется забавной. Причина, по которой такая проверка тем не менее
необходима, состоит в том, что μη(θ) — естественная постоянная, относительно
которой производится центрирование при доказательстве асимптотической
нормальности оценки Тп (X), не совпадает с ее средним 0(1— О), а равна [п/(п —-
- 1)]ф (1 - О).
152

тинно вследствие весьма привлекательного функционально-инвари-
антного свойства оценок максимума правдоподобия: если q — оценка
максимума правдоподобия функции# (Ь), то оценкой максимума
правдоподобия для любой функции h (q($)) служит h (q).
Эти замечания наводят на мысль о том, что методу максимума
правдоподобия следует отдавать предпочтение и в теории, и в
практике. Тем на менее мы считаем своим долгом предостеречь читателя
и обратить его внимание на следующие важные «минусы» метода
максимума правдоподобия.
4. Сколь велик «большой» объем выборки, о котором говорится
в утверждении 2, обычно неизвестно.
Для сравнения поведения я. о. р. м. д. и о. м. п. при различных
небольших выборках фиксированного объема были проведены
специальные исследования. Как и следовало ожидать, полученные
результаты не позволили безоговорочно принять оценки одного типа
и отвергнуть оценки другого типа (см., например, Рутемиллер [15]).
5. Известны простые примеры (со многими мешающими
параметрами), в которых оценки максимума правдоподобия ведут себя очень
плохо даже при больших выборках (см. задачу 4.4.14).
6. С байесовской или с минимаксной точки зрения (см. гл. 10)
ни о. м. п., ни я. о. р. м. д. в общем случае не являются
удовлетворительными. Такие оценки не всегда разумны (см. гл. 9).
4.6. ПРИМЕЧАНИЯ
Раздел 4.1. происхождение оценки аХ, 0 < а < 1, можно проследить
в разд. 10.3.
Раздел 4.2. хБолее подробные сведения по истории двух оценок σ и σ
приведены в работе Стиглера [18].
2 Если Χι имеют приближенно нормальное распределение, оценка ог может
быть гораздо хуже оценки σχ. Предложение Эддингтона представляется все
более заслуживающим пересмотра.
3 Стиглер [17] приводит интересный разбор, устанавливающий связь
«полноты» в статистике со словарным значением этого термина.
Раздел 4.3. х Этот результат общеизвестен под названием неравенства
Крамера—Рао. Поскольку в настоящее время считается, что приоритет в открытии
этого неравенства принадлежит французскому математику М. Фреше, мы
последуем призыву Лемана и назовем количество информации, входящее в
неравенство, информацией по Фреше.
2 Непрерывность первого интеграла позволяет изменить очередность
выполнения операций интегрирования и дифференцирования:
д
ρ Φ -f- °° +°
• Φο — oo — oo -I
-\- oo -f- oo
при всех О, в то время как непрерывность (или даже ограниченность на
компактах) второго интеграла гарантирует, что мы можем изменять порядок инте-
153

грирования в
ί ί - ^^[^(«.λ)]^.
3 Метод предыдущего раздела (только при условии, что область значений с
содержит открытый интервал) позволяет доказать, что Τ (X) — «. о. р. л. д.
Раздел 4.4. 1Относительно оптимальности несмещенных оценок с
равномерно минимальной дисперсией при больших выборках опубликовано мало работ,
хотя оптимальность их предполагается всеми. Одна из последних работ на эту
тему принадлежит Шарме [16].
4.7. ЗАДАЧИ И ДОПОЛНЕНИЯ
Задачи к разд. 4.1
1. Пусть X — случайная величина с распределением NN (θ, 1). Рассмотрим
оценку Та,ъ (X) = аХ + Ь для θ.
а) Вычислить с. к. о. для Та, & (воспользуйтесь (4.1.1)).
б) Построить графики с. /с. о. для Γ^,ο и «естественной» оценки T±t0 = X
как функции от θ и доказать, что ни одна из этих оценок не лучше другой при
всех θ.
в) Существует ли оценка вида аХ + Ь9 которая лучше X при всех ΰ?
г) Доказать, что X — единственная несмещенная оценка вида аХ + Ь.
2. Доказать, что если Τ (X) — оценка для <£(Ф), то
Е<> (| Τ (Χ)-? (θ) |) <|V^ (Τ (X)- q (*))·, 3
причем равенство имеет место в том и только в том случае, [[если Г (X) —
постоянная.
Указание: воспользуйтесь тем, что Var (Υ) = Ε (Υ2) — [Ε (У)]2 > 0, где
γ = г (Χ)-ί/(θ) (см. П. 11.15).
3. а) Вычислить среднеквадрэтические ошибки оценок s2 и σ* = (η — 1) Χ
X s2l(n 4* 1), если Xlt ..., Χη — выборка из распределения NN (μ, σ2).
б) Доказать, что, хотя средиеквадрэтическая ошибка оценки s2 всегда
больше среднеквадрэтической ошибки оценки "σ2, отношение среднеквадратических
ошибок этих оценок стремится к 1 при п-+- оо. Доказать тзкже, что вклад
Ь2 (μ, σ2, σ2) смещения оценки σ2 в с. /с. о. оценки σ2 пренебрежимо мал при
п-^-оо в следующем смысле: отношение Ь2 к с. /с. о. стремится к нулю.
4. Пусть в модели Хэрди—Вэйнбергэ (см. пример 3.3.3)
Т± = УЩп, Т2 = \—У7Щп η Τ3 = (2Νι + Ν2)/2η.
э) Вычислить смещение Ь (θ, Ύ%) при η = 2.
б) Вычислить среднеквадратические ошибки /? (θ, Ti) при л = 2.
в) Пользуясь (1.5.7) доказать, что Ь (θ, Гх) = [— (1 — 02)/8nft] + Rn и
* (#» Г2) = [{1 - (1 - θ)2}/8« (1 - θ)] + Я£, где Rn и яА при η -> оо
стремятся к нулю, как 1/п2.
г) Доказэть, что 7? (О, 7^) ->σ/ (Φ), / = 1,2, при л-юо, где [of (О) =
= i-(l-02), gi^^-L [!_(!_<>)·].
LL
д) Доказать, что У η (Tt—θ) —+NN(Qy of (#)) (/ = 1,2)
- 00.
при n-^oo и Уп(Г8—θ)--* MM О, — #(1—θ)) при п
Указание: в (в) и (г) предполэгается, что выполняются (1.5.7) и (1.5.8).
В (д) представьте Т3 как среднее и воспользуйтесь центральной предельной
теоремой.
154

5. Доказать, что в задаче 4.1.4
и вывести неравенство2"0(1 — О) < σ/2 (О), i = 1, 2.
6. Доказать, что если Хъ ..., Хп — выборка из генеральной совокупности
со средним μ и конечной дисперсией σ2, то Х~и s2 — несмещенные оценки для μ
и σ2, а о2 имеет смещение [— oVn].
7. Пусть Ха, ..., Хп — выборка из генеральной совокупности со средним
η
μ и дисперсией σ2, причем оба параметра μ и σ2 неизвестны, и Τ (Χ) = Σ^Λ·
а) Доказать, что Τ — несмещенная оценка среднего μ в том и только в том
η
случае, если 2с| = 1·
/=ι _
б) Доказать, что X — имеет равномерно наименьшую дисперсию среди всех
несмещенных оценок этого вида.
8. Доказать, что если Τ — несмещенная оценка для q (О) и Ь Φ О, то
оценка Τ + Ь неприемлема.
Задачи к разд. 4.2
1. Пусть (Хь ..., Хп) — индикаторы η биномиальных испытаний с
вероятностью благоприятного исхода О.
а) Доказать прямым вычислением, что если θ содержит более чем η точек,
η
то S = 21^£ — полная статистика.
1=1
Указание: 2 Q* (*) **0 -О)*-*-(Ι-*)* ( 2 Ώ*(Λ)Ρ*)·
где ρ = 0/(1 —ft).
б) Вывести, что X — н. о. р. ж. д. для О.
2. В задаче 4.2.1 доказать, что для отношения шансов q (О) = 0/(1 — 0)
при любом η не существует несмещенной оценки.
3. Пусть Xlf..., Хп—выборка из распределения UU (Oa, 02), где параметры
Оа и 02 неизвестны.
а) Доказать, что Τ (X) = (min (Xlf ..., Χη), max (Xl9 ..., Χη)) —
достаточная статистика.
б) Найти «. о. р. ж. д. для (Оа + 02)/2 в предположении, что Τ (Χ) —
полная статистика.
4. Пусть N= (Nlt ..., Wfe) имеет распределение ММ (η, Οα, ..., 0Α), £> 2,
#ι> ·.·, ^η неизвестны.
а) Доказать, что N — полная достаточная статистика для О = (Ох, ..., 0&).
Указание: примените теорему 4.2.3.
б) Найти «. о. р. ж. д. для 02 — Оа.
5. Пусть Xlt ..., Хп—выборка из генеральной совокупности с
распределением NN (μ, σ2).
__ а) Доказать, что если дисперсия σ2 известна, а среднее μ неизвестно, то
X — н. о. р. м. д. для μ.
б) Доказать, что несмещенной оценкой с равномерно минимальной
дисперсией для σ2, если среднее μ = μ0 известно, а дисперсия σ2 неизвестна,
является
1 п
~ Σ (Χί-μο)2·
155

6 Пусть Хл Хп—-такие же, как в задаче 4.2.5, и σ = 1. Найти
н. о. V- м. д. для "Ρμ [Хх > 0] = Φ (μ).
Указание: (Xlt X) имеет двумерное нормальное распределение. Примените
теорему 1.4.2.
7. Пусть Х1э ..., Хп — выборка из распределения Ρ Ρ (ό·). Найти н. о. р. м. д.
для Pi>lX1=0] = e-*.
8. Пусть Хи ..., Хп — выборка из распределения Г (ρ, λ) с неизвестными
ρ κ λ. Найти н. о. р. м. д. для ρ/λ.
9. Пусть Х = (Xlt ..., Хп) — выборка из распределения NN (μ, σ2).
Доказать, что при η ^ 2 статистика X достаточна, но не полна.
Указание: рассмотрите g (X) = Х2 — ^ι·
(Более поучительные примеры приведены в [17].)
10. Пусть Xlt ...., Хп— выборка из распределения UU (0, θ), θ > 0.
Из примеров 3.3.2 и 4.2.5 известно, что Мп — о. м. п. для θ, а Т* = [(л + 1)/
//г] Мп — н. о. р. м. д. для Ό·. Доказать, что существует оценка Г, для которой
R (Ό·, r)<min {Я (θ, М„), Я (О, Г*)}. Следовательно, оценки Мп и Т*
неприемлемы.
я+2
Указание: рассмотрите Τ = ——- Мп. Обратите внимание на то, что
Л +1
Л (θ, Τ):
(1 + я)1
И. Пусть Τχ и Т2 —две несмещенные оценки с равномерно минимальной
дисперсией для q (θ) с конечными дисперсиями. Доказать, что Тг = Т2.
Указание: если Τχ и Т2 —несмещенные оценки, то (Т1+Т2)/2 — также
несмещенная оценка. Воспользуйтесь корреляционным неравенством.
12. Пусть X имеет распределение Η Η (Ν$, Ν, η). Доказать, что Ε (Χ/η) = θ.
Указание: воспользуйтесь (П.13.8).
13. Пусть Xlt ..., Χη — выборка из распределения N Ν (μ, σ2). Доказать, что
Ί/2ΐί— η)σ г
где σ и'о — выборочные стандартное и среднее отклонения.
14. Рассмотрим пример с генами из задачи 3.3.20, где X имеет усеченное
биномиальное распределение ΒΒι(η, θ) с
Qu*(l_fl)*-^
р(*, θ) = , ж = 1 л.
1 —(1 —0)Λ
а) Доказать, что X — полная и достаточная статистика для Ό·.
б) Доказать, что ожидаемое число членов семьи, обладающих
наследственным признаком, если по крайней мере один страдает болезнью, равно Е$ (X) =
= αζΟ/[1 — (1 — ΰ·η] и, следовательно, (Х/п) — н. о. р. м. д. для а (О) =
«О/П _(!_#)«].
15. По причинам, аналогичным тем, о которых мы упоминали в задаче 3.3.20,
иногда в качестве модели используют усеченное распределение Пуассона с
функцией частоты
, α Ъ*е-*1х\
Ρ (*.*) = т~, * = 1,2,...
1-е""1*
156

Заметьте, что ρ (χ, θ) = Ρ (Υ = χ\Υ > 1), где Υ ~ ΡΡ (θ). Доказать, что
ο. ρ. м. д. для q (θ) = Рф (К > 1) = 1 — е-19, имеет вид:
я
г*М={
О при четных *,
2 при нечетных х.
Указание: докажите, что если Е# {Т (X)) = q (θ), то Τ совпадает с Т*.
16. Рассмотрим модель из задачи 3.3.20. Предположим, что среди
потомства k сестер один ребенок страдает наследственной болезнью. Пусть X — число
детей, обладающих наследственной чертой, в той семье, где один ребенок страдает
наследственной болезнью, Υ ι — число детей с наследственной чертой в t-й
из остальных семей, а θ — доля детей, обладающих наследственной чертой.
Разумно выбрать модель, в которой X, Ylt ..., Yr независимы, X имеет
распределение BBt (л, О) из задачи 4.2.14, Yt ~ BB (nit θ), где г = k — 1 и я, пъ
..., Пг — число детей в семьях.
а) Доказать, что «. о. р. м. д. для ϋ имеет вид:
\ Г-1 )\Т-\)
г/мя
где
т= χ+Σ Yi и ^-=21я*·
Указание: пользуясь теоремой 4.2.3, докажите, что Τ — полная и доста-
г N
точная статистика. Запишите Σ*Ί в виАе 2^,·, где Zlt ..., ΖΜ — индикаторы
i=l /=1
независимых событий с распределением В В (1, О), и вычислите Ε (2Χ|Γ).
б) Макинтайр и другие [12] приводят следующие данные о монголоидных
чертах: 6 = 4, η = 2, лх = 3, я2=3, я3 = 2, л: = 1, уг = 1, ι/2 = 2, #3 = 0.
Вычислить н. о. р. л. д. для О.
17. Пусть Х1э ..., Хп — выборка из генеральной совокупности с
распределением NN (μ, σ2). Требуется оценить долю элементов генеральной
совокупности, лежащих ниже некоторого заданного предела с, где θ = (μ, σ2).
а) Доказать, что Ф = [(с — Χ)/σ], где Χ — выборочное среднее, σ2 —
выборочная дисперсия, — о. м. п. для q (О).
б) Доказать, что оценка максимума правдоподобия для q (θ) имеет вид:
| 0 при fcV< — 1,
T*(X)=J о^у + ^ку) при -1<W<1,
( 1 при kV > 1,
где & = yW(w — 0» V = (c—Χ)/σ, a G—функция распределения
β(-|-("-2), γ(η-2)).
Указание: несмещенная оценка S (X) = 1 при Хх < с, 5 (X) = 0 при
*ι > с. Вычислите Ε (S (Х)|Х, σ2) = Ρ (Χχ < с\Х, σ2).
18. Пусть X ~ ВВ (п, О). Доказать, что X (п — Х)/п (я— 1)~«. о. р. л*. д.
для Ό· (1 — Ό·).
19. Рассмотримн. о.р.м. д. Т* ио. м. п. 7^=1—ехр [—хЩ из примера 4.2.4.
Доказать, что "|/аГ(Т*—7)—>0 при л-*оо.
157

20. (Стиглер [17].) Рассмотрим семейство Ρ Ρ распределений P$t 0=1,
2, ..., для X, задаваемых соотношением:
I— при ι = 1,..., ft,
О в остальных случаях.
а) Доказать, что РР — полная статистика.
Указание: примените индукцию.
б) Доказать, что 2Х — 1 — я. о. р. м. д. для ft.
в) Доказать, что семейство РР0 = Ρ Ρ — {Pfc}, где k — положительное
целое число, не полная статистика.
Указание: рассмотрите Ε (g (X)), где
S(D-
0 при i ФИ> £+1,
1 при / = kt
-1 при i =&+l.
г) Доказать, что 2Х — 1 не является н. о. р. м. д., если Ρ$ζ PPQ.
Указание: рассмотрите
1 ' 1 2k при X=k9 k+l.
Задачи к разд. 4.3
1. Пусть Xlt..., Хп — индикаторы η испытаний с распределением В В (1, ft).
а) Вычислить для этой задачи информацию по Фишеру 1г (ft).
б) Доказать, что X достигает нижней границы Крамера—Рао и, таким
образом, является «. о. р. м. д.
2. Решите задачу 4.3.1 (б) для случая, когда Xlt..., Хп образуют выборку
из распределения РР (ft).
3. Пусть X ~ РР (ft),
а) Предположим, что
т ,,,ν Г 1 при Х = 0,
L 0 в остальных случаях.
Вычислить границу неравенства информации для Τ и доказать, что она
строго меньше дисперсии для Т.
б) Доказать, что Τ тем не менее является н. о. р. м. д. своего
математического ожидания.
4. Пусть Х1у ..., Хп — выборка из генеральной совокупности с плотностью
/ (*, ft) = ftx*"1, 0 < χ < 1, ft > О и Τ (X) = (— Ι/η) Σ In Xt. (Заметим,
что Xt ~ β (θ, 1).)
а) Пользуясь теоремой 2.3.2, доказать, что Ε (Τ (Χ)) = I/O, Var (Г (Χ)) =*
= l/flft2.
б) Доказать, что /х (0)= Ι/ft2 и что Τ (X) — «. о. р. ле. д. для q (О) = 1/0.
5. Решить задачу 4 для случая, когда / (#, ft) = cx^ft ехр { — ftxc},
η
л; > 0, ft > О, с > 0, — плотность распределения Вейбулла и Τ (Χ) = (1/η) Σ^/·
Указание: можете воспользоваться задачей 4.3.9.
6. Доказать, что граница неравенства информации'не изменяется при
гладкой замене параметра. Более подробно это означает следующее. Пусть {Р ^.ft ζ Θ}
удовлетворяет предположениям I и II, &— функция, отображающая Θ в R так,
что h' непрерывна и не обращается в нуль на Θ, r\ = h (ft) и φη = Р^. Тогда
граница неравенства информации для семейства {Q^}, вычисленная при η = h (ft),
совпадает с границей неравенства информации для {Р$}.
158

Указание:
д Г д 1 W
д I д \ д$
— ^(Τ(Χ,)=(_ψ(θ,)—-
7. а) Доказать при .с (О) = θ теорему, обратную теореме 4.3.2.
б) Пользуясь задачей 4.3.6, докажите теорему, обратную теореме 4.3.2,
для общего случая.
Указание: воспользуйтесь задачей 4.3.10 и теоремой 2.3.2.
8. Пусть {Рф, θ ζ Θ}, где Θ — открытое подмножество в /?, регулярная
параметрическая модель, множество Л = {χ : ρ (χ, ϋ) > 0} не зависит от θ и
Τ (Χ) — несмещенная оценка для θ.
а) Доказать, что
Уагд(Г(Х))>^.
Величина, стоящая в правой части неравенства, называется нижней границей
Чепмена — Роббинса [6].
б) Вычислить границу Чепмена—Роббинса при ρ (χ, ϋ) = g-e"1*-1^. Можно
доказать, что эта граница строго меньше Var^ (X) = 2.
в) Доказать по аналогии с примером 4.2.5, что семейство плотностей,
приведенных в (б), имеет X в качестве полной достаточной статистики, и вывести
отсюда, что граница Чепмена — Роббинса в рассматриваемом случае не точна.
г) Доказать, что граница Чепмена — Роббинса точна, если {Р$ : ΰ·ζ#} —
семейство распределений NN (μ, σ2).
9. Доказать, что если д21η ρ (χ, ν)/δϋ·2 существует при всех χ и θ, /(θ) < оо и
-f- оо -f- во "\"°° -{-во
» — оо —оо
/(*). £*(-^Γΐπρ(Χ.θ))·
-£ 1η'<χ· ^=[(-^-"(χ' θ>)/'(χ· *)]-[ж-1пр(х· θ)Γ·
10. Доказать, что для экспоненциального семейства
q (χ, η) = [ехр {ηΤ (χ) + d0 (η) + 5 (χ)}] ΙΑ (χ)
в естественной форме количество информации по Фишеру / (О) = — dj (η).
П. а) Рассмотрим экспоненциальное семейство
ρ (χ, #)« [ехр {с (θ) Г (х) +d (θ) + 5 (х)}]/л (χ),
где с — взаимно-однозначная дважды дифференцируемая функция. Пусть
dQ (η) = ό (сГ1 (η)). Доказать, что
/(*) = —ττ*(η)|
5η2 h=c«»
159
то
Указание:

б) Вычислить / (θ) для выборок из распределения Рэлея в примере 2.3.3 и
найти нижнюю границу дисперсии несмещенных оценок для О2.
12. Условия регулярности, необходимые для неравенства информации.
Пусть X имеет на (О, Ό·) равномерное распределение UU (О, θ). Заметим, что
функция In ρ (χ, θ) дифференцируема при всех ft > xt т. е. дифференцируема с
вероятностью 1 при любом О, и мы можем определить моменты для д In p (xt #)/<№.
Доказать, что при этом
О) Е(±ЫР1Х.*)) = -Л.Ф0.
(2)
Var^lnp(X, θ))=0
и граница информации бесконечна.
Доказать также, что
(3) 2Х — несмещенная оценка для О с конечной дисперсией.
Задачи к разд. 4.4
1. Пусть Xlt ..., Хп — выборка из генеральной совокупности с функцией
частоты
/(1.*) = γ(1-«). /(2, *) = γ(1+*θ),
/(3, *) = γ[1+*(1-*)],
где с— постоянная. Укажите для О две оценки подстановки частот и вычислите
их асимптотические дисперсии.
2. Пусть Xlt ..., Хп — выборка из генеральной совокупности с функцией
плотности / (χ, ft) = * (θ + l)J*-1 (1 — χ), О < χ < 1, θ > 0.
2Χ
а) Доказать, что Тп = ζ. — оценка для О по методу моментов.
1-Х
б) Доказать, что
On (θ) '
для распределения с μη (θ) = θ, σ% (θ) = 0(0 + 2)2/2 (θ + 3).
в) Вычислив границу неравенства информации, доказать, что Тп — не
достаточная статистика.
Указание (к задаче (в)): воспользуйтесь интегрированием по частям или
задачей 4.3.9.
3. Для моделирования доходов часто используется распределение Парето
с функцией плотности
/ с1/*ф_1ж-(1+1/·) при х>с%
f (χ, v) = {
1 к ' \ 0 при χ < с,
где θ > 0 и с — известная положительная постоянная. Пусть Хъ ..., Хп —
выборка из распределения Парето.
а) При О < 1 найти оценку метода моментов для О, используя первый
момент.
б) Вычислить ее (асимптотическую) эффективность' относительно границы
информации.
Пусть Xlt ..., Хп — выборка из нормального распределения NN (μ, σ2).
Это предположение относится к задачам 4.4.4 — 4.4.8.
4. Доказать, что асимптотическая эффективность s2 как оценки для σ2 οτ-
η
носительно н. о. р. м д. σ2(μ) = (1/л) 2 (Xi — И-)2 для σ2 с известным μ
равна 1.
160

Указание: воспользуйтесь задачей 1.5.6.
5. Пусть σ я. о. р. м. д. для σ с неизвестным μ, приведенная в начале разд.
4 2 Доказать, что при η -* оо
а) У η {ο—σ) —+ΝΝ(0, σ2/2),
б) nVar^ (σ) -*σ2/2, УпЬ(о, 'σ)->0.
Указание: a) Уя (σ2-σ2)/σ2 »(l/V« ) 2 (^ — 1),
где Ζ? — независимые случайные величины с распределением %\.
б) Воспользуйтесь аппроксимацией Стирлинга
ljAVSe-^* 2 /=
Km Γ(χ+1)/\ν2π<?-** / = 1
6. Пусть <j — оценка (4.2.1) для σ. Доказать, что при η -> оо
а) У«6(а, σ)->0; η Var^(σ)->ί-γ — 1 jo2;
б) если~о имеет приближенно нормальное распределение NN (μ^Ό1), On (θ))
с μη (θ) и σ£ (θ), совпадающими соответственно с истинным средним и истинной
дисперсией, то эффективность σ относительно σ равна л — 2.
Указание: {Xi—X)~NNlO, —к——-)·
7. (Предложена Дж. Д. Ходжесом, мл.) Существуют ли оценки,
удовлетворяющие условиям (4.4.2) и (4.4.3), с σ2 (θ) «< l//i (ft), для которых при
некотором Ό· выполнялось бы строгое неравенство ? Пусть σ2 = 1 и
μ, ί ХпРи|Х|>аГ1/4,
I 0 при |Х|<«"1/4.
/- Ll
Доказать, что у η (μ* — μ)—>NN(Ot σ2(μ)), где
„.(μ,,,/ ΐΒ"/ΐίμ)ΠΡΙΐμ + 0·
ιρ7 Ι О при μ=0.
8. Пусть μ = Χ + а /Уп. Доказать, что за исключением того случая,
когда а = О, μ — состоятельная, но асимптотически смещенная оценка.
9. Можно доказать, что если Тп — любая последовательность случайных
LL
величин, для которой Тп ->■ Τ и дисперсии существуют, то
lim inf Var (Гп) > Var Г.
η
Пусть
X при I X К 1 ,
η
η при |Χ|> 1—— ,
η
161

где X ~ UU (— 1,1). Доказать, что при η -> оо
LL
Тп—+Х, но Var (Tn)-+ оо .
10. Предположим, что Τί1), Τ(2) удовлетворяют предположениям, приводя·
щим к (4.4.11).
а) Доказать, что
eftfl, Г<2>, Г<1)) = 1/е(0, Г*1), Г<2>).
б) Пусть m — наименьший при заданном η объем выборки, необходимый
для того, чтобы выполнялось неравенство
<U2<*) <<&«»·
Ясно, что m зависит от η и О. Доказать, что при
— _>β(0, Γ<ι>, Г<2)).
11. Пусть ψ — функция, заданная соотношением (4.4.15), г|/ = дг|э/дО и
и θ/г — оценка, такая, что
lim lim P0 ["]/« 1 О* — θ Ι < Μ] = 1.
Λί-»ΌΟ Π
Обоснуйте на эвристическом уровне, почему оценка
Σ+(*<·»»
•n-oS—V
Σ *{*ь »»
должна быть эффективной, т. е. у η (θ^—θ)—^NN(0, l//i(ft)).
12. Пусть ·ψ(·, ΰ1)— строго убывающая и дифференцируемая по θ функция,
λ(/)=£<>(ψ(Χ1, 0) и σ(/) = £<>(ιρ8(Χ1, /))—λ*(/). Предположим, что λ(θ)=0,
λ'(Φ) = Ε<>(*'(*ι. W=—/iW и что limp(·, 0=0.
11 К во
а) Доказать, что о. ;и. л. θ существует и единственна.
б) Пусть [1/ΠΛΓσ(*»))] 2 »№. 'η)-λ(ίη))ϋζ,
где 2 — NN (0, 1) для любой последовательности ^-^О. Доказать, что в
предположениях этой задачи
Ул(0 — 0)—*MV(0, 1//ι(θ)).
Указание (к задаче (б)): Р^[0<^] = Р^ 2 Ψ(Χ*' 0<0 .
13. Предположим, что (Л^,..., Wfe) ~ ММ (л, рх,..., pk).
а) Пусть Тп= 2 wv[(#/M)=Pj·]. Доказать, что
/=1
_ LL ь / k \2
Уп^—>AW(0, о·), rAeo2 = a2(w, р)= 2 Pi wi"-Σ »«М 8
/=1 \ /=1 /
162

б) Пусть Τ (pi, ..., ph) — функция с непрерывными частными
производными первого порядка. Обоснуйте, почему статистика Τ (Ν J η, ..., Ν hi η) при
больших η должна иметь приближенно нормальное распределение NN (Т(р),
σ2 (w, р)/я). где w = (дТ/дрх дТ/дрк).
Указание: а) Пусть Хг — Wj, если i-e мультиномиальное испытание имеет
η
исход /. Тогда Тп = 2 № - £ №))·
/=1
б) Воспользуйтесь разложением в ряд Тейлора.
14. Пусть Xij (i — 1, ..., ρ; / = 1, ..., k) — независимые случайные
величины с распределением NN (μ, σ2).
а) Доказать, что оценки максимума правдоподобия для μ^, i ~ 1, ..., ρ, и
σ2 имеют вид:
^ 1 *
1 Р *
σ2=— ς Σ №;-i;·)2.
б) Предположим, что k фиксировано, а р -> оо . Доказать, что
σ2 ~+ σ2.
Следовательно, σ2 — несостоятельная оценка [Нейман и Скотт (1948)].
в) Построить состоятельную оценку для σ2.
15. Пусть (#!,..., Nk) ~ ММ (л, р1э ..., pfe), где р^ = рг (θ) при ί =1,...,
&—дифференцируемые функции вещественного параметра О, принимающего
значения из открытого интервала Θ. Пусть q—дифференцируемая функция от θ,
h — функция от (р1э ..., рь), такая, что
(1) выполняется условие теоремы 4.4.2 (а),
(2) h (Pi (θ), ..., ρΑ (0)) = ?(*) при всех Ο ξ Θ.
а) Доказать, что граница информации для несмещенных оценок функции
<? (θ) для этой задачи составляет
W (θ)] »/«/!(*),
где
l(*)= Σ Ptm(~ftoPtmJ-
б) Доказать, что асимптотическая дисперсия afi/n величины h (Νχ/η,...,
Nk/n), задаваемая формулой (4.4.5), всегда больше или равна границе из (а).
Указание:
ч ■> ·>*
Σ Pi (θ) — In Ρί (0) — =<?' (θ).
16. Сформулируйте и докажите утверждение, аналогичное предыдущей
задаче, для асимптотически несмещенных оценок метода моментов.
4.8. БИБЛИОГРАФИЯ
1. Anderson Т. W. (1971). The Statistical Analysis of Time Series.
J. Wiley & Sons. New York. Русский перевод: Андерсон Т. Статистический
анализ временных рядов. М., Мир, 1971.
2. А р о s t о 1 Т. М. (1974). Mathematical Analysis. 2nd edition. Addison-
Wesley, Reading, MA.
163

3. В а г 1 о w R. and Proschan F. (1965). Mathematical Theory of
Reliability. J. Wiley & Sons, New York.
4. В i 1 1 i η g s 1 e у Р. (1961). Statistical Inference for Markov Processes,
University of Chicago Press. Chicago.
5. Blackwell D. (1947). Conditional expectation and unbiased seauen-
tial .estimation.— Ann. Math. Statist., 18, 105—110.
6. Chapman D. and R о b b i η s H. (1951). Minimum variance
estimation without regularity assumptions.—Ann. Math. Statist., 22, 581—586.
7. С r a m e r H. (1946). Mathematical Methods of Statistics. Princeton
University Press, Princeton, N. J. Русский перевод: К р а м е р Г.
Математические методы статистики. М., Мир, 1975.
8. G a u s s С. F. (1887). Abhandlungen zur Methode der kleinsten Quadrant
(Borsch —· Simon, editors). P. Stankiewicz. Berlin.
9. К e η d a 1 1 M. G. and S t u a r t A. (1961, 1966). The Advanced Theory
of Statistics. Vols. II, III, Hafner Publishing Co. New York. Русский "перевод:
Кендалл М. Д ж., СтьюартА. Статистические выводы и связи. Т. 2.
М., Наука, 1973; Многомерный статистический анализ и временные ряды. Т. 3.
М., Наука, 1966.
10. LehmannE. L. (1959). Testing Statistical Hypotheses. J. Wiley &
Sons. New York. Русский перевод: Л е м а н Э. Л. Проверка статистических
гипотез. М., Наука, 1964.
11. Lehmann Ε. L. and Scheffe Η. (1955). Completeness, similar
regions and unbiased estimates. — Sankhya, 10, 305—340 and 15, 219—236.
12. Μ а с Ι η t у r e M. N., S t a ρ 1 e s W. I., S t e i η b e r g A. G. and Η e-
m ρ e 1 J. M. (1962). Familial mongolism... — Am. Jour. Hum. Gen., 14, 335.
13. Rao С R. (1949). Sufficient statistics and minimum variance
unbiased estimates. — Proc. Camb. Phil. Soc, 45, 213—218.
14. Rao С R. (1973). Linear Statistical Inference and Its Applications*
2nd edition. J. Wiley & Sons. New York. Русский перевод: Р а о С, Р.
Линейные статистические методы и их применения. М., Наука, 1968.
15. R u t e m i 1 1 е г Н. (1967). Estimation of the probability of zero
failures in η binomial trials. — J. Amer. Statist. Assoc, 62, 272—277.
16. S h a r m a D. (1973)* Asymptotic equivalence of two estimators for an
exponential family. — Ann. Statist., 1, 973—980.
17. S t i g 1 e r S. M. (1972). Completeness and unbiased estimation.— The
American Statistician, 26, 28—29.
18. S t i g 1 e r S. M. (1973). Studies in the history of probability and
statistics, XXXII; Laplace, Fisher and the discovery of the concept of sufficiency. —
Biometrica, 60, 439—446.

Глава 5 # ОТ ОЦЕНИВАНИЯ
К ДОВЕРИТЕЛЬНЫМ ИНТЕРВАЛАМ.
ПРОВЕРКА ГИПОТЕЗ
5.1. ТОЧНОСТЬ, ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ И ГРАНИЦЫ
5.1.А. Одномерный случай
Пусть Τ (Χ) — некоторая оценка параметрической функции q (ϋ).
Обычно задача не исчерпывается вычислением Τ (X): тому, кто
собирается пользоваться этой оценкой, необходимо знать ее точность
и возможную ошибку. Представители естественных наук нередко
называют оценкой функции q (ϋ) величину Τ (X) ± а, где а —
квадратный корень из с. к. о. оценки Τ или какая-то другая оценка этой
величины. Мы можем рассматривать Τ (Χ) ± а как границы для
q (θ). Однако интерпретация таких утверждений, как q (Ь) = 1 ± 0,01,
сопряжена с некоторыми трудностями. Даже если Τ (Χ) —
несмещенная оценка и α в точности равна стандартному отклонению для Τ (Χ),
мы не можем утверждать, что q (Ь) заключена в границах Т(Х) — а
и Т(Х) + а. В большинстве задач интервал [Т (X) — а, Т (X) + а]
с положительной вероятностью не содержит q (Φ) при любом
заданном а.
Пусть, например, экспериментатор производит измерения Хг, ...,
Хп неизвестной постоянной Φ с помощью прибора, точность которого
заранее известна. Экспериментатор предполагает, что эти измерения
независимы и нормально распределены относительно Φ с известной
дисперсией σ2. Поскольку ему удобно воспользоваться естественной
оценкой X, а ее стандартное отклонение равно σ/\/ п, экспериментатор
полагает Φ = Χ ± о/У п. Вероятность того, что Φ выходит за пределы
X ± я, можно вычислить следующим образом. Прежде всего
заметим, что
р[1х-»1>а]=Л[ У"Е-*)|>^|д
Уп{Х-Ъ) > а-УпЛ рГ УК(Х*-Ъ) < аУп ] (51Л
σ σ J [ σ σ J
= Ρ
Из теории распределений, изложенной в приложении и в гл. 1 (см.
теорему 1.3.3 и (П. 13.18)), известно, что Уп (X — ύ·)/σ имеет
стандартное нормальное распределение. Поскольку стандартное нормаль-
165

ное распределение симметрично относительно θ, мы заключаем, что
= W—£ΐ^Λ>0. (5.1.2)
С другой стороны, если а или η выбрать достаточно большими, то
вероятность Ρ [\Х — Ф| > а] можно сделать меньше любого заранее
заданного положительного числа. Полагая а = σ/V/i, как наш
экспериментатор, находим из (5.1.2) и табл. 1, что Ρ [\Х — 0| > σ/V/i] =
= 0,32. Эта величина недостаточно мала для того, чтобы
удовлетворить большинство из нас. Развитые нами соображения наводят на
важную идею — вместо того, чтобы выбирать параметр а равным
стандартному отклонению нашей оценки, поступить иначе. Прежде всего
выбрать число α столь малым, чтобы событиями, имеющими
вероятность а, мы охотно могли бы пренебречь. Затем выбрать параметр а
(или а и п) столь большим, чтобы выполнялось равенство
и, наконец, заявить, что Φ лежит в интервале от X — а до X + а.
Можно поступить иначе (оба подхода эквивалентны). Запишем
вероятность Ρ IX— я<А<Х~+я] = 1 — Ρ [|Х — *|>α] = 1 — α.
Полученное равенство позволяет утверждать, что мы на 100 (1 — а)%
уверены в том, что О лежит в интервале [X — а, X + а].
Подобный подход наводит на мысль, что в общем случае для
«оценки» параметра q {Ь) необходимо найти две такие статистики Τ и Г,
для которых Ρ[Τ<ί(*ΚΤ] = 1-α. ~"
Варианты этого подхода восходят еще к Лапласу. Формулировкой и
основными достижениями современной теории мы обязаны Нейману
и Фишеру. Интересные исторические сведения и многочисленные
ссылки приведены в [7].
Иногда, в особенности в дискретных моделях, нам не удается
найти разумный интервал IT, Τ], для которого при любом заданном а
выполнялось бы равенство Ρ IT ^ q (Φ) ^ Τ] = 1 — α. Β таких
случаях мы пытаемся найти статистики Τ и Т, для которых
вероятность Ρ [Τ ^ θ ^ Г] не меньше 1 — α и принимает значение, как
можно менее отличающееся от 1 — а.
Определение 5.1.1. Случайный интервал [Τ, 7Ί, образованный
парой статистик Τ и Г, таких, что Τ ^ Г, называется
доверительным интервалом для q (θ) с доверительным уровнем 1 — а, или
100 (1 —а)%, если при всех Φ выполняется неравенство
Р*[7;<0(О)<Л>1— а. (5.1.3)
166

Величина в левой части неравенства (5.1.3) называется
вероятностью накрытия интервала. Если, как это имеет место в (5.1.3),
(1 а) — нижняя граница вероятности накрытия при всех Φ, то
(1 — а) называется доверительным уровнем интервала.
Проблема, с которой сталкивается статистик, состоит в
следующем: при заданном малом числе а (обычно α равно 0,01 или 0,05)
требуется построить доверительный интервал с высоким
доверительным уровнем (1 — а). В качестве иллюстрации построим
доверительный интервал в рассмотренном нами примере с доверительным
уровнем (1 — а). Пусть Г (X) = )С— а, Т(Х) = X + а. Из
неравенства (5.1.2) следует, что [Т, Т]—доверительный интервал для Φ
с доверительным уровнем 1 — 2Ф [— (аУ7г)/а]. Пусть ζ (ρ) означает
р-й квантиль стандартного нормального распределения. Если
выбрать а = — οζ (γ a)/Vn, то [X — α, X + а] — доверительный
интервал для Φ с доверительным уровнем (1 — а). Заметим, что в силу
симметрии распределения NN (0, 1) должно выполняться
соотношение ζ (а) = — ζ (1 — α). Следовательно, наш доверительный
интервал / с доверительным уровнем (1 — а) можно записать в виде
Ι=\χ-οζ(ΐ— γίΔΐΐ/η, X + az(l — —a)IVn]. (5.1.4)
В дальнейшем мы будем использовать обозначение / = Χ ± σ Χ
χζ(1 —-^a)/Vn. Проиллюстрируем сказанное на конкретном примере.
Пусть α = 0,05. Обратившись ктабл. I, мы обнаружим, чтоФ (1,960)=
= 1 — -o-α = 0,975. Следовательно, ζ (1 — -g-α) = 1,960. Если η = 25
и σ = 1, то нашим доверительным интервалом с доверительным
уровнем 0,95, или 95%, был бы интервал X ± 0,392.
Ясно, что для данного интервала [Τ, Τ] доверительный уровень
определяется не однозначно, так как если (1 — а) — доверительный
уровень, то любое число (1 — а') ^ (1 — а) — также
доверительный уровень. Во избежание этой неоднозначности удобно ввести
понятие доверительного коэффициента интервала [Τ, 7Ί, определив его
как наибольший из возможных доверительных уровней. Эта
величина есть inf Ρ [Τ (Χ) < q (#Χ Τ (Χ)], т. е. минимум вероятности
о —
накрытия. Для задачи о нормальных измерениях мы показали, что
вероятность накрытия не зависит от ϋ и равна доверительному
коэффициенту.
До сих пор при рассмотрении доверительных интервалов мы не
учитывали точность интервалов. Почему для выборки с
распределением NN (О, σ2) при η = 25, σ2 = 1 предпочтительнее пользоваться
интервалом [X — 0,392, X + 0,392], а не интервалом [X — 50,
X + 50], имеющим тот же доверительный уровень 0,95, что и
построенный нами доверительный интервал для q (θ) = θ? Более того,
если нам необходим высокий доверительный уровень, то лучше
пренебречь всеми данными и, положив Τ = — оо, 7 = + оо, достичь

идеального уровня 1,0. Такая абсурдная процедура позволяет
утверждать, что q {Щ принимает некоторое значение, т. е. дает, мягко
говоря, не очень полезную информацию. Соображения точности с
необходимостью приводят нас к поиску наименьшего (из возможных)
доверительного интервала при заданном доверительном уровне (1 — а).
Разумеется, разность Τ — Τ — случайная величина, и можно
показать, что в большинстве случаев не существует доверительного
интервала с доверительным уровнем (1 — а), который бы имел равномерно
минимальную длину среди всех таких интервалов. В этом направлении
кое-какие результаты были получены для больших выборок (см. [13,
р. 374—376]). Если мы примем за меру точности среднюю ширину
(математическое ожидание ширины) Е® (Т — Т), то ситуация
по-прежнему останется неудовлетворительной, так как в общем случае не
существует представителя класса интервалов с доверительным
уровнем (1 —а), обладающего минимальной средней шириной при всех
Φ. Однако, как и в проблеме оценивания, мы можем сосредоточить
внимание на некоторых разумных подклассах доверительных
интервалов с доверительным уровнем (1 — а), для представителей которых
существует равномерно минимальная средняя ширина интервала.
Например, Нейман определил несмещенный доверительный интервал
с уровнем (1 — а) как интервал, для которого при любом Φ
Иначе говоря, этот интервал накрывает истинное значение q (Φ) с
вероятностью, которая не меньше вероятности накрытия им любого
другого значения. Прэтт [8] доказал, что во многих классических
проблемах оценивания существуют доверительные интервалы с
доверительным уровнем (1 — а), обладающие равномерно минимальной
шириной среди всех несмещенных доверительных интервалов с
доверительным уровнем (1 — а). В частности, к числу таких интервалов
принадлежат интервалы, построенные в примере 5.1.1. Результат
Прэтта зависит от другого понятия минимальной ширины, введенного
Нейманом, которое в свою очередь связано с теорией равномерно
наиболее мощных несмещенных критериев с уровнем значимости а.
Более подробное рассмотрение этих понятий мы отложим до разд. 6.3.
Во многих случаях бывает необходимо не столько заключить
значение q {&) в доверительный интервал, сколько указать верхнюю
или нижнюю (доверительную) границу для q (Φ). Представим себе,
например, исследователя рынка, которому требуется оценить, какая
доля Φ населения будет покупать некий новый продукт. В
действительности такому исследователю требуется установить, насколько
плохи могут быть дела у изготовителей этого нового продукта, т. е.
определить нижнюю границу для Φ. Так мы приходим к следующему
определению.
Определение 5.1.2. Статистика Г (X) называется нижней
доверительной границей (я. д. г.) для q (Φ) с доверительным уровнем (1 — а),
если при любом Ь
Ρ [Τ (Χ) < q (fl)] > 1 — а. (5.1.5)
168

Аналогично Τ (X) называется верхней доверительной границей (в. д. г.)
для q (θ) с доверительным уровнем (1 — а), если при любом Ь
Ρ [Τ(Χ)><7(*)]> 1 —а. (5.1.6)
Доверительную границу можно представлять себе как эквивалент
доверительного интервала, одна из границ которого совпадает с
доверительной границей, а другая равна соответственно + оо или — оо.
Введенные нами определения вероятности накрытия,
доверительного уровня и коэффициента доверия равным образом применимы и к
границам. Заметим, что, поскольку Ρ IT ^ q {Щ и Ρ [Τ > q (Щ не
меньше Ρ [Т < ? (d)< T], нижний и верхний конец
доверительного интервала [ТТ] с доверительным уровнем (1 — а) всегда можно
использовать в качестве соответственно нижней и верхней
доверительных границ. Однако такой выбор доверительных границ неэффективен,
так как коэффициент доверия для каждой из них, как правило,
выше (1—а) (см. пример 5.1.1).
Так же, как и в случае доверительных интервалов, необходимо
требовать, чтобы доверительные границы удовлетворяли некоторым
предварительным условиям на уровень, а также были достаточно
точными как оценки. Этот вопрос мы рассмотрим в разд. 6.3.
В заключение этого раздела мы приведем несколько простых
примеров построения доверительных границ и интервалов на основе
интуитивных соображений. Как будет показано в разд. 6.3,
используемые нами процедуры не только естественны, но и в некотором
смысле оптимальны.
Пример 5.1.1 Доверительные границы и интервалы для средне-
го от нормального распределения. Пусть Хг, ..., Хп — выборка из
генеральной совокупности с распределением NN (μ, σ2). В случае
известной σ2 нами было предложено выбирать в качестве
доверительного интервала для μ с коэффициентом доверия (1 — а) интервал
IX — oz(\ — ±a)/Vn-9 X + oz (1 — |а)/У/П. Было отмечено, что
верхняя и нижняя границы этого интервала совпадают
соответственно с верхней и нижней доверительными границами с доверительным
уровнем (1 — а). Чему равен коэффициент доверия этих границ?
Вычислим
(5.1.7)
Ρ[χ-(σ*(ΐ-^α)/νη)<μ] =
= pjl/n (Χ-μ)/σ<ζ(ΐ-^-α)]-1-^α.
Следовательно, Χ — oz (1 — -τ£*)Γ\/η — я. д. г. с доверительным ко*
1 — 1 г*"
эффициентом (1 — -g-a) и, аналогично X + oz (1 — ^а)/У η — β. д. г.
с доверительным коэффициентом (1 — -^-а). Если аг + а2 == а, то из
задачи 5.1.5 следует, что
IX — σζ(1— aJlVn, Χ + oz <1 — a2)/Vn]
169

— доверительный интервал с доверительным уровнем (1 — а). Можно
показать (см. задачу 5.1.6), что самый узкий интервал получается при
ах = а2 = "2 а> как мы и предлагали с самого начала.
А как быть, если дисперсия σ2 неизвестна? По-видимому, разумно
заменить σ какой-нибудь хорошей оценкой, такой, как, например,
s = l/ У (Хг — X)2, о.м.п. а = ъ/ -^—s
V /ι-l ff- у η
или н. о. р. м. д. Л/η — 1 Τ (γ (η — 1)) s/V2T (γή). Независимо
от того, какая из оценок для σ будет выбрана, мы получим границы
вида X ±cs/Vn и интервалы IX —cs/VTi, X + cs/Vn]. Какой
выбор с даст нам интервал с доверительным уровнем (1 — а)? Требуемое
значение с можно вычислить следующим образом. Начнем с равенства
L у« Уп\ II · I J
(5.1.8)
По теореме 1.3.3 величина Л/п{Х — μ) имеет распределение
NN (0, σ2) и не зависит от величины (п — l)s2/o2, имеющей
распределение %%-\. Из определения распределения ТТ, приведенного в
разд. 1.3, мы заключаем, что Vn (X — μ)/δ при любых μ и σ2 имеет
распределение ΤΤη-ν Пусть tn (ρ) означает р-й квантиль
распределения 7Τη_ι. Тогда
ρ[Χ-5ί^1(ΐ-^α^ν^<μ<Χ+5ίη_1(ΐ- -L^/Va^
= 1—α.
Самый узкий интервал типа X ± sc/Vn с доверительным уровнем
(1 — а) есть интервал
Аналогично X — sin_x (1 — a)/Vn и Χ + stn^ (1 — a)/Vn —
естественные доверительные границы (нижняя и верхняя) с
коэффициентами доверия (1 — а).
Для вычисления коэффициентов ίη^± (1 — уа) и ίη-λ (1 — а)
воспользуемся табл. I и III. Например, при η = 9 и α = 0,01 мы из
табл. III находим, что случайная величина с распределением FFn^1
превосходит 3,355 с вероятностью 0,005. Следовательно, tn^ (1 —
_ 1α) = 3,355 и IX—3,355s/3, Χ + 3,355 s/3] — доверительный
интервал с доверительным уровнем 0,99, который требовалось
построить.
Из результатов разд. 1.5 (см. задачу 1.5.7) мы видим, что при
η ->- оо распределение ТТп сходится к нормальному стандартному
170

распределению. Значения, приведенные в табл. III, показывают, что
при обычных значениях α разумно заменить tn (ρ) для η > 120
квантилем стандартного нормального распределения ζ (ρ).
Зная дисперсию σ2 или ее верхнюю границу σ?, мы можем
планировать эксперимент так, чтобы наш интервал и обладал заданным
доверительным уровнем, и имел заданную ширину (точность),
например 2d. Для достижения доверительного уровня (1 — а) и ширины
не более 2d необходимо лишь выбрать η ^ ζ2 (1 — -ο-α) o2/d2 (см.
задачу 5.1.8), если известна дисперсия σ2, и
n^z2(l— γ<λο\Ιά\
если известна верхняя граница о\ дисперсии σ2. Планировать
заранее, если дисперсия σ2 или ее верхняя граница неизвестны,
невозможно, так как ширина интервала 2stn-1 (1—γοή/Ύη случайна и может
быть сколь угодно велика. Преодолеть это затруднение позволяет
двухступенчатая процедура выбора, предложенная Стейном [9]. Идея
его метода сводится к следующему. Выберем для начала некоторое
фиксированное число п0 ^ 2 наблюдений и вычислим
Х0=(1/П0) 2 *г И S§ = (A20—I)-1 2 (Хг-Хо)2-
Затем возьмем N — п0 других наблюдений, где N — наименьшее
целое число, больше п0 и больше или равно
Js0i„0-i(l— Ya)/dJ·
Хотя N— случайная величина, можно показать (задача 5.1.7), что
VN (X — μ)/δ0, где X = ^XJN, имеет распределение FFn.-u и
следовательно,
— доверительный интервал для μ с коэффициентом доверия (1 —- а)
и шириной, не превосходящей 2d. Уязвимое место этого подхода
состоит в том, что мы не можем управлять величиной Ν, и если
значение σ достаточно велико, то не исключено, что нам понадобится
непомерно большое число наблюдений. Читателю, который захочет
подробнее познакомиться с последовательными процедурами,
аналогичными предложенной Стейном, рекомендуем обратиться к книге Везе*
рилла [12] и фундаментальной монографии Вальда [11]. ■
В рассмотренном выше нормальном примере наш подход, как
нетрудно убедиться, оказался бы успешным , так как мы смогли бы вы-
171

разить интересующие нас события через функцию X и Ф,
распределение которой не зависит от Ф. Такие функции называются
центральными случайными величинами, или центральными статистиками.
В нашем примере их роль играли Vn (X — μ)/σ и Vn (Χ — μ)/5.
Приведем еще один пример, в котором также удается найти
естественную центральную статистику.
Пример 5.1.2. Доверительные границы и интервалы для дисперсии
нормального распределения. Пусть Х1У ..., Хп — выборка из
генеральной совокупности с распределением NN (μ, σ2). Требуется найти
доверительные границы для σ2. Предположим сначала, что среднее μ
неизвестно. Такая задача возникла бы, в частности, если бы мы
пытались оценить точность нового измерительного прибора, испытывая
его на известном эталоне. Рассмотрим оценку максимума
правдоподобия и я. о. р. м. д. для σ2 (задача 4.2.5), задаваемую соотношением
п iTi
По теореме 1.3.1 величина по2/о2 имеет распределение χ„ и может
быть использована в качестве центральной случайной величины.
Пусть хп (р) (или просто χ (р), если из контекста ясно, о каком η
идет речь) означает р-й квантиль распределения %„. Величину л: (1 —а)
можно найти в табл. И, после чего
Ρ [по2/о2 < χ (1 — а)] = 1 — а.
Разрешив неравенство по2/о2 ^ χ (1 — α) относительно σ2, мы
получим, что по2/х (1 — а) — нижняя доверительная граница для σ2 с
коэффициентом доверия (1 — а). Аналогично по2/χ (α) — в. д. г. для
σ2 с коэффициентом доверия (1 — а), и если аг + а2 = а, то
\по2/х (1 — ах), по2/х (а2)]
— доверительный интервал с коэффициентом доверия (1 —а).
Ширина этого интервала случайна. Существует единственный
выбор величин аг и а2, равномерно минимизирующий среднюю
ширину среди всех интервалов подобного типа. Можно доказать, что при
больших η выбор ах = а2 = -^-а недалек от оптимального [10].
По-видимому, не существует метода, аналогичного процедуре Стей-
на, который бы гарантировал ограниченную ширину интервала при
заданном параметре а, если только мы не располагаем
дополнительной информацией о дисперсии σ2.
Нетрудно построить естественные границы и интервалы для σ2,
если среднее μ известно. Это и другие применения метода
центральных случайных величин рассмотрены в задачах. ■
Метод центральных случайных величин эффективен главным
образом в задачах, связанных с выбором из нормальных генеральных
совокупностей. Если рассмотреть «приближенные» центральные слу-
172

чайные величины, то рамки метода становятся намного шире.
Продемонстрируем это на примере.
Пример 5.1.3. Приближенные доверительные границы и
интервалы для вероятности благоприятных исходов в η биномиальных
испытаниях. Если Х1У ..., Хп — индикаторы η биномиальных испытаний с
вероятностью благоприятного исхода Φ, то X —о. м. я. и н. о . р.
м. д. для Ф. Естественной «точной» оценки центральной случайной
величины, основанной на X и ΰ1, не существует. Но по теореме Муав-
ра—Лапласа У η (X — $)1Л/Ь (1 — Ь) имеет приближенно
нормальное распределение NN (0, 1). Если воспользоваться этой функцией
в качестве «приближенно» центральной случайной величины и
условиться обозначать через « «приближенное равенство», то можно
записать, что
p1I^(*-»)i<»(i--l«)1*
LI у*о-*) | V 2 /J
»φ(ζ(ΐ- -1α))-φ(-ζ(ΐ- -1α)) = 1-α. (5.1.10)
Пусть ka = ζ (1 — γα). Заметим, что приближенное равенство
(5.1.10) эквивалентно соотношению
р\(Х—fl)2<^fl(l-#)l = P[g(fl,XXO]«l-oc, (5.1.11)
где
g(*,X)=(l + ^)#2~ (2Х + -^]«+Т. (5.1.12)
При фиксированном X из интервала [0, 1] величина g (Φ, Χ) —
квадратичный полином с двумя вещественными корнями. Если эти корни
выразить через S = пХ, то их можно записать в виде*
*(X) = {s + ^-kaV[S(n-S)/n]+k*/4\l(n + k*a),
^(X) = J5+^-AaV[S(n-S)M] + ^/4J/(n-b^ (5.1.13)
Поскольку коэффициент при Ф2 в g (Φ, Χ) больше нуля, то
[#:£(#, Х)< 0] = №(Х)<«<*(Х)], (5.1.14)
* Если воспользоваться здесь поправкой непрерывности, рассматриваемой
в разд. П. 15, то S в О(Х) следовало бы заменить на S + о", а 5 в θ (Χ) — на
173

в силу чего [ϋ (Χ), θ (Χ)] — приближенный доверительный интервал
для θ с доверительным уровнем (1 — а). Аналогичным образом
можно показать, что концы интервала с доверительным уровнем (1 — 2а)
являются приближенными границами (верхней и нижней) с
доверительным уровнем (1 — а). Эти интервалы в практических задачах
при обычных доверительных уровнях вполне удовлетворительны,
если меньшее из чисел ηθ, η (1 —θ) больше или равно 5. При малых η
лучше воспользоваться точной процедурой с доверительным уровнем
(1 — а), развитой в разд. 5.3.
Заметим, что в этом примере мы можем определить объем выборки,
необходимый для достижения требуемой точности. Например,
вернемся к исследователю рынка, который интересуется, какая доля Φ
населения будет покупать новый продукт. Он производит выборку из
η потенциальных покупателей, называет готовность купить продукт
благоприятным исходом испытания и применяет модель, о которой
только что шла речь. Затем наш исследователь может определить,
сколько покупателей должно быть в выборке, чтобы ширина
интервала (5.1.13) составляла 0,02 и чтобы это был доверительный
интервал с коэффициентом доверия, приближенно равным 0,95.
Действительно, ширина 2d интервала равна
2ka{V[S(n-S)/n)+k*J4}l(n + ti)-\
Воспользовавшись тем, что
S(n—S)/n = — n—n-l(s LnV^JLn> (5.1.15)
получим
2d^ka/Vn + kl. (5.1.16)
В рассматриваемом случае 1 ^а = 0,975 и ka=z (1 — 2а) = *>96.
Итак, требуемой ширины 0,02 интервала можно достичь, выбрав η
так, чтобы выполнялось неравенство
η^/_1ι^1?_(ΐ,96)2 = 9600,16, или>>9601.
Эта граница объема выборки очень груба, поскольку при выводе ее
мы воспользовались неравенством (5.1.15), и хороша только при
значениях ϋ, близких к 1/2. Более точные границы мы получаем, если
имеются верхние или нижние границы на Ф, такие, как Φ ^ Ф0< у,
О > *ι > ψ
Другой приближенной центральной случайной величиной в нашем
примере служит У η (X — 0)/Vx (1 — X)-. Она приводит к простому
интервалу
X±kaY'x(l-X)/VK'. (5.1.17)
Он менее точен и им следует пользоваться только при очень больших
п. Ш
174

Иногда для получения приближенных центральных случайных
величин и доверительных интервалов используются преобразования,
стабилизирующие дисперсию из разд. 1.5. Продемонстрируем этот
подход на примере.
Пример 5.1 А. Приближенные доверительные интервалы для
параметра распределения Пуассона. Пусть Х1$ ..., Хп — выборка из
генеральной совокупности с распределением Ρ Ρ (Ь). Как показано в
разд. 1.5.В, величина 2}Λι [Υ~χ —V$) имеет в этом случае при
больших η приближенно нормальное распределение NN (0, 1).
Следовательно,
α) « 1—α.
Из неравенств внутри квадратных скобок мы находим, что при
больших η
[maxfo, Ух — zl\— ~-α)/2 У/г )j2<*
<[/Х+г(1-^а)//2Уп]2
— доверительный интервал для Φ с коэффициентом доверия,
приближенно равным (1 — а). ■
Преобразования, стабилизирующие дисперсию, можно
использовать при построении приближенных доверительных интервалов для
параметра биномиального распределения в примере 5.1.3 (см. задачу
5.1.9).
5.1.Б. Многомерные доверительные области
Понятие доверительного интервала для одномерной функции q (Φ)
допускает обобщение на r-мерные векторы q (Φ) = (qx (4), ..., qr (Φ)).
Предположим, что Tj (X) и Tj (X) вещественнозначны. Тогда г-мер-
ный случайный «прямоугольник» (прямоугольный параллелепипед)
7(Х) = {Ж*):ТУ(Х)<^(*)<ГУ(Х), /=1 г} (5.1.18)
называется доверительной областью с доверительным уровнем (1 ~ а),
если вероятность того, что I (X) накрывает неизвестный, но
принимаемый за истинный вектор (q± (θ), ..., qr (Φ)), не меньше (1 —α).
Последнее условие можно записать в виде неравенства
Ρ [q (φ) ζ / (Χ)] > 1 — α.
Заметим, что если Ij (Χ) = [Τ;·, Tj] — доверительный интервал
для qj {&) с уровнем (1 — aj) и пары (7\, 7\), ..., (Тг, Тг) независимы,
то прямоугольник I (X) = Ιχ (X) X ... Χ ΙΓ (X) обладает
доверительным уровнем
Π (1-α,);. (5.1.19)
175

Следовательно, в этом случае r-мерный доверительный
прямоугольник автоматически получается из одномерных интервалов.
Подход, годный даже в том случае, если интервалы /;- не являются
независимыми, основан на использовании неравенства Бонферрони
(П.2.7). Согласно этому неравенству
P[q(*)6/(X)]>1-S РЫМ /;(Х)]>1-2 «/· (5.1.20)
Следовательно, при α7· = a/r, j = 1, ..., г, прямоугольник / (X)
имеет доверительный уровень (1 — а).
Пример 5.1.5. Доверительный прямоугольник для параметра
нормального распределения. Пусть Xl9 ..., Хп — нормальная выборка с
распределением NN (μ, σ2). Требуется построить доверительный
прямоугольник для (μ, σ2). Из примера 5.1.1 следует, что
/i(X)=X±rfn-i(l--J-a)/Vii
— доверительный интервал для μ с доверительным уровнем (1 — -^-а).
Рассуждая так же, как в примере 5.1.2, мы заключаем, что
(п—l)sa (я— l)s3
/»(Х) =
1*η-1(1""4"α) ^-χ(ΐ"α) J
— вполне разумный доверительный интервал для σ2 с коэффициентом
доверия (1 —>а)· Следовательно, 1г (X) X 12 (X) —доверительный
прямоугольник для (μ, σ2) с доверительным уровнем (1 — а). ■
5.1.В. Другие понятия доверительных областей
Понятие доверительного интервала, сформулированное в
определении 5.1.1, не единственное — в «обращении» находятся и другие.
Например, сторонники байесовского подхода, для которых параметр
Φ елучаен, вкладывают вполне определенный смысл в утверждение
о том, что q (ft) попадает в некоторый интервал, коль скоро данные
известны. Например, обычно они рассматривают доверительный
интервал [7\"Т] с уровнем (1 — а) как две функции на Rn, такие, что
апостериорная вероятность выполнения неравенств T(x)^q (ft) <!
^Т(х) при заданном X = χ не меньше (1 — а). Другое байесовское
определение требует, чтобы случайная величина q (ft) была
заключена между случайными величинами Τ (X) и Τ (Χ) с вероятностью, не
меньшей (1 — а). Фишер придерживался третьего — так
называемого фидуцшльного — подхода. Мы не будем объяснять, что это
такое. Обсуждение различных подходов (с небеспристрастных позиций)
и дальнейшие ссылки см. в книге Неймана [7]. Обширный обзор
доверительных и «фидуциальных» интервалов приведен в курсе Кендал-
ла и Стьюарта [5].
176

И байесовскому и фидуциальному подходу свойственно
рассматривать параметр как в некотором смысле случайный. Необходимо
подчеркнуть, что для рассмотренных в разд. 5.1 доверительных
интервалов это не так: случаен только интервал, который может
накрывать или не накрывать фиксированное, но не известное значение
q (p). Приведем две «операционные» интерпретации определения 5.1.1.
(1) Предположим, что для получения значения q (Ь)
произведено много экспериментов. Если при вычислении доверительного
интервала для q с доверительным уровнем (1 — а) использованы
исходы каждого эксперимента, то (приближенно) по крайней мере (1 —
— а)· 100% интервалов содержат истинное значение q.
(2) Если за свою профессиональную жизнь статистику
приходится вычислять много доверительных интервалов (для различных
параметров в различных ситуациях) с доверительным уровнем (1 — а)
то его предсказания выполняются примерно в 100 (1 — а)% случаев,
5.2. ЭЛЕМЕНТЫ ПРОВЕРКИ ГИПОТЕЗ
5.2.А. Введение и схема Неймана— Пирсона
Значительная часть человеческой деятельности в науке, технике
и повседневной жизни, как правило, связана с получением ответов
типа «да» или «нет» на те или иные важные вопросы. Возможно ли
самопроизвольное зарождение жизни из неживого вещества?
Является ли Луна более древним небесным телом, чем Земля?
Эффективно ли лекарство? Безопаснее ли данная модель автомашины по
сравнению с другой моделью? Имеются ли дефекты у подавляющего
большинства изделий в партии? Пытаясь ответить на подобные вопросы,
мы планируем эксперименты, исходы которых проливают некоторый
свет на интересующий нас вопрос. Процесс определения характера
ответа («да» или «нет») по исходу эксперимента называется проверкой
гипотез. В этом разделе мы изложим широко распространенную
формализацию проверки гипотез, предложенную Нейманом и Пирсоном,
и некоторые понятия, связанные с затрагиваемым нами кругом
вопросов.
Наиболее распространенный тип проблем, связанных с проверкой
гипотез, часто возникает в научных исследованиях. Мы подозреваем,
что некоторая гипотеза (нередко даже вполне установившаяся
теория) неверна. Если нам удается, то мы планируем эксперимент по
проверке этой гипотезы, исход которого либо согласуется с ней, либо
полностью противоречит ей. Например, до Пастера считалось, что
жизнь может возникать из вещества неорганического происхождения.
В качестве подтверждения обычно приводили «самозарождение»
белых личинок в тухлом мясе. Для проверки этой теории Пастер
выставил в одном и том же месте близкие по качеству и величине куски
начинавшего портиться мяса. Одни из кусков были защищены от мух,
на другие мухи могли садиться. Личинки появились на тех кусках,
к которым мухи имели доступ. На тех же кусках, которые были
защищены от мух, личинок не оказалось. В свете полученных данных
177

гипотеза о самозарождении личинок была отвергнута. В исходе
поставленных Пастером экспериментов не было ничего случайного и для
придания выводам законной силы не было необходимости прибегать
к статистической теории.
К сожалению, довольно часто не удается планировать
эксперименты, допускающие однозначные ответы. По целому ряду причин
эксперимент должен быть случайным.
Пусть, например, подлежащая проверке гипотеза утверждает, что
некоторая физическая константа имеет значение μ0. Измерения
подвержены случайной ошибке, и поэтому наблюденные значения
могут находиться в согласии как с проверяемой гипотезой, так и с ее
отрицанием.
Случайные элементы могут быть и неотъемлемой частью самой
теории. Например, в генетике теория может предсказывать вероятности
различных типов потомства от скрещивания двух животных с
определенными гипотетическими генотипами. Данные о численности
потомства того или иного типа могут как свидетельствовать в пользу
теории, так и опровергать ее, и их можно считать исходами
случайного опыта.
Пример 5.2.1. Предположим, нам стало известно о новом
лекарственном препарате. В рекламном проспекте утверждается, что доля
излечившихся от некоторой болезни среди тех, кто принимает новое
лекарство, выше, чем среди тех, кто его не принимает. По своему
опыту мы знаем, что доля излечившихся без приема нового
лекарства составляет Ф0 = 0,2. Мы предполагаем, что прием лекарства
никак не сказывается на вероятности того, что случайно выбранный
индивидуум из числа больных выздоровеет. Для проверки гипотезы нам
потребовалось бы выполнить случайный эксперимент. Проще всего
было бы взять выборку из η больных, дать им новое лекарство и по
доле выздоровевших судить о том, верна или неверна наша гипотеза.
Воспользуемся этим простым' примером, чтобы развить схему
классической теории проверки гипотез Неймана—Пирсона. ■
Гипотеза и альтернатива
Начнем с простейших понятий классической схемы. Мы наблюдаем
X с распределением Р$, $ζ@. Гипотеза Η утверждает, что $ζ@0
(некоторому подмножеству множества Θ). Кратко это обозначается
так: Η : Φ £ Θ0. Альтернатива К утверждает, что Φ £ Θχ —
другому подмножеству множества Θ, непересекающемуся с Θ0 (К : θ 6 Θχ).
Опираясь на данные наблюдений X, мы должны решить, принять
ли гипотезу Η и тем самым утверждение, что истинное значение Φ
принадлежит подмножеству Θ0, или отвергнуть гипотезу Η (и
принять альтернативу К) и утверждение, что истинное значение Φ
принадлежит подмножеству Θχ. Слова «принять» и «отвергнуть» гипотезу
здесь надлежит понимать в чисто техническом смысле. Как мы
увидим в дальнейшем на примере научных проблем, принятие гипотезы
носит временный характер — до появления новых данных или
других критериев.
178

По причинам, которые станут ясными позднее (в разд. 5.2В), мы
будем определять Я и К с известной гибкостью, не требуя
выполнения равенства θ0 U θχ = Θ. Что касается подмножеств Qhi = 0, 1,
то удобно различать подмножества двух типов. Если θ0 состоит
только из одной точки, то это подмножество и гипотеза Η называются
простыми. Если θ0 состоит более чем из одной точки, то это
подмножество и гипотеза Η называются сложными. Аналогичные названия
сохраняются и за θχ и К-
В примере 5.2.1 мы наблюдаем S — число выздоравливающих
среди η случайно выбранных больных, которым давали новое
лекарство. Если считать, что Φ — вероятность выздоровления больного,
которому дали лекарство (популяция больных в настоящем и будущем
бесконечна), то S имеет распределение ВВ (η, Φ). Предположим, что
лекарство безвредно для всех, кто его принимает. Тогда Θ = [Ф0, 1],
где Ь0 — вероятность самопроизвольного выздоровления. Кроме того,
подмножество Θ0 = {Ф0} и гипотеза Η — простые, в то время как
θχ — интервал (00, 1] и альтернативная гипотеза К сложная. В
аналогичных ситуациях мы упростим обозначения и будем записывать
Правила критерия
Чтобы выбрать между гипотезой Η и альтернативой К, необходимо
действовать по какому-то правилу. Такое правило называется
критерием. Руководствуясь критерием, мы должны быть в состоянии
принять или отвергнуть гипотезу Η для любой точки χ выборочного
пространства.
Какой критерий был бы пригоден в примере 5.2.1? Представляется
разумным отвергнуть # : θ = Ф0, если наблюденная доля
выздоровевших в выборке X = S/л «слишком велика». Например, гипотезу
Η можно отвергнуть, если S ^ k, где k — некоторое натуральное
число, и принять Η при S < k. Каждый выбор k соответствует другому
критерию.
В большинстве задач оказывается, что все естественно
возникающие критерии обладают структурой, аналогичной только что
описанной. Существует статистика Т, которая «стремится» быть малой, если
гипотеза Η неверна, и большой, если гипотеза Η верна. Назовем Τ
статистикой критерия*. Выберем число с. Наш критерий состоит
в том, чтобы вычислить Τ (χ) и отвергнуть гипотезу Я, если Τ (χ) ^ с,
и принять ее, если Τ (χ) < с. Значение с, выбор которого завершает
задание критерия, называется критическим значением. Заметим, что при
переменных с статистика критерия порождает семейство возможных
критериев.
По теоретическим соображениям критерии желательно описывать
в общем виде, безотносительно к статистикам критерия или критиче-
* Другие авторы рассматривают статистики Т, которые стремятся быть
малыми, если гипотеза Я неверна. В нашем смысле статистикой критерия была бы
статистика — Т.
179

ским значениям. Критерий определяется множеством всех точек χ
выборочного пространства, в которых мы отвергаем гипотезу Я.
Назовем это множество критической областью, или областью отказа
от гипотезы, а его дополнение — областью принятия гипотезы Я.
Например, критической областью критерия, которой отвергает
гипотезу в том и только в том случае, если Τ (χ) ^ с, является простое
множество {χ : Τ (χ) ^ с}. Критическую область удобно описывать
ее индикатором δ, который называется критической функцией, или
функцией критерия. По определению если X = χ и δ (χ) = 1, то мы
отвергаем, а если δ (χ) = 0, то принимаем гипотезу.
В нашем примере критическая функция определяется следующим
образом:
[l,ewuiS>*,
если S < k,
критическая область есть множество целых чисел {k,k+ 1, ..., п}9
а область принятия гипотезы — множество целых чисел {0, 1, ...,
k— 1}.
ΜΗά:
Вероятности ошибки и мощность
Эффективность критерия разумно измерять по частоте правильных
заключений, к которым мы приходим, пользуясь критерием.
Применяя критерий, мы можем совершать (не одновременно) ошибки двух
типов: отвергнуть гипотезу, которую следовало бы принять, или
принять гипотезу, которую следовало бы отвергнуть. В первом случае мы
будем говорить об ошибке типа I, во втором — об ошибке типа II2.
В примере с лекарственным препаратом мы совершили бы ошибку
типа I, отвергнув гипотезу Я, когда в действительности выполнялось
бы равенство Φ = Φ0, и ошибку типа II, если бы приняли гипотезу Я,
когда в действительности выполнялось бы неравенство Ф> Ф0. Таким
образом, вероятность ошибки типа I для критерия (5.2Л)
определяется выражением
Ръ0 [6k (X) = 1] = Р»0 [S >k}= Σ (П) *'. (1 -Фо)»-'. (5.2,2)
При η ^ 100 эту вероятность можно найти из таблиц функции
биномиального распределения, например из таблиц Гарвардской
вычислительной лаборатории [4] и Национального бюро стандартов [6]. Так,
если θ0 = 0,2 (20% всех больных выздоравливают самопроизвольно,
без всяких лекарств), η = 20 и k = 9, то вероятность ошибки типа I
равна 0,01.
Оценить вероятность ошибки типа II труднее, так как она зависит
не только от критерия, но и от того, какая альтернативная гипотеза
выбрана. Для критерия 6k и альтернативы ,6,>u,0 эта вероятность
определяется выражением
P^[8k(X) = 0]=Pi>[S<k] = J pW(i_{>)«!-/.
160

Ее также можно найти по таблицам биномиального распределения.
Например, если η = 20, k == 9, *β0 = 0,2 и альтернативой выбрано
# = 0,5, то вероятность ошибки типа II составляет 0,252.
Определение 5.2.1. Мощностью критерия относительно
альтернативы 0 называется вероятность отвергнуть гипотезу Я, если
альтернатива Φ верна.
Таким образом, мощность равна единице минус вероятность
ошибки типа II, т. е. ее можно рассматривать как вероятность того, что
критерий «распознает», когда
выполняется альтернатива θ.
Мощность есть функция от
0, определенная на Θχ. Если
подмножество Θ0 к тому же
сложное, то вероятность
ошибки типа I есть также
функция от Φ.
И мощность, и
вероятность ошибки типа I
содержатся в функции мощности,
которая определена при всех
ϋ £ θ соотношением
β (ΰ1, δ) = Ρ$ [отказ от
гипотезы] = Р$ [δ (X) = 1].
Если Φ 6 Θ0, то β (Φ, δ) есть
типа I. Если же Φ £ Θχ, το β (Φ, δ) есть мощность критерия
относительно Φ. В примере 5.2.1
β(*.β*)=*Σ ("W(l-fl)"-/. (5.2.3)
Графий этой функции при п = 10, Ф0 = 0,3, k = 6 приведен на
рис. 5.2.1.
Выбор критерия
Мы познакомились с постановкой проблемы проверки гипотез и
измерением эффективности заданного критерия в теории Неймана—
Пирсона. Обычно критерий заранее не известен и должен быть
выбран по эффективности. Естественно поэтому начать с выбора
критериев, для которых вероятности ошибок типа I и типа II равны нулю.
Найти такие критерии, как правило, не удается. Если критерий
имеет нулевую вероятность ошибки типа I, то он утверждает, что
«гипотеза всегда приемлема», и имеет вероятность ошибки типа II, равную
1. Это — аналог проверки нашего замечания о том, что равномерно
наилучшей оценки не существует.
Выход из возникшей дилеммы, предложенный Нейманом и
Пирсоном, состоит в сужении класса рассматриваемых критериев. Исходным
в рассуждениях Неймана и Пирсона стало замечание о том, что между
181
j—\В
О 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
Рис. 5.2.1. Функция мощности
одностороннего критерия δκ с уровнем значимости
0,05 гипотезы Я: 6=0,3 относительно
альтернативы К: θ>0,3 для семейства
биномиальных распределений ВВ (10, ft).
Мощность представлена как функция от θ, k=6,
размер равен 0,0473
не что иное, как вероятность ошибки

двумя типами ошибок имеется асимметрия, проистекающая из
асимметрии между гипотезой и альтернативой.
В научном исследовании гипотеза нередко диктуется теорией и
четко сформулирована, а распределение данных X, если гипотеза Я
верна, является элементом однозначно заданного класса
распределений. С другой стороны, мы довольно часто не можем сказать ничего
определенного относительно того, какой класс альтернатив надлежит
рассматривать или что представляет собой подмножество θχ.
Например, физическая теория предсказывает, что число частиц,
испускаемых радиоактивным веществом в единицу времени, имеет
распределение Пуассона. В правильности такого утверждения можно
сомневаться, и тем не менее указать, каким должно быть распределение числа
частиц, если оно не пуассоновское, весьма трудно. В подобных
ситуациях естественно заняться уточнением гипотезы Я, оставляя
альтернативу К неопределенной. Отсутствие однозначной определенности
в формулировке альтернативы на практике проявляется в том, что
отказу от гипотезы Я придается гораздо большее значение, чем ее
принятию, так как последнее могло быть обусловлено тем, что мы не
рассматриваем правильную альтернативу3. В задачах такого рода
ошибка типа I приобретает большее значение.
В таких примерах, как 5.2.1, также имеется асимметрия: гипотеза
Я простая, в то время как альтернатива К — сложная, и в Θχ
существуют альтернативы, сколь угодно близкие кФ0. Отказ от гипотезы
однозначно указывает на то, что лекарственный препарат эффективен,
но гипотеза вполне могла бы быть принята потому, что выполняется
альтернатива, практически неотличимая от Ф0. В этом случае ошибка
типа I представляется более ясной и важной.
Даже если оставить область научных исследований, то
относительная значимость ошибок, совершаемых при проверке гипотез, часто
оказывается неодинаковой. Так, в примере 2.1.1 принятие партии с
избыточным количеством дефектных изделий может оказаться более
серьезной ошибкой, чем возвращение «доброкачественной» партии
изготовителю. Приняв [$0, 1] за Я, а [0, θ0) за К, мы сделаем ошибку типа I
более серьезной. В этой задаче отнюдь не очевидно, что Η и К надлежит
выбирать именно так, как это сделали мы, а не наоборот. Существует
общепринятая договоренность в тех случаях, когда выбор между Я
и К не связан какими-либо ограничениями, выбирать Я так, чтобы
ошибка типа I была наиболее серьезной для экспериментатора.
Коль скоро задано, что ошибка типа I более серьезна или смысл
ее вполне ясен, мы приходим к идее, предложенной Нейманом и
Пирсоном. Зададим прежде всего небольшое число α > 0, такое, что
вероятности ошибки типа I, превосходящие а, нежелательны. Затем
сосредоточим внимание на критериях, для которых вероятность
отвергнуть гипотезу заведомо не больше α при всех Φ 6 θ0. О таких
критериях говорят, что они имеют уровень значимости а (говорят также о
непринятии гипотезы Я на уровне а). Обычно на практике используют
значения α = 0,01 и α = 0,05. Поскольку любой критерий с уровнем
значимости α есть в то же время критерий с уровнем значимости
а' > а, удобно терминологически выделить наименьший уровень зна·
182

адмости критерия. Такой уровень называется размером критерия
и совпадает с максимальной вероятностью ошибки типа I.
Проиллюстрируем на примере, что означает на практике выбор
гипотезы Η и применение критерия с заранее заданным уровнем
значимости.
Медик разрабатывает новое лекарство и полагает, что оно
эффективно. В качестве гипотезы Η он выбирает предположение о том, что его
лекарство неэффективно! Почему? Потому, что надеется опровергнуть
гипотезу и заявить о значимых улучшениях в состоянии здоровья
пациентов, получающих новый препарат. Используя уровень а,
он контролирует вероятность того, что гипотеза будет отвергнута по
ошибке. Например, при а = 0,05 медик может быть на 95% уверен, что
утверждение об эффективности предлагаемого им препарата
соответствует действительности. Если же гипотеза Η не отвергается, то медик
воздерживается от каких-либо заявлений и продолжает эксперименты
с новым лекарством.
Адвокату покупателя требуется установить, что среднее
сопротивление на разрыв μ ткани, из которой изготовлена обшивка сидений
в машине определенной марки, существенно ниже среднего
сопротивления на разрыв μ0 обшивки сидений по всем машинам. Адвокат
выдвигает гипотезу μ ^ μ0 и надеется отвергнуть ее. Если в аналогичных
ситуациях он неизменно использует α = 0,05, то его «значимые»
утверждения оказываются неверными не более чем в 5% всех случаев,
и наш адвокат сохраняет репутацию человека, которому можно
верить. Если адвокат получает подтверждение выдвинутой гипотезы, он
воздерживается от каких бы то ни было высказываний. Таким образом,
5% — верхняя граница доли неверных утверждений за достаточно
продолжительную адвокатскую практику.
В обоих приведенных нами примерах и во многих других
ситуациях никаких утверждений о принятии гипотезы не делается. Вместо
этого проверяющий заявляет, что «гипотеза Η не отвергается» или что
«имеющихся данных недостаточно для того, чтобы эффект можно
было считать значимым». Причина кроется в том, что ошибка типа II
не была контролируемой. Как будет показано в разд. 5.2.В,
вероятность ошибки типа II может быть сколь угодно близкой к 1 — а. В
некоторых задачах ошибку типа II удается контролировать вполне
удовлетворительно. Об этом мы подробно расскажем в разд. 5.2.В.
Сосредоточив внимание на критериях с уровнем а, Нейман и
Пирсон предложили производить выбор в рамках этого класса по
мощности относительно интересующих нас альтернатив. Если (как это
иногда бывает) существует критерий, обладающий максимальной
мощностью среди всех критериев с уровнем α относительно всех
альтернатив, то выбирать следует именно его. В противном случае при
выборе необходимо привлекать дополнительные критерии. Этот круг
вопросов мы подробно рассмотрим в следующей главе.
Пока же ограничимся замечанием, что во всех задачах,
представляющих интерес, оптимальные критерии порождены статистикой
критерия в указанном выше смысле. Иначе говоря, существует статистика
критерия Τ (X), не зависящая от α и обладающая следующим свой-
183

ством: если мы можем найти для Τ (X) критическое значение /(а),
порождающее критерий размера а, то этот критерий оптимален. Это
означает, что на практике нахождение критерия, наилучшего
относительно некоторых альтернатив с уровнем а, эквивалентно нахождению
статистики критерия, позволяющей установить «дискриминацию»
между гипотезой Η и этими альтернативами, а затем, установив
критическое значение, получить размер а. Приведем несколько примеров.
Пример 5.2.1 (продолжение). В следующей главе будет показано,
что статистика S порождает оптимальные критерии. Пусть α ζ (0, 1)
и k0 = k (<>0, α) — наименьшее целое число &, такое, что Р$0 [S ^
^ k] <; α. Это число k0 существует, так как P$Q [S ^ k] убывает по
k. Заметим, что 6fe имеет уровень α в том и только в том случае, если
k > &0, и 6ko имеет размер
ao = J\>#[S>*o]<a.
Использование любого критического значения, превышающего &0,
порождает критерий с уровнем а, более слабый, чем 8ho (т. е. менее
мощный относительно любого ΰ,>>'6,0). Из (5.2.2) мы можем
получить размер α в том и только в том случае, если число α при некотором
k представимо в виде 2 ( J Щ (1 — ^о)"-'· Например, при средних
значениях η величину k0 можно найти из таблиц биномиального
распределения. Если min {п$0, η (1 — θ0)} ^ 5, то для большинства
практических целей можно воспользоваться нормальной
аппроксимацией к Р$0 [S^k] и определить &0. Так, из (П.15.10) для min
η (1 — Φ)} ^ 5 получаем
PvlS^k]
(5.2.4)
но
ι
/ k—/ιθ0—
1—φΙ ——/<α
\V«*o(l-*oV
в том и только в том случае, если k Ξ> #0, где
JCo = n*o+Y + 2(l—a)Vn#0(l-#o). (5.2.5)
На практике мы из осторожности выбрали бы в качестве
аппроксимации к k0 наименьшее из целых чисел, которые больше или равны
правой части соотношения (5.2.5). Например, пусть, как прежде,
$0 = 0,2, η = 20 и нам необходимо иметь a = 0,01. Из табл. I
находим г (0,99) = 2,326. Подставляя в (5.2.5), получаем х0 = 8,66.
184

В этом случае мы аппроксимировали бы k0 числом 9, которое, как мы
видели, является реальным точным значением. ■
В общем случае если мы располагаем статистикой критерия Τ и
используем критическое значение t, то наш критерий имеет размер
а (/), задаваемый соотношением
α (t) = sup {Ρ* [Τ (Χ) > f] : Φ 6 Θ0}. (5.2.6)
Отметим, что α (ή — невозрастающая функция от t и обычно α (t) f 1
при t \ — oo и α (/) | 0 при t f oo. Следовательно, если 0 < α < 1,
то существует единственное наименьшее значение t, при котором
α (/) ^ а. Оно и есть то критическое значение, которое мы используем,
если Τ — наша статистика критерия и нам необходим уровень а.
Полученное значение называется критическим значением уровня а.
Проиллюстрируем всю процедуру еще одним примером.
Пример 5.2.2. Односторонние критерии для среднего от
нормального распределения с известной дисперсией. Пусть Х19 ..., Хп —
выборка из генеральной совокупности с распределением NN (μ, σ2),
дисперсия которого σ2 предполагается известной. (Случай , когда дисперсия
σ2 неизвестна, рассмотрен в разд. 6.4.А.) Мы хотим проверить
гипотезу Η: μ ^ 0 с альтернативой К: μ> 0. Такого рода задача возникает,
например, если мы хотим сравнить эффективность двух лекарственных
препаратов или одного лекарственного препарата и контроля (пациент
не получает лекарств) и оба препарата принимает один и тот же
больной. Предположим, например, что мы хотим проверить, оказывает ли
некое лекарство снотворное действие. Мы могли бы установить,
сколько времени требуется каждому из п случайно выбранных пациентов,
чтобы заснуть без лекарства (или после приема успокоительной
микстуры), а через некоторое время установить, сколько времени требуется
тому же больному, чтобы заснуть после приема лекарства. Пусть
Xi — разность между продолжительностью засыпания i-ro пациента
после приема и без приема лекарства4. Если предположить, что Хг, ...,
Хп нормально распределены со средним μ и дисперсией σ2, то
эффективность снотворного измеряется величиной μ и Я есть гипотеза о том, что
препарат не оказывает действия или вреден для здоровья, а
альтернатива /С утверждает, что препарат дает некий положительный
эффект.
_ Как и в примере 5.2.1, естественно отказаться от больших значений
X. Вместо X удобно рассматривать статистику критерия Τ (X) =
= Vn Х/о, порождающую то же самое семейство критических
областей. Функция мощности критерия с критическим значением с имеет
вид:
β(μ) = Ρμ[Τ(Χ)>*]=ΡμΓΐ/Η-^^
= 1_φΛ_Ι^Υ (5.2.7)
185

так как Υ η (Χ — μ)/σ имеет распределение NN (О, 1) (см. П. 13.23).
Поскольку β (μ) — возрастающая функция,
α (с) = sup {β (μ) : μ < 0} = β (0) = 1 — Φ (с). (5.2.8)
Наименьшее значение с, для которого 1 — Φ (с) ^ а, мы получим,
положив
1 — ф (с) = а.
Следовательно,
с = ζ (1 — α).
Например, пусть η = 25, σ = 2 и требуется иметь α = 0,05.
Находим: ζ (0,95) = 1,645. Критерий размера 0,05 отвергает гипотезу в
том и только в том случае, если 2,5Х ^ 1,645. ■
5.2.Б. р-значение: статистика критерия как результат 'наблюдений
Сталкиваясь с проблемой проверки одной и той же гипотезы,
различные лица могут придерживаться различных критериев размера.
Экспериментатор I может с удовлетворением отвергнуть гипотезу Η
на основе критерия размера α = 0,05, в то время как экспериментатор
II будет настаивать на использовании α == 0,01. Не исключено, что
экспериментатор I отвергнет гипотезу Я, а экспериментатор II
примет ее на основе одного и того же исхода χ некоторого испытания.
Если двум экспериментаторам удастся договориться относительно
общей статистики критерия Т, то трудность, о которой идет речь, можно
преодолеть, выразив исход испытания через наблюдаемый размер (р-
значение, или вероятность значимости) критерия. Эта величина есть
не что иное, как статистика, определяемая как наименьший уровень
значимости а, при котором экспериментатор, используя статистику 7\
отверг бы гипотезу на основе наблюденного исхода испытания х.
Иначе говоря, если выбранное экспериментатором критическое значение
соответствует критерию размера меньше р-значения, то гипотеза Η
не отвергается (в противном случае гипотеза Η отвергается).
В качестве иллюстрации рассмотрим пример 5.2.2. Если мы
наблюдаем Хг = xlf ..., Хп == хп, то гипотеза была бы отвергнута нами в том
и только в том случае, если α удовлетворяет неравенству
σ
Применив к обеим частям неравенства функцию Ф, получим, что
гипотеза была бы отвергнута в том и только в том случае, если
α > 1 _ φ (Τ (χ)).
Следовательно, если X = χ, то р-значение равно:
1— ф(Т(х))=1— φ(¥ίί*λ. (5.2.9)
Рассматриваемое как статистика, р-значение равно 1 — Φ (VnX/o).
186

В общем случае р-зйачейие удаётся довольно просто выразить
через функцию α (/), заданную соотношением (5.2.6). Предположим, что
мы наблюдаем X = х. При выбранном критическом значении с мы
отвергли бы гипотезу в том и только в том случае, если
Τ (χ) > с.
Следовательно, наибольшее критическое значение с, при котором
мы могли бы отвергнуть гипотезу, удовлетворяет соотношению с =
= Τ (χ). Но размер критерия с критическим значением с равен α (с),
sl а (с) — убывающая функция от с. Таким образом, наименьшее
значение а, при котором мы отвергли бы гипотезу, соответствует
наибольшему с, при котором гипотеза была бы отвергнута, и равно α (Τ (χ)).
Итак, доказано следующее утверждение.
Утверждение 5.2.1. р-значение равно α (Τ (Χ)). Оно согласуется
с (5.2.9). Аналогичным образом в примере 5.2.1
a(^)=.i(n)*o(i-*o)rt-/,
и р-значение равно oc(S). При вычислении р-значения используется
и нормальная аппроксимация. Предположим, что в примере 5.2.1
Ф0 = 0,1, η = 100 и мы наблюдаем S = 15. Тогда
a(15) = P*#[S^15]«l— ф( 4'5 )= 0,0668
V 1/100 (0,1) (0,9) /
(для сравнения приведем истинное значение: 0,0725).
Значение ρ находит широкое применение в ситуации описанного
выше типа, когда гипотеза Η вполне определена, чего нельзя сказать об
альтернативе К, что не позволяет проводить рассуждения с ошибкой
типа II. В этой связи нельзя не привести слова Фишера (см. [2, р. 80]):
«Реальное значение р, получаемое из таблицы с помощью
интерполяции, указывает на силу наблюдений по сравнению с нулевой гипотезой».
Значение ρ можно рассматривать как стандартизованную версию
нашей первоначальной статистики. Например, р-значением можно
воспользоваться для того, чтобы комбинировать качественно
разнородные данные, связанные с принятой гипотезой, но полученные из
различных экспериментов. Так, гипотеза о существовании
психических явлений была подвергнута различным проверкам. Значение ρ
позволяет нам объединить результаты этих проверок. Различные
методы «комбинирования экспериментов» с помощью р-значения
рассмотрены в [14].
5.2.В. Мощность и объем выборки: области индифферентности
Обсудим теперь некоторые практические и теоретические
следствия, вытекающие из рассмотрения мощности. Все рассуждения будут
проведены для примера 5.2.2, но затрагиваемые вопросы и
предлагаемые решения остаются в силе и в общем случае.
187

В примере 5.2.2 критерий размера а имеет функцию мощности,
задаваемую формулой (5.2.7), с с = ζ (1 — α). Поскольку Φ
удовлетворяет соотношению Φ (χ) = 1 — Φ (— х), можно записать, что
Ρ(μ)β1_φ^(1-α)-^^Φ^^-ζ(1-α)).(5.2.
Ю)
Функция β (μ) обладает следующими важными свойствами (см.
рис. 5.2.2):
1. Она зависит от Υημ/σ. По этому аргументу она а) непрерывка
и б) возрастает.
2. limp (μ)-α, Πηιβ(μ)= Ι.
μ->0 μ-* οο
Непрерывность мощности позволяет вложить точный смысл в
наше утверждение о том, что принятию гипотезы Η не следует придавать
особого значения, если все точки
альтернативы обладают одинаковой значимостью.
Независимо от того, сколь велико число η
и сколь мал параметр σ, можно найти
значение μ > 0, достаточно близкое к 0 и
такое, что значение функции β (μ) сколь
угодно близко к β (0) = α. Для такого μ
вероятность принятия гипотезы почти
равна 1 — а.
Рис. 5.2.2. Мощность кри- Практически это не приводит к сколь-
терия для среднего нор- ко-нибудь ощутимым последствиям, если у
мального распределения нас имеется область индифферентности —
при а=0,05, /г=25 и σ=2 такое подмножество альтернативы, на
котором мы готовы допустить малую
мощность. В нашем примере с нормальным распределением мы могли бы
не интересоваться значениями μ из (О, Δ) при некотором достаточно
малом Δ > 0, так как такого рода уточнения пренебрежимо малы.
В этом случае открытый интервал (О, Δ) был бы нашей областью
индифферентности. Вне области индифферентности мы хотим иметь
гарантированную мощность так же, как мы имеем верхнюю границу для
вероятности ошибки типа I. В рассматриваемом нами примере это
означает, что помимо области индифферентности и уровня α мы выбираем
значение β0, достаточно близкое к 1, и хотели бы, чтобы при всех
μ^Δ выполнялось неравенство
β(μ)>βο· (5.2.11)
Именно с такого рода задачей мы встретились в примере 2.1.1 с
контролем за качеством. Если η, σ, Δ и α заданы, то удовлетворить
последнему ограничению удается не всегда. Но если попытаться
варьировать σ (повысить точность измерений) или η (число измерений), то
можно достичь размера α и добиться выполнения неравенства (5.2.11).
Чтобы убедиться в этом, рассмотрим не β (μ), а обратную функцию
μ (β) — зависимость альтернативы от достигаемой относительно нее
188

мощности. Из свойств (1) и (2) функции β (μ) следует, что μ (β)
определена на (а, 1), непрерывна и возрастает. Из (5.2.10) заключаем, что
β (μ) = β
в том и только в том случае, если
ν^μ(β)-2(1-α) = ζ(β),
σ
или
μ(β)=-7=(2(β) + ζ(1-α)). (5.2.12)
у η
Поскольку μ (β) — возрастающая функция, неравенство (5.2.11)
выполняется в том и только в том случае, если
μ (β0) < Δ.
Это означает, что (5.2.11) выполняется в том и только в том случае,
если
σ<νΓ«Δ(2(ββ) + ζ(1-α))-ι,
или
η^^-(ζφ0)+ζ(1-α))\ (5.2.13)
Δ2
Заметим, что выражение (5.2.12) для μ (β) можно использовать
по-разному. Если мы не можем управлять выбором параметров η и
σ, то выражение (5.2.12) позволяет нам заранее предвидеть, какого
рода альтернативы мы имеем шанс обнаружить. Следующая таблица
дает неожиданно большие значения μ (β) при выбранных значениях
а, л = σ = 1. Заметим, что получающиеся значения п, необходимые
для достижения скромных результатов, обычно очень велики.
Например, при σ = 1, α = 0,05, β = 0,95, Δ = 0,1 минимальное
значение η не меньше 100 (3,29)2 = 1082,4.
Таблица 5.2.1. Некоторые значения μ (β) при η = σ=ί
0,001
0,01
0,05
0,10
0,001
6,18
5,42
4,74
4,37
0,01
4,65
3,97
3,61
0,05
3,29
2,93
оло ι
2,56
Проблеме недостаточной мощности двойственна проблема
избыточной мощности. Статистическую значимость естественно связывать с
практической значимостью: р-значение можно интерпретировать как
свидетельство того, что выполняющаяся альтернатива физически зна-
189

чима, т. е. далека от гипотезы. Формула (5.2.12) показывает, что если
η очень велико, а параметр σ мал (эти условия могут выполняться либо
отдельно, либо вместе), то для альтернатив, очень близких к 0, можно
получить очень большую мощность. Такая проблема возникает, в
частности, в критериях согласия (см. разд. 9.6), когда мы занимаемся
проверкой гипотезы о том, что очень большая выборка произведена из
некоего вполне определенного распределения. Такие гипотезы часто
отвергаются, даже если для практических целей «согласие достаточно
хорошее». Дело в том, что при очень больших η становятся заметными
даже несущественные, небольшие расхождения. Возникающая в
связи с этим проблема допускает различные решения. Довольно часто все
они сводятся к такому выбору критического значения, при котором
вероятность отвергнуть гипотезу для значений параметра на границе
области индифферентности равна а. В примере 5.2.2 это означало бы,
что гипотеза отвергается в том и только в том случае, если
Vn —>г(1+а) + Уп —.
σ σ
Этот подход и некоторые эквивалентные формулировки рассмотрены
в задачах к разд. 5.2 и 5.3.
В заключение мы приведем еще один пример использования нашей
области индифферентности. Рассмотрим пример 5.2.1. Мы согласны
на область индифферентности (ф0, θ0 + Δ) и хотим найти наименьшее
п, при котором критерий 6ko уровня α при всех Φ ^Όό + Δ имеет
мощность не меньше β0. В обозначениях (5.2.3) это требование можно
записать в виде неравенства
β(Φ, K)>h при fl^Vf-Δ. (5.2.14)
Можно ожидать, что чем больше вероятность благоприятного исхода
Φ, тем больше стремится стать S. Следовательно, при любом k,
удовлетворяющем неравенству 0 < k ^ п, вероятность Р$ [S > k] —
возрастающая функция от Ф. В этом нетрудно убедиться (см.
задачу 5.2.11). Таким образом, неравенство (5.2.14) выполняется в том и
только в том случае, если
β(*0+Δ, δ,0)>β0. (5.2.15)
Кроме того, β ($0 + Δ, Sfeo) при η -*■ οο возрастает до 1 (см. задачу
5.2.11). Чтобы решить задачу, заглянем в таблицы биномиального
распределения и сначала найдем k0 для каждого /г, а затем проверим,
достаточно ли велико значение β (Ф0 + Δ, 6ko). Можно прибегнуть
и к приближенному анализу. Прежде всего заменим величину х0,
определяемую соотношением (5.2.5), при заданном k нормальной
аппроксимацией функции β (Φ, бй) (см. (5.2.4)):
β (Φ, δΑο) * 1-Φ — — Υ (5.2.16)
190

Полагая ύ^ = Ф0 -\~ Δ и подставляя правую часть приближенного
равенства (5.2.16) в (5.2.15), получаем
Лук*.-*) ,.(ΐ -}ι/»·<»-»·> W
WW-*,) У *ιΟ-«ι) / W
[я к функции, обратной функции мощности, как в
»«ь-<м +Ζ(ΐ-«)ΐ/θο(1~θο) <»(1-(Ц.
или, переходя к функции, обратной функции мощности, как в (5.2.12),
Vn (*o~i
V*l
Следовательно, η приближенно равно наименьшему целому числу,
которое больше или равно
[ζ(1 -α) УЪ^1=¥0) -ζ(1 -ро) Щ^Г($ι-%)-2·
Например, если α = 0,01, Ф„ = 0,1, $! = 0,2, β0 = 0,99, τοζ (Ι—β0)=
= — ζ (1 — α) и
пж (2,326)^0,49 = 265>1>,
(0,1)2
Сказанное допускает обобщение. Довольно часто существует
функция q (Φ), такая, что Η и К можно сформулировать следующим образом:
Η : q (Φ) < q0 и К : q ($)> q0. Пусть ft > ?0 — такое значение, что
при q {&) ^ qx мы хотели бы иметь мощность не меньше β. Множество
{Ь : q0<. q (Ь) <. qL} — наша область индифферентности.
Предположим, что при любом η мы располагаем критерием уровня а для Η
относительно К, основанным на подходящей статистике критерия Т.
Как и в рассмотренных нами примерах, мощность часто бывает
непрерывной возрастающей функцией от q (Φ) и при η ->■ оо и
фиксированном Φ 6 ©! возрастает до 1. Чтобы достичь уровня α и
мощности не меньшей β, выберем сначала с0 — наименьшее из чисел с, для
которых
Р*.[Т>Со]<*.
Пусть η — наименьшее из целых чисел, таких, что
Р*ЛТ^с0]>$9
где Ф0 определяется из соотношения q(&0) = <7о» а *ι — из
соотношения q(#i) = ?ι· Тот же метод применим, например, к /^-критерию
линейной модели из разд. 7.3, если функцию q (Ь) выбрать равной
параметру нецентральности, от которого зависит распределение
статистики, положенной в основу альтернативы.
5.3. ДОВЕРИТЕЛЬНЫЕ ПРОЦЕДУРЫ И ПРОВЕРКА ГИПОТЕЗ
5.З.А. Двойственность между критериями и доверительными
областями
Связь между этими двумя понятиями покажем на следующем
примере.
Пример 5.3.1. Двусторонние критерии для среднего значения
нормального распределения. Предположим, что ft0 — значение некоторой
191

физической константы, постулируемое установившейся теорией. У
некоего ученого имеются основания считать, что эта теория неверна,
и он производит η измерений константы и получает значения Xl9 ...,
Хп. Зная особенности измерительного прибора, ученый приходит к
заключению, что Х-г можно считать независимыми и одинаково
распределенными нормальными случайными величинами со средним Φ и
известной дисперсией σ2. Если любое значение Φ, отличное от $0,
допустимо в качестве альтернативы, то задачу разумно сформулировать
как проверку гипотезы Η : Φ = Ф0 относительно К ' Φ φ <V
Критерий размера α можно получить на основе построенного нами
для Ь доверительного интервала уровня (1 — а) следующим образом.
Мы принимаем гипотезу Η в том и только в том случае, если
постулированное значение Ф0 принадлежит доверительному интервалу
уровня (1 — а):
Γχ—aJl—Ц)/14, X + oz(l—^а)/^л|. С5·3·1)
Если выбрать Τ — "J//T (X — &о)/о, то наш критерий позволяет
принять гипотезу в том и только в том случае, если — ζ [1 aj^T^
^ ζ (1 α). Так как Р$\ \Т\ = ζ (1 a) =0, то наш критерий
эквивалентно характеризуется тем, что отвергает гипотезу Я, если
\T\^zll α). Такой критерий называется двусторонним,
поскольку он отвергает гипотезу как при больших, так и при малых
значениях статистики Т. В отличие от критериев примера 5.2.2, он
обладает мощностью относительно значений параметра по обе стороны
от Ф0. Более подробно мы обсудим это в примере 6.2.5.
Поскольку при каждом θ0 используется один и тот же интервал
(5.3.1), то в действительности наш метод порождает семейство
критериев {δ (Χ, Φ)}, где
,ЛЧ Ji.«»^:J2=iL>,(i-i-«).
{ 0 в остальных случаях.
Эти критерии соответствуют различным гипотезам: δ (Χ, Φ0) имеет
размер α только для гипотезы Η : Φ = Ф0.
Аналогичного результата мы достигнем, порождая семейство
критериев уровня а, если в качестве отправного пункта выберем, например,
величину X — ζ (1 — a) olY"n — нижнюю доверительную границу
уровня (1 — а) и положим по определению δ* (Χ, Ь) = 1 в том и
только в том случае, если X — ζ (1 — a) olYn^b. Нетрудно видеть, что
Р^вЧХ.во)=11=Р<ЛуБ£^>2(1-а)1.И (5.3.2)
Все. это — примеры некоего общего явления. В частности, если
[ft (Χ), Φ (X)]—доверительный интервал уровня (1—а) для Φ
192

и по определению δ (Χ, ft) = 1 в том и только в том случае, если
интервал не накрывает ft, то
PU«(^*o)=l] = l-\[*(X)<#o<#(X)]<l-(l--a)=a.
(5.3.3)
Следовательно, {δ (Χ, ft)} —семейство критериев уровня α, δ (Χ, ft0)
соответствует гипотезе Η : ft = ft0 при каждом ft0. Аналогично если
ft (X) — я. д. г. уровня (1 —а), то можно задать семейство {δ (X,ft)}
критериев уровня а, отвергая гипотезу в том и только в том случае,
если ft (X) > ft.
Наоборот, семейства критериев могут порождать доверительные
границы и интервалы. Пусть {б (X, ft)}—семейство критериев,
таких, что δ (X, ft0) — критерий уровня значимости α для проверки
гипотезы Я : ft = ft0 при любом ft0 ζ Θ, где θ £ R. Определим при
фиксированном χ подмножество С (х) в θ следующим образом:
С (х) = {ft : б (х, ft) = 0}. (5.3.4)
Это не что иное, как множество всех ft, которые были бы приняты,
если бы мы наблюдали X = χ и использовали данное семейство
критериев. Предположим, что при любом χ множество С (х) представимо
в виде <а (х), оо) (] θ, где < означает, что точка а(х) может
принадлежать, а может и не принадлежать лучу [а (х), оо). Тогда а (X) —
н. д. г. уровня (1 — а) для ft. Это действительно так, поскольку
Р* [а (X) < ft] > Ρ* [ft £C (X)] = Ρ» [δ (X, ft) = 0] = 1 -
— Ρ* [δ (Χ, ft) = 1] > 1 — α. (5.3.5)
Аналогично если множество С (х) при любом χ представимо в виде
<α (χ), 6·(χ)> Π θ, то [α (X), b (X)]—доверительный интервал
уровня (1 —α) для ft, и если С (х) имеет при каждом χ вид (— оо,
b (х)> Π θ, то 6 (X) — верхняя доверительная граница уровня
(1 — а) для ft. Заметим, однако, что существуют реалистические
примеры, в которых С (х) не является ни интервалом, ни лучом (см.
задачу (5.3.9)).
Доверительные границы и интервалы можно рассматривать как
случайные подмножества параметрического пространства, содержащие
истинное значение параметра с вероятностью, которая больше или
равна (1 —а). Справедливо и более общее утверждение: доверительная
процедура (область) С ставит в соответствие каждому χ £ Rn
подмножество С (χ) с Θ так, что случайное подмножество С (X) накрывает
истинное значение параметра ft с вероятностью, которая больше или
равна (1 — а), т. е.
Ръ [ft £ С (X)] > 1 — а. (5.3.6)
Между семействами {б(Х, ft)} критериев уровня α (где б(Х, ft0)
соответствует гипотезе Η : ft = ft0) и доверительными областями
С (х) уровня (1 — а) существует полная двойственность. Отношение,
в силу которого семейства критериев порождают доверительные
области и наоборот, задается определением (5.3.4) множества С (х).
193

Наглядно эта двойственность представлена на рис. 5.3.1. Если X и ft
одномерны, то множество С* = {(лг, ft) : б (х, ft) = 0} можно
изобразить на плоскости. Вертикальные сечения этого множества — области
С (х), в то время как горизонтальные сечения — области принятия
гипотезы Α (ft) = {χ : δ (λ:, ft) = 0}. Множество С* всех «совместимых»
значений параметров и данных полностью определяется либо {Α (θ)},
либо {Cj(x)}. В этом смысле метод центральных случайных
величин соответствует построению
множества С*, для которого
Ро [Α (ft)] не зависит от ft.
Доверительные множества
для функции g(ft) можно
определить как случайные
подмножества области ее
значений, накрывающие истинное
значение q (ft) с вероятностью,
не меньшей, чем (1 — а).
Заметим, что если С (X) —
доверительная область уровня
(1 — а) для ft, то
<7(C(X)) = {<7(ft):ft6C(X)}
Рис. 5.3.1. Область С*, индуцированная
семейством двусторонних критериев
размера 0,05 для среднего значения нормального
распределения с σ2=1 и л=1
— доверительная область
уровня (1—а) для </(ft).
Например, пусть Х19 ...,
Хп — выборка из
распределения NN (ft, σ2) с известной дисперсией σ2, и мы хотим установить
доверительный интервал уровня (1 — а) для доли F (х) элементов
генеральной совокупности, не превышающих данного предела х. В
рассматриваемом случае q (ft) = F {χ) = Φ [(χ — ft)/o]. Используя интервал,
полученный для ft в примере 5.1.1, мы заключаем, что
[ Ф(:±Ч^±!)Н), φ (~М'-Н/*1)
— интервал уровня (1 —а). Справедливо более общее утверждение:
если ft — вещественный параметр, q—строго возрастающая
вещественная функция параметра ft и ft — н. д. г. уровня (1 —а) для ft,
то q (ft) — н. д. г. уровня (1 — а) для ^(ft). Верхние доверительные
границы и доверительные интервалы обладают аналогичной
инвариантностью относительно растягивающих преобразований.
Если функция q (ft) не взаимно-однозначна, то описанный нами
метод, как правило, утрачивает эффективность: построенные
доверительные области для q (ft) могут содержаться в q (С (X)) с доверительным
уровнем (1 — а). Примером могут служить интервалы для отдельных
параметров, получаемые по S-методу разд. 7.4. Другие примеры
приведены в задачах.
194

В заключение приведем пример обращения семейства критериев
для получения доверительных областей.
Пример 5.3.2. Точные доверительные границы и интервалы для
вероятности благоприятного исхода η биномиальных испытаний.
Пусть Х19 ..., Хп — индикаторы η биномиальных испытаний с
вероятностью благоприятного исхода ft. Задав α ς (0, 1), мы ищем разумные
точные верхние и нижние доверительные границы уровня (1 — ос)
и доверительные интервалы для ft. Чтобы найти нижнюю
доверительную границу для ft, мы, следуя изложенному выше подходу, должны
рассматривать критерии уровня α для Я : ft < ft0, ft0 ζ (О, 1).
Естественными кандидатами являются критерии предыдущего раздела.
Воспользуемся некоторыми результатами, полученными в примере
5.2.1. Из самого определения ясно, что {δΛ($, α)} — семейство
критериев уровня а. Соответствующая доверительная область уровня
(1 — а) задается следующим образом:
С (Xlt ..., Xn) = {ft : S < k (ft, α) - 1}, (5.3.7)
где S=%Xt.
Чтобы проанализировать структуру этой области, необходимо
исследовать k (ft, α). Мы утверждаем, что
(1) k (ft, α) не убывает по ft;
(2) k (ft, α) ->- k (ft0, α) при ft f ft0;
(3) k (ft, а) в точках разрыва возрастает ровно на 1;
(4) t(0,a) = lHt(l,o) = n+ 1.
Начнем с доказательства утверждения (1). Как было показано в
задаче 5.2.11, Р$ [S ^j] не убывает по ft при фиксированном / и не
возрастает по / при фиксированном ft. Но тогда из неравенств ftx<ft2
и k (ftj, a) > k (ft2, α) следовало бы, что
a> P*t IS > k (ft2, a)] >Po, [S>к(Ъ19 a)— 1] >
> Р*г lS>k (ftlf a)~I]>a, (5.3.8)
и мы пришли бы к противоречию. В правильности утверждений (2)
нетрудно убедиться, если заметить следующее. Когда ft0 — точка
разрыва функции k (ft, α), то пусть / — предел функции k (ft, α) при
ft f ft0. Тогда Ръ [S ^ /] ^ α при всех ft < ft0 и, следовательно,
P&0 [S ^ /1 <a. С другой стороны, если ft > ft0, то P$ IS > /] > a.
Отсюда мы заключаем, что Р$0 [S ^ /] = α и / = k (ft0, a)·
Доказательство утверждений (3) и (4) предоставляем читателям в качестве
упражнений.
Из (1)—(4) следует, что если положить по определению
ft (S) - inf {ft : k (ft, a) = S + 1},
TO
c(X)=f ($(S).nimS>o,
I [0, 1] при S = 0,
195

й d (S) есть требуемай н. д. г. уровня (ί — ά) для 'θ4*. РассМатрийае-
мая нами ситуация изображена на рис. 5.3.2. Из сказанного выше
следует, что если S > 0, то k {Ь (S), а) = S, и поэтому мы находим Φ (S)
как единственное решение уравнения ~~
2 (" W(l-fl)n~r = <*. (5.3.10)
Если S = 0, то fl (S) = 0.
Определим аналогичным образом
\ Ι θ (S) = sup {# : / (Φ, α) = S — 1}, (5.3.11)
где / (θ, α) определяется неравенствами
2 ]Ог(1— #)""'<«< 2 #г(1—#)*-'· (5.3.12)
Тогда θ (S) — в. д. г. уровня_(1— а)
ft(9;Qfs) для ft, а если S < η, то θ (S) —
единственное решение, уравнения
s
2 1П ) *г(1 -θ)η-' = α. (5.3.13)
—l f- -l 1 -» Если S = η, το θ (S) = 1. Зада-
°'1 °>2. °'3 0А °*5 вая одновременно границы j& (S),
Рис. 5.3.2. График функции А;(О, 0,16) * (S), мы получаем доверитель-
ПРИ л==2 ный интервал [# (5), θ (S)]
уровня (1 — 2α). При некоторых η эти
интервалы можно построить по таблицам, приведенным в [1].
Как и следовало ожидать, при больших η границы и интервалы, о
которых шла речь в этом разделе, мало отличаются от границ и
интервалов, получаемых с помощью первого приближенного метода из
примера 5.1.3. В табл. VIII из работы [3] показано, насколько
«пересекаются» оба подхода, и приведены точные границы при малых п.
Использование нормальных аппроксимаций и приближений более
высокого порядка с общих позиций рассмотрено в работе [5]. ■
5.З.Б. Доверительные интервалы и мощность
[ Эквивалентность доверительных областей и семейств критериев
можно. использовать и в методологических целях. Покажем это на
примере 5.3.1. Предположим, что требуется проверить гипотезу Η :
ft = ft0 на „уровне а. Если мы принимаем гипотезу Я, то это означает,
что ft0 принадлежит доверительному интервалу для ft уровня 1 — а.
Но интервал говорит Нам, что на этом уровне с данными согласуются
* Используя ft (5) в качестве доверительной границы, мы используем
область [θ (5), 1]. Так как эга область содержит С (X), то она имеет
доверительный уровень (1 — а).
196

и другие значения ft. Если значения, сильно отличающиеся от ft0,
также накрыты доверительным интервалом, то критерии не обладают
достаточной мощностью относительно рассматриваемых альтернатив, и
нам могут понадобиться дополнительные исследования. С другой
стороны, если мы отвергаем гипотезу и затем обнаруживаем, что с
наблюдаемыми данными согласуются значения ft, очень близкие к ft0, то
критерии могут оказаться слишком мощными относительно альтернатив,
которые не всегда стоит отличать от ft0.
Сделанные замечания наводят на мысль о существовании
определенной связи между мощностью критериев и размером построенных на
их основе доверительных областей. Эту связь удается сформулировать
в явном виде в терминах разд. 5.2.В. Напомним, что μ (β) —
наименьшее альтернативное значение, при котором мощность одностороннего
критерия уровня α принятия гипотезы Я : μ = 0 относительно
альтернативы К : μ > 0 больше или равна β. Из (5.2.12) следует, что если
обе вероятности ошибки должны быть не больше β, то
μ (1 — α) « 2г (1 — α) σ/j/n. (5.3.14)
Но правая часть соотношения (5.3.14) есть не что иное, как ширина
доверительного интервала уровня 1 — 2а для μ, задаваемая формулой
(5.3.1), в которой аргумент -^ а] заменен на а. Другие связи между
шириной интервалов и μ (β), отношение к другим проблемам
односторонних критериев и т. д. рассмотрены в задачах и в разд. 6.3.
5.3.В. Приложения доверительных интервалов
к задачам сравнения и выбора
Предположим, чта на основе двустороннего критерия из примера
5.3.1 мы отвергаем гипотезу Я : ft = ft0 на уровне значимости а. Если
гипотеза оказывается отвергнутой, то мы заключаем, что ft Φ ft0.
Но обычно нам требуется выяснить, какое из двух неравенств —
ft > ft0 или ft < ft0 — выполняется в действительности.
Например, пусть ft — ожидаемая разность кровяного давления у
гипертоников, принимавших два лекарства А и В. Поскольку мы не
знаем, какому из двух лекарств — А или В — отдать предпочтение,
проверке подлежит гипотеза Я : ft = 0 относительно альтернативы
К : φ φ о. Если гипотеза Я отвергается, то естественно продолжить
сравнение лекарств А и В, чтобы выяснить, какое неравенство (ft< 0
или ft > 0) выполняется. Если мы решаем в пользу неравенства
ft < 0, то предпочтение необходимо отдать лекарству А, если в пользу
неравенства ft> 0, то лекарству В.
Выбор одного из трех вариантов (ft = ft0, ft<ft0 или ft>ft0)
служит примером задачи трех решений и частным случаем проблем
решения гл. 10. Здесь мы рассмотрим простой алгоритм, основанный
на использовании доверительного интервала / уровня (1 —а):
1) если / содержит ft0, то выбор одного из неравенств (ft < ft0
или ft >> ft0) не производится;
197

2) если / расположен целиком слева от θ0, то принимается решение
# < ф0;
3) если I расположен целиком справа от &0, то принимается
решение Ь > О0.
В примере 5.3.1 такой алгоритм эквивалентен следующему:
1) гипотеза Η : Φ = Ф0 не отвергается, если \Т\ < ζ (1 α);
2) если Τ < — г [ 1 α), то принимается решение θ < θ0;
3) если Τ> г (1 — —α], то принимается решение $ > θ0.
Таким образом, двусторонний критерий вполне допустимо
рассматривать как первый шаг в процедуре решения. Вероятность неверного
решения можно ограничить. Например, если $>$0, то неверное
решение принимается при Τ< —2(1 α). Это событие имеет
вероятность
<-fi")-^]=tfj·) -Щ*.).
ограниченную сверху величиной Φ (—zi\ α)) = — α.
Аналогично при ΰ,<'6,0 вероятность неверного решения не превосходит -^а.
Следовательно, процедуры такого рода в проблемах сравнения или
выбора позволяют контролировать вероятность неправильного выбора
заданием уровня α основополагающего критерия или доверительного
интервала. Аналогичным образом можно использовать двусторонние
критерии и доверительные интервалы, вводимые в последующих главах.
5.4. ПРИМЕЧАНИЯ
Раздел 5.2. г В примере 5.2.1 (при проверке эффективности лекарственных
препаратов) мы пренебрегаем некоторыми факторами, что делает описываемый
эксперимент неадекватным реальной клинической практике. Например, мы не
учитываем действия «пустышек» (см. разд. 9.2).
2 Во многих случаях следствия, к которым приводит совершенная ошибка
типа I или II, удается оценить численно. Лучше всего такую оценку
производить по схеме теории решений (см. гл. 10).
3 Разумеется, это утверждение неверно даже в нестохастических ситуациях.
Любая научная гипотеза (например, законы Ньютона) принимается лишь
временно, до тех пор пока новые данные не вынуждают отвергнуть ее в пользу новой
усовершенствованной гипотезы (теория Эйнштейна). При проверке
статистических гипотез и принятие, и отказ подвержены ошибкам, поскольку мы пытаемся
определить характеристики распределения на основе выборки, которая может
вводить в заблуждение.
4 Установить, обладает ли лекарство снотворным действием, можно и
другими способами. Например, мы могли бы разделить пациентов на две группы —
обследуемых (получающих лекарство) и контрольных (не получающих
лекарства). Такая схема эксперимента рассмотрена в разд. 6.4.Б.
198

5.5. ЗАДАЧИ И ДОПОЛНЕНИЯ
Задачи к разд. 5.1
1. Пусть Χι,..., Хп— выборка из нормальной генеральной совокупности
с неизвестным средним μ и неизвестной дисперсией σ2. Пользуясь центральной
я
случайной величиной, основанной на 2 (Xi — X)2, решите следующие задачи.
а) Укажите верхнюю доверительную границу уровня (1 — а) для а3.
б) Покажите, как построить доверительные интервалы уровня (1 — а)
фиксированной конечной ширины для 1η σ2.
в) Пусть 2 (Xi — X)* = 16,52; η = 2, α = 0,01. Какую величину вы
выбрали бы в качестве в. д. г. уровня (1 — а) для σ2?
2. Пусть Xi = (ft/2) ti + ε*, ι = 1, ..., nt где ε$ — независимые
нормальные случайные величины со средним 0 и известной дисперсией σ2 (см. задачу
3.2.1).
а) Используя центральную случайную величину, основанную на «. о. р. м. д.
η Ι η - ~
(2 ^t? Xi) I 2^ Для Ф» найти доверительный интервал уровня (1—а) и фикси-
рованной ширины для ft.
б) Какие значения следует выбрать для ti% чтобы наш интервал при
заданном α был как можно более узким, если 0 <! /j «< 1, ί = 1, ..., л, а в остальном
ti произвольны?
3. Пусть Χι, ..., Хп те же, что и в задаче 5.1.1. Предположим, что
экспериментатор, считая известным значение σ2, использует для μ нижнюю
доверительную границу вида μ (X) = X — с. Величина с выбрана так, что если σ2
принимает предполагаемое значение, то доверительный уровень равен (1 — а). Чему
равен истинный коэффициент доверия для μ, если σ2 может принимать любые
положительные значения?
4. Предположим, что в примере 5.1.3 параметр ft удовлетворяет неравенству
ft < 0,1.
а) Обосновать выбор интервала [ft, min (ft, 0,1)] при ft < 0,1 и [0, 0,1]
при jft > 0,1, где ft, ft определяются соотношениями (5.1.13).
б) Вычислить наименьшее п, необходимое для того, чтобы ширина интервала
из а) была равна 0,02 при уровне 0,95.
5. Доказать, что если q (X) — «. д. г. уровня (1 — ах), a ~q (Χ) — β. д. г.
уровня (1 — а2) для q (ft), то [q (X), q (X)] — доверительный интервал уровня
(1 — (ах + а2)) для q (ft). (При q> q интервал определите произвольно.)
Указание: воспользуйтесь (П. 2.7).
6. Доказать в примере 5.1.1, что если ах + а2 <! а, то самый узкий
интервал уровня (1 — а) вида
[X-2(l-ai)o/Vrt, Х+г(\-а2)о1УЯ]
получается при а% = а2 = а/2.
Указание: сведите рассмотрение к случаю аг + а2 = а (покажите, что
если aa + a2 < α, то всегда найдется более узкий интервал с аг + а2 = а).
Воспользуйтесь известными теоремами математического анализа.
^7. Докажите, что в двухэтапной доверительной процедуре Стейна *Ϋ~ΝΧ
X (X — μ)/$η0 имеет распределение FFn _i#
_° _ N
Указание: воспользуйтесь тем, что X = (n0/N)Xno + (l/N) 2 *ί·
/=/ΐο + 1
199

По теореме 1.3.3. величина sUo не зависит от Л^0. Так как N зависит только от
Sn0> то при заданном N = k величина "X имеет распределение NN (μ, aVk).
Следовательно, ~\/ν (Χ — μ) имеет распределение NN (0, σ2) и не зависит от
%· ]
8. а) Доказать, что в примере 5.1.1 для получения (при известной дисперсии
σ2) доверительного интервала уровня (1 —а) шириной не более 2d необходимо
взять по крайней мере г2 [ 1 — — α JoVcP наблюдений.
Указание: выведите неравенство для ширины интервала и разрешите его
относительно л.
б) Каков должен быть минимальный объем выборки в предыдущей задаче,
если α = 0,001, σ* = 5, d = 0,05?]
в) Предположим, что дисперсия о2 точно не известна, но заведомо
удовлетворяет неравенству о2 <! of. Доказать, что для построения доверительного
интервала из п. а) необходимо произвести η > г2 ί Ι --α о\1<Р наблюдений.
9. Пусть 5 ~ ВВ (л, ϋ) и К = Sin. _
а) Пользуясь решением задачи 1.5.9, доказать, что arcsin (V X) ± г (1 —
[—г( —а))/2"]//Г—приближенный доверительный интервал уровня (1—а) для
arcsin (]/Ъ).
б) Воспользуйтесь результатом п.а), чтобы вычислить приближенный
доверительный интервал уровня 0,95 для θ при η = 100 и X = 0,1.
в) Решить задачу п.б), используя не задачу 5.1.9а, а соотношения (5.1.13).
10. Пусть X±t ..., Хп и Yit ..., Υη —две независимые выборки из
генеральных совокупностей с распределением NN (μ, σ2) и NN (η, τ2).
а) Найти о. м. л. и н. о. /?. м. д. для μ, η, σ2 и τ2, если все параметры
неизвестны. Доказать, что каждая из этих двух четверок (о. м. л. и я. о. р. м. д.)—
достаточная статистика. ч
б) Указать доверительный интервал уровня (1 —а) для τ2/σ2, используя
центральную случайную величину, основанную на статистиках п,а). Какие
таблицы понадобятся вам для вычисления интервала?
в) Укажите доверительный интервал уровня (1 — а) и фиксированной
ширины для (η — μ), если σ2 и τ2 известны.
Такие задачи с двумя выборками возникают при сравнении точности двух
измерительных приборов и определении эффективности двух лекарств.
11. Доказать, что задаваемые соотношения (5.1.13) концы приближенного
интервала уровня (1 — а) служат приближенными границами (верхней и
нижней) уровня (1 — — а].
Указание: [О (X) < θ] = [Ул (X — #)/[# (1 — 0)]'/г < ζ( 1 — 1-а\
12. Пусть S ~ ВВ (л, О) и известно, что θ << 1/4.
а) Доказать, что X ± Т/Зг {1 — - α J/4"]/n — приближенный доверительный
интервал уровня (1 — а) для θ.
б) Какой объем выборки необходим для того, чтобы ширина этого интервала
не превосходила 0,02?
13. Предположим, что на выборке из 64 пациентов испытывается новое
лекарство и 5 = 25 из них выздоровели. Пусть S ~ ВВ (64, О). Указать 95%-ный
доверительный интервал для истинной доли φ выздоровевших, используя: а)
(5.1.13) и б) (5.1.17).
200

14..Предположим, что 25 измерений предела прочности некоторого сйлава
дают χ = 11,1 и s = 3,4. Пусть выборка произведена из генеральной
совокупности с распределением NN (μ, σ2). Найти:
а) доверительный интервал уровня 0,9 для μ,
б) доверительный интервал уровня 0,9 для σ,
в) доверительную область уровня 0,9 для (μ, σ),
г) доверительный интервал уровня 0,9 для μ+σ.
15. Доказать, что коэффициент доверия прямоугольника из примера 5.1.5
кч··
равен |
Задачи к разд. 5.2
1. Предположим, что Χι,..«, Χη — независимые и одинаково
распределенные случайные величины с равномерным распределением UU (0, θ). Пусть Мп =
=* max №.,..., Хп) и jg
(,Ο в остальных случаях.
а) Вычислить функцию мощности для бс и доказать, что она монотонно
возрастающая функция от θ.
б) Предположим, что проверяется гипотеза Я: О <! 1/2 относительно
альтернативы К : Ф> Vf. При каком выборе с критическая *А функция бс имела бы
размер, равный 0,05?
в) Начертить общий ход функции 6С из п.б) при η = 20.
г) Каким должно быть число η для того, чтобы функция мощности для^бс
из п. б) имела мощность 0,98 при д = 3/4?
^ д) Чему равно р-значение, если η = 20, Мп = 0,48?
'* 2. Пусть Χι,..., Χη означают моменты отказов в течение 'рабочего дня η
одинаковых экземпляров оборудования. Предположим, что мы имеем дело с
моделью, в которой X = (Xi, ...f Xn) есть выборка из распределения ΕΕ(λ). Рас-
смотрим^гипотезу Я : Ι/λ == μ <! μ0, где μ — средняя продолжительность
работы оборудования до отказа.
а) Пользуясь результатом задачи 1.3.4, доказать, что критерий^
критической областью
[Χ>μ0 *(1— α)/2/ι],
где χ (1 — а) есть (1 — а)-й квантиль распределения %*п — критерий размера а,
б) Выразить мощность через характеристики распределения χΐη.
в) Пользуясь центральной предельной теоремой, доказать, что Φ [μ0ζ (α)/
/μ) + ~V~n (μ — μο)/μ! — аппроксимация мощности критерия из п. а).
Постройте график приближенной функции мощности.
Указание: аппроксимируйте критическую область [множеством IX >
>μο(1 + *(1-α)/ν«)].
г) Ниже приведены данные о продолжительности (в днях) работы до первого
отказа воздуходувок на атомной станции. Найти нормальную аппроксимацию
вероятности значимости при μ0*= 25. До первой поломки воздуходувки
проработали 3, 150, 40, 34, 32, 37, 34Д2, 31, 6, 5, 14, 150, 27, 4, 6, 27, 10, 30, 37 дней.
Отвергнута ли гипотеза Я на уровне α = 0,05?
3. Те же условия, что и в предыдущей задаче.
а) Доказать, что использование критерия уровня а, отвергающего
гипотезу Η : μ ·< μο в том и только в том случае, если Τ > г (1 — а), эквивалентно
принятию для μ н. д^ г. уровня (1 — а) в том н только в том случае, если μ0 ^
X _ г (1 _- а) о/У η (где Т=Уп(Х — μ0)/σ).
б) Пусть л = 25, σ= 1 и а = 0,05. Вычислить μ (β) при β= 0,1; 0,2; 0,4;
0,6; 0,8; 0,9 и построить график функции μ (β) — μ0.
в) Найти наименьший объем выборки, необходимый для достижения
мощности не меньше 0,5 относительно альтернатив μ > μ0 + Δ при α = 0,05,
σ == 1 и Δ в2",2 и10·
201

4. Предположим, что в примере 5.2.Й требуется, чтобы мощность tie rtpefcOC*
Ходила 0,10, когда μ принадлежит области индифферентности (0; 0,2). Указать
критическую область критерия, основанного на Τ (Χ) = "γη Х/о при σ=3 и
η = 25.
5. Пусть Xlt ..., Χη — выборка из распределения Ρ Ρ (φ).
а) Пользуясь «. о. р. м. д. X параметра θ, построить критерий уровня α
для Я : θ < #0 относительно /С : θ > Ф0. Какие таблицы понадобятся вам, чтобы
получить критическое значение уровня а?
в) Вывести приближенное выражение для критического значения при
больших η и значениях θ, не слишком близких к 0 или оо. (Воспользуйтесь
центральной предельной теоремой.)
6. Пусть X имеет распределение НН {Νϋ9 Nt η) с неизвестным параметром θ.
Пользуясь н. о. р. л*, д. Xln для Ь из примера 4.2.2, построить критерий уровня
α для гипотезы Я : θ > θ0 относительно /С : θ < θ0· Какие таблицы
понадобятся вам, чтобы точно вычислить критическое значение и какое приближение могло
бы быть подходящим?
Указание: доказать, что функция мощности убывает по θ, можно следующим
образом. Предположим, что θχ < θ2 и число бракованных изделий колеблется от
1 до #θ2. Пусть X' — число бракованных изделий в выборке среди первых Νϋχ
изделий. Тогда
р*% IX < *] <Л>, IXе < ь\ « P*t IX <М ·
7. Пусть Θ0 = {ϋ0}.
а) Доказать, что если Τ (X) имеет плотность при Φ =ft0f T0 α (Π' имеет при
#= О0 равномерное распределение UU (0, 1).
б) Доказать, что в условиях п. а) критерий, отвергающий гипотезу Я при
α (Τ) <; α, совпадает с критерием размера α с критической областью [Т (х) >
Указание: при решении задачи а) воспользуйтесь результатом задачи 1.2.12а.
8. Пусть Xlf ..., Хп — выборка из генеральной совокупности с плотностью
распределения Рэлея
/ (*, #) = (х№) ехр {— ^/2да}, χ > 0, fl > 0.
а) Используя полную достаточную статистику для этой модели, построить
критерий приближенного размера α для Я : 0= 1 относительно /С : θ > 1.
Указание: примените центральную предельную теорему для критического
значения.
б) Проверить, что статистика критерия при К имеет большее математическое
ожидание, чем при Я.
9. а) Доказать, что в примере 5.2.2 утверждение: «критерий, основанный на
Τ = Ύη Χ/σ, имеет максимальную мощность у ζ (α, 1) при μ, принадлежащем
области индифферентности (0, Δ)», эквивалентно утверждению: «критерий для
проверки гипотезы Я : μ «< Δ относительно альтернативы /С : μ > Δ имеет
размер γ».
б) Предположим, что альтернативы из (0, Δ) практически незначимы, а
вероятность их обнаружения не должна превосходить γ. Доказать, что гипотеза
отвергается в том и только в том случае, если Τ > г (1 — γ) + V/ΓΔ/σ.
10. Предположим, что в примере 5,2.2 мы хотим иметь критерий мощности
не более 0,1 при μ ζ (0, 1) и не менее 0,9 при μ > 2. Найти наименьшее значение
л, при котором эти требования выполняются для случая, когда σ = 1.
11. Доказать, что в биномиальном примере 5.2.1
а) Рφ [S > k] возрастает по θ,
б) β (θ0 + Δ, 6ft0) возрастает до 1 при л -^ ее.
Указание: а) Продифференцируйте Р$ [S > k] по θ. Рассмотрите два слу·
чая: k > ηθ и &< ηϋ. В первом случае производная заведомо неотрицательная,
202

а во втором не меньше, чем
^ь-ч·)·'·'-*-'--^-·
12. а) Предположим, что одна и та же гипотеза Я : θ = ϋ0 подвергается
k независимым проверкам на основе различных совокупностей данных и
независимых статистик 7\, ..., Тъ, каждая из которых равномерно распределена, если
гипотеза Я верна. Пусть α (7\),..., а (Тъ) — соответствующие р-значения.
Статистику
F=-2 2 lna(Tf),
следуя Фишеру (1932 г.), часто используют для объединения всех данных при
проверке гипотезы Я : 0 = θ0. Обосновать на эвристическом уровне
использование критерия, отвергающего гипотезу Я, если статистика F слишком велика,
б) Доказать, что если гипотеза Я верна, то F ~ χ?£.
13. Пусть о модели примера 5.2.2 вам стало известно, что (О, Δ) — область
индифферентности. Будет ли 1—Φ ( γη Χ/σ) по-прежнему разумным р-значе-
нием? Можете ли вы предложить более разумную альтернативу?
Задачи к разд. 5.3.
1. Пусть Хх Хп и Уг Υη2 — независимые выборки из генеральных
совокупностей с распределениями ЕЕ (ϋ) и ЕЕ (λ), Δ = θ/λ.
а) Пусть / (a)-—a-й квантиль распределения FF2n t 2η2· Доказать, что
ΝΉ/'· Ч--Н/?]
—доверительный интервал для Δ с коэффициентом доверия (1 — а).
Указание: воспользуйтесь результатами задач 1.3.4 и 1.3.5.
б) Доказать, что критерий с областью принятия [/ fo- a) <;"X/F"</ (1 —
-HI
имеет размер α при проверке гипотезы Я : Δ= 1 относительно К : Δ Φ Ι.
в)" Ниже приведены данные о продолжительности (в днях) бесперебойной
работы воздуходувок на атомной станции при двух различных схемах проведения
профилактических работ. Опыт показал, что предположение об
экспоненциальном распределении можно считать оправданным. Указать 90%-ный
доверительный интервал для отношения средней продолжительности бесперебойной работы
д: Г 3 150 40 34 32 37 34 2 31 6 5 14 150 27 4 б 27 10 30 37
у | 8 26 10 8 29 20 10
Отвергается ли_ гипотеза НА = 1 на уровне a = 0,10?
2. Пусть θ (X) — в. д. г. для θ уровня (1 — а). Доказать, что критерий,
принимающий гипотезу в том и только в том случае, если θ (Х)> θ0, имеет
уровень α при проверке гипотезы Я : θ > Ф0.
Указание: если ϋ > θ0, to [ft (X) < θ] Ζ) [θ (Χ) < #0] ·
3. а) Вывести из задачи 5.3.2, что критерии для Я : σ2 = σ§, основанные
на в. д. г. уровня (1 — а) из задачи 5.1.1, имеют уровень α для Я : σ2 > σ§.
б) Выразить явно функцию мощности критерия из п.а) через функцию
распределения хЙ—I.
в) Пусть η = 16, a = 0,05 и σ = 1. Сколь малой должна быть альтернатива
о2, чтоб критерий размера α из п.а) имел мощность 0,90?
203

4. а) Найти с, при котором бс из задачи 5.2.1 имеет размер α для Я : Φ <
б) Вывести я. д. г. уровня (1 — а), соответствующего бс из п.а).
в) Вывести е. д. е. уровня (1 — а) для этой задачи и построить
доверительные интервалы, образуемые двумя такими границами уровней (1 — αχ) и (1 —
— а2).
г) Доказать, что [Λίη, ΛίΛ/αη] — самый узкий из таких доверительных
интервалов.
5. Пусть Xf9 X2 — независимые случайные величины с распределениями
NN (Οι, σ2), NN (θ2, σ2). Проверке подлежит гипотеза Я : Οχ = θ2 = О
относительно альтернативы /С : θ? + о| > 0 при неизвестной дисперсии σ2.
а) Пусть 6c(Xif Х2) = 1 в том и только в том случае, если Х\ + Х\ > с. При
каком значении с достигает размера а?
б) Пользуясь задачами 1.3.12 и 1.3.13, доказать, что мощность β (Οχ, θ2) —
возрастающая функция от Ь\ + θ|.
в) Модифицировать критерий из п. а) так, чтобы получить процедуру
уровня α для Я : θχ = OJ, ^=^5, семейство доверительных кругов для (θχ, ΰ·2).
Указание: в) случайные величины Χχ—θ?, Хг— θ§ независимы и имеют
распределения NN(О*—OJ, σ2), NN(Ъ2— θ°, σ2).
6. Пусть Χχ, ..., Χη — выборка из генеральной совокупности с
плотностью / (/ — μ), где μ и / неизвестны, но / (/) = / (— t) при всех /, и, кроме того,
функция /'непрерывна и положительна. Следовательно, мы имеем семейство
распределений с параметром сдвига. <й *" ►
а) Доказать, что проверка гипотезы Я : μ < 0 относительно альтернативы
К : μ'> 0 эквивалентна проверке гипотезы Я' : Ρ [Χ^^βΥ^. к относительно
К' : Ρ [Xi > 0] > ζ ·
б) Знаковый критерий для гипотезы Я относительно альтернативы /С
определяется как
1 ПРИ I 2 /гг. ^ о1 ) > *i
вк(Х> =
(Ι/μ^οΐ):
0 в остальных случаях.
Найти значения k (α), при которых δ^(α) имеет размер α для Я.
в) Доказать, что &k{a) {Х± — μ0, ..., Χη — μο) — критерий уровня α для
гипотезы Я : μ <! μ0 относительно альтернативы К : μ > μ0.
г) Доказать, что *<n_ft(a)+i) (гАе XU) — /*я порядковая статистика
выборки) — н. д. г. уровня (1 — а) для μ, если f удовлетворяет нашим условиям.
д) Доказать, используя задачу 1.2.12, что Ρμ [Xq> < μ], а в более
общем случае
Ρμ [%< μ <X(Jk)l,
не зависит от / или μ.
7. Для модели из задачи 5.1.10 вывести критерий уровня α для гипотезы
Я : τ2 <! σ2 относительно К : τ2 > σ2 и указать, по каким таблицам можно
вычислить функцию мощности этого критерия.
8. Пусть θ = (μ, η), где μ — рассматриваемый, а η — мешающий
параметры. При каждом допустимом значений μ0 параметра μ мы располагаем
критерием δ (Χ, μ0) уровня α сложной гипотезы Я: μ = μ0. Пусть [CJX) =
*= {μ :δ(Χ, μ)= 0}. -■*&
а) Доказать, что С (X) —- доверительная область уровня (1 — а) для пара^·
метра μ, а каждая доверительная область 'уровня (1 — \а)} для^ эквивалентна
некоторому семейству критериев уровня α этих сложных, гипотез. . .
£04

б) Найти семейство критериев, соответствующих доверительному
интервалу уровня (I — а) для μ из примера 5.1.1, если дисперсия σ2 известна.
. &.Пусть Х-и Υ — независимые случайные величины, X о- NN (ν, 1),
•γ ~ NN (η, 1), Ρ = ν/η, θ = (ρ, η). Зададим
Λ (Χ, У,.р) =
0 при|Х^рУ|<(1+Рз) 2 2(ΐ^γα|,
1 в остальных случаях.
а) Доказать, что δ (X, К, р0) — критерий размера а для Я : ρ =?= р0.
б) Описать доверительную область, возникающую при обращении семейства
{δ'(ΧκΥ> Ρ)} (см.задачу 8). Обратите внимание на то, что.зта доверительная
область не обязательно должна быть интервалом или лучом. Эта задача .является
упрощенным вариантом проблемы, с которой приходится сталкиваться
приостановлении доверительного интервала для нуля линии регрессии. ," w .
10. Пусть Χ ~ΝΝ, (ft, 1) и q (ft) = ft2. , , ......
а) Доказать, что доверительная граница для q (ft), которая получается из
образа луча (X — ζ (1 —α), οο) под действием преобразования qt определяется
следующим образом:
(X—г(1—а))2 при Х>*(1—а),
0 при Х<г(1—·а,).
б) Доказать, что
*<*>-{
'.*«<*■-{ ϊΓο-Ξ^0,
-2ft) при ft<0
и, следовательно, что sup P* [q(Х)<θ3] = 1.
11. Пусть α (5, do) — ρ-значение критерия для проверки гипотезы Я : ft =*
= ft0 относительно альтернативы /С: θ > ft0 в примере 5.2.1 и пусть
ft (5), θ (5)J — точный доверительный интервал уровня (1 — 2а) для ft из при·
мера 5.3.2. Доказать, что ft принимает значения от ft(S) Aoft(S);a (S, θ)
принимает значения от α до некоторого числа, не меньшего 1 — а. Таким образом,
если ft0 < ft (S) (5 не согласуется с Я : ft = ft0), то величина Δ = ft(S) — ft0
указывает, как далеко придется отойти от ft0 прежде, чем значение S
перестанет быть столь необычным.
5.6. БИБЛИОГРАФИЯ
1. С 1 о ρ ρ е г С. J. and Pearson E. S. (1934). The use of confidence or
fiducial limits illustrated in the case of the binomial. — Biometrica, 26, 404—413.
2. Fisher R. A. (1958). Statistical Methods for Research Workers. 13th
edition. Hafner Publishing Co. New York. Русский перевод: Φ и ш e ρ P. А.
Статистические методы для исследователей. М., Госстатиздат, 1958.
3. F i s h e r R. A. and Y a t e s F. (1957) Statistical Tables for Biological,
Agricultural, and Medical Research. 5th edition. Oliver & Boyd, Edinburgh.
4. Harvard University Computation Laboratory (1955). Tables of the
Cumulative Binomial Distribution. Harvard University Press, Cambridge, MA.
5. К e n d a 1 1 M. G. and S t u a r t A. (1967). The Advanced Theory of
Statistics. Vol. II, 2nd edition, Hafner Publishing Co. New York. Русский перевод:
Кендалл М. Дж., С τ ь ю а ρ т. А. Статистические выводы и связи. Т. 2.
М., Наука, 1973; Многомерный статистический анализ и временные ряды. Т. 3.
М., Наука, 1966.
6. National Bureau of Standards (1950). Tables of the Binomial Probability
Distribution, U. S. Government Printing Office, Washington, D. C.
205

7. N е у m a n J. (1952). Lectures and Conferences on, Mathematical
Statistics and Probability. 2nd edition. Graduate School, U. S. Department of
Agriculture. Washington, D. C.
8. Pratt J. (1961). Length of confidence intervals. —J. Amer. Statist.
Assoc, 56, 549—567.
9. S t e i η С. (1945). A two sample test for a linear hypothesis whose power
is independent of the variance.— Ann. Math. Statist., 16, 243 — 258.
10. Τ a t e R. F. and К 1 e t t G. W. (1959). Optimal confidence intervals
for the variance of a normal distribution. — J. Amer. Statist. Assoc, 54, 674—682.
11. W a 1 d A. (1947). Sequential Analysis. J. Wiley & Sons, New York.
Русский перевод: В а л ь д А. Последовательный анализ. М., Физматгиз,
1960.
12. W e t h е г i 1 1 G. В. (1966). Sequential Methods in Statistics. Methuen
& Co. London.
13. W i 1 k s S. S. (1962). Mathematical Statistics. J. Wiley & Sons New
York. Русский перевод: У и л к с С. С. Математическая статистика. М., Наука,
1967.
14. van Z w e t W. R and О s t e r h о f f J. (1967). On the combinations
of independent test statistics. — Ann. Math. Statist., 38, 659—680.

Глава 6 # ОПТИМАЛЬНЫЕ КРИТЕРИИ
И ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ:
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
И ПРОЦЕДУРЫ, СВЯЗАННЫЕ
С ОТНОШЕНИЕМ ПРАВДОПОДОБИЯ
В предыдущей главе мы ввели статистики критерия и центральные
случайные величины только для того, чтобы построить «разумные»
критерии уровня α и доверительные процедуры уровня (1 — а).
Теперь мы намереваемся рассмотреть задачу о выборе оптимальных
критериев и доверительных процедур из всех критериев и процедур,
удовлетворяющих ограничениям на уровень.
6.1. ЛЕММА НЕЙМАНА-ПИРСОНА
Напомним, что для критерия δ мощность β (θ, δ) есть вероятность
отвергнуть гипотезу Я, когда Φ £ ©χ.
Определение 6.1.1. Критерий δ* уровня α является равномерно
наиболее мощным (р. н. м.) критерием для Η : д ζ Θ0 относительно
К · θ 6 ©ι в том и только в том случае, если
β (θ, δ*) > β (θ, δ) при всех fl» 6 Θχ (6.1.1)
для любого другого критерия б уровня α,
В разд. 2 этой главы мы покажем, что критерии, развитые в разд. 5.2,
являются р. н. м. В этих примерах из разд. 5.2 и во всех обычных
ситуациях, в которых существует р. я. м. критерии, семейство р. я. м.
критериев уровня α порождается статистикой критерия, т. е.
критическая область имеет вид {χ : Τ (χ) ^ с}, где Τ — некоторая
статистика. Такие статистики критерия Τ мы будем называть оптимальными.
Предположим, что Φ может принимать только два значения: θ0 и
θχ, и мы хотим проверить простую гипотезу Η : ft = ft0 относительно
простой альтернативы К : ft = ftle Следуя Нейману и Пирсону, мы
найдем в этом случае наиболее мощный (я. м.) критерий, по крайней
мере при некоторых значениях а. Такого рода проблемы проверки
встречаются редко. Однако решение проблемы, даваемое леммой
Неймана и Пирсона, представляет общетеоретический интерес и послужит
основой для создания р. я. Л£. критериев.
Зададим L (х> ft0, ftx) соотношением
Ι(Χ,θ„,θ1) = ^ίιΜ, (6.1.2)
207

где ρ (χ, ft) — функция плотности или частотьг случайной величины'
X. Статистика L обращается в бесконечность при ρ (χ, &г) > О,
ρ (χ, ft0) = 0 и считается равной нулю, когда числитель и знаменатель
обращаются в нуль"одновременно.
Статистику L разумно использовать для проверки гипотезы Η
относительно альтернативы /С, причем большие значения
свидетельствуют в пользу К против Н. Например, предположим, что
распределение величины X задано следующей таблицей, в которой приведены
значения функции частоты ρ (χ, ft) при ft0 = 0, ftx = 1:
β4^!
0
1 -
0
0,9
0
1
0
0,9
2
ο,ι
.0,1
Нетрудно видеть, что L (0, 0, 1) = 0,1.(1 ,Ό, 1) = оо, L (2, 0, 1) = 1.
В этом примере существуют ровно двй критерия, основанных на ста-"
тистике L, размера меньше 1: «Отвергнуть Η в том и только в том
случае, если X = 1 (L = оо)» и «Отвергнуть Η в" том и только в том
случае, если X = 1 или X = 2 (L > 1)». Первый критерий имеет
размер 0, второй—размер 0,1. Нетрудно видеть, что оба критерия
являются наиболее мощными критериями, достижимыми при размерах 0 и
1, 3τοΐ ^ривиальрый пример указывает на общий случай: статистика
критерия L оптимальна для проверки гипотезы Η : ft = ft0
относительно альтернативы К : ft == *ι.
Теорема 6.1.1. (лемма Неймана—Пирсона). Пусть 6k —
критическая функция критерия, отвергающего гипотезу Η : ft = ft0 в том и
только в том случае, если отношение правдоподобия не меньше k,
где 0 ^ k ^ оо, а δ — критическая функция любого критерия,
размер которого не превышает размер критерия 6fe, т. е.
Р(*о. β)<β(θβ, 8k). (6.1.3)
Тогда β (*lf δ) < β (ftx, 6k).
. Прежде чем мы приступим к доказательству теоремы, приведём
пример, показывающий, как вычисляется наиболее мощный критерий,
&ь уровня а.
• Пример 6ЛЛ. Спутниковые системы связи. Проверка исправности
спутниковых систем связи производится следующим образом. С
Земли на спутник посылают очень сильный сигнал. Спутник посылает οτν
ветный сигнал интенсивности t)>0 в течение η секунд или, если
линия не работает, не дает отклика. Из-за высокого уровня шумов,
в космическом пространстве· интенсивность· принятия на Земле сигна*
лов изменяется случайным образом и в том случае, когда спутник
посылает ответные сигналы, ή в.том случае, когда спутник молчит.
Средняя' интенсивность сигнала, "приводящаяся на 1 с, записывается для

каждой из η секунд. Пусть Xt — средняя ийтейсивйос!ъ СйГйалй,
полученного в течение ί-й секунды минус средняя амплитуда шумов.
Условимся считать Xt независимыми и одинаково распределенными
случайными величинами с распределением NN (μ, σ2), где μ = ιν
если аппаратура на спутнике функционирует (если аппаратура
неисправна, то Xi = 0). Дисперсия σ2 «шума» предполагается
известной. Если главная ошибка состоит в том, что не функционирующий
спутник будет признан работающим, то наша задача состоит в
проверке гипотезы Η : μ = 0 относительно альтернативы К · μ = v. Чтобы
найти наиболее мощный критерий уровня а, вычислим величину
!(*,..., хп, 0, t») = exp(1^- [ £ xf- £ (Xi-vf]\ =
Заметим, что любая строго возрастающая функция оптимальной ста*
тистики оптимальна, так как обе статистики — «аргумент» и «функция»
— порождают одно и то же семейство критических областей.
Следовательно, статистика
lnL(X, 0, υ)-' т%
также оптимальна для рассматриваемой задачи. Но Τ — статистика
критерия, приведенная в примере 5.2*2. Из того же примера известно,
что при любом заданном а критерий, отвергающий гипотезу в том
и только в том случае, если
>>2(1 —а), (6.1,4)
имеет вероятность ошибки типа I, равную а.
Вероятность ошибки типа II для этого критерия, как Видно-из
(5.2.10), равна Φ [г (1 — «) — (νγη/o)]. По лемме
Неймана—Пирсона — это наименьшая вероятность ошибки типа II, достижимая для
критерия уровня а,
В рассматриваемой нами задаче вероятностями ошибок типа I
и II желательно управлять. Воздействовать на эти вероятности мы мо-1
жем, варьируя число я. Для оценки η применимо неравенство (5.2.13).
Например, чтобы вероятности ошибок типа I и II не превосходили а,
число η должно бъпъ больше или равно
^{z(\-*)+z(l-a))* = ^z4l-*). Ш
Доказательство леммы Неймана—Пирсона. Докажем Несколько
более общее утверждение. Пусты]) — любая функция на Rn, такая, чта
а) 0 ^ ψ (χ) *ζ 1 при всех х,
β)£·.(*(Χ)Χ^(β*(Χ». (6.1.5)
209

Докажем, tito ё mom случае
**(*(X))<^MX))· (6-1.6)
Напомним, что для любой критической функции δ
β (*, δ) = Ε* (δ (Χ)).
Утверждение теоремы 6.1.1 следует из (6.1.6), если положить ψ= δ,
где δ — критическая функция критерия любого заданного уровня а.
Докажем соотношение (6.1.6). Предположим, что X —
непрерывная величина. Схема рассуждения остается в силе и для дискретной
величины X, только интегралы заменяются суммами. Основная идея
доказательства заключается в следующем: так как 0 ^ψ (χ) ^ 1, из
определения Ьк мы заключаем, что при всех χ выполняется неравенство
ψ (χ) (ρ (χ, АО - k ρ (χ, *ο)) < Sft (χ) (ρ (χ, Φχ) - kp (x, *β)). (6.1.7)
Действительно, разность ρ (χ, θχ) — kp (χ, Φ0) меньше или больше
нуля в зависимости от того, 8k (χ) = 0 или 6k (χ) = 1. Интегрируя
обе части неравенства (6.1.7) по хъ ..., хП9 получаем
-j-CO -J- 00 -J- ОО -|- 00
J ··· J" 4>(x)p(x,*i)<ix—* f ... J Ч>(х)р(х.*о)Л<
«_ 00 ·"■* 00 ^™ 00 ^— 00
< J0"... j~afr(x)p(x,d1)dx-* j ... J 6ft(x)p(x,O0)dx. (6.1.8)
«^ 00 «™~ 00 ^™ 00 "■— 00
При & < oo неравенство (6.1.8) эквивалентно неравенству
Е*г (ψ(Х))-£* (β» (Χ)) <ft{£», (ψ(Χ))-£*0(δΑ (Χ))}. (6.1.9)
Поскольку k ^ 0, (6.1.6) следует из (6.1.56) и (6.1.9). Тем самым
теорема доказана для конечных значений k. Доказательство леммы
Неймана—Пирсона при &=оо мы предоставляем читателю (задача 6.1.3). И
Существует простое обобщение теоремы 6.1.1, которое также
принято называть леммой Неймана—Пирсона.
Теорема 6.1.2. Пусть 0 <!& < оо, 8% — критическая функция
любого критерия, такая, что 8% (х) = 8k (χ) на {χ : L(x, θ0, Οχ) Φ k}>
но заданная произвольно на {χ: L (χ, θ0, Αί) = k}. Тогда δ%
порождает наиболее мощный критерий для проверки гипотезы Η: θ = Ф0
относительно /О ♦ = *ι на уровне Р$ш [δ% (X) — П.
Доказательство полностью аналогично доказательству теоремы
6.1.1, так как при L = k неравенство (6.1.7) сводится к тождеству
0 = 0. Критерии этого типа мы будем называть критериями Η—Π
(Неймана—Пирсона). Заметим, что вероятность Ρ<>β [δ£ (X) = 1] не
обязательно равна Р$й [bk (X) = 1]. При подходящем выборе δ% мы
нередко получаем наиболее мощные критерии для большего числа
размеров а, чем порождает δΑ. Продемонстрируем это на следующем
примере.
Пример 6.1.2. Оценивание объема выборки (продолжение).
Предположим, что, так же как в примерах 2.2.3 и ЗД2, мы наблюдаем η
210

номеров, которые можно считать выборкой из генеральной
совокупности с функцией частоты
— при х= 1,..., ft,
/(xf#)=J θ F (6.1.10)
(Ов остальных случаях,
где Φ — положительное целое число. Мы хотим проверить гипотезу Н:
θ = $0 относительно альтернативы /С: θ = Ьг, где Οχ > θ0· Из
(2.2.10) получаем
|оо, если Ф0< max(*!,..., αγ^^^ι»
(А)", «листах <*,,.., *„)«*.. (6М1)
Тогда при любом / ^ Ф0 критерий «Отвергнуть гипотезу Η в том и
только в том случае, если max (Χι, ..., Χη) ^ /» есть критерий Н—П.
Здесь k = ($0/Ь1)п и на Ak = {L (x, Ф0, Фх) = &} величина δ£ есть
индикатор множества {х: / ^ max (xl9 ..., α^^^ό}· Следовательно,
по теореме 6.1.2 этот критерий является я. м. на уровне
Я^[п1ах(Хь....,Хп)йЛ = 1— Ρ*ΛΧι<1-1...., (6.1.12)
*.<,_„_ ,_(i=L)r.
Заметим, что когда / принимает значения от 1 до *0 + 1, мы
получаем θ0 + 1 различных допустимых размеров. С другой стороны,
критерии теоремы 6.1.1 позволяют получить только критерии размеров
0 и 1.Н
Существует теорема единственности, соответствующая теореме 6.1.2.
Теорема 6.1.3. Пусть 0<&<оо и δ — критическая функция
критерия, вероятности ошибок типа I и II которого не превосходят
вероятности ошибок критерия с критической функцией 6k. Тогда δ —
критерий Η—Π, согласующийся с 8ki за исключением, может быть,
L = k.
Ход доказательства намечен в задаче 6.1.4.
В качестве следствия из теоремы 6.1.3 приведем, например,
утверждение о том, что критерии из примера 6.1.1 —единственные
наиболее мощные критерии размера а.
В двух приведенных выше примерах одна и та же статистика была
оптимальной относительно любого члена некоторого класса
допустимых простых альтернатив. В следующем разделе мы снова вернемся
к этой теме и обсудим ее более подробно. Гораздо более типично то,
что критерии Η—Π внутренне зависят от альтернативы.
Пример 6.1.3. Проверка простой гипотезы относительно простой
альтернативы для мультиномиального вектора. Пусть (Nl9 ..., Nh)
имеет мультиномиальное распределение MM (n, $l9 ..., &h) с
функцией частоты
P(*ip..., *»,*)- *' , *;».,. <£\ (6.1.13)
211

где nlf ..., nk —целые числа, сумма которых равна п. При таких
данных часто требуется проверить простую гипотезу Я: Фг = ^ю, ...,
$k = ®ko- Например, пусть в эксперименте по улучшению породы
животных существует k типов родительских пар и получено η голов
потомства, Νι — число голов потомства от родительских пар i-το типа;
тогда (Nl9 ..., Nk) ~ММ (п, Ф1э ..., θ&). Простая гипотеза в этом
случае соответствовала бы теории, в которой ожидаемая численность
поголовья потомства 1, .., k-го типа задается набором чисел θ10, ,.м
Ofe0. Обычно альтернатива гипотезы Я сложная, но иногда
встречается и простая альтернатива /С: Οχ = Фц> ..., $и — ®κι- Во всяком
случае, интересно выяснить, как сказывается на α выбор альтернативы.
В рассматриваемом примере из (6.1.13) следует, что
L-ή (ЗУ- <Μ·.4>
Критические значения мы найдем, если будет известно распределение
статистики L при Я. В принципе такое распределение можно вычислить
по (Nl9 ..., Nk)9 хотя по мере увеличения η такая задача, вообще
говоря, становится практически неразрешимой. Однако в некоторых
простых частных случаях, позволяющих понять общую ситуацию,
вычисления сравнительно просто удается довести до конца.Предположим, что
#/0> 0 при всех /V0<e<l я при некотором фиксированном /,
удовлетворяющем неравенству 1 <! / ^С β,
*л = P*jo» / Φ U
где
Ρ =(1-^)^(1-^).
Это означает, что при альтернативе тип / встречается реже, чем при
гипотезе Я, и условные вероятности других типов, если тип / не
встречается, при К и при Я одинаковы. В этом случае
Из ε < 1 следует, что ρ > ε. Учитывая это, мы заключаем, что
критерии Η—Π отвергают гипотезу в том и только в том случае, если
Nt ^ е. Критические значения для уровня α найти нетрудно, так как
Νι ~ ВВ (п, fyo) при Я. Заметим, что поскольку целое число /
может принимать любое из значений 1, ..., k, мы получаем совершенно
различные критерии в зависимости от того, какое из fy выбрано в
качестве Ф10 при Я. ■
6.2. РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ
Кроме рассмотренной только что ситуации, р.н.м. критерии
уровня <а, по существу, встречаются только в-задачах одного типа: при
проверке гипотезы Я: Ф^Ф0 относительно альтернативы К: θ>Φοί гдб
φ — вещественный параметр^
Поясним это на примере..
212

Пример 6.2.1. Продолжение примеров 5.2.2 и 6.1.1. Предположим,
что мы наблюдаем Х1% ..., Хп, образующие выборку из распределения
NN (μ, о2). Пусть μ — любое неотрицательное число. Проверке
подлежит гипотеза Я: μ = 0 относительно альтернативы /С: μ> 0.
(В контексте примера 6.1.1 это означает, что мы пытаемся
детектировать сигнал неизвестной интенсивности.)
Требуется доказать, что критерий (6.1.4) — р. н. м. уровня а,
или что статистика Τ = УШ Χ/σ оптимальна.
Из леммы Неймана—Пирсона и теоремы единственности 6.1.3
следует, что критерий будет р. н. м. критерием уровня α в этой задаче
в том и только^в том случае, если
а) для него Р0 [отвергнуть гипотезу] = а,
б) при всех v-l > 0 он является критерием]|Н—Π для гипотезы
Я: μ ■= 0 относительно альтернативы Кг: μ = v±.
Критерий из примеров 5.2.2 и 6.1.1 обладает этими свойствами-.
Статистика Τ оптимальна при любом v. Кроме того, критическое
значение г (1 — а) не зависит от υ.
Мы можем утверждать даже нечто большее. Предположим, что,
как в примере 5.2.2, мы отбросили ограничение μ ]> 0 и хотим
проверить гипотезу Я: μ ^ 0 относительно альтернативы К: μ > 0.
Критерий (6.1.4), который мы обозначим δ*, по-прежнему остается
р. н. м. критерием уровня а. Убедиться в этом мы можем, если заметим,
что: а) наш критерий имеет уровень при более широкой гипотезе, как
было доказано в примере 5.2.2; б) для любой конкурирующей
альтернативы δ, имеющей уровень α при Я: μ < 0, выполнялось бы
неравенство β (0, δ) ^α. Следовательно, в силу установленного выше
свойства р. н. м. критериев^при всех μ >0 выполнялось бы неравенство
β (μ, δ)<β(μ, δ*), (6.2.1)
что и требовалось.
Пример можно несколько обобщить. Если требуется проверить
гипотезу Я; μ 5^ μ0 относительно альтернативы К- μ > μο> то вместо
Хг, ..;, Хп можно рассматривать достаточную статистику (Хх—
— μ0, ..., Хп — μ0) —выборку из распределения NN (μ — μ0, σ2). Из
приведенных выше рассуждений следует, что критерий, отвергающий
гипотезу в том и только в том случае, если УН (X — μ0)/σ ^
^ ζ (1—α), — р. н. м. критерий уровня α для Я относительно /С. ■
Пример 6.2.2. Продолжение примера 5.2.1. Аналогичные рассуж:
дения позволяют доказать, что критерий 6fe, задаваемый (5.2.1),
является р. н. м. критерием уровня а для гипотезы Я: Φ^Όό
относительно /С: ft > fto» гДе
α= Σ (?)*iO-*e),l-/. (6.2.2)
В этом случае для любой фиксированной альтернативы Φχ^Φο
L{' " ύ οία-*,)»- P-Vv·
213

η
где ρ -= [^ (1 — ОО-ЧЛОо (1 — ^ο)-11 и s = 2 *ί· Если ^ > *0, то
р>1 и, следовательно,
S>k « L(X, ft0, ft^p*(|=|i)\
Таким образом, 6fe — критерий Η—Π при любом Φχ и по лемме
Неймана—Пирсона должен быть р. н. м. критерием уровня а, как мы и
утверждали. Статистика S оптимальна не только для Я: ft = ft0, но
и для Я: ft ^ ft0. Хотя этот результат можно было бы доказать
непосредственно, мы предпочитаем вывести его как следствие из
теоремы 6.2.1. ■
Теорема 6.2.1. Предположим, что семейство распределений
случайной величины X есть однопараметрическое экспоненциальное
семейство с функцией плотности или частоты
ρ (χ, ft) - [ ехр {с (ft) Τ (χ) + d (ft) + S (χ)}] ΙΑ(χ), (6.2.3)
где ft — вещественный параметр, а функция с строго возрастает по
ft. Тогда при любом ft0
1) Τ (X) — оптимальная статистика критерия для Я: ft <! ft0
относительно К'- ft > fty>
2) если распределение F$0 статистики Т(Х) при ft0 непрерывно,
то критическое значение р. я. ж. критерия уровня α есть (1 —а)-й
квантиль распределения /■#,. Если статистика Τ (Χ) дискретна, то
р. я. м. критерии уровня α могут не существовать, за исключением
тех случаев, когда при некотором t выполняется равенство α =
= Р&0 [Τ (Χ) ^ ί]1. Любое значение ί, соответствующее такому а,
является критическим значением р. я. м. критерия уровня а;
3) функция мощности р. я. м. критерия уровня а возрастает по ft.
Пример 6.2.1 (продолжение). Если Τ (χ) = }/~η(χ/σ), то
in ρ (χ, μ) = 3^ϋ Γ(χ)--|- (-£ +1η2«σ·)—jL- Σ *?·
Так как ]/7ιμ/σ возрастает по μ, то из теоремы 6.2.1 мы заключаем,
что критерий (6.1.4) является р. я. м. критерием уровня α для Я:
μ <; 0 относительно К- μ > 0.
Пример 6.2.2 (продолжение). Из разд. 2.3 известно, что если Χν
..., Хп —индикаторы η биномиальных испытаний с вероятностью
благоприятного исхода ft, то X принадлежит однопараметрическому
экспоненциальному семейству с Τ (X) = S и с (ft) = In [ft/(l — ft)].
Следовательно, если α удовлетворяет соотношению (6.2.2), то из
теоремы 6.2.1 мы заключаем, что 8k — р. я. м. критерий уровня α для
проверки гипотезы Я: ft <1 ft0 относительно альтернативы К: ft> ft0· ■
Пример 6.2.3. Критерий для масштаба гамма-распределения: про-
верка срока службы оборудования и масштаб нормального распределения
с неизвестным средним. Пусть Xl9 ..., Хп — выборка из
распределения Г (р, Ι/ft), где ρ предполагается известным, а масштабный пара-
214

метр $ — йеизйестйым. Требуется построить р. н. м. критерий уроЁНй
α для
а) Я: Φ < $Q относительно /С: Φ > Ф0;
б) Я: θ > д0 относительно К: Φ < Ф0·
Ситуация а) возникает, в частности, в модели проверки срока
службы оборудования из примера 4.2.4, где мы имеем η тождественных
образцов оборудования, сроки службы которых (продолжительность
бесперебойной работы) имеют экспоненциальное распределение с
неизвестным параметром λ. Нам необходимо установить, надежно ли
такое оборудование, где под надежностью понимается следующее:
средний срок службы l/λ больше некоторого заданного предела 1/λ0.
Будучи людьми осторожными, мы принимаем гипотезу Я: 1/λ ^ 1/λ0.
Запустив η образцов оборудования, мы измеряем продолжительность
работы каждого из них до первого отказа и получаем сроки службы
Χι, ..·,γΧη· Отождествив ft с Ι/λ и положив ρ = 1, мы приходим к
задаче а'.
С важным частным случаем задачи б) мы встречаемся, когда, как в
примере 5.1.2, нам приходится иметь дело с нормальной выборкой
Wi> ···> Wnc известным средним μ и неизвестной дисперсией σ2.
Пользуясь достаточностью, мы можем ограничиться рассмотрением
выборки Х19 ..., Хп, где Xi = (Wt —μ)2*. Если Wt — измерения,
произведенные над известным эталоном, то наиболее серьезную ошибку мы
совершили, приняв точность измерений за адекватную, в то время как
она таковой не является. Следовательно, проверке подлежит гипотеза
Я: σ2 ^ σ* относительно альтернативы /С: σ2 < σ*, где oj — максимум
допустимой дисперсии. Так как по теореме 1.3.1 Χ*/σ2 ~ χ£ = Г [ —, —J,
то, отождествив А· с 2σ2 и положив р = 1/2, мы приходим к задаче б).
Применить теорему 6.2.1 к задачам а) и б) мы сможем, заметив, что
если все х% положительны, то
р(х, ft) = exp —-L Σ *ЖР—1) Σ In**—pn In fl—/ι In Г(p)L
Ι *ι-ι /-ι 1
Это однопараметрическое экспоненциальное семейство с с (Φ) = — I/O
и Τ (х) - txt.
Поскольку функция с (ύ) возрастает по д, р. я. м. критерий уровня
α для задачи а) отвергает гипотезу в том и только в том случае, если
где
* Более того, вместо^, ..., Хп для наших целей достаточно рассмотреть
η
статистику 2 (Wt — μ)2.
/—ι
215

Последствию 1.2.2 (Ι/Ό^Σ^* имеет распределейие Т (tip, i), поэтому
c = ®ognP(l —α),
где gf (1 —α) -- (1 — а)-й квантиль распределения Г (г, 1). То же
соотношение приводит к функции мощности
^W-Pi>[iXi>c^pJ^ tx^^l-
^l-G^^g^l-a)^ (65:5)
где Gr — функция распределения для Г (г, 1). Справедливость
утверждения 3 теоремы 6.2.1 очевидна.
л
К задаче б) мы придем, положив Τ (X) = — 2 %t и заменив
параметры на η = Ι/Φ. Тогда с (η) = η, и гипотеза задачи б) переходит в
Η"· Ά ^ Ήο ^ 1/*ο· -3· w· -w· критерий уровня α отвергает гипотезу
л
в том и только в том случае, если —Σ^ί ^—d> где d удовлетворяет
соотношению
-Ч [-2 *ι >-*]=■*■
Эквивалентное утверждение: тот же критерий отвергает гипотезу в
том и только в том случае, если
2X,^d, (6·2·6)
где
d = ®ognp(<*)-
Функция мощности, возрастающая, как и требовалось, по Ф, имеет
вид
Р*\ Σ Χ|<λ]-0»ρ(-^·Λρ(«))· (6.2.7>
В двух наших частных случаях мы получаем очень естественные кри*.
терии:
. проверка срока службы оборудования: отвергнуть гипотезу Η в том
я
и только в том случае, если суммарный срок службы 2 Xt ^ Ign О —'
-α)/λ01;
проверка точности измерений: отвергнуть гипотезу Η в том и
только в том случае, если
2 0Ρ|-μ)*<2σδ£η/2(α). (6.2.8)
1=1
J6

В обоих случаях квантили можно найти в табл. ίΐ, если
воспользоваться тем, что распределения Г (—, — J и χΐ совпадают: g*/2 (1 — α) =
^i^(l-a). I
Другие примеры на применение теоремы 6.2.1 см. в задачах.
Приведем неполное доказательство этой теоремы.
Доказательство. Покажем сначала, что теорема 6.2.1 следует из
утверждений:
I. При любом t критерий δ*, отвергающий гипотезу в том и только
в том случае, если Τ (X) ^ t есть критерий Η—Π для Я0: θ = &0
относительно К: Φ = $г при любом "&г > θ0.
II. Функция мощности критерия δ* возрастает по θ.
Если утверждение I выполняется и мы можем задать критическое
значение t так, чтобы Р$0 [Т (X) ^ t] = α, как того требует
утверждение II, то по лемме Неймана—Пирсона б* — р. н. м.
критерий уровня α для Я0: Φ = Αό относительно /С: θ>θο· Из
утверждения II мы заключаем, что δ* — критерий уровня α для Я:
$ < fl0, так как Р* [Т (X) > t] > Р$0 [Т (X) ^ П при θ < «ν Это
позволяет нам, рассуждая так же, как в примере 6.2.1, доказать, что
δ* — р. я. м. критерий уровня а для гипотезы Я относительно
альтернативы /С. Тем самым утверждения I и II теоремы доказаны.
Утверждение III эквивалентно утверждению II.
Чтобы доказать утверждение I, вычислим при х£А
L (х, fl0, θ2) = ехр {lc (flx) - с (fl0)J Τ (χ) + ά (^)-d(d0)}. (6.2.9)
Если θχ > Φο, то с (Οχ) — с (θ0) >0 и L — строго возрастающая
функция от Т(Х). Следовательно, Т(Х) порождает то же самое
семейство критических областей, что и L (Χ, θ0> Αί). Отсюда мы заключаем,
что статистика Τ (Χ) оптимальна для Я0 относительно Κι при любом
ΰΊ, из чего и следует утверждение I.
Доказательство утверждения II не столь просто. Общий ход его
намечен в задаче 6.2.8. Если утверждение II выполнено, то теорема
6.2.1 доказана. ■
Заметим, что поскольку β (Φ, δ?) возрастает как функция от Ф,
о мощность критерия б*, равная β при Я: Ь = Ф0 + Δ, не меньше
β при всех Φ ^ θ0 + Δ. В тех задачах, где мы можем варьировать
объем выборки п, это означает, что если заданы Δ > 0, α вблизи О
и β вблизи 1, то метод, рассмотренный нами в конце разд. 5.2.В,
позволяет с наименьшими затратами достичь уровня α и мощности,
большей или равной β при всех ·& ^ $0 + Δ: для этого следует взять
наименьший объем выборки я, при котором р. н. м. критерий уровня α
имеет мощность не меньше β при Φ = ф0 + Δ, и воспользоваться этим
критерием.
Заметим также, что, как и в примере 6.2.2, гипотезы вида Я:
^Ξ^^ο относительно альтернатив К: ΰ,<'6,0 допускают простые
р. я. м.~ критерии. Оптимальной статистикой на этот раз служит
—- Τ (X), а не Г (X). Иначе говоря, р. н. м. критерий уровня α отвер-
217

гает гипотезу в том и только в том случае, если Τ (Χ) ^ /, где
/ есть α-й квантиль распределения F$0.
Заключения теоремы 6.2.1 применимы к несколько более общему
классу распределений — семействам монотонного отношения
правдоподобия, которые определены и рассмотрены в задаче 6.2.10. С двумя
частными случаями тдких распределений мы познакомимся в двух
следующих примерах.
Пример 6.2.4. Контроль качества. Предположим, что X, как в
примере 2.1.1, — наблюдаемое число бракованных изделий в выборке
из η образцов, извлеченных случайно без возвращения из партии,
состоящей из N изделий, среди которых имеются Ъ бракованных (Ь =
= Νϋ)> Если потребитель производит проверку, считая партии с
Ь0 = Νϋ0 и более бракованными изделиями непригодными, то он,
естественно, формулирует гипотезу Я: Ф^^о и устанавливает α так,
что вероятность отвергнуть гипотезу Я (принять непригодную партию)
не превышает а. Если а принадлежит множеству значений,
принимаемых функцией распределения числа наблюдаемых бракованных
изделий X, то, как мы сейчас покажем, критерий б*, отвергающий
гипотезу в том и только в том случае, если X < А (а), где h (а) — а-й
квантиль распределения НН (ЛФ0, N, п) — является равномерно
наиболее мощным критерием. Для простоты предположим, что Ь0 ^ л,
N — Ь0^ п. Тогда, если N^ = Ьг < 60, то
£(*,*ο.*ι) =
- при 0<#<&ι,
(6.2.10)
о
0 при 6ι<χ<«.
Упрощая для 0 < χ < bl9 получаем
£(*,*o,*i) =
M*b-1)... (*o—*+l)(tf-be)... (N-b0-n + x+l) K '
Из (6.2.11) следует, что при 0 < χ < &х — 1
Их. *ο· #ι) " Uo-* / (AT—я+1)—(^—jc)
Таким образом, L возрастает по х, и если число X мало, то при любых
Ь± < Ь0 отказ от гипотезы при малых X есть критерий Η—П.
Следовательно, δ* — р. я. м. критерий уровня α для Я0: θ = Ф0
относительно /С: θ<θ0. Проверку того, что β (Φ, δ*) возрастает по Φ и δ*
имеет уровень α для исходной гипотезы, мы предоставляем читателю
(задача 6.2.9).
Имеются таблицы гипергеометрического распределения,
необходимые для определения h (α) и вычисления мощности критерия [15].
При больших Ν, как показано в [15], можно использовать
биномиальную и нормальную аппроксимации. ■
218

Пример 6.2.5. Двусторонний критерий для нормального среднего
(повторный разбор). Рассмотрим критерий из примера 5.3.1 для Я:
μ = μ0 относительно /С: μ Φ μ0 при условии, что мы наблюдаем
выборку из распределения NN (μ, σ2) с известной дисперсией σ2. Такая
процедура δα имеет критическую область |х: \Т(х)\ ^ ζ (1 — -гос)]»
где Τ (χ) = VH (χ — μ0)/σ. Критерий δα не является р. н. м. В этом
нетрудно убедиться, если заметить, что он не совпадает с критерием
Н-—Π размера α для Я: μ = μ0 относительно /(: μ = μχ при μχ > μο
и, таким образом, нарушает заключение теоремы 6.1.3. Однако
критерий δα можно обосновать следующим образом. Статистика Τ (Χ)
достаточна для μ, поэтому можно ограничиться рассмотрением только
критериев, основанных на ней. Если положить Δ = V~n (μ — μ0)/σ»
το Τ ~ Ν Ν (Δ, 1) и Я: Δ = О, /(: Δ Φ 0. Симметрия гипотезы и
альтернативы, а также структуры распределения наводит на мысль
сосредоточить внимание на критериях, зависящих только от |Г|, т. е. не
меняющих решения при изменении знака Т. Это означает, что мы
исключаем все критерии Η—Π с Я: Δ = 0 относительно /(ι*. Δ = Δχ.
Покажем, что, приняв это условие, т. е. «сделав вид», будто
наблюдается неТ, а лишь |Т|, мы получим двусторонний критерий, который
является /?. я. м. критерием уровня а. Если обозначить плотность для
\Т\ через q (ζ, Δ), то
Ρ [\τ\ < ζ) = Ρ Ι— ζ < Τ < ζ] = Φ (ζ — Δ) — Φ (— ζ — Δ)
и, следовательно, при ζ>0
q(z, Δ) = φ(ζ —Δ) + φ(—ζ—A) = (p(z)e^2/2(e^+e^z). (6.2.12)
Из (6.2.12) мы заключаем, что при любых Δχ Φ 0 и ζ> 0
И*.Ь)^е-*1/2( + '++*\ (6213)
<7(г>0)
/gAl2 + eAt2 4
Взяв производную, нетрудно убедиться в том, что q (ζ, Δχ)^ (ζ, 0)
возрастает по ζ. Следовательно, если мы наблюдаем только \Т\, то
δα — критерий Η—Π размера α для Я: Δ = 0 относительно /С:
Δ = Δχ при любом Δχ. Отсюда мы заключаем, что δα — р. н. м.
критерий уровня а. Тем самым наше утверждение доказано.
Заметим, что мы действовали так же, как при обсуждении
несмещенных оценок, сужая класс подлежащих рассмотрению процедур.
Тип редукции, который мы применили, основан на использовании
симметрии, или инвариантности. Ему посвящена гл. 6 книги Ле-
мана [14].
Другое обоснование рассмотренного нами критерия исходит из
его функции мощности. Эта функция определяется выражением
Ρ(μ)=1_ρ[_ζ(ΐ—1.а)<£Г«Ц1—f о)]-
-1-Ж1-т«Н-ф(-г(1-т«Н}-
219

Можно показать, что β (μ) — возрастающая функция параметра |Δ|,
индексирующего распределение величины |Т|. График функции β (μ)
показан на рис. 6.2.1. Критерий δα обладает одним весьма приятным
свойством: вероятность отвергнуть гипотезу достигает минимума при
Δ = 0, т. е. там, где гипотезу Η следовало бы принять. Это свойство
известно под названием несмещенности. Можно показать, что огра--
ничившись рассмотрением несмещенных критериев, мы снова
исключим односторонние критерии и δα окажется р. н. м. критерием уровня
а. Дальнейшие сведения
можно почерпнуть в книге
«Немана [14, гл. 5 и 6]. ■
В примере 6.1.3 мы
видели, что р. н. м. критерии
для векторных параметров не
удается достичь даже для
экспоненциального семейства. В
примере 6.2JS и в одномерном,
случае нам пришлось
рассматривать только
«односторонние» гипотезы. Теперь мы
рассмотрим модель, в кото·'
рой р. н. м. критерий не
существует даже в
одностороннем случае.
Пример 6.2.6. Измерения Коти. Предположим, что ошибки в
модели измерений (пример 2.1.2) имеют плотность Коши
1
Рис. 6.2.1. Функция мощности
двустороннего критерия размера 0,01 с гипотезой
Η:μ=6 относительно альтернативы
7(:μ^6 для нормального семейства
распределений с σ2—1, п=\
/(*)=
Тогда
π(1+*2)
ρ(χ,Δ)«π-» Π(1+(**-Δ)2)-χ
Ι(χ,0,Δ)=Π
0+*)
(l + ta-Δ)·)
Форма критических областей, порождаемых функцией L, зависит от
Δ. Следовательно, по теореме 6.1.3 не может существовать р. н. м.
критерий для проверки гипотезы Я: Δ = Δ0 относительно
альтернативы К: Δ >> Δ0. Поясним подробнее для η = 1. В этом случае
Ι(*,0,Δ)= 1+*2—. (6.2.14)
ν ' 1+(* — Δ)2 ν '
Семейство критических областей, порождаемых функциями L (х, 0,
Δχ) и L (χ, Ο, Δ2), будет одним и тем же в том и только в том случае,
если In L (χ, 0, Δχ) — строго возрастающая функция от In L (χ, Ο, Δ2).
Но для Δχ, Δ2 можно вычислить d In L (χ, 0, Δ±)/ά In L (χ, 0, Δ2) =
= (d In (χ, 0, A1)/dx)/(d In (χ, 0, Δ2)/άχ и показать, что это отношение
изменяет знак, если варьировать аргумент χ (см. задачу 6.2.11).И
220

Итак, мы бидим, что теория оптимальности критериев
сталкивается с теми же трудностями, что и теория оптимального оценивания.
р. н. м. критерии существуют только для определенных классов
односторонних задач. И хотя полученные за счет сужения класса
рассматриваемых критериев результаты удается распространить и на другие
задачи, такие обобщения применимы только к определенным моделям.
Однако, как и в теории оценивания, существует общий подход —
критерии отношения правдоподобия, — который можно построить на
основе больших выборок. Эти методы мы рассмотрим в разд. 6.4 и 6.5,
а теорию больших выборок — в разд. 6.6.
6.3. РАВНОМЕРНО НАИБОЛЕЕ ТОЧНЫЕ
ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ
В гл. 5 мы убедились/что доверительным областям соответствуют
семейства критериев, обладающих требуемыми свойствами, и, в
частности, что некоторые из рассмотренных нами односторонних
критериев соответствуют доверительным границам. Теперь мы хотим
выяснить, каким образом свойства оптимальности односторонних
критериев «переводятся» на язык полезных свойств связанных с такими
критериями границ. Взаимосвязь между критериями и границами или
интервалами в этом разделе надлежит понимать в смысле (5.3.4):
гипотеза Η: ft = ft0 принимается в том и только в том случае, если ft0
принадлежит доверительной области, соответствующей границам, или
доверительному интервалу.
Свойство доверительных границ^ соответствующее мощности
критериев, мы будем называть точностью.
Определение 6.3.1. Н. д. г. ft* уровня (1—а) параметра ft
называется более точной, чем конкурирующая я. д. г. ft уровня (1 — а),
в том и только в том случае, если при любом заданном ft и всех ft' < ft
Ρ* [ft* (Χ) <ζ ft'] < Ρο [ft (X) < ft']. (6.3.1)
Аналогично в. д. г. ft* уровня (1 — а) называется более точной, чем
конкурирующая е. д. г. ft, в том и только в том случае, если при
любом ft и всех ft' >> ft
Ρ* [ft* (Χ) > ft'] <ζ Ρ* [ft (X) > ft']. (6.3.2)
Нижние доверительные границы ft*, удовлетворяющие неравенству
(6.3.1) при любых конкурирующих нижних границах, называются
равномерно наиболее точными так же, как и верхние доверительные
границы, удовлетворяющие неравенству (6.3.2) при любых
конкурирующих верхних границах.
Заметим, что _ft* —равномерно наиболее точная я. д. г. уровня
(1 — а) для ft в том и только в том случае, если — ft* — равномерно
наиболее точная в. д. г. уровня (1 — а) для — ft.""
Точность — свойство вполне разумное. И ft, и ft* с большой
вероятностью окажутся ниже истинного значения ft, но ft* окажется
221

много ниже истинного значения Φ с меньшей вероятностью, чем Ф.
Выяснилось, что равномерно наиболее точные границы обладают
хорошими свойствами. Например (см. задачу 6.3.8), при всех Φ
Ε* {(Φ - Φ* (Х))+} < Ε* {(Φ - * (Х))+}, (6.3.3)
где а+ = а при а ^ 0 и а+ = 0 при α < 0.
Смысл понятия точности станет ясен, если мы рассмотрим,
например, обычную модель: выборку Х19 ..., Хп из генеральной
совокупности, распределенной по закону NN (μ, σ2) с известной дисперсией
σ2. Как будет показано в теореме 6.3.1, обычная н. д. г. для Φ (величина
ф* = χ — οζ (1 —α)/]/η) является равномерно наиболее точной
р. н. т.) границей на уровне (1 — а). В качестве конкурирующей
границы специального вида рассмотрим границу, основанную на первом
наблюдении: Хг — αζ (1 — α). Тогда при Ф' < Φ
Ро1Ф*<У] = Ро[Х— σ2(1""α)<Φ/1 =
- ι ук J
дф/г(1-а)_У^(^)У (6.3.4)
Полагая η = 1, получаем левую часть неравенства
Р*^—σ*(1—α)<θ'] = φ(*(1—α)—(*~θ#)]>Ρ*[У<Ф'], (6.3.5)
выполняющегося при я ^ 2. При данном выборе конкурирующей
границы нам удалось провести вычисления до конца. Иначе обстоит дело,
если мы захотим сравнить Ф* с более реалистической конкурирующей
границей, например с я. д. г. Φ из задачи 5.3.6г
Ф(Х)=Х(Й),
где Χ(ι) < ... < Х(П) — порядковые статистики выборки, a k
определяется из соотношения
Σ(·)-ί--ι-«.
,Ζλιι 2"
Оказывается, что Ф* —более точная граница, чем Ф. Более того,
Ф* — равномерно наиболее точная граница. Это следует из теоремы
6.3.1, которая показывает, что неравенство (6.3.5) в действительности
означает сравнение функций мощности.
Теорема 6.3.1. Пусть Ф* — я. д. г. уровня (1 —а) для
вещественного параметра Ф, такая, что для каждого Ф0 соответствующий
критерий с критической функцией б* (χ, Φ), задаваемой соотношением
ί 1 при $*(х)>Ъ,
«*(х,Оо)Ч - ' (б·3·6)
V ; [0 при Ф*(х)<Ф, V
222

есть р. я. м. критерий уровня α для проверки гипотезы Я: ft = ft0
относительно альтернативы К: $> fto· Тогда ft*— равномерно
наиболее точная граница уровня (1 —а).
Доказательство. Пусть ft — конкурирующая я. д. г. уровня
(1 -^-а). При заданных точках ft0 < ftx зададим δ (χ, ft0) следующим
образом:
δ (χ, ft0)=0 в том и только в том случае, если ft(xXft0. (6.3.7)
Тогда δ (X, ft0) — критерий уровня α для проверки гипотезы Я:
ft = ft0 относительно альтернативы К- ft>fto· Так как б* (X, ft0) —
р. я. ж. критерий уровня α для проверки гипотезы Я: ft = ft0
относительно /(: Φ > fto» должно выполняться неравенство
Я* (δ (X, ft0)) < Еь (δ* (Χ, ft0)), (6.3.8)
или
ρ* ι* (χ) > ад < ρ* ι*· (χ) > ад.
Утверждение теоремы следует из этого неравенства, если в
определении 6.3.1 отождествить Ов с О' и #! с ♦. ■
Аналогично верхние доверительные границы ft* уровня (1 — а),
связанные с равномерно наиболее мощными критериями уровня α
для проверки гипотезы Я: ft = ft0 относительно альтернативы /С:
ft < ft0, являются равномерно наиболее точными.
В качестве применения теоремы 6.3.1 рассмотрим я. д. г. X —
— г (1 — а) о/Уп для среднего значения нормального распределения
с известной дисперсией σ2. Связанный с этой границей критерий
отвергает гипотезу Я: μ = μ0 в том и только в том случае, если Уп (X —
— μ0)/σ> ζ (Ι —α). Поскольку в примере 6.2.1 было показано, что
этот критерий р. я. м., то я. д. г. — равномерно наиболее точная на
уровне (1 — а). В. д. г. X + ζ (1 — а) а/У η также является
равномерно наиболее точной.
Чтобы воспользоваться теоремой 6.3.1, нам необходимо семейство
р. я. м. критериев уровня а, порождающих доверительные границы.
Предположим, что мы располагаем экспоненциальным семейством,
о котором говорится в теореме 6.2.1, и что функция распределения F*
случайной величины Τ (X) при любом ft непрерывна и строго
возрастает. Пусть г(р, ft) означает р-й квантиль распределения F&.
Рассмотрим при фиксированном α семейство критериев {δ (X, ft0) : ft0 £ R}
уровня а, отвергающих гипотезу Я: ft = ft0 в пользу альтернативы К:
ft > ft0, когда Τ (X) > г (1 — а, ft0). Если уравнение Τ (X) =
=г (1 —α, Φ) имеет решение θ = ft* (X), то Φ* —равномерно
наиболее точная я. д. г. уровня (1 — а) для ft (см. [14, р. 80]). Предыдущий
пример является частным случаем этого утверждения. Еще один
пример приведен ниже.
Понятие точности допускает обобщение на доверительные границы
для вещественнозначных функций произвольного параметра. Назовем
q* равномерно наиболее точной я. д. г. уровня (1 — а) для q (ft) в
том и только в том случае, если, какова бы ни была другая я. 3. г.
223

q уровня (1 — α), неравенство
Ρ* ψ < Я (*')! <Р*\9<д (O')l (6.3.9)
выполняется, коль скоро q($') < д(&)- Наиболее точные верхние
доверительные , границы определяются аналогично.
Пример 6.3.1. Границы для вероятности раннего отказа
оборудования. Пусть Xlf ..., Хп — продолжительность работы до первого
отказа я образцов оборудования. Как и в примерах 4.2.4 и 6.2.3,
предположим, что Χι — независимые случайные величины, распределенные
по закону ЕЕ (λ). Требуется найти равномерно наиболее точную
верхнюю доверительную границу q* уровня (1 — а) для вероятности
раннего отказа образца оборудования q (λ) = 1 — eru:
■ Прежде всего найдем равномерно наиболее точную е. д. г. λ*
уровня (1 — а) для λ. Чтобы найти λ*, обратим семейство р. я. м.
критериев уровня α для проверки гипотезы Я: λ ^ λ0 относительно
альтернативы /С: λ < λ0, что эквивалентно (см. пример 6.2.3) проверке
гипотезы Η: 1/λ < 1/λ0 относительно альтернативы К: 1/λ> 1/λ0.
P. н. м. критерий принимает гипотезу в том и только в том случае,
если
2*ι<^Λ(1-α)/2λο, (6.3.10)
или, что эквивалентно, в том и только в том случае, если
λ0< *»»(1-«) - (6.3.11)
/ = 1
Следовательно, рассматриваемому критерию соответствует
доверительная область {0, λ*), где λ* определяется правой частью неравенства
(6.3.11). Из замечания, приведенного после теоремы 6.3.1, следует, что
λ* — равномерно наиболее точная в. д. г. уровня (1 — а) для λ, а так
как q строго возрастает по λ, то q (λ*) — равномерно наиболее точная
в. д. г. для вероятности раннего отказа. ■
Доверительные интервалы, концами которых служат равномерно
наиболее точные доверительные границы, «наследуют» оптимальные
свойства так же, как и интервалы, возникающие из двусторонних
критериев, которые являются равномерно наиболее мощными в
ограниченном классе критериев. Более подробно этот круг вопросов
рассмотрен в книге Лемана [14, р. 173—180].
6.4. ОТНОШЕНИЕ ПРАВДОПОДОБИЯ
И СВЯЗАННЫЕ С НИМ МЕТОДЫ
На примере 6.2.5 мы убедились, что р. я. м. критерии уровня α
могут не существовать. Более того, они существуют лишь в
исключительных случаях. Однако одно обобщение рассмотренной в разд. 6.1
статистики Неймана—Пирсона приводит к - превосходным методам
224

для многих задач на проверку гипотез. Пусть Х = (ХЪ ..., Хп) имеет
функцию плотности или частоты р(х, Ό1). Требуется проверить
гипотезу Н: $ ζ θ0 относительно альтернативы К: Ь ζ θ1β Статистика
критерия, которую мы намереваемся рассматривать, называется
отношением правдоподобия и определяется выражением
£/x\_sup{p(x, О) '-А £ θι) (6 4 1)
sup{p(x, Α):θζθ0} '
Критерии, отвергающие гипотезу Я при больших значениях L (х),
называются критериями отношения правдоподобия.
В истинности такой статистики убедиться нетрудно. В разд. 3.3
мы упоминали о том, что функцию правдоподобия L (Φ, χ) = ρ (χ, Φ)
можно рассматривать как меру того, насколько хорошо Φ «объясняет»
данную выборку χ = (хг, ..., хп). Таким образом, если верхняя грань
sup {ρ (χ, Φ) : Ь £ Θχ} велика по сравнению с sup {ρ (χ, Φ) : θ ζ Θ0},
то наблюдаемая выборка лучше всего объясняется каким-то
φ ζ ©J, и наоборот. Заметим также, что L (х) совпадает с оптимальной
статистикой критерия (6.1.2), если θ0 = {$о}> θχ = {^ι}. В частных
случаях и при больших выборках критерии отношения правдоподобия
обладают слабыми свойствами оптимальности, аналогичными
рассмотренным в примере 6.2.5.
В дальнейшем мы будем предполагать, что ρ (χ, Ό1) — непрерывная
функция параметра Φ и размерность множества θ0 меньше
размерности θ = Θ0 U ®ι» вследствие чего отношение правдоподобия равно
статистике критерия
λ(χ)=«ιρ(ρ(*. *):*(= θ)' 2)
sup{p(x, θ):θζ Θ0}
вычисление которой, как правило, не представляет труда. Заметим, что
в общем случае
λ (χ) = max (L (χ), 1).
Выведем критерии отношения правдоподобия для некоторых
важных задач на проверку гипотез. Хотя детали вычислений несколько
различаются от случая к случаю, основные этапы расчетов остаются
всегда неизменными и сводятся к следующим:
1) вычислить о. м. п. Ь параметра Ф;
2) вычислить о. м. п. Ь0 параметра θ для случая, когда Φ принимает
значения только из множества Θ0;
3) составить отношение λ (χ) = ρ (χ, $)/р (χ, Ь0);
4) найти функцию ft, строго возрастающую на множестве
значений, принимаемых отношением λ, и такую, что h (λ (Χ)) имеет простой
вид и распределение, приведенное в известных таблицах, если верна
гипотеза Я1. Поскольку функция Α (λ (X)) эквивалентна функции
λ (Χ), размер α критерия отношения правдоподобия мы зададим при
* Довольно часто отношением правдоподобия называют величину 1/λ (χ).
Мы же последовательно используем статистику, отвергающую гипотезу Я при
больших значениях,
225

помощи статистики критерия h (λ (X)) и ее (1 — а)-го квантиля,
значение которого найдем из таблиц.
Обратив семейства критериев отношения правдоподобия, мы
получим основанные на правдоподобии доверительные области, границы
и т. д. Например, мы можем обратить, как в (5.3.4), семейство
критериев размера α отношения правдоподобия для проверки точечной
гипотезы Η: Φ = θ0 и получить
С (х) = {# : ρ (χ, #) ^ [с (ft))-1 sup ρ (χ, *)},
где sup означает верхнюю грань по Φ £ Θ, а с (&) удовлетворяет соот-
ношению
"'•[■Ti^r>cWra- (6-4·3»
Нередко в достаточно хорошем приближении можно считать, что с (Ф)
не зависит от θ (см. разд. 6.6). В этом случае С (х) есть просто
множество всех Φ, правдоподобие которых не ниже определенного
фиксированного значения, зависящего от данных. Пример см. в разд. 6.4.А.
В этом разделе мы рассмотрим ситуации, в которых Ф = (р19 $2),
где ΰΊ — интересующий, a flg — мешающий параметр. Будут
получены критерии отношения правдоподобия для проверки гипотез вида
Η: θχ = О10. Поскольку $2 может изменяться свободно, эти гипотезы
сложные. Семейство таких критериев уровня α отношения
правдоподобия, получаемых при варьировании параметра Ф10, удается обратить,
как в (5.3.4). При обращении мы получаем доверительные области для
Οχ. Суть метода можно уяснить на частных примерах из разд. 6.4.А,
6.4.Б, 6.4.В и 6.5.
6.4.А. Критерии для среднего значения нормального
распределения — эксперименты с подобранными парами
Пусть Х19 ... , Хп образуют выборку из генеральной
совокупности с распределением NN (μ, σ2), где μ и σ2 неизвестны. Рассмотрим
задачи проверки гипотезы и построения доверительных областей,
решенные в примерах 5.1.1 и 5.3.1 для случая, когда дисперсия σ2
известна. Важный класс ситуаций, для описания которых пригодна
модель выборки из совокупности с нормальным распределением, среднее
и дисперсия которого неизвестны, возникает в экспериментах с
подобранными парами. Приведем несколько примеров. Предположим, что
требуется изучить эффективность некоторого лекарственного
препарата на группе больных, реакции которых из-за различий в возрасте,
диете и других факторах варьируются в широких пределах. Нас
интересуют средние различия в реакциях, обусловленные действием
исследуемого лекарства. Различия, вызываемые внешними факторами,
можно уменьшить, если рассматривать пары больных, подобранные
так, чтобы реакции двух пациентов в одной паре на внешние факторы
были как можно более сходными. Примером такого рода хорошо
подобранных пар могут служить близнецы. После разбиения на пары экс-
226

перимент проводится следующим образом. В г-й паре наугад (т. е. с
вероятностью 1/2) выбирается пациент, которому дают лекарство. Его
напарник служит контролем и получает нейтральную имитацию
лекарства. Реакции обоих пациентов, образующих ню пару (того, кто
принимает лекарство, и того, кто служит контролем), фиксируются.
Эксперименты, в которых контроль и испытание проводятся на
одних и тех же субъектах или объектах, можно рассматривать как
разновидность экспериментов с подобранными парами (в примере с
испытанием лекарства такая схема опыта означает, что мы измеряем
реакцию на одном и том же пациенте, когда он принимает лекарство и когда
он получает имитацию лекарства, не оказывающую никакого
действия). Измерять можно, например, продолжительность сна после
приема снотворного или без снотворного; дневную выручку в магазине
до того, как персонал прошел специальную подготовку, и по окончании
курсов; километраж автомашин с теми или иными приспособлениями
или без них. Пусть Хг — разница в реакциях «активного» и
контрольного членов i-и пары или г-го пациента, когда он принимает лекарство
либо безвредный порошок.
Если пары измерений с достаточной точностью можно считать
выборкой из генеральной совокупности с двумерным нормальным
распределением, то разности Х19 ..., Хп следуют нашей нормальной модели.
Среднее μ служит мерой эффективности лекарства2.
Двусторонние критерии
Начнем с рассмотрения альтернативной гипотезы /С: μ Φ μ<>> как
в примере 6.2.5, соответствующей альтернативе «лекарство оказывает
какое-то действие, хорошее или плохое».
Форма двусторонних критериев
Пусть ΰ1 = (μ, σ2), Θ0 = {(μ, σ2) : μ = μ0}.
В силу принятых нами предположений
η
ρ (χ, θ) = (2πσ2) 2 ехр 1—-£г& (xt -V?} · (6·4·4)
Задача о нахождении верхней грани плотности ρ (χ, Φ) была решена
в примере 3.3.6. Мы нашли, что
sup {ρ (χ, φ) : Ο £ Θ} = ρ (χ, 4),
где
?=(-*, Э)«(-±- Σ xt. -f Σ (*г-*)2)
— оценка максимума правдоподобия параметра Ф.
Нахождение sup {ρ (χ, ft) : ft£©0} в конечном счете сводится к
оценке максимума правдоподобия aj дисперсии σ2 при известном сред-
227

нем μ = μ0 и последующему вычислению ρ (χ, θ) при параметрах
распределения (μ0, aj). Уравнение правдоподобия
In
до*
допускает очевидное решение
р(х'д)=т[^-Д(Хг-^)2-^-]=0
ί=1
По теореме 3.3.1 σ„ задает максимум плотности ρ (χ, θ) при Φζ©,,.
Статистика критерия λ (χ) эквивалентна In λ (χ), которая, таким
образом, равна:
1ηλ(χ) = 1ηρ(χ, $)—Ιηρ(χ, (μ0, σ§)) =
= {_-1[<1п2я) +(1η?)]--§-}-
—{ — -f- [(1η2π) + (1η"ίδ)]—§-}—|-ln(Si|7>).
Следовательно, наш критерий отвергает гипотезу Η при больших
значениях (σ2/σ2). Для упрощения критерия воспользуемся следующим
равенством, которое получается при разложении правой и левой
части предыдущего соотношения в степенные ряды:
7ΐ=Ή+(χ-μοΥ. (6.4.5)
Из (6.4.5) получаем
Й/?)=1+(х—μο)»/?.
Так как s2 = (η — Ι)"1 Σ (xt — χ)2 = ησ2/(η — 1), το σ*/σ2 —
монотонно возрастающая функция от |ТП|, где
Тп= V"(F-N) . (6.4.6)
S
Следовательно, критерии отношения правдоподобия отклоняют
гипотезу при больших значениях \Тп\. Так как Тп имеет распределение
FFn-x, если гипотеза Η верна (см. пример 5.1.1), то критическое
значение размера α равно ίη^λ (1 α), и мы можем воспользоваться
табл. III. Предположим, например, что η = 25 и мы хотим иметь
α = 0,05. Тогда отвергать гипотезу следует в том и только в том
случае, если |ГП|> 2,064.
Функция мощности двусторонних критериев
Для рассмотрения мощности таких критериев нам понадобится
ввести нецентральное ^распределение с k степенями свободы и параметром
нецентральности δ. Это распределение, обозначаемое FFk,6, есть по
определению распределение отношения Ζ/Υ VJk, где Ζ и У — неза-
228

висимые случайные величины с распределениями NN (δ, 1) и χ|.
Плотность распределения для ZlVVIk приведена в задаче 6.4.14.
Выведем теперь распределение величины Тп, для чего заметим
следующее. Из разд. 1.3 нам известно, что величины Υ η (Χ — μ)/σ и (η —
— l)s2/a2 независимы и что (п — l)s2/a2 имеет распределение χ*-, ι.
Так как Ε [|Λι (Χ — μ0)/σ1 = Υπ (μ — μ<>) и
ν*τ(νη(Χ-μ0)/ο) = 1,
Υ η {Χ — μ0)/σ имеет распределение Ν Ν (δ, 1) с δ = ]/7ι(μ —
— μ0)/σ. Следовательно, отношение
Vn (Χ-μ0)/σ _ rr
имеет распределение FFn-x^, и мощность можно найти по таблицам
нецентрального ^-распределения. Удобные и компактные таблицы
мощности этого распределения можно найти в [13].
Итак, мы показали, что распределение величины Тп зависит от
θ = (μ, σ2) только через δ. Можно доказать, что функция мощности
двустороннего критерия (рассматриваемая как функция от δ) обладает
следующими свойствами:
а) она симметрична относительно δ = 0;
б) возрастает по |δ|.
Иначе говоря, эта функция мощности ведет себя так же, как
функция мощности двустороннего критерия для проверки гипотезы Н:
μ = Μό (дисперсия σ2 известна), выведенная в примере 6.2.5.
Вероятностями ошибок типа I и II можно управлять, задавая
достаточно большим объем выборки п, если рассматривать альтернативы
вида |δ| ^δΧ> 0. Графики таких объемов выборок см. в [131.
Рассматривая альтернативы вида |μ — μ0| ^ Δ, мы не сможем
управлять вероятностями ошибок обоих типов за счет подходящего
объема выборки.
Дело в том, что, придавая параметру σ достаточно большие
значения, мы независимо от η можем сделать параметр нецентральности δ
сколь угодно близким к 0 и тем самым мощность — сколь угодно
близкой к а. С аналогичными трудностями нам уже приходилось
встречаться при рассмотрении доверительных интервалов в том случае, когда
масштаб неизвестен. Одно из возможных решений предложено Стейном
[14, р. 204, задача 17]: мы оцениваем σ для первой выборки и
используем эту оценку, чтобы решить, сколько еще наблюдений необходимо
произвести для достижения требуемой мощности относительно всех
альтернатив с |μ — μ0| ^ Δ. Однако при таком решении на втором
этапе нам может понадобиться больше наблюдений, чем мы можем
произвести.
Если рассматривать μ = μη, зависящее от п, так, что параметр
нецентральности δ = Υ η (μη — μ0)/σ остается неизменным при η ->■ оо,
то мощность можно аппроксимировать. В этом случае Υπ (Χ — μ0)/σ
229

имеет распределение AW (δ, 1). Нетрудно проверить (см. задачу 1.5.6),
что s уходится по вероятности к σ. Из теоремы Слуцкого следует, что
Vη (X — μ0)/5 сходится при п-*- оо по распределению к случайной
величине с распределением NN (δ, 1). Проиллюстрируем возникающую
при этом аппроксимацию в частном случае при η = 25, а = 0,05 и
δ = 3,372:
Р*[5 \Χ — μ0\/ϊ> 2,064] л*
« Φ (— 5,436) + (1 — Φ (— 1,308)) = 0,9047,
что очень близко к значению 0,8972, полученному при помощи
интерполяции данных, приведенных в [13]. Центральная предельная
теорема позволяет утверждать, что эта аппроксимация остается в силе и для
распределений, отличных от нормального, хотя для таких
распределений она, как правило, менее точна.
Односторонние критерии
Двусторонняя формулировка естественна в том случае, если до
испытания две схемы лечения А и В считаются одинаково
эффективными. Но если мы сравниваем некую схему лечения и контроль, то
возникает вопрос: приводит ли данная схема лечения к улучшению
состояния больного? Возникает задача проверки гипотезы Η: μ ^ μ0
относительно альтернативы К: μ > μο (где μ0 = 0). В рассматриваемой
задаче статистика Тп эквивалентна λ. Общий ход доказательства этого
утверждения намечен в задаче 6.4.2. В задаче 6.4.13 мы доказываем, что
Pq Ι7\ι Ξ^Α возрастает по δ. Следовательно, критерий, отвергающий
гипотезу Η при
имеет размер α для Η: μ ^ μ0. Аналогично критерий отношения
правдоподобия размера α для проверки гипотезы Η: μ ^ μ0 относительно
альтернативы./С: μ < μ0 отвергает гипотезу Η в том и только в том
случае, если
7,„<ίη-ι(α).
Функции мощности односторонних критериев монотонны по δ
так же, как функции мощности соответствующих критериев из
примера 5.2.2 монотонны по У η μ/σ. Остальные замечания относительно
мощности двусторонних критериев остаются в силе.
Рассматриваемые критерии (одно- и двусторонние) мы будем
называть t-критериями с одной выборкой.
Доверительные области правдоподобия
Обратив двусторонние критерии, мы получим доверительную
область
£(Χ)={μ:|νΜχ-μΜ<'»-ι(ι--|"«)}·
230

В С (X) нетрудно распознать доверительный интервал из примера
5.1.1. Аналогичным образом односторонние критерии приводят к
нижней и верхней доверительной границе из примера 5.1.1.
В качестве иллюстрации описываемых методов рассмотрим
следующие данные, заимствованные из работы Кашни и Пиблза (см. [8, р.
121]), о различии В—А в действии двух снотворных β и Л на 10
пациентов. Это эксперимент с подобранными парами, в котором каждый
из 10 пациентов служит контролем для самого себя.
Ι Пациент 1
А
В
В—А
1
+0,7
+ 1.9
+1.2
2
—1,6
+0,8
+2,4
3
-0,2
+1.1
+1.3
4
-1,2
+0,1
+1,3
5
-0,1
-0,1
0,0
б
+3,4
+4,4
+1,0
7
+3,7
+5,5
+1.8
8
+0,8
+1,6
+0,8
9
0,0
+4,6
+4,6
10
+2,0
+3,4
+1,4
1
Обозначив разности через х, получим χ = 1,58, s2 = 1,513 и \Тп\ =
= 4,06. Так как ί9 (0,995) = 3,25, мы на 1%-ном уровне значимости
заключаем, что действия снотворных А и В значимо различаются.
Доверительный интервал уровня 0,99 для средней разности μ действий
есть интервал (0,32; 2,84). Это позволяет не только утверждать, что
снотворные А и В оказывают различное действие, но и отдать
предпочтение снотворному Ву поскольку на рассматриваемом уровне ни одна
гипотеза μ = μ' < 0 не принимается*.
6.4.Б. Критерии и доверительные интервалы
для разности средних двух нормальных совокупностей
Довольно часто требуется сравнить две генеральные совокупности
с распределениями F и G на основе двух выборок Х19 ..., ХП1 и Yl9 ...,
УПш — по одной выборке из каждой совокупности. Пусть, например*
требуется сравнить воздействие того или иного лекарственного
препарата на какой-нибудь биологический показатель (скажем, кровяное
давление). В этом случае Х19 ..., ХП1 могли бы быть измерениями
кровяного давления у контрольной выборки пациентов, a Yl9 ..., Υη% —
измерениями кровяного давления у выборки тех, кто получал
лекарство. Если измерения носят количественный характер (например, если
измеряются кровяное давление, рост, вес, длина, объем, температура
и т. д.), то обычно предполагается, что Х19 ..., Хп% и Υΐ9 ..., Υη2 —
независимые выборки из генеральных совокупностей с
распределениями NN (μι, σ2) и NN (μ2, σ2).
Принимая предположение о нормальности, мы, как и в случае
одной выборки, исходим из соображений математического удобства и
* См. разд. 5.З.В.
23!

впечатления, что на практике большинство количественных измерений
или их преобразование приближенно нормальны. Предположение о
равенстве дисперсий двух совокупностей соответствует требованию
«постоянства эффекта», т. е. если реакция пациента до приема
лекарства была равна х, то после приема лекарства реакция становится
равной у = χ + (μ2 — μι) независимо от величины х. Ни одно из этих двух
предположений не является строго обоснованным. Измерения таких
величин, как рост или вес, имеют распределения, смещенные вправо
(как гамма распределение), хотя преобразования таких величин,
например логарифм веса, могут иметь приближенно нормальное
распределение. Предположение о «постоянстве эффекта» для исходных (или
преобразованных) измерений обосновать труднее, за исключением того
случая, когда речь идет о первом приближении*. Тем не менее
нарушение допущения о равенстве дисперсий сказывается только на мощности
получаемых критериев, но не на их уровне. Более подробное
рассмотрение всего круга вопросов, связанных с устойчивостью этих методов,
приведено в гл. 9.
Критерии
Рассмотрим сначала задачу о проверке гипотезы Я: μχ = μ2
относительно альтернативы К: μι Φ μ2· В примере с испытанием
лекарственного препарата на основе сравнения эксперимента и контроля
это соответствует тому случаю, когда требуется установить, оказывает
ли лекарство вообще какое-либо действие или совершенно
неэффективно.
Пусть θ = (μχ, μ2, σ2). Тогда Θ0 = {& : μχ = μ2} и Θχ = {Φ:
)И.Ф М^}· Логарифм функции правдоподобия для (X, Υ) = (χΐ9
Χηι, Υΐ9 ..., Υη2) определяется выражением
In ρ (χ, у, θ)= — (η/2)1η(2πσ2)—
-■«τ-ί Σ (*i-vtf+ Σ (yj-vtfi
U«l /=1 ]
где % + η2 = п. Как и в разд. 6.4.А, функция правдоподобия и ее
логарифм достигают максимума на Θ в точке, совпадающей с оценкой
максимума правдоподобия Ь. В задаче 3.3.14 показано, что Ь = (Х9
Υ, о2), где
°2 = ^\ Σ (Xi~X)2+ Σ (Τί-Υ?]·
При μι == μ2 = μ наша модель сводится к модели с одной выборкой
из разд. 6.4.А. Следовательно, максимум ρ на Θ0 достигается при
ϋ == (μ, μ, σ*), где
^ ι Γ ϊ, 24 1
μ»-Η ΣΧι+ΣΥ,\
η L=i /=ι J
* См. разд. 2.1.
232

^=-[Σ№-μ)2+Σ(^-Ρ)21·
η Li-i /=ι J
Используя тождества
- Σ №-μ)2 = - Σ (Хг-Х)Н-^- (Χ-μ)2,
1 ft „, -\, 1 -
- Σ (Yj^f-— Σ (Υ—Υ)*+^{γ-μ)\
П · ι Λ · ι
/=1 /=1
выведенные из (6.4.5), и повторяя в остальном рассуждения,
приведенные в разд. 6.4.А, мы обнаруживаем, что статистика отношения
правдоподобия λ (χ, у) эквивалентна статистике критерия |Т|, где
r=j/iS(Zz!) (6.4.7)
о2
S2
= «σν(η-2) = -^-ΓΣ (Xi-Xf+ Σ (^-η21·
Критерий отношения правдоподобия размера α будет полностью
задан, если мы покажем, что при μχ = μ2 статистика Τ имеет
распределение ТТп-2. По теореме 1.3.3 случайные величины
±х9 ±7, -L 2 (χ,-χρ и -L g (Κ,-F)2
σ σ σ2 . , σ2 . ,
независимы и распределены соответственно по законам NN (μχ/σ,
1/пг)9 Λ/Ά/" (μ2/σ, 1/η2), χ^-ι и χ«2-ι. Отсюда и из аддитивности
распределения χ2 мы заключаем, что (п — 2) s\Ig2 имеет
распределение %Д_2 и что ΐΛί^/η (F — Χ)/σ имеет распределение NN (0, 1)
и не зависит от (я — 2) silo2. Следовательно, если гипотеза Я верна, то
по определению Τ ~ 7Ύη-2, и мы приходим к двустороннему t-кри-
терию с двумя выборками, который отвергает гипотезу в том и только
в том случае, если
1П>^-2(1-у«)- (6-4.8)
Как обычно, двустороннему критерию соответствуют два
односторонних критерия с критическими областями:
T^tn-2[(l—a) (6.4.9)
при Я: μ2^μι и
Τ<ίη_2(α) (6.4.10)
при Я: μΧ < μ2.
Можно показать, что критерии (6.4.9) и (6.4.10) являются для
указанных гипотез критериями отношения правдоподобия. Оба критерия
имеют размер α относительно своих гипотез. Как и в случае одной вы-
233

борки, это следует из того, что если μχ Φ μ2, то Τ имеет нецентральное
распределение ТТ с параметрами нецентральности
Доверительные интервалы
Чтобы получить доверительные интервалы для μ2 — μΐ9
естественно обратиться к критериям отношения правдоподобия для
семейства задач на проверку гипотезы Η: μ2 — μχ = Δ относительно
альтернативы /С: μ2 — μι φ Δ. Как и в частном случае Δ = 0, найдем
простую эквивалентную статистику \Т (Δ)|, где
Γ(Δ)=ν^ζ/Λ(7— Χ—Д)/%. (6.4.11)
При μ2 — μχ = Δ статистика Τ (Δ) имеет распределение ТТп„г, и
обращение критериев приводит к интервалу для μ2 — μχ
Υ— X±tn-2(l— — а^/Угф^. (6.4.12)
Аналогично односторонние критерии задают верхний и нижний концы
интервала как доверительные границы правдоподобия уровня 1 —уа.
В качестве примера рассмотрим следующий эксперимент по
определению водопроницаемости листов строительного материала,
изготавливаемого двумя различными машинами. Из накопленного ранее опыта
известно, что логарифм водопроницаемости распределен приближенно
нормально и что вариабельность от машины к машине также
распределена приближенно нормально. Логарифмы водопроницаемости имели
следующие значения"(из [11, р. 472]):
χ (машина I) I 1,845 1,790 2,042
у (машина II) | 1,583 1,627 1,282
Мы проверяем гипотезу Я, согласно которой средний логарифм
водопроницаемости для обеих машин совпадает. Гипотеза Η отвергается,
если \T\^tn-2 [I α). В рассматриваемом случае у—χ =
= — 0,395; s2 = 0,0264; Τ = — 2,977. Так как U (0,975) = 2,776,
мы на 5%-ном уровне значимости заключаем, что между средними
значениями логарифмов водопроницаемости для двух машин имеется
значимое различие. Доверительный интервал уровня 0,95 для разности
средних логарифмов водопроницаемости имеет вид
— 0,395 ± 0,368.
На основе этого эксперимента мы предпочли бы машину II,
производящую строительный материал, менее водопроницаемый и,
следовательно, служащий лучшей защитой от дождя и других атмосферных
осадков. И в этом случае можно показать, что выбор машины,
основанный на доверительном интервале уровня (1 — а), может оказаться
неверным с вероятностью не более а/2.
234

6.4.В. Задача о двух выборках с неравными дисперсиями
В задаче о двух выборках, о которых упоминалось во введении к
разд. 6.4.Б, X и Υ иногда могут иметь различные дисперсии.
Например, лекарство, вызывающее усиление средней реакции, может
приводить к увеличению дисперсии. Если нормальность сохраняется, то мы
приходим к модели, в которой Х1$ ..., Χηι; Υΐ9 ..., Υη2 —две
независимые выборки, распределенные по закону NN (μχ, σ*) и NN (μ2, σ*).
Прежде всего сравним средние реакции по совокупностям X и Υ. Это
так называемая проблема Беренса—Фишера. Вместо того чтобы
выводить критерий отношения правдоподобия, приведем прямое решение,
имея в виду критерий отношения правдоподобия, полученный нами для
случая σϊ = σ*.
Заметим, что для Φ = (μχ, μ2, σ*, σ|) полной достаточной
статистикой служит (Χ, Υ, s\, si), где
s,2 = —Ц- Σ (Xt-Xf, s5 = -Lr Σ (У—У)2·
Для_Д = μ2 — μχ о. м. п. (и н. о. р. м. д.) является разность D =
= Υ — X. Дисперсия разности D равна:
a£ = Var(X)+Var(7)=-^- + -^-.
Следовательно, Dloo имеет распределение NN (Δ, 1). Так как
дисперсия ah неизвестна, ее необходимо оценить. Я. о. р. м. д. для ah
служит величина
с2 «г
пг п2
Естественно попытаться использовать DIsd в качестве статистики
критерия для проверки односторонней гипотезы Я: μ2 ^ μι, \D\Isd —
в качестве статистики критерия для проверки гипотезы Η: μχ == μ2
и в более общем плане (D — A)/sd — для построения доверительных
методов. К сожалению, распределение величины (D — &)/sd при
заданных пг, п2 зависит от σ^/σ*. При больших п19 п2 отношение
(D — A)/sd по теореме Слуцкого и центральной предельной теореме
имеет приближенно стандартное нормальное распределение. При
малых и средних п19 п2 в хорошем согласии с распределением
отношения (D — A)/sD находится аппроксимация Уэлша [20].
Пусть с = sl/titfb. Тогда аппроксимация Уэлша есть
распределение TTk, где
К—1 п2 — 1 J
В тех случаях, когда k — не целое число, критическое значение
находится линейной интерполяцией по таблицам /-распределения.
Критерии и доверительные интервалы, к которым приводит эта
аппроксимация, называются решениями Уэлша проблемы Беренса—Фишера.
235

Как показал Ванг[ 19], аппроксимация Уэлша очень точна при α = 0,05
и α = 0,1: максимальная ошибка в размере не превышает 0,003.
Заметим, что решение Уэлша справедливо независимо от того,
равны или неравны дисперсии. Развитый в разд. 6.4.Б метод отношения
правдоподобия пригоден, если дисперсии равны, но, к сожалению,
может приводить к неверным результатам, если дисперсии не равны.
Этот и другие вопросы, связанные с проблемой Беренса—Фишера,
рассмотрены в книге Шеффе [181. См. также задачу 6.4.9.
6.5. МЕТОДЫ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
ДЛЯ ДВУМЕРНЫХ НОРМАЛЬНЫХ РАСПРЕДЕЛЕНИЙ
Если из некоторой генеральной совокупности выбраны η элементов
(людей, машин, полей, мышей и т. д.) и у каждого элемента измерены по
2 численные характеристики, то мы получаем двумерную выборку
(Χΐ9 Ух), ..., (Χη, Υη). Соображения, приведенные в разд. 6.4.Б
относительно аппроксимации, и эмпирические данные в некоторых случаях
позволяют считать разумной модель, в которой две характеристики
(X, У) имеют совместное двумерное нормальное распределение
NN (μχ, μ2, σ*, σ*, ρ) с о\ > 0, ο\ > 0.
6.5.Α. Проверка независимости, доверительные интервалы для ρ
Вопрос: «Независимы ли две случайные величины X и У?»,
возникает во многих статистических исследованиях. Приведем несколько
известных примеров: X — вес, Υ — кровяное давление; X — оценка,
полученная на экзамене по математике, Υ — оценка, полученная на
экзамене по английскому языку; X — процент жира в пище, У —
уровень холестерина в крови; X — среднее потребление табака
(г/день), У — продолжительность жизни. Если мы извлекли выборку,
аналогичную приведенной выше, и выбрали для (X, У) двумерную
нормальную модель, то наша задача сводится к проверке гипотезы Н:
р-0.
Двусторонние критерии
Если все отклонения представляют для нас одинаковый интерес,
то естественно рассматривать двустороннюю альтернативу К' ρ Φ 0.
Выведем для этой задачи критерий отношения правдоподобия. Пусть
* = (μι. μ2> σ*, σ22, ρ). Тогда Θ0 ={О:р=0}и61= {#: ρ Φ 0}.
Из (1.4.9) следует, что логарифм функции правдоподобия для X =
= ((Χι, Ух), ..., (Хп, Υη)) определяется выражением
ln,p(x, fl)= —ΛΓΐη^πσχ^ Vl— ρ2)
1 Χ
2(1-Ρ2)
Χ
236
η η η
Σ (**-μι)2 2ρ2(*ι-μι)(0ΐ-μι) 2(^-^)2
ί=1 ί=1 ,ί = 1
jf σι σ2
(6.5.1)

Неограниченная оценка максимума правдоподобия $ приведена в
задаче 3.3.11 и равна (х, у, σΐ, ο22, р), где
п /=ι η /=1
2 (*ι — *)(Уг— y)ln<ho2.
Величина ρ называется выборочным коэффициентом корреляции (см.
задачу 3.1.8) и удовлетворяет неравенству — 1 ^ ρ ^ 1. При ρ = О
мы имеем две независимые выборки, и Ф0 можно получить,
максимизируя функции правдоподобия каждой из выборок Х1} ..., Хп и Ylf ...t
Yn отдельно. В случае независимых выборок получаем Фо — (χ, уУ
g\> ol, 0). Из (6.5.1) следует, что логарифм статистики отношения
правдоподобия имеет следующий вид:
1ηλ(χ) = {1ηρ(χ,?)}^{1ηρ(χ,?0)} =
= {— Λ[1η(2πσϊ<£)]—^ [1п(1—92)] —п\— (6.5.2)
— {—/ι[1π(2πίσ^)]—п}= — 1п(1 — р^).
Таким образом, 1η λ (χ) — возрастающая функция от р2, и критерии
отношения правдоподобия отвергают гипотезу Η при больших
значениях |р|.
Для определения критических значений необходимо знать
распределение для ρ или эквивалентную статистику при условии, что
гипотеза Η верна. Но
1 1
r=i(t/—iWi-ю
<=1
2 (Ui-uf
2
Σ (ν—ν)2)
2
где Ui = (Xt — μιί/σχ, Vt = (Yt — μ2)/σ2. Так как (Ut, Уг), ...г
(Un, Vn) — выборка из совокупности, с распределением NN (0, 0, 1,
1, ρ), распределение величины ρ зависит только от р. Если ρ = 0, то,
как показано в задаче 1.4.9,
Тп= XJE1J (6.5.3)
к 1—ра
имеет распределение ТТН_2· Поскольку \Тп\ — возрастающая функция
от |р|, двусторонние критерии отношения правдоподобия могут быть
основаны на \Тп\ и критических значениях, полученных из табл. III.
При ρ Φ 0 простой формы распределения величины ρ (или Тп) не
существует. Таблицы распределения величины ρ при η <: 25, η = 50,
100, 200 и 400 составлены Φ. Η. Дэвидом [4]. При других значениях η
можно воспользоваться нормальными аппроксимациями.
237

Качественно при любом α функция мощности критерия отношения
правдоподобия симметрична относительно ρ = 0 и, когда ρ
изменяется от 0 до 1, непрерывно возрастает от α до 1. Следовательно, если
задать области индифферентности, то, увеличивая объем выборки,
можно управлять вероятностями ошибки типа II.
Односторонние критерии
Во многих случаях интерес представляют только односторонние
альтернативы. Например, если требуется решить, приводит ли
увеличение жира в пище к повышению уровня холестерина в крови, то
необходимо проверить гипотезу Я: ρ = 0 относительно альтернативы К'-
ρ > 0 или гипотезу Η: ρ ^ 0 относительно /С: ρ > 0. Можно показать,
что выборочный коэффициент корреляции ρ эквивалентен статистике
отношения правдоподобия для проверки гипотезы Η: ρ ίζ 0
относительно альтернативы /О ρ > 0, и аналогично — ρ соответствует
статистике отношения правдоподобия для проверки гипотезы #: ρ ^ 0
относительно альтернативы К'- ρ < 0. Распределение коэффициента
корреляции ρ зависит от Φ только через ρ (задача 6.5.3). Можно
показать, что Р& [р ^ с] — возрастающая функция от ρ при
фиксированном с (задача 6.5.3). Следовательно, выбирая при ρ = 0 критическое
значение так, чтобы вероятность ошибки типа I была равна а, мы для
проверки каждой из этих гипотез получаем критерии размера а.
Функции мощности этих критериев монотонны и к ним применима теория,
развитая в разд. 5.2.В.
Нормальные аппроксимации распределения
выборочного коэффициента корреляции ρ
Если ρ = 0, а п велико, то, как следует из задач 1.4.9 и 1.5.7,
Тп имеет приближенно стандартное нормальное распределение. Из
состоятельности оценки р* и теоремы Слуцкого мы заключаем, что
Υ η — 2 ρ имеет в этом случае приближенно стандартное нормальное
распределение. Более справедливо утверждение [1, р. 77]: Υ η — 2 Χ
Χ (ρ — ρ) имеет приближенно распределение Ν Ν (0, (1 — ρ2)2).
Дэвид [4] доказал, что улучшенную аппроксимацию можно получить,
€сли воспользоваться преобразованием А(р), стабилизирующим
дисперсию. Из (1.5.4) видно, что асимптотическая дисперсия для h (p)
равна [ti (ρ)]2 (1 — ρ2)2. Дифференцируя, нетрудно проверить, что
асимптотическую дисперсию, равную 1, мы получаем при
fc(p) = ^[ln(l+p)-ln(l-p)] = -l-ln(i±fi-)·. (6.5.4)
Из (П. 14.17) заключаем, что Υ η — 3 (h (ρ) — h (ρ)) имеет
приближенно распределение NN (0, 1). Это приводит к аппроксимации
Ρ [ρ < с] « Φ iVrT^S (h (с) — h (ρ))]. (6.5.5)
* Это преобразование было впервые рассмотрено Фишером [7] и
называется 2-преобразованием Фишера.
238

Выражение (6.5.5) позволяет указать приближенные критические
значения и аппроксимации мощности наших критериев. (Мы используем
множитель Υ η — 3 вместо Υ~η, так как аппроксимация при этом
получается более точной (см. [4]).)
Доверительные границы и интервалы
Обычно проверки независимости оказывается недостаточно, и мы
хотим знать границы и интервалы для р, по которым можно было бы
судить о том, насколько велики отклонения от нормального
распределения. Чтобы получить нижние доверительные границы, можно
начать с построения критериев отношения правдоподобия размера α
для проверки гипотезы Я: ρ = р0 относительно альтернативы /(:
ρ > р0. Можно доказать, что такие критерии принимают гипотезу в
том и только в том случае, если ρ ^. с (р0), где РРэ [р ^ с (р0)] = 1 — а.
Величину с (р) мы находим либо из таблиц Дэвида, либо при помощи
аппроксимации. Поскольку с, как нетрудно показать, монотонно
возрастает по р, обращение рассматриваемого семейства критериев
приводит к нижним доверительным границам уровня 1 — а. Верхние
доверительные границы уровня 1 — α находим аналогично. Объединяя
верхнюю и нижнюю доверительную границу уровня 1—уа,
получаем обычно используемый доверительный интервал для р. Такого рода
интервалы не соответствуют обращению критериев отношения
правдоподобия уровня α для проверки гипотезы Η: ρ = р0 относительно
альтернативы К: ρ Φ Ρο> а отвечают критериям с одинаковыми
«хвостами», отвергающим гипотезу в том и только в том случае, если ρ ^ d (p0)
или ρ < с (ро), где РРо [р ^ d (р0)] = РРо Ср^с (ρ0)1 = у а. Но
при больших η интервалы с одинаковыми «хвостами» приближенно
совпадают с доверительными интервалами отношения правдоподобия
и с интервалом (6.5.7), указанным ниже. При η <; 25 и η = 50, 100,
200, 400 таблицы Дэвида позволяют точно вычислить эти границы и
интервалы. При больших значениях η аппроксимации точных
интервалов и границ можно найти, используя центральную случайную
величину Υ η — 3 [ft (р) — h (p)]. Таким образом,
p\Vn^3\h(p)—Λ(ρ)|<ζ(ΐ—LaYI»i_a (6.5.6)
приводит к аппроксимации доверительного интервала для ρ уровня
(1-а):
th{*(rt + (z(l-^a)yV^=3)}]. (6.5.7)
Объемы выборок, необходимые для построения доверительных
интервалов заданной ширины и уровня, приближенно равного (1 — а),
приведены в задаче 6.5.6.
239

В качестве иллюстрации рассмотрим следующую двумерную
выборку весов хг молодых крыс определенного возраста и прибавки в весе
tji за следующую неделю. Требуется установить, существует ли
корреляция между начальным весом и привесом. Проверке подлежит
гипотеза Η: ρ = 0.
Xi I 383,2 Ι 356,4 Ι 362,5 I 394,7 I 356,0 I 387,6 I 385,1 I 346,6 I 370,7
yt | 27,3 | 41,0 | 38,4 | 24,4 | 25,9 | 21,9 | 13,1 | 28,5 | 18,1
В этом примере р = 0,18 и Тп = 0,48. Справившись в таблицах
распределения ТТ7, мы обнаружим; что никаких признаков корреляции
не наблюдается: р-значение превышает 0,75.
6.5.Б. Критерии для двумерного вектора средних (μι, μ2)
Так же, как и в одномерном случае, нередко представляют интерес
гипотезы о средних μχ и μ2. Например, можно задать вопрос: понижает
ли специальная диета средний вес μχ и средний уровень μ2
холестерина в крови? Если для обследуемой группы средний вес μ^0) и
средний уровень μ(20) холестерина в крови до введения диеты известны и
диетическое питание получает некая выборка из этой группы, то
проверке подлежит гипотеза Η: μ1 = μ[0) и μ2 = μ(20) относительно
альтернативы К'- μι < μ(ι0) и μ2< μ(20). Приводимый ниже критерий не
предназначен специально для этой задачи, но применим к ней в том
смысле, что имеет размер α и обладает хорошими «мощностными»
свойствами для альтернативы К- Если бы требовалось установить, оказывает
ли диета хоть какое-то действие, то мы рассматривали бы
альтернативу %: (μΐι l*a) Φ 04°}ι μ(20))· Выведем критерий отношения
правдоподобия для этой альтернативы.
Логарифм функции правдоподобия по-прежнему задается
выражением (6.5.1) и достигает максимума по ΦξΘ при θ = $, где оценка
Ь приведена в задаче 3.3.11. Нетрудно показать (см. задачу 3.3.11),
что максимум функции правдоподобия по
[р ζ ©о = {*: (μι, μ2) = (μί°\ μ20))} достигается при ίΓ=
= (μί0),μ(20),σ?,σ1, ρ), где
σι=— Σ (*,-μι")1, Й = — Σ (^-μ20))2,
η ,-ι η /-ι
ρ- [ Σ (*—μίο0(^-μ^)1 1пЪгЪ2.
Отметим тождества
Σ (*™μΗ(^-μ^)= Σ (χι-Ζ№-&+η&-μ\*№-№)
и of = if + (x—μ(ι0))2, ol = ^l+(y-^f,
240

следующие из (6.4.5). Используя их и соотношения (6.5.2), находим,
что In λ (χ) определяется выражением
1ηλ(χ) = ί—η[\η2πσ1σ2]—— [ln(l — ρ"2)]— η\ —
—ί— η[\η2ησ1σ2]—— [1η(1— ρ*)]— л| =
-i«'»ra3^aa.i-i.tari+_=r]. w
-μ(χ0))2 , {У-А"?
где
7'2 = -
« Г (*—μ(ι
2Р ιζ
sts2
&-μ\"){ν-№)\ ^5·9)
si = -σ? и sj = ral
η —Ι λ —1
Таким образом, критерий отношения правдоподобия может
основываться на Т2. Эта статистика называется статистикой Т2 Хотеллин-
га. Обычно Т2 принято задавать в матричной форме:
Τ» = η(3-μΙβ\ y-^^S-^x-^^y-^Y, (6.5.10)
где S — ковариационная матрица выборки, определяемая как
s_/ sf psxs2\
\PSiS2 si )
Обратную матрицу S*1 можно вычислить по формуле (1.4.16).
Производя тождественные преобразования, нетрудно проверить, что
(6.5.9) действительно переходит в (6.5.10). В задаче 1.4.4, по существу,
показано, что если Σ — ковариационная матрица генеральной
совокупности, то η (X — μχ, V—μ2)Σ"1(Χ— μ1? Υ — μ2)' имеет
распределение χ*. Аналогичным образом можно доказать, что если
гипотеза Я верна, то величина
2(я —1) V
имеет распределение FF2i (n-2)· Справедливо и более общее утверждение
(см. [1, разд. 5.3.2]): можно показать, что для модели NN (μΐ9 μ2,
v{> g\> ρ) эта статистика имеет нецентральное распределение FF2,(^-2)
с параметром нецентральности ηΔ%, где
Μ = (μι-μ\«\ μ2_μ2ο>)Σ-1(μ1-μ(10>,μ2-μ^>) =
σ? σΧσ2 а\ J
(6.5.12)
241
Л ι—pVL"

Это распределение рассмотрено в задачах 1.3.12—1.3.14. Имеются
таблицы нецентрального распределения FF (см. [121 и [9]).
В примере, приведенном в начале этого раздела, мы
предполагали, что начальные средние μ<10) и μ(20) (до назначения диеты) известны.
В большинстве случаев эти средние неизвестны, и мы располагаем
только выборкой (Х'19 Υ[), ..., (X'mi Y'm) из совокупности до
назначения диеты с неизвестным вектором средних (μί, μ^). Если по аналогии
с одномерным случаем предположить, что (Χί, Υ\) имеют двумерное
нормальное распределение и диета обладает постоянством действия по
обеим характеристикам, то для проверки гипотезы Η: (μ[, μ^) = (μι,
μ2) относительно альтернативы К: (μΊ, μ^) Φ (μι. (^г) можно вывести
критерии отношения правдоподобия. Такой критерий приведен в
задаче 6.5.9.
Вопросы, рассмотренные в этом разделе, являются прототипами
многих разновидностей задач, возникающих в связи с многомерными
выборками и — в более общем плане — зависимыми величинами.
Результаты, полученные в этой области, и обобщения применявшихся
нами методов можно найти, например, в работах Рао [17], Андерсона
[1] и Демпстера [5].
6.6. АППРОКСИМАЦИИ БОЛЬШОЙ ВЫБОРКИ
ПРИ ПРОВЕРКЕ ГИПОТЕЗ
В теории проверки гипотез, так же как в теории оценивания,
важную роль играют аппроксимации, основанные на предположении, что
рассматриваемая выборка имеет большой объем.
1) Для реализации критериев отношения правдоподобия и
других критериев нам необходимы критические значения распределения
статистики критерия при условии, что гипотеза верна. Эти значения
затабулированы только для некоторых важных случаев. В общем
случае ориентиром может служить предельное поведение их, когда объем
выборки неограниченно возрастает.
2) Во многих ситуациях оптимальные статистики критерия не
существуют, но были предложены различного рода нестрогие методы,
такие, как критерии отношения правдоподобия из разд. 6.4, 6.5,
критерии χ2 из гл. 8 и непараметрические критерии из гл. 9. Сравнивать
конкурирующие методы надлежит на основе аппроксимаций функции.
Кроме того, даже в случае оптимальных критериев для решения
вопросов, связанных с объемом выборки, необходимым для адекватной
дискриминации гипотез и достижения статистической значимости в
отличие от практической значимости (этот круг вопросов был рассмотрен
в разд. 5.2), нам понадобятся аппроксимации функции мощности. Их
можно построить на основе теории больших выборок.
3) Такие методы, как критерии отношения правдоподобия,
предложенные на основе эвристических соображений, обладают при больших
выборках различными оптимальными свойствами. Эти свойства
аналогичны оптимальным свойствам оценок максимума правдоподобия.
Некоторые частные случаи аппроксимации больших выдержек
были рассмотрены нами в разд. 6.4 и 6.5. Хотя теория, необходимая для
242

описания свойств больших выборок в общем случае, выходит за рамки
нашей книги, тем не менее мы хотим бегло охарактеризовать
используемые методы и получаемые результаты.
6.6.А. Аппроксимации распределения статистики критерия
в случае, когда гипотеза Η верна
Односторонние критерии и критерии Η—Π
Начнем с задачи о проверке простой гипотезы относительно
простой альтернативы из разд. 6.1. Мы наблюдаем выборку Х19 ..., Хп
из совокупности с функцией плотности или частоты / (я, ft) и
проверяем гипотезу Я: ft = ft0 относительно альтернативы К: ft = fti.
Требуется аппроксимировать распределение функции L (Χ, ft0, ft^ для
случая ft = ft0. Справедливо следующее соотношение:
In L (Χ, *β, *ι) = In Π £g^ = Σ U (Χι), (6-6.1)
где
Определим количество информации по Каллбеку—Лейблеру как
+ «
/(«,η)={
* л, °° (6·6·2)
если f—функция плотности, v '
L lrr**' ' \f(x,ft), если /—функция частоты.
х L f(x> η) J
Можно показать, что количество информации по Каллбеку—Лейбле-
ту всегда определено, хотя может обращаться в бесконечность. Кроме
рого (см. задачу 6.6.1),
/(θ, η)^0, (6.6.3)
причем равенство выполняется в том и только в том случае, если Р^ =
= Ρη. Заметим, что
£*,(ΜΧι)) = /(<>ι,<>ο).
(6.6.4)
E*0(Li(Xi))= -£*.(-Μ*ι))= -/(*ο, *ι).
Предположим, что дисперсия величины Lx (Χλ) конечна и
положительна при всех ft. Тогда из центральной предельной теоремы (если σ£
означает Var^0 (Lx (Χχ))) следует, что при η ->- оо
Рь. [In L (X, ft0, fti)>—/ι/ (ft0, ftx) + σ0 Vn 2] =
β/><4 Ь=" Σ 1М**)-Я*.(МВД>Л^1-Ф(^ (6.6.5)
L σ0Υ" Ul J
243

Из (П. 14.22) мы заключаем поэтому, что если взять статистику
критерия L, то критическое значение наиболее мощного критерия размера
а можно аппроксимировать величиной
ехр {— nl (*0> Ьг) + а0Уп ζ (1 — α)}. (6.6.6)
В примере 6.1.1 эта аппроксимация совпадает с точным критическим
значением. К примеру 6.1.2 аппроксимация (6.6.6) не применима, так
как в этом случае / (ϋ0, Фх) = с».
Нетривиальное применение количество информации по Каллбеку—
Лейблеру находит в примере 6.1.3. Величины Хг принимают в этом
примере дискретные значения vl9 ..., vk с вероятностями / (vj, Φ) =
= ftj при / = 1, ..., k, поэтому
(6.6.7)
.ι-ς .„[..(£);
-[/(^ο,^ι)]2
Критические значения для критерия Η—Π получаются при
подстановке (6.6.7) в (6.6.6).
По существу, (6.6.5) дает нормальную аппроксимацию
распределения для In L при проверке Я. Такого рода аппроксимация в общем
случае справедлива для односторонних р. я. м. критериев в
экспоненциальных семействах, поскольку такие критерии являются
критериями Η—П. Так, в примере 6.2.3 аппроксимация (6.6.5) эквивалентна
нормальной аппроксимации распределения Г (tip, λ).
Двусторонние критерии
Для статистики отношения правдоподобия λ в двусторонних и
многопараметрических задачах проверки гипотезы, которые мы
рассматривали в разд. 6.4 и 6.5 и будем рассматривать в гл. 7 и 8, обычно
справедлива другая аппроксимация.
Поведение λ (Χ) из примера 5.3.1 оказывается точным прототипом
того, что происходит в общем случае в задачах на проверку гипотез
при помощи двусторонних критериев при больших выборках.
Напомним, что в примере 5.3.1 мы занимались проверкой гипотезы Я:
μ = μ0 относительно альтернативы /С: μ Φ μ0 на основе выборки Хг,
..., Хп из распределения NN (μ, σ2) с известной дисперсией σ2.
Так как X — о. м. п. среднего μ, то
-«"{"V}· (ββ'8)
244

где x^n^^Xi. Если μ = μ0, то функция In λ (X) распределена не
нормально: 2 In λ (Χ) = \\Πι (Χ — μ0)/σ2] имеет распределение χ\1
(Заметим, что критерий, основанный на 2 1η λ, есть не что иное, как
классический двусторонний критерий.)
Рассмотрим теперь двустороннюю задачу с неизвестной
дисперсией σ2 из разд. 6.4.А. Из (6.4.5) получаем
21ηλ(Χ) = η1η(ΐ + -^ν (6.6.9)
где Тп определяется выражением (6.4.6). Нетрудно видеть (см.
задачу 6.6.2), что если μ = μ0, то 2 In λ (X) аппроксимируется статистикой
Тпу которая стремится по закону к распределению χ?. Таким образом,
в пределе мы приходим к тому же результату, как и в случае, когда
дисперсия σ2 известна.
В общем случае предположим, что Хх, ..., Хп — выборка из
генеральной совокупности с функцией плотности или частоты / (χ, ft),
где ft = (μ, ηΧ, ..., r\h) принимает значения из открытого множества в
Rk+1, и что мы проверяем гипотезу Я: μ — μ0 относительно
альтернативы /О μ Φ μο· Будем считать, что
а) отображение ft -> / (л:, ft) гладко по ft при любом х\
б) о. м. п. ft состоятельна.
Тогда если μ = μ0, то, как правило1, при η -> оо
21ηλ(Χ)^χ?. (6.6.10)
Таким образом, двусторонний критерий отношения правдоподобия
размера α приближенно должен отвергать гипотезу в том и только в
том случае, если 2 In λ (X) ^ хг (1 — α).
Проверка гладких гипотез в моделях с векторным параметром
Следующий пример содержит прототип ситуаций, возникающий
при проверке простых и сложных «гладких» гипотез, когда ft—вектор.
Пусть Xl9 ..., Хп — независимые случайные величины с Xt ~
~ NN (μί9 σ2) при i = 1, ..., η, где на средние μ^ наложены некоторые
линейные ограничения, а дисперсия σ2 известна. Пусть μ^
удовлетворяют гипотезе Н: μq+1 = ... = μη = 0 с альтернативой К": μ^ Φ Ο,
ι = q + 1, ..., r, μΓ+1 = ... = μη = 0, где 1 < ? < г <л*.
Пусть ft = (μΧ, ..., μη). Тогда Θ = {ft: μΓ+1 = ... = μη = 0} и Θ0 =
= {ft: μς+1 = ... = μη = 0}. При ft ζ Θ логарифм функции
правдоподобия имеет вид:
1ηρ(χ^) = (-η/2)1π(2πσ2)-~ν(Σ(^-μί)2+ Σ */|· (6.6.11)
* Ясно, что Xr+i, ...,Хпне содержат информации и вводить их
необязательно. Мы ввели Xr+lt ..., Хп только для того, чтобы рассматриваемая модель
соответствовала модели из гл. 7 с неизвестной дисперсией σ2.
245

Из (6.6.11) следуют уравнения правдоподобия
Хг — μ* = 0, i = 1, ..., г,
с решениями
μ$ === %ii I === 1 > ···> Г.
Таким образом, θ = (хг, ..., л:г, 0, ..., 0). Так как подмножество Θ0
того же типа, что и Θ, находим, что при θ £ Θ функция In ρ (χ, Φ)
достигает максимума, если Φο = (*ι, ···> *<?> 0, ..., 0), откуда
1ηλ(χ) = ^{ Σ */]·
Так как Χ^/σ — независимые случайные величины с распределением
NN (μ*/σ, 1), мы заключаем,* что статистика
21ηλ(Χ)= У —L
имеет распределение %?-д, если верна гипотеза Я. Следовательно,
критерий отношения правдоподобия размера α отвергает гипотезу Η в том
и только в том случае, если
2 1η λ (X) > *г^д (1 —α). (6.6.12)
Рассмотрим теперь общую модель, в которой мы наблюдаем X =
s= (Χι, ..., Χη) с функцией плотности или частоты ρ (χ, Φ), такой, что
Xt независимы иО— r-мерный параметр, принимающий значения из
открытого множества Θ. Предположим также, что
1) отображение $-+р(х, Φ) гладкое;
2) гипотеза Θ0, представима в виде Θ0 = {ΦζΘ: Φ = Φ (η),
ηζ£}, где η-^^η) — гладкое отображение и Ε — открытое
подмножество в g-мерном пространстве.
Пусть λ (Χ) означает статистику отношения правдоподобия для
проверки Θ0 относительно Θχ = Θ — Θ0. Для этой модели и задачи при
дополнительных условиях регулярности2 справедливо следующее
утверждение.
Общая аппроксимация отношения правдоподобия: если верна
гипотеза Η: Φ £ Θ0 и η достаточно велико, то 2 In λ (Χ) имеет приближенно
распределение %?-q.
Следовательно, критерий отношения правдоподобия размера α
приближенно должен отвергать гипотезу в том и только в том случае,
если 2 In λ (X) ^ xr-q (1 — α). Заметим, что утверждение (6.6.10)
для двусторонних критериев является частным случаем этой
аппроксимации. Здесь Θ имеет размерность г = 1 + k, в то время как
гипотеза Θ0 = {(μ, ηι, ..., Цъ) - μ = μο} имеет размерность q = k и г —
— <7 = 1. Примеры на применение этого результата приведены в
задачах и в гл. 7 и 8.
246

6.6.Б. Состоятельность и локальная мощность
При увеличении объема выборки мы, очевидно, получаем все
больше информации относительно точного значения параметра Θ.
Разумные методы должны каким-то образом отражать этот факт. При
оценивании мы выражаем его, требуя, чтобы оценки (или
последовательность оценок) были состоятельными. Для (последовательности)
критериев уровня α можно сформулировать свойство, приближенно
соответствующее состоятельности.
Условимся обозначать через of далее Var^. (Lx (Хг)) при £ = 0, 1.
Требуется проверить Φ £ Θ0 относительно Φ ζ θ1β
Определение 6.6.1. Пусть Χη = (Χ1η, Χ2η, ..., Χηη), η = 1, 2, ...,
имеет функцию плотности или частоты рп(х, &), Φ^Θ. Если
{бп(Хп)}я>1—последовательность критериев уровня α для
проверки гипотезы Я: ΦζΘο, то {δη} называется состоятельной
относительно ΰιξΘ, если β (ϋΐ9 δη)->- 1 при /г->оо.
Теорема 6.6.1. Пусть Ρ<&0φΡ$ι9 α > О, 0<σ0<οο. Если при
каждом η существует критерий Η—Π размера α для проверки
гипотезы Η: Φ = θ0 относительно альтернативы /О θ = Οχ, то
последовательность таких критериев состоятельна.
Доказательство (основная идея). Из (6.6.6) следует, что критерий
Η—Π размера α допускает аппроксимацию критерием, отвергающим
гипотезу в том и только в том случае, если (σ0 Υπ)'1 [In L (Χ), Φ0, Φχ) +
+ л/(Ф0, ^Ι > г (1 - α).
Этот критерий имеет мощность
P*t [In L (X, Φ0, *ι) > —nl (Κ *ι) + σο У η ζ (1 — α)] =
Ιη /-ι
+ -^-2(1-α)1. (6.6.13)
Υη J
Так как / (0lf ф0) + / (d0> Oj) > 0 и σ0ζ (1 — a)/j/7i-> О при
/г->-оо, из слабого закона больших чисел мы заключаем, что
при п->- оо мощность этих приближенных критериев стремится к 1.
Как показывают простые рассуждения, точные критерии также
состоятельны (задача 6.6.3). ■
Как и в случае оценивания, состоятельность — такое свойство,
которым должна обладать любая разумная последовательность
процедур, но в то же время оно вряд ли достаточно. Нам необходимы более
точные аппроксимации мощности, чем 1, чтобы мы могли сравнивать
критерии и вычислять минимальные объемы выборок, необходимые для
достижения мощности β < 1. В примере с биномиальным
распределением из разд. 5.2.В мы видели, что такие аппроксимации можцо
получить, используя центральную предельную теорему. Мощность критерия
247

Н—П уровня α, задаваемую выражением (6.6.13), допускает
аналогичную аппроксимацию:
Ръ[1пЦХ, Оо, \)>— Ш(К ®!) + о0Уп ζ(1— α)] =
= Р*>
2 »
7 = 1
1
>_„ 2 σΓ1(/(Οο>*ι) + /(*ι,#ο))+-3ί-2(1-α)1«
σι J
ι
'ф(п2 0^(1(^0,^1) +1 (К Ы ^ζ(Ι-α)). (6.6.
В случае проверки простой гипотезы относительно простой
альтернативы эта аппроксимация утрачивает смысл при очень больших п,
так как правая часть неравенства (6.6.14) очень мало отличается тогда
от I3. Более интересная ситуация возникает в задачах на проверку
односторонней гипотезы Я: Φ ^ д0 относительно альтернативы К:
ΰ,>,θ0, в которых функция мощности любого разумного критерия
уровня α принимает значения, сколь угодно близкие к а, когда Ь стремится
к Ф0. Для оценивания функции Φ (β), которую мы определяем как
наименьшее значение Ь > Ф0, при котором данный критерий достигает
мощности не меньше β при объеме выборки п, можно воспользоваться
центральной предельной теоремой. Разумеется, если β < 1, то Φ (β) |
| θ0 при п-+оо. Однако центральная предельная аппроксимация
описывает поведение разности Φ (β) —$0 как функции от я. Как было
показано в примере с биномиальным распределением из разд. 5.2.В,
этот тип аппроксимации позволяет установить минимальные объемы
выборок, необходимые, чтобы достичь мощности β при всех Φ ^ θ0 +
+ Δ при заданном Δ > 0 на заданном уровне α и описать области
индифферентности, вне которых мы можем ожидать мощность β при
заданном п. Соответствующая теория сводится к следующему.
Пусть Xlf ..., Хп — выборка из генеральной совокупности с
плотностью
/(*, О) = ехр {ОТ(x) + d(#) + S(x)}, x£A,
где Φ принадлежит открытому интервалу Θ. Требуется проверить
гипотезу Η: Φ ^^ο относительно альтернативы К: Ф>Ф0. Если распре-
п
деление статистики 2 Τ (Xt) непрерывно, то по теореме 6.2.1 р. я. м.
критерий уровня α отвергает гипотезу в том и только в том случае,
η
если 2 Τ (Xi)^cn (1 — °0» где сп (1 — α) — (1 — а)-й квантиль рас-
1 = 1
η
пределения статистики 2 Τ (Xi), если Φ = Φ0. Так как Е$ (Т(Х}))=
/=1
= — d' (Ό·), Var# (Τ (Χχ)) = — d" (Φ), можно воспользоваться цент-
248

ральной предельной теоремой, как в (6.6.14), и получить
сп (1 —а) ж—nd' (#„)+ Уп г(1 — a) V—<Г(0О).
Аналогично если Ό· > Ф0, то
(6.6.15)
ι
^iT{Xl)>cn{\-a)\.
1
=Λ>
1-<П<>)] 2(T(x*)+d'W)>
ί=1
<*" (θρ)
d»(d)
^_ y^(d' (««)—d' (0))/V_d· (*) + z(l -a) J/ :
(6.6.16)
Из аппроксимации (6.6.16) видно, что, как и в биномиальном случае,
мощность стремится к 1, за исключением того случая, когда Φ
стремится к Ф0. Если же Φ стремится к θο» то
- d' (Φ) + d' (*o) » -«*" (*β) (* - *о). - d" (Φ) <* - d" (Φβ).
и правую часть (6.6.16) можно в свою очередь аппроксимировать
простым выражением
φ (У£(ф_ф0) y_d*(#o)—*(l-~a)). (6.6.17)
Следовательно, если Φ (β) определить так, как это сделано выше, то
при β < 1
ι ι
*л (ζ(β) + ζ(1 -α))[-<Γ(Φ0)] +*o. (6.6.18)
Мы заключаем, что необходимо лишь рассмотреть ход мощности в
окрестности Фо, стягивающейся к Ф0 как l/Уп.* Величина
рассматриваемых окрестностей определяется выражением (6.6.18).
Аппроксимации вида (6.6.17) и (6.6.18) справедливы для многих
односторонних критериев в ситуациях, когда выполняются
предположения теории больших выборок. Такие аппроксимации можно
использовать для сравнения поведения мощности последовательности
критериев через понятие, называемое эффективностью Питмана, которое
разъясняется в задачах и в гл. 9.
Аппроксимации локальной мощности играют также важную роль
при изучении критериев, которые являются приближенно р. н. м.
в односторонних ситуациях, в которых параметр -^веществен, но
наблюдения не следуют экспоненциальному семейству (см. задачу 6.6.4)
или имеются мешающие параметры (задача 6.6.8).
Критерии отношения правдоподобия, аналогичные рассмотренным
в разд. 6.4, 6.5 и гл. 7 и 8, в большинстве случаев состоятельны.
Однако для ситуаций, описанных в теореме 6.6.1, аппроксимации
локальной мощности имеют вид, отличный от (6.6.17). Они описываются хво-
249

стами нецентрального распределения χ?-η с параметром
нецентральности, остающимся ограниченным до тех пор, пока альтернативная
точка не выходит из окрестности подмножества Θ шириной порядка
1 /]/я. Некоторые частные случаи рассмотрены в гл. 7 и 8.
6.7. ПРИМЕЧАНИЯ
Раздел 6.2. х Рандомизированные р. н. м. критерии существуют при любом
уровне а. (См. Леман [14].)
Раздел 6.4. х В хороших случаях, изучением которых мы будем заниматься,
распределение величины λ (X) не зависит от θ ζ β0. В общем случае λ (Χ)
зависит от 'Ο'ζΘο, и вычисление sup {P^ [λ (Χ) > λ] : θζΘ0} может оказаться
затруднительным.
2 Эта модель сопряжена с определенными методологическими трудностями.
а) Различие в μ может оказаться не тем различием, которое нас интересует.
Так происходит, например, если действие лекарства на близнецов отличается
от действия на всю группу больных в целом.
б) Учет различий может затемнить суть явления. Например, если пациент
служит контролем для самого себя и мы судим об эффективности лекарства по
различию в реакциях до и после приема, то сказать что-либо о влиянии лекарства
на дисперсию и на среднее реакций не представляется возможным.
в) Как обычно, можно ожидать, что распределение нормально (см. гл. 9).
Раздел 6.6. х Дополнительные несильные условия регулярности можно
найти в книге Уилкса [21, р. 418].
2 Условия регулярности помимо 1 и 2, необходимые для аппроксимации,
рассмотрены, например, в книге Уилкса [21, р. 419]. Такая аппроксимация
может оставаться в силе и в тех случаях, когда Хг- независимы (см. Андерсон [2]).
3 Существуют более тонкие аппроксимации, основанные на теории
больших отклонений (см. Феллер V. II [6, р. 548]).
4. Это замечание имеет далеко идущие последствия для ранжирования, если
считать, что оно относится не только к моделям, но и к процедурам.
Соответствующая теория развита Вальдом и Ле Камом. Упрощенное, но все же трудное
изложение ее см. в книге Гаека [10].
6.8. ЗАДАЧИ И ДОПОЛНЕНИЯ
Задачи к разд. 6.1
1. Рассмотрим пример 6.1.1. Вы намереваетесь купить одну из двух систем.
У одной отношение сигнал /шум νίσ0 = 2, у другой ι//σ0 = 1. Первая система
стоит 10е $, вторая — 10δ $ . Секунда рабочего времени каждой системы стоит
103 $ . За год купленная вами система должна проверить работу аппаратуры,
установленной на спутнике, 100 раз. Работа какой системы в течение года
обойдется дешевле, если при каждой проверке аппаратуры на спутнике вы хотите
иметь продолжительность связи (в секундах) такой, при которой вероятности
ошибок типа I и II были бы не больше 0,05?
2. Рассмотрим популяцию, состоящую из особей трех типов (1, 2 и 3),
встречающихся в пропорциях Харди — Вейнберга /(1,0)= О2, / (2, θ) = 2θ (1 — θ),
/ (3, θ) = (1 — θ)2. Пусть для выборки Χι,..., Χη из этой популяции Nl9 N2 и
Af3 означает число Xj типа 1,2 и 3. Пусть 0 <00 < Οχ < 1.
а) Доказать, что L (х, Ф0, θχ) — возрастающая функция от 2ΝΧ + Af2.
б) Доказать, что если с>0 и α ζ (0,1) удовлетворяют соотношению
Рф [2Wi+ Ν2 ^с] = а, то критерий, отвергающий гипотезу Η в том и только
в том случае, если 2ΝΧ + Ν2^* с, является наиболее мощным для проверки
гипотезы Я : θ = $0 относительно альтернативы К ."О1 = Ь\.
3. Завершить доказательство теоремы 6.1.1 для случая k — оо.
Указание: если Е#9 (ψ(Χ)) = 0, то Ε^ (ψ"(Χ) [1 — δ^ (Χ)])=0,
?50

4. Доказать теорему 6.1.3.
Указание', из предположения теоремы следует, что
J ... J δ (χ) (ρ (χ, *!) — Ар (χ, Οβ)) d* *]
— ОО ОО
-J- ОО -J- ОО
> J ... J 6ft(x)(p(x, GJ-ftpix, fl0))dx.
—. OO 00
Так как интегралы удовлетворяют и обратным неравенствам, то должно выпол*
няться равенство
δ (χ) (ρ (χ, «J - kp (χ, *0)) = 6ft (χ) (ρ(χ, bx) - £p (χ, θ0)).
5. а) Пусть 6 — наиболее мощный критерий уровня α для проверки
гипотезы Η : θ = θ0 относительно альтернативы /С : О — Όί. Доказать, что β (θ0,
δ)<β(θχ, δ).
б) Доказать, что в задаче а) строгое неравенство выполняется всегда, за
исключением случая, когда модель неидентифицируема, т. е. Р$ =Р# -
Предполагается, что α удовлетворяет неравенству 0 < α < 1.
Указание: в (6.1.6) положите *ψ = α.
6. У игрока, наблюдавшего за игрой в кости, создалось впечатление, что
шестерка выпадает в 18% бросаний, пятерка — в 14%, а остальные четыре
грани выпадают равновероятно (т. е. с вероятностью 0,17). Получив приглашение
принять участие в игре, игрок попросил разрешения предварительно проверить
свою гипотезу на η производимых подряд бросаниях кости.
а) Какую статистику критерия следует избрать игроку, если единственная
рассматриваемая им альтернатива состоит в том, что игральная кость сделана
«честно»?
б) Доказать, что при η = 2 наиболее мощный критерий уровня 0,0196
отвергает гипотезу в том и только в том случае, если выпадают 2 пятерки.
в) Известно, что если (Nlt ..., Nk) ~ ММ (л, #1э ..., 0&), то a1Af1 + ...+flfcX
X Nk имеет приближенно нормальное распределение WW (ημ, по*),
k k
где μ> 2 fl« **· σ2 = /Σ <Μβ|-μ)2·
/= 1 i= 1
Используя это, найти аппроксимацию критического значения наиболее мощного
критерия уровня α для рассматриваемой задачи.
7. Формулировка согласия в критериях указывает, что критерий считается
наилучшим, если максимальная вероятность ошибки (любого типа) —
наименьшая из возможных.
а) Доказать, что если при проверке гипотезы Н:$~ $0 относительно
альтернативы /С : θ = θχ существует критическое значение с, при котором
Р^о [L(X, #0f #0 > с] = 1 -Р^ [L(X, #0, Οχ) > с],
то критерий отношения правдоподобия с критическим значением с —
наилучший в указанном смысле.
[_ Н* б) Найти критерий, наилучший в указанном смысле для примера 6.1.1.
Г £"8. Недавно найденный череп имеет измерения (X, У), распределенные либо
по закону NN (0, 0, 1, 1,0, 6) —популяция 1, либо по закону NN (1, 1, 1, 1, 0, 6)—
популяция 2 (все параметры распределений известны). Найти статистику Τ (Χ,
Υ) и критическое значение с, такие, что если мы вздумаем классифицировать
череп по правилу «(Χ, Υ) принадлежит популяции 1 при Г>с и популяции 2
при Τ < с», то наибольшая из двух вероятностей неверной классификации
Ро [Т ^ СЬ ^ι [^ < с1 принимает наименьшее из возможных значений.
Указание: воспользуйтесь задачей 6.1.7 и вспомните, что линейные
комбинации двумерных нормальных случайных величин нормально распределены.
251

Задачи к разд. 6.2
1. Пусть Χι — число покупателей, посетивших магазин в ί-й из η взятых
подряд дней. Возможная модель таких данных состоит в предположении, что
приход покупателей описывается однородным пуассоновским процессом и Х$
образуют выборку из распределения Пуассона с параметром Ό· — средним числом
покупателей за день. Предположим, что при θ <С О0 магазин невыгодно
открывать.
а) Указать оптимальную статистику критерия для проверки гипотезы
Я : θ <! О0 относительно альтернативы К : θ > Όό.2
б) При каких уровнях можно указать р. н. м. критерий?
в) Какие таблицы распределений необходимы для вычисления функции
мощности р. н. м. критерия?
2. Рассмотрим ситуацию задачи 6. 2. 1. Вы хотите добиться того, чтобы при
среднем числе покупателей за день <; 10 вероятность вашего решения не
закрывать магазин была <! 0,01, но при среднем числе покупателей за день ^ 15
вероятность вашего решения закрыть магазин также была << 0 ,01. Сколько
дней вам необходимо производить наблюдения, чтобы р. н. м. критерий задачи
6.2.1 позволил вам достичь желаемого? (Воспользуйтесь нормальной
аппроксимацией.)
3. Измерительный прибор калибруют на стандартном эталоне.
Предположим, что полученные измерения Xlt...t Xn нормально распределены и
независимы со средним μ и дисперсией σ2. Мы хотим проверить гипотезу Я : σ «< σ0
(прибор достаточно точен) относительно альтернативы К : σ > σ0.
а) Доказать, что р. н. м. критерий уровня α отвергает гипотезу в том и толь-
п
ко в том случае, если 2 (** —^о)2 > <*о хп (1 — а), где хп (1 — а) — (1 — а)-й
ι = 1
квантиль распределения χ*.
б) Выразить функцию мощности этого критерия через функцию
распределения %п.
в) Вычислить по табл. II мощность при η — 5, α = 0,05 и σ/σ0 =1,5.
4. Пусть Xl9 ,.., Хп — продолжительность (в месяцах) работы до первого
отказа η одинаковых образцов оборудования. Если оборудование в процессе
работы изнашивается, то часто используют модель (см. Барлоу и Прошан [3]), в
которой Xlt..., Хп — выборка из распределения Вейбулла с плотностью/ (#, λ)=
= λεχ^1 β~-λ* , χ > 0. Здесь с — известная положительная постоянная, λ >0—
параметр (масштаба), который требуется найти.
η
а) Доказать, что 2 Xf — оптимальная статистика критерия для проверки
гипотезы Я : 1/λ -< 1/λ0 относительно альтернативы /С : l/λ > 1/λ0.
б) Доказать, что критическое значение для критерия размера α с критичес-
п
Кой областью [ 2 Xf > k] равно k = х2п (1 — а) 12 λ0, где х2п (1 — а) —
(1 — а)-й квантиль распределения χ|η, и что функция мощности р. н. м.
критерия уровня α определяется выражением (6.2.5).
Указание: покажите, что Xf ~ ЕЕ (λ).
в) Пусть 1/λ0 = 12. Найти объем выборки, необходимый для того, чтобы
критерий уровня 0,01 имел мощность не ниже 0,95 при альтернативном значении
1/^ = 15. Воспользуйтесь нормальной аппроксимацией критического
значения и вероятности отклонения гипотезы.
5. Доказать, что если Χι,..., Χη — выборка из усеченного биномиального
η
распределения (см. задачу 4.2.14), то Σ^έ — оптимальная статистика критерия
для проверки гипотезы Я : θ = Ф0 относительно альтернативы К : θ > θ0.
6. Пусть Хъ ..., Хп — доходы η лиц, выбранных случайным образом из
некоторой группы населения. Предположим, что каждая из величин Xi имеет рас-
252

пределение Парето с плотностью
К(х, θ)*=α*0*-(1+*>, х>с,
где ϋ > 1 и с> 0.
а) Выразить средний доход μ через д.
б) Найти оптимальную статистику критерия для проверки гипотезы Я :μ *=*
= μ0 относительно К. : μ > μο·
в) При некоторых условиях средний доход составляет 9000 $ в год. В
выборке из 100 лиц, занимающихся при этих условиях некоторой деятельностью,
100
мы обнаружили доходы xl9 ..., х100 (в тысячах долларов) и вычислили ^\ηχι=
= 230. Будет ли гипотеза Я : μ =9 отвергнута в пользу альтернативы К :
μ > 9 на уровне 0,01, если мы используем модель Парето с с = 5?
(Воспользуйтесь нормальной аппроксимацией.)
Указания: среднее и дисперсию оптимальной статистики критерия
найдите при помощи теоремы 2.3.2.
7. Пусть Х1$ ..., Хп — выборка из генеральной совокупности с
плотностью, задаваемой экспоненциальным семейством
/(*,*) =ехр l*T(x) +d(*) +S(4 —> <* <оо,
где Τ — строго возрастающая по χ и дифференцируемая функция. Рассмотреть
проверку гипотезы Я : θ <! θ0.
η
а) Доказать, что функция распределения статистики 2 Τ (Xj) непрерывна
и что при любом 0 <[ α .< 1 существует (нерандомизированный) р. «. м.
критерий оп уровня а.
б) Доказать, что если варьировать η при постоянном значении а, то β (θχ,
δη) будет возрастающей функцией от л.
в) Доказать, что β (vlt Ьп) -* 1 при η -► σο, если Ъг > θ0, α > 0.
Указание: б) если известна выборка Xlt ..., ХП9 то известны и Хх,..., Χη~ν
8. Вывести утверждение II в доказательстве теоремы 6.2.1 из утверждения
I и задачи 6.1.5.
9. а) Доказать, что функция мощности р. «. м. критерия из примера 6.2.3а
возрастает по Ό·. <-*■?
б) Пользуясь задачей 6.1.5, доказать, что функция мощности критерия δ*
из примера 6.2. 4 убывает по θ.
10. (Семейства монотонного отношения правдоподобия.) Семейство
распределений вероятностей {Р$} с функциями плотности или частоты {ρ (χ, θ)}
называется семейством отношения правдоподобия, монотонного по Τ (χ), если при
любом θο < Φι вероятности Р^ и Р$ различны и L (χ, θ0, θχ) —-
неубывающая функция от Τ (χ). Доказать, что в этом случае Τ (χ) —- оптимальная
статистика критерия для проверки гипотезы Я : θ < ϋ0 относительно
альтернативы/С : ft > Ф0.
11. Доказать, что если Δχ φ Δ2, то [In L]' (χ, 0, AJ/ [In Ζ,]' (χ, 0, Δ2),
где L определяется выражением (6.2.14), изменяет знак, когда χ принимает
значения от — оо до + оо.
Указание: L изменяет знак в корнях уравнения х2 — 2 (Δ* + Δ2) χ —
— 1 = 0.
Задачи к разд. 6.3
1. Указать р. «. г. для в. д. г. уровня (1 —[а) "параметра θ из примера.
2. а) Рассмотрим модель из задачи 5.1.2. Доказать, что
253
Г

— равномерно наиболее точная нижняя доверительная граница для θ.
б) Рассмотрим несмещенную оценку 7 = 1 2 2 Xi) / 2 */2 для *·
Доказать, что θ = |2 2 Хг ) / 2 */—2аУ/Гг(1 —а) / 2 V есть также
доверительная граница уровня (1—а) для О.
в) Доказать, что утверждение «θ* более точная доверительная граница, чем
θ» эквивалентно утверждению «S= 2 ^ tf хЛ /2 '/ имеет равномерно
меньшую дисперсию, чем 7».
Указание: обе границы О и О* распределены нормально.
3. Рассмотрим модель из задачи 6.2.4. Доказать, что если μ= 1/λ,
η
то μ= 2 2 ХУНп (α) — равномерно наиболее точная е. д. г. уровня (1 — а)
ί= 1
для μ.
4. Построить равномерно наиболее точную верхнюю и нижнюю
доверительную границу уровня (1 — а) для μ в модели из задачи 6.2.6 при фиксированном
сип = 1.
5. Доказать следующий результат, принадлежащий Прэтту [16]. Пусть
[О*, ΰ·*], [θ, О] — два доверительных интервала уровня (1 — а), таких, что
Ръ[±*<Ъ'<Ъ*]<Ръ[±<Ъ'<Ъ)
при всех θ' Φ θ. Доказать, что если (О, г^), (θ*, О*) имеют совместные плотности,
то Eb (θ* - **) < Е# (θ - ϋ).
_ +«> +~ ft \
Указание: Ε^ (φ —θ) = J J П du\p (s, t) dsdt = -
— oo — oo \S /
= J ^[^<«<θ]^, где /?(s, /)— совместная плотность (θ, θ).
— oo
6. Рассмотрим модель из примера 6.2.5. Из этого примера можно вывести,
что при проверке гипотезы Я : μ =0 любой критерий δ (Χ) уровня а,
для которого δ (Xlt ..., Χη) = δ (— Xlt ..., — Xn), имеет мощность, не
превышающую мощность двустороннего критерия, основанного на у η \ Χ | /σ.
Вывести отсюда и из задач 5.3.6 и 6.3.5, что
б) E(Xln _k+i)-X(k)) > 202(l —^t^jYK.
Указание: рассмотрите семейство критериев {δ (Χ, μ)}, принимающих
гипотезу Я : μ = μ0 в том и только в том случае, если Х^) <^ μο ^ ^(л-fc+i)» и
воспользуйтесь задачей 5.3.6.
7. Пусть Ut V — случайные величины с функциями распределения F и
G, соответствующими плотностями / и g9 которые удовлетворяют условиям
задачи 1.2.12, так что F"1 и G"1 определены и строго возрастают. Доказать, что если
F (х) < G (х) при всех χ и Ε (£/), Ε (V) конечны, то Ε (U) > Ε (V).
254

Указания: из задачи 1.2.126 следует, что Ε (U) = J F~i (t) dt.
8. Пусть θ* — равномерно наиболее точная «. д. г. уровня (1 — а), такая,
что Р# [Ό1* << θ] =1—α. Доказать, что выполняется (6.3.3).
Указание: примените задачу 6.3.7 к У = (О — 0*)+, U = (О—θ)+.
Задачи к разд. 6.4
1. Пусть X имеет биномиальное распределение В В (я, ΰ·).
а) Доказать, что статистика отношения правдоподобия для проверки
гипотезы Я : Φ = V2 относительно альтернативы /С : θ Φ V2 эквивалентна |2Х —
-я|.
Указание: докажите, что λ (χ) — возрастающая функция от — (2х — п)
при χ <[ л/2 и что λ (χ) = λ (η — χ).
б) Пользуясь нормальной аппроксимацией с поправкой непрерывности,
найти критическое значение, соответствующее критерию уровня 0,01 при η = 25.
В задачах 2—4 Xlt ..., Хп — выборка из распределения NN (μ, σ2) с
неизвестными μ и σ2.
2. Доказать, что при проверке гипотезы Я: μ <[ μ0 относительно К : μ >
> μ0 односторонний /-критерий с одной выборкой является критерием
отношения правдоподобия (при α < V2). _
Указание: обратите внимание на то, что μ0 = X, если X ' «< μ0, и μ0 =
= μ0, если X > μ0. Следовательно, λ (χ) = 0 при Тп < 0 и λ (χ) = (η/2),
In (1 + Ύΐ Ι {η — 1)) при Тп > 0.
3. Односторонние критерии для масштаба. Требуется проверить гипотезу
Я : σ2 << σ2, относительно альтернативы /С : σ2 > σ§. Доказать следующие
утверждения.
а) Критерии отношения правдоподобия сводятся к правилу: отвергнуть
гипотезу в том и только в том случае, если
σ« σ« ί« ι
Указание: λ (χ) = 0 πρπ'σ2/σ?<1 и λ (χ) = (л/2) [σ*/σ| — 1 —
— lnCotyaj)] при 'oVog > 1 .
б) Чтобы достичь размера α для Я, необходимо взять с = *η_ι (Ι —α).
Указание: воспользуйтесь теоремой 1.3.3.
в) Критерии из п. а) совпадают с критериями, полученными при обращении
семейства нижних доверительных границ уровня (1—а) для σ2.
4. Двусторонние критерии для масштаба. Требуется проверить гипотезу
Я : σ = σ0 относительно альтернативы К : σ Φ σ0.
а) Доказать, что критерий отношения правдоподобия размера α принимает
гипотезу в том и только в том случае, если
1 п
σ* ι,ι
где с?! и с2 удовлетворяют соотношениям
(I) F (с2) — F (сх) = 1—α (F — функция распределения для χ*—ι),
(II) сг — с2 = η In сд/с2.
б) Пользуясь нормальной аппроксимацией, проверить, что
Cin=n— 1/2я М1-~jfa)»
czn=n+y2n г ί 1 — "о"»)
255

приближенно удовлетворяют условиям (I) и (II) при η -> оо
— ->· 1.
η In cln/c2n
в) Доказать, что критические значения общеупотребительных критериев
с одинаковыми «хвостами» χη_ι (α/2) и χη_ι ί 1 — — αΙ приближенно
удовлетворяют условиям (I) и (II) п. а).
5. Измерение давления крови на выборке объемом η = 5 из некоторой
совокупности дало следующие результаты (в мм ртутного столба): 124, 110, 114, 100,
190. Предположим, что выполняется нормальная модель с одной выборкой.
а) Можно ли заключить на основании /-критерия размера α = 0,05 с одной
выборкой, что среднее кровяное давление в этой совокупности значимо
превышает 100?
б) Вычислить доверительный интервал уровня 0,95 для σ2,
соответствующий обращению критериев с одинаковыми «хвостами» задачи 6.4.4.
в),. Вычислить доверительный интервал уровня 0,90 для среднего кровяного
давления μ.
6. Пусть Χΐ9 ..., ХП1 и Уъ ..., Υη2 — две независимые выборки из
распределений WW (μχ, σ2) и Ν Ν (μ2, σ2). Требуется проверить гипотезу Η : μχ << μ2
относительно альтернативы д : μι > μ2. Предположим, что α <[ 1/2.
а) Доказать, что статистика отношения правдоподобия эквивалентна
/-статистике Τ с двумя выборками.·
б) Пользуясь нормальной аппроксимацией Φ (ζ (α) + ~\/ηχη2Ιη (μχ —
— μ2)/σ) мощности, найти объем выборки п, необходимый для того, чтобы
критерий уровня 0,01 имел мощность 0,95 при пг = п2 и (μ1 — μ2)/σ = V2.
7. Следующие данные * получены в эксперименте по изучению зависимости
между производством фуражных кормов весной и количеством органических
удобрений, вносимых в почву предыдущей осенью. Контрольные измерения (х)
соответствуют 0 фунтов удобрений на акр, измерения на обработанных
участках (у) соответствуют 500 фунтам удобрений на акр. Производство фуражных
кормов также измерялось в фунтах на акр:
χ | 794 I 1800 | 576 | 411 | 897
у | 2012 | 2477 | 3498 | 2092 | 1808
Предположим, что справедлива нормальная модель с равными дисперсиями
и двумя выборками.
а) Найти доверительный интервал уровня 0,95 для μ? — μν
б) Можно ли утверждать, что внесение 500 фунтов удобрений на акр
значимо улучшает производство кормов? Воспользуйтесь α = 0,05.
в) Найти доверительный интервал уровня 0,90 для σ, пользуясь
центральной статистикой sf/σ2.
8. Пусть (Хи Ух), ..., (Хп, Υη) — η наборов реакций (контрольных и
подвергшихся обработке) в эксперименте с подобранными парами. Предположим,
что наблюдения обладают общим распределением WW (μχ, μ2, of, σ|, ρ).
Требуется построить доверительные интервалы для μ2 — μ* = Δ.
Предположим, что мы не используем /-интервалы с одной выборкой, основанные на
разностях Υι — Xi, а рассматриваем Xt, ..., Хп, Ylt ..., Υη как отдельные
выборки и применяем ί-интервалы с двумя выборками (6.4.12). Что при этом
произойдет? При фиксированном η провести анализ трудно, так как Τ (Δ) не имеет
более распределения FF2n-2· Пусть η ->· оо.
а) Доказать, что Р[Т(Δ)«]->φ(ί [l - (^%[)]~~)·
* Hooper and Heady. J. Range Mgt., September, 1970.
256

β) Доказать, что если ρ > 0 и 1п определяются по формуле ί6 4ΐ«» τλ
lim Ρ[Δ(/η] >1-α. Ψ Ρ y Ι*.*."), то
«-►οο
в) Доказать, что если |/п| — ширина интервала /п,
ToVn|/n|^2V5f+^fzil~-j-aj >2(Vaf+al-2paia2) Jl -γα).
где последняя величина есть предел умноженной на "[Л* ширины ί-интервала с
одной выборкой, основанного на разностях.
г) Вычислить ^-интервал уровня 0,99 с двумя выборками для данных,
приведенных в разд. 6.4.А.
Указание: в задачах а) и в) воспользуйтесь теоремой Слуцкого.
9. Пусть Xl9 ..., Xnv Ylf ..., Κη2— независимые выборки из
распределений WW (μ!, σ2) и NN (μ2, σ|), как в разд. 6.4.В. Требуется изучить поведение
Τ (Δ), если пъ п2 -» оо, так что пх1щ ->λ, 0 < λ < 1.
а) Доказать, что Ρ [Γ(Δ)<ί] -* Φ (t [λσ? + (1 —λ) σ|)/((1— λ)σ| +λσ2)]Τ).
б) Доказать, что если λ = V2 или σχ = σ2, то интервалы (6.4.12) имеют
правильную асимптотическую вероятность накрытия.
в) Доказать, что если σ| > о\ и λ > 1 — λ, то интервал /п имеет
вероятность накрытия <1 — а. Если же неравенства для объемов выборки и
дисперсий одного знака, то ситуация изменяется на обратную.
г) Сравнить асимптотическую ширину интервала 1п и интервалов, основан-
•ных на центральной случайной величине \D — &\/sD.
10. Пусть X имеет плотность ρ (χ, Φ), θ ζ θ и Τ — достаточная
статистика для Ό·. Доказать, что λ (Χ, θ0, θχ) зависит от Χ только через Г.
И. Нормально распределенные случайные величины Хг, ..., Хп называются
серийно коррелированными, или подчиняющимися авторегрессионной модели,
если они представимы в виде
X^flXi-i + fci. i=*\f ..., л,
где Х0 = 0 и ej,..., εη — независимые случайные величины, распределенные по
закону NN (0, σ2).
а) Доказать, что плотность распределения для
ι^
X =(*!, ..., Хп) имеет вид ρ (χ, д) =*(2πο*2) 2 exp { — (1/2σ*)} Χ
η
Χ 2 (*г~Ό^ί-ι)2) ПРИ — <»<*i<«># /=1, ..., η, λγο=0·
/= ι
б) Доказать, что статистика отношения правдоподобия для проверки
гипотезы Η : ύ = 0 (независимость) относительно альтернативы К : Ь Φ 0
(серийная корреляция) эквивалентна статистике
/ /г \2 / п— 1
12. (Пример К. Стейна.) Рассмотрим следующую модель. Зададим 0 < а<
< V2 и а/[2 (1 —- а)] < с < а. Пусть θ состоит из точки — 1 и интервала
[0,1]. Функция частоты ρ (xt θ) задана таблицей:
257

^s. χ
—1
*-ι
— 2
1
— α
2
Ос
— 1
1
0
а
(-й)НН| (-й>
1
1
— —а
2
(Й)(-Н
2
1
(l-fl)c
а) Каков критерий отношения правдоподобия размера α для проверки
гипотезы Я : θ = — 1 относительно альтернативы /С : θ Φ — 1?
б) Доказать, что критерий, отвергающий гипотезу в том и только в том
случае, если X = 0 имеет уровень а, строго более мощный при любом О.
13. Функции мощности одно- и двусторонних t-критериев. Пусть Τ имеет
распределение TTk β. Доказать, что
а) Рв [Т > t] — возрастающая функция от δ,
б) ?ь ПЛ > Я -~ возрастающая функция от |δ|.
Указание: пусть Ζ и У независимы и имеют распределения NN (δ, 1) и %|.
Тогда при любом ν > О вероятность Р^ [Z ^ t Ύν/k] возрастает по δ, а
Рб [|Z|> tf yV^] возрастает по |δ| (см. пример 6.2.5). Наложите на V
соответствующее условие и воспользуйтесь теоремой о двойном математическом
ожидании.
14. Доказать, что нецентральное ^-распределение TTk 6 имеет плотность
00 j
h (0 ι» Χ
улг(^-*)2-"+" i
х<? 2 Лс.
Указание: пусть 2 и У — такие же, как в указании к предыдущей задаче.
Из совместного распределения Ζ и V выведите совместное распределение Уг =
= Zl~\/Vlk иУ2= У, после чего воспользуйтесь плотностью
PYt (Ух) = J JVt, у2 (У1 · У2) dy2.
15. F-критерий для равенства масштабов. Пусть Xlf ..., Хп±9 Υΐ9 ..., Υη2—
две независимые выборки из распределений ΝΝ(μΐ9 σ|) и ΝΝ(μ2, σ|), все
параметры которых неизвестны.
а) Доказать, что критерий отношения правдоподобия для проверки
гипотезы Я : о\ = σ| относительно /С:а| > of имеет форму утверждения:
«Отвергнуть гипотезу в том и только в том случае, если F = («ι/λ2) 2 (Υι —
—Τ)2 / Σ (Xt — Χ)2 > С.
б) Доказать, что (aj/og) F имеет распределение /7F7i2-i, ηχ_ι и что
критические значения могут быть вычислены по таблице распределения FF.
в) Обосновать двусторонний критерий: «Отвергнуть гипотезу в том и
только в том случае, если F ^ / (1 — а/2) или F <! / (а/2)», где f (t) — t -й
квантиль распределения FFn2_it П1_г как аппроксимации критерия отношения
правдоподобия для проверки гипотезы Я : σχ = σ2 относительно
альтернативы К : Οχ Φ σ2. Ход рассуждений — такой же, как в задаче 6.4.4.
58

г) Указать связь двустороннего критерия из предыдущей задачи с
доверительными интервалами для σ|/σ£, полученными в задаче 5.1.10.
Задачи к разд. 6.5
1. Ниже приведены данные об уровнях холестерина в крови (*) и
отношениях вес/рост (у) для 10 человек, прошедших обследование в кардиологическом
центре:
х I 254 I 240 I 279 I 284 I 315 I 250 I 298 I 384 I 310 I 337
у | 2,71 | 2,96 | 2,62 | 2,19 | 2,68 | 2,64 | 2,37 | 2,61 | 2,12 | 1,94
а) Можно ли, используя критерий отношения правдоподобия для двумерной
нормальной модели, заключить на 10%-ном уровне значимости, что уровень
холестерина в крови коррелирован с отношением вес/рост?
б) Вычислить приближенный доверительный интервал (6.5.7) для ρ при
а= 0,10.
2. Пусть (Xl9 Ylt),..., (Χη, Υη) — выборка из двумерного распределения
NN(0, 0, σ2, σ|, ρ). Требуется проверить гипотезу Η : ρ = 0 относительно
альтернативы К : ρ Φ 0.
а) Доказать, что статистика отношения правдоподобия эквивалентна
статистике |г|, где
ί= 1 / V i= 1 /= 1
б) Доказать, что г2 имеет при ρ = 0 бета-распределение с параметрами
Указание: произведя соответствующее ортогональное преобразование
(Ylt ..., Υη), докажите, что условное распределение для г2 при Хг = хъ ..., Хп=
= хп имеет вид требуемого бета-распределения.
3. Доказать, что если мы имеем выборку из двумерного нормального рас-
пределения NN (μχ, μ2, σ?, σ|, ρ), το Ρ [ρ > с] — возрастающая функция от р
при заданном с.
Указание: воспользуйтесь преобразованием X\ = (Х% — μι)/σχ, Ϋι =
= (Yi — μ2)/σ2, ί= 1, ..., η, и задачей 1.4.8 и докажите, что ρ имеет такое
же распределение, как Si2/SiS2, где
SI = 2 Щ, 51= 2 vt, 5ΐ2= Σ Wi
/=2 t=2 /=2
и (£/2, Уг)> ···» (ίΛι, Ута) — выборка из распределения WW (0, 0, 1, 1, ρ). Пусть
/? = S12/SiS2, Τ = "|A — 2 Λ /V1 — #2· Рассуждая так же, как в задачах
1.4.8 и 1.4.9, доказать, что при Ux = ulf ..., ί/η = «η статистика Т имеет
нецентральное распределение ТТп_2 с параметром нецентральности р. Так как это
условное распределение не зависит от (м2, ..., un)t из непрерывного варианта
(1.1.24) следует, что неусловное распределение также не зависит от (и2, ..., ип).
Наконец, обратите внимание на то, что ρ имеет такое же распределение, как
R, Τ — возрастающая функция от R, и воспользуйтесь задачей 6.4.13а.
4. Пусть λ (Χ) — статистика отношения правдоподобия для проверки
гипотезы Η : ρ =0 относительно альтернативы К : ρ φ 0 в двумерной нормаль·
ной модели. Доказать, используя (6.5.3), что 21η λ (Χ) -> У, где V имеет
распределение %1-
5. Задача 6.5.4 и соотношение (6.5.5) порождают две аппроксимации рас-
пределений для функции от р. Выяснить, какая из этих аппроксимаций дает
лучшее приближение к Ρ (ρ <; с) для. двумерной нормальной модели с р = 0
259

(воспользуйтесь тем, что Тп = V η — 2 р7 V 1—ρ* имеет распределение ТТп_2).
Выберите η = 27 и с = У*2/(1 + *2), где ^ = а2 /(л — 2) и а = 1,316; 1,708;
2,485.
6. а) Доказать, что ширина приближенного доверительного интервала
(6.5.7) приближенно равна 2г (1 — j α) О ~ Р2)/"1Лг — 3.
б) Какой объем выборки необходим при α = 0,01, чтобы приближенная
ширина интервала из п. а) не превышала 0,2?
Указание: произведение ширины интервала и множителя "]/η — 3 можно
представить в виде
[A-KAiTJ+se)—Л-фС?)—ζε)]/ε, где в = 1/Уя=1 и 2=2(1 ——сЛ
Выполните предельный переход при в -» 0, используя равенство /Г1 (л;) = th*=
= (е* — е-*)/(е* + е~х).
7. Проверить гипотезу #:р = 0 относительно альтернативы К : ρ >0.
Укажите приближенную формулу объема выборки, необходимого для того, что-
бы критерий уровня а, основанный на ρ из (6.5.5), имел мощность β для
альтернативы ρ = ρχ > 0. Доказать, что если α = 0,05, β = 0,90 и Pi = 0,1, то
η « 857.
Указание: h (0,1) = 0,10034.
8. Доказать, что мощность критерия, основанного на статистике Хотеллинга
Т2 — возрастающая функция параметра нецентральности ηΔ$.
Указание: воспользуйтесь задачей 1.3.14.
9. Пусть (Х{, YD (Х-, Υ'ηι) и (Xlt Yt) (Χ„ι( Κ„,)-
две независимые выборки из двумерных генеральных совокупностей с
распределениями NN (μί, μ2\ of, σ|, ρ) и AW (μχ, μ2, σ?, σ|, ρ).
а) Доказать, что отношение правдоподобия для проверки гипотезы Η :
0х!> Iх2) ^ (Hi» М-г) относительно альтернативы К : (μί, μ2) =#= (Μα» μ2)
эквивалентно статистике
rt(l-ps) [ «lp S1P*2P s2p J
где я=Л1+я2 и sfp, s|p и рр—суммарные оценки σ|, σ| и р:
Γ /г2 nt Ί
—4- Σ («ι-^+Σ W-ϊ')1 .
.-i[,b.-»)'+Σ w-Τ)·]
* (n — 3) T2/2 (л — 2) имеет нецентральное распределение FF2^n_Z) с
параметром нецентральности (см. задачу 1.3.14)
Л4 »1»8 Г ОН—μί)* _2ρ_ (Щ-μ^Ί
* = П(1_Л I—^ σισ2 (μι~μι) Ρ» μί)+ α» J'
260

и
-ZaT Σ (xt-tHvt-y)+ Σ (xi-x)iyi-y')]
ρ, = ^ ^ 1.
51Ρ S2p
Величина Т| называется статистикой Хотеллинга Т2 с двумя выборками.
б) Ниже приводятся данные об уровнях холестерина в крови (х и х') и
кровяном давлении (у и у') для людей двух возрастных групп (20 — 40 лет и 50—70
лет) *, Можно ли, используя Т\ и α = 0,05, заключить, что средний уровень
холестерина в крови и среднее кровяное давление в старшей возрастной группе
значимо выше?
20—40 лет
χ Ί 153 I 289 I 231 I 269 I 244 I 293 I 276 I 248 I 240 | 253
у I 118 | 128 | 138 | 136 | 124 | 116 | 114 | 104 | 128 | 1
16
50—70 лет
х' | 201 I 229 I 191 I 229 I 210 I 201 | 290 I 203 I 389 I 304
у' | 138 | 132 | 150 | 182 | 148 | 158 | 136 | 126 | 160 | 156
в) Две группы из 10 учащихся в двух тестах по проверке математических
способностей набрали следующее количество очков:
I
II
I
и
73
29
76
35
41
24
66
25
83
34
60
21
71
27
33
26
39
24
43
19
60
26
76
29
51
35
51
25
41
18
57
19
85
33
35
17
88
39
40
17
Можно ли, пользуясь статистикой 7|, привести контр доводы против гипотезы о
том, что обе группы выбраны из одной и той же двумерной нормальной
совокупности? (Будет ли р-значение меньше 0,Ю; 0,05 или 0,01?)
Задачи к разд. 6.6.
1. Доказать неравенство (6.6.3).
Указание: m^^^Jl + tP (ж, <Ц-Р(ж, ^
Р(*. *ι) V Р(х. *о) /
In (1 + χ) <х при всех χ > — 1, χ φ 0.
2. Доказать, что если 2 1η λ(Χ) определяется выражением (6.6.9) и Xlt ...,.
Хп — выборка из распределения с неизвестным средним μ0 и конечной поло-
LL
жительной дисперсией σ2, то 2 In λ (Χ) -* Ζ2 ~ %\.
* Из L. Α. Heart Study, см.: Dixon W. and Masse у F. (1969).
Introduction to Statistical Analysis. 3rd Edition, McGraw-Hill. New York.
261

LL
Указание: как показано в задаче 1.5.7, Тп -» Z, где Ζ ~ NN (0, 1).
Воспользуйтесь теоремой Слуцкого и тем, что (l/x) In (1 + χ) -* 1 при χ -> 0.
3. Предположим, что выполняются условия теоремы 6.6.1.
а) Доказать, что если сп (а) можно определить из соотношения
P^l(OoVn)^[]nL(Xt «о. *i)+*/(*o. *ι)]>ί?η(α)]=Βα,
то сп (α) -> 2 (1 — ос) при л -> оо.
б) Выведите отсюда, что эти точные критерии Η — Π размера α
состоятельны.
Указание: воспользуйтесь теоремой Пойа (П. 14.22).
4. Пусть Χι,..., Хп —выборка из распределения с плотностью f (χ, О),
где Ό· — вещественный параметр, Θ — открытое множество, функция f (xt О)
дифференцируема по θ и удовлетворяет следующим условиям регулярности.
Предполагается, что все величины, приведенные ниже, существуют и конечны.
Пусть по определению
(Ol-OrMlnf (*, η)-1η/(*, θ)] при цф$,
Δ (*, θ, η)==
д
[dQlnf(x> ^ ПРИ Ή^'
Заметим, что Δ (я, θ, η) = Δ (χ, η, θ). Пусть
μ(*. η) = £*#(Δ(*ι. *ο. η)).
x«(*,T|) = Var^(A(Xlf θ,η)).
Предположим, что
Ι)Ρ#0|(«τ2(θ.η)) * 2 Γδ(Χ,, ♦. η)-μ(*. η) 1 <21-^ Φ (г)
равномерно по г на ограниченных множествах ■&, η,
II) lim τ* (О, η) =£ (д« (*,, <>„, θο)) =/0 (θο).
а) Почему предположения I и II правдоподобны?
б) Доказать, что если 00 и а > 0 заданы и Οχ — О0 + ал 2, то мощность
критерия Η — Π уровня α для проверки гипотезы Η : Ь = Ф0 относительно
альтернативы /С : θ = ΰχ при л ->■ оо стремится к
1_ф(г(1_а)—α^» (do)).
Указание: б) докажите, что к этому пределу сводится аппроксимация
(6.6.14), если ΰ1! стремится к ф0.
5. В условиях предыдущей задачи рассмотреть критерий, отвергающий
гипотезу в том и только в том случае, если
J L η
η 2 /ι 2 (*ο) 2 Δ(*/. «ο. *ο)>*(1-α).
/—·,ι
а) Доказать, что этот критерий имеет асимптотически вес α для Η : О = Ф0.
262

б) Пусть помимо предположения II выполняется еще одно предположение:
III) lim (θ- φ„)-ι Εϋο (Δ (Xlf #0, β,)) =
= E*.(-^inHXi. *ο)) = -/ι(*.).
Доказать, что если βη'(θ) — функция мощности критерия из п. а), то
βΛ(θο+—^)-1-Ф(2(1-а)--а/^(до))
равномерно по α ζ [О, Л], А < оо.
в) Доказать, что если, помимо условий п. б),
βη Ι θο +~F" | -* 1 при ап -> оо,
то критерий п. а) — асимптотически р. н. м. критерий уровня α для проверки
гипотезы Я: ϋ = ΰ·0 относительно альтернативы /£: θ > О0. Это означает, что
если {δη (Χι,..., Χη)}—любая последовательность критериев
асимптотически уровня α для проверки гипотезы Н: Ь = О0, то
lim inf inf (βη (θ) — β (θ, δη)) > 0.
π φ
6. Пусть θ — ο. Λί. п. для О, асимптотически нормальная и эффективная.
Доказать, что критерий отвергает гипотезу в том и только в том случае, если
ι 1
l\ (Oq) ηΔ (Φ — Ό·0) > 2 ( 1 — α) — асимптотически р. я. м. критерий уровня
а, как в задаче 6.6.5.
7. Доказать, что в нормальной модели из разд. 6.4.А односторонний t-
критерий отвергает гипотезу в том и только в том случае, если Тп > /п-1 (1 — а)
(Тп — величина, задаваемая выражением (6.4.6)) —- асимптотически
равномерно наиболее мощный критерий уровня α для проверки гипотезы Я :
μ = μ0 относительно альтернативы Д" : μ > μ0 с известным параметром σ.
8. Рассмотрим модель с двумя выборками из разд. 6.4.Б. Пусть пг = п2 =
== л/2 и βη (μχ, μ2, σ2) — мощность одностороннего ^-критерия с двумя
выборками для проверки гипотезы Я : μ2 <^ μι относительно альтернативы
/С : μ2 > μι , заданного неравенством (6.4.9).
а) Доказать, что если μ2 = μα + α /'[/η, где а > 0, то
βη(μι. μ2>σ2)^1-φ(ζ(1--α)--^).
б) Выразить параметры модели через новые параметры (μχ, Δ, σ2), где Δ =
= μ2 — μι· Гипотеза Η перейдет в новой параметризации в Δ <0,
альтернатива К — в Δ > 0. Предположим, что σ2 и μ1 известны. Найти р. н. м,
критерий уровня α для проверки гипотезы Η относительно альтернативы К.
в) Доказать, что мощность критерия из п. б) относительно альтернативы
Δ — а/~\/п стремится к 1 — φ (z (1 — α) — а/о) при η -* оо . Таким
образом, двусторонний ί-критерий не является асимптотически р. «. м. критерием
уровня а, если мешающие параметры известны.
9. а) Рассмотрим модель из разд. 6.6.А о проверке гладких гипотез в
моделях с векторным параметром и функцией правдоподобия, задаваемой
соотношением (6.6.11). Доказать, что при альтернативном значении 0= (μι, ..., μΓ,
0, ..., 0) величина 2 1η λ (Χ) имеет нецентральное распределение %f—q с
параметром нецентральности
263

б) Доказать, что если Ψ имеет нецентральное распределение %р с парамет*
ром нецентральности δ2, то
в) Доказать, что в модели из п. а)
-Г Σ μ£ = **(2Ιηλ(Χ))-Γ+&.
Указание: б) воспользуйтесь первоначальным определением нецентрального
распределения χ2.
10. Рассмотрим двумерную нормальную модель с одной выборкой разд. 6.5.Б.
а) Пользуясь примером 1.5.2, доказать, что если гипотеза Η верна и η -+ оо,
то
LL
Т2 > ψ
где № ~ χ|.
б) Доказать, что если λ определяется выражением (6.5.8), то
Ρ
2 1πλ(Χ) — Г2—>0,
й, следовательно, если гипотеза Η верна, то 2 In λ(Χ) имеет предельное
распределение χ\.
в) Доказать, что п. б) согласуется с общей аппроксимацией отношения
правдоподобия.
11* Обобщение общей аппроксимации отношения правдоподобия можно
сформулировать следующим образом. В предположении, что выполняются условия
1 и II, а также введенные далее требования регулярности, если {#п} —
последовательность альтернатив, таких, что ~\/п (θη — Ф0) стремится к пределу при
некотором θ0 £ θ0, то 21η λ (Χ) имеет приближенно нецентральное распределение
%r—q с параметром нецентральности, определяемым как среднее предельного
распределения минус (г — q).
а) Доказать, что если 2 1η λ (X) определяется соотношением (6.6.9) и Хь...
Хп — выборка из распределения NN (μη, σ2), где μη = μ0 + al~)/n, то
LL
2 In λ (Χ) -» V, где V имеет нецентральное распределение %\ с параметром
нецентральности α2/σ2.
б) Доказать, чтснв модели с одной выборкой из разд. 6.5.Б для альтернатив
μίη = μ!0) + ail~\/n, i= 1,2, Ση =Σ —заданная величина, 2 In λ (Χ),
имеет асимптотически распределение %\ с параметром нецентральности (аи
а2) Σ""1 (αχ, а2)'. Доказательство разбейте на следующие этапы:
л \) Q^n(X^[«\Y--№>)Z-1{X--\i{0>1 ^-μ(20))'
имеет требуемое распределение, что можно усмотреть из представления (1.4.18);
Ρ
2) Τ2 — Q -> 0 по теореме Слуцкого;
3) примените часть б) задачи 6.6.10.
12. Эффективность Питмена. Пусть \п = (А"171, ..., Xnn)t n = 1,2,...,
имеет функцию плотности или частоты рп (х, О), где 0 = (μ, η), χ —
вещественный параметр, значения которого заполняют некоторый интервал. Мы
проверяем гипотезу Η : μ = μ0 относительно альтернативы К : μ > μο·
Рассмотрим две последовательности критериев {6^ (Χη)}π^ι с функциями
мощности βη (μ, δ^}), i =1,2. Предположим, что (i =1,2)
1) βϊΐ(μ<>, ЩЬ-х* при я-сю,
2) βη(μ, δ^) -* 1 при η ->οο и произвольном μ> μ0
264

Определим μ^ (β) как наименьшее 'μ, такое, что βη (μ, б|р) > β для всея
μ >]Γ .
Предположим, что (t = 1,2)
з) μ^ (β) -» μο при л -> οο и β < ι.
При каждом η определим т (η, β) как наименьшее целое число m, для
которого β (μη° (β), 6m) > β. Если отношение т (я, β)Λζ стремится при η -+ оо
К пределу, не зависящему от β, то этот предел называется эффективностью Пит-
мена последовательности {δη У] относительно {δη2)}.
а) Предположим, что при / =1,2
$η(μο+α/Υή, б^)^1-ф(г(1-а)-~ас|) (*)
равномерно по α ^ 0, где с1э с2 — положительны. (Эта структура общая. См.
(6.6.17) и задачи 6.6.5 и 6.6.6.) Доказать, что условия 1—3 выполнены и
эффективность Питмена существует и определяется отношением с\1с\,
б) Пусть Χχ,..., Χη удовлетворяют условиям задачи 5.3.6 и имеют конечную
положительную дисперсию σ2. Доказать, что эффективность Питмена знакового
критерия этой задачи относительно одностороннего ί-критерия из разд. 6.4.А
равна 4 σ2/2 (Ο).
Указание: а) выполняется приближенное равенство μη1} (β) = μτη\η, β) (β),
б) Пользуясь теоремой Муавра — Лапласа и результатами разд. 6.4.А,
доказать, что обе последовательности критериев обладают свойством (*).
6.9. БИБЛИОГРАФИЯ
1. Anderson Т. W. (1958). An Introduction to Multivariate Statistical
Analysis. J. Wiley & Sons. New York. Русский перевод: Андерсон Т.
Введение в многомерный статистический анализ. М., Физматгиз, 1963.
2. AndersonT.W. (1971). Statistical Analysis of Time Series. J. Wiley &
Sons. New York. Русский перевод: Андерсон Т. Статистический анализ
временных рядов. М., Мир, 1971.
3. В а г 1 о w R. and Ρ г о s с h a n F. (1965). Mathematical Theory of
Reliability. J. Wiley & Sons. New York.
4. D a v i d F. N. (1938). Tables of the Correlation Coefficient. Cambridge
University Press, reprinted in: Biometrica Tables for Statisticians (1966), Vol.
I, 3rd edition. Η a r t 1 e у Η. Ο. and Pearson Ε. S. (editors). Cambridge
University Press, Cambridge.
5. Dempster A. (1969). Elements of Continuous Multivariate Analysis.
Addison-Wesley, Reading. MA.
6. Feller W. (1971). An Introduction to Probability Theory and Its
Applications. Vol. II, 2nd edition, J. Wiley & Sons. New York. Русский перевод:
Φ e л л е р В. Введение в теорию вероятностей и ее приложения. М., Мир, 1967,
т. 2.
7. F i s h e r R. А. (1921). On the probable error of a coefficient of
correlation... Reprinted in Collected Papers of R. A. Fisher (1971). Vol. I; Bennett
J. H. (editor). University of Adelaide Press, Adelaide, South Australia.
8. F i s h e r R. A. (1958). Statistical Methods for Research Workers. 13th
edition. Hafner Publishing Co. New York. Русский перевод: Фишер P. Α.
Статистические методы для исследователей. М., Госстатиздат, 1958.
9. F о χ Μ. (1956). Charts of the Power of the F-test.— Ann, Math. Statist.,
27, 484—497.
10. Hajek J. (1970). Limiting properties of likelihood and inference. In:
Foundations of Statistical Inference (1971); GodambeV. P. and S ρ г о t t
D. A. (editors). Holt, Rinehart and Winston of Canada Ltd. Toronto.
11. Η a Id A. (1952). Statistical Theory with Engineering Applications.
J. Wiley & Sons. New York.
265

12. Η а г t 1 е у Η. 0. and Ρ e а г s ο η Ε. S. (1972). Biometrika Tables for
Statisticians. Vol. II, Cambridge University Press, Cambridge.
13. Hodges J. L., Jr. and LehmannE. L. (1968). A compact table
for the power o? t-test. — Ann. Math. Statist., 39, 1629—1637.
14. L e h m a η η Ε. L. (1959). Testing Statistical Hypotheses. J. Wiley &
Sons. New York. Русский перевод: Л е м а н Э. Проверка статистических
гипотез. М., Наука,49б4.<
15. L4fe Ь% r m a n'G. and О w e n D. (1961). Tables of the Hypergeomet-
ric Probability Function/Stanford University Press, Stanford, CA.
16. Pratt J. (1961). Length of confidence intervals. — J* Amer» Statist.
Assoc, 56, 549—567.
17. Rao C. R. (1973). Linear Statistical Inference and Its Applications.
2nd edition. J. Wiley & Sons. New York. Русский перевод: Р а о С. Р.
Линейные статистические методы и их применения. М., Наука, 1968.
18. S с h e f f е Н. (1970). Practical solutions of the Behrens — Fisher
problem. — J. Amer. Statist. Assoc, 65, 1501—1508.
19. W a n g Y. (1971). Probabilities of the type I errors of the Welch tests...
— J. Amer. Statist. Assoc, 66, 605—608.
20. We 1 с h B. (1949). Further notes on Mrs. Aspin's tables. — Biometrica,
36 243 246.
21. Wi Iks S. S. (1962). Mathematical Statistics. J. Wiley & Sons. New York.
Русский перевод: У и л к с С. Математическая статистика. М., Наука, 1967.

ТАБЛИЦЫ
Таблица
Площадь Ф(г) под кривой нормальной плотности слева от ζ
г
.0
.1
.2
.3
.4
.5
.6
.7
.8
.9
1.0
1.1
1.2
1.3
1.4
1.5
1.6
1 7
1.8
1.9
2.0
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
3.0
3.1
3.2
3.3
3.4
.00
.5000
.5398
.5793
.6179
.6554
.6915
.7257
.7580
.7881
.8159
.8413
.8643
.8849
.9032
.9192
.9332
.9452
.9554
.9641
.9713
.9772
.9821
.9861
.9893
.9918
.9938
.9953
.9965
.9974
.9981,
.9987
.9990
.9993
.9995
1 .9997
.01
.5040
.5438
.5832
.6217
.6591
.6950
.7291
.7611
.7910
.8186
.8438
.8665
.8869
.9049
.9207
.9345
.9463
.9564
.9649
.9719
.9778
.9826
.9864
.9896
.9920
.9940
.9955
.9966
.9975
.9982
.9987
".9991
.9993
.9995
.9997
.02
.5080
.5478
.5871
.6255
.6628
.6985
.7324
.7642
.7939
.8212
.8461
.8686
.8888
.9066
.9222
.9357
.9474
.9573
.9656
.9726
.9783
.9830
.9868
.9898
.9922
.9941
.9956
.9967
.9976
.9982
.9987
.9991
.9994
.9995
.9997
.03
.5120
.5517
.5910
.6293
.6664
.7019
.7357
.7673
.7967
.8238
.8485
.8708
.8907
.9082
.9236
.9370
.9484
.9582
.9664
.9732
.9788
.9834
.9871
.9901
.9925
.9943
.9957
.9968
.9977
.9983
.9988
.9991
.9994
.9996
.9997
.04
.5160
.5557
.5948
.6331
.6700
.7054
.7389
.7704
.7995
.8264
.8508
.8729
.8925
.9099
.9251
.9382
.9495
.9591
.9671
.9738
.9793
.9838
.9875
.9904
.9927
.9945
.9959
.9969
.9977
.9984
.9988
.9992
.9994
.9996
.9997
.05
.5199
.5596
.5987
.6368
.6736
.7088
.7422
.7734
.8023
.8289
.8531
.8749
.8944
.9115
.9265
.9394
.9505
.9599
.9678
.9744
.9798
.9842
.9878
.9906
.9929
.9946
.9960
.9970
.9978
.9984
.9989
.9992
.9994
.9996
.9997
.06
.5239
.5636
.6026
.6406
.6772
.7123
.7454
.7764
.8051
.8315
.8554
.8770
.8962
.9131
.9279
.9406
.9515
.9608
.9686
.9750
.9803
.9846
.9881
.9909
.9931
.9948
.9961
.9971
.9979
.9985
.9989
.9992
.9994
.9996
.9997
.07
.5279
.5675
.6064
.6443
.6808
7157
.7486
.7794
.8078
.8340
.8577
.8790
.8980
.9147
.9292
.9418
.9525
.9616
.9693
9756
.9808
.9850
.9884
.9911
.9932
.9949
.9962
.9972
.9979
.9985
.9989
9992
.9995
.9996
.9997
.08
.5319
.5714
.6103
.6480
.6844
.7190
.7517
.7823
.8106
.8365
.8599
.8810
.8997
.9162
.9306
.9429
.9535
.9625
.9699
.9761
.9812
.9854
.9887
.9913
.9934
.9951
.9963
.9973
.9980
.9986
.9990
.9993
.9995
.9996
.9997
.09
.5359
.5753
.6141
.6517
.6879 .
.7224
.7549
.7852
.8133
.8389
.8621
.8830
.9015
.9177
.9319
.9441
.9545
.9633
.9706
.9767
.9817
.9857
.9890
.9916
.9936
.9952
.9964
.9974
.9981
.9986
.9990
.9993
.9995
.9997
.9998
Вспомогательная таблица квантилей нормального распределения
1 -а
.50
.55
.60
.65
.70
.75
.80
.85
.90 -
Z(l - а)
0
.126
.253
.385
.524
.674
.842
1.036
1,282
1 - а
.91
.92
.93
.94
.95
.96
.97
.98
>Э9
2(1 - а)
1.341
1.405
1.476
1.555
1.645
1.751
1.881
2.054
2.326
1 - а
.995
.999
.9995
.9999
.99995
.99999
,999995
.999999
| .9999999
2(1 - а)
2.576
3.090
3.291
3.719
3.891
4.265
4.417
4.753
5.199

Таблица 11(a)
Таблица вероятностей Ρ [К> х] распределения χ2 с k = 2, 3, 4, 5 степенями
свободы
0.06
0.07
0.08
0.09
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
1.10
1.20
1.30
1.40
1.50
1.60
1.70
1.80
1.90
2.00
2.20
2.40
2.60
2.80
3.00
3.20
3.40
3.60
3.80
4.00
4.20
4.40
4.60
4.80
5.00
5.20
5.40
5.60
5.80
6.00
6.20
.2
,.9704
.9656
.9608
.9560
.9512
.9048
.8607
.8187
.7788
.7408
.7047
.6703
.6376
.6065
.5769
.5488
.5220
.4966
.4724
.4493
.4274
.4066
3867
.3679
.3329
.3012
.2725
.2466
.2231
.2019
.1827
.1653
.1496
Л353
.1225
.1108
.1003
.0907
.0821
.0743
.0672
.0608
.0550
.0498
•0450
3
.9962
.9952
.9941
9930
.9918
.9776
.9600
.9402
.9189
.8964
.8732
.8495
.8254
.8013
.7771
.7530
.7291
.7055
.6823
.6594
.6369
.6149
.5934
.5724
.5319
.4936
.4575
.4235
.3916
3618
3340
3080
.2839
.2615
.2407
.2214
.2035
.1870
.1718
.1577
.1447
.1328
.1218
.1116
.1023
4
.9996
.9994
.9992
.9990
.9988
.9953
.9898
.9825
.9735
.9631
.9513
.9385
.9246
.9098
.8943
.8781
.8614
.8442
.8266
.8088
.7907
.7725
.7541
.7358
.6990
.6626
.6268
.5918
.5578
.5249
.4932
.4628
.4338
.4060
3796
3546
3309
3084
.2873
.2674
.2487
.2311
.2146
.1991
.1847
5
.9999
.9999
.9999
.9998
.9991
.9976
.9953
.9921
.9880
.9830
.9770
.9702
.9626
.9541 ·
.9449
.9349
.9243
.9131
.9012
.8889
.8761
.8628
.8492
.8208
.7915
.7614
.7308
.7000
.6692
.6386
.6083
.5786
.5494
.5210
.4934
.4666
.4408
.4159
3920
3690
3471
3262
3062
.2872
X ^\
6.40
6.60
6.80
7.00
7.20
7.40
7.60
7.80
8.00*
8.20
8.40
8.60
8 80
9.00
9.20
9.40
9.60
9 80
10.00
10.50
11.00
11.50
12.00
12.50
1300
13.50
14.00
14.50
15.00
15.50
16.00
16.50
17.00
17.50
18.00
18.50
19.00
19.50
20.00
21.00
22.00
23.00
24.00
25.00
26.00
2
.0408
.0369
.0334
.0302
0273
.0247
.0224
.0202
.0183
.0166
.0150
.0136
.0123
.0111
.0101
.0091
.0082
.0074
.0067
.0052
.0041
.0032
.0025
.0019
.0015
.0012
.0009
.0007
.0006
.0004
.0003
.0003
.0002
.0002
.0001
.0001
.0001
.0001
.0000
.0000
.0000
.0000
.0000
,0000
.0000
3
.0937
.0858
.0786
0719
0658
.0602
.0550
0503
.0460
.0421
0384
.0351
.0321
.0293
.0267
.0244
.0223
.0203
0186
.0148
.0117
.0093
.0074
.0059
.0046
.0037
.0029
.0023
.0018
.0014
.ООП
0009
.0007
.0006
.0004
.0003
.0003
.0002
.0002
.0001
Ю001
.0000
.0000
.0000
.0000
4
:1712
.1586
.1468
.1359
.1257
.1162
.1074
.0992
.0916
.0845
.0780
.0719
.0663
0611
.0563
.0518
0477
.0439
.0404
.0328
.0266
0215
.0174
.0140
0113
.0091
.0073
.0059
.0047
.0038
.0030
.0024
.0019
.0015
.0012
,0010
.0008
.0006
,0005
.0003
.0002
.0001
.0001
.0001
&№
5
.2692
.2521
;2359
2206
.2062
.1926
.1797
.1676
.1562
.1456
.1355
.1261
.1173
.1091
.1013
.0941
.0874
.0811
.0752
.0622
.0514
.0423
,0348
.0285
.0234
.0191
.0156
.0127
.0104
.0084
.0068
,0056
.0045
.0036
.0029
.0024
.0019
.0016
.0012
.0008
.0005
.0003
,0002
.0001
.0001
268

Таблица II (б)
Квантили χ (1 —а) распределения χ2 с Л степенями свободы: Р[ V > jc(1 — α)] ~α
iNyl
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
.26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
45
50
55
60
65
70
75
80
85
90
95
100
.001
22.458
24.322
26.125
27.877
29.588
31.264
32.910
34.528
36.123
37.697
39.252
40.790
42.312
43.820
45.315
46.797
48.268
49.728
51.179
52.620
54.052
55.476
56.892
58.301
59.703
61.098
62.487
63.870
65.247
66.619
67.985
69.347
70.703
72.055
73.402
80.077
86.661
93.168
99.607
105.988
112.317
118.599
124.839
131.041
137.208
143.344
I 149.449
.005
18.548
20.278
21.955
23.589
25.188
26.757
28.300
29.820
.31.319
32.801
34.267
35.719
37.157
38.582
39.997
41.401
42.796
44.181
45.559
46.928
48.290
49.645
50.993
52.336
53.672
55.003
56.328
57.649
58.964
60.275
61.581
62.883
64.181
65.476
66.766
73.166
79.490
85.749
91.952
98.105
104.215
110.286
116.321
122.325
128.299
134.247
140.169
.01
16.812
18.475
20.090
21.666
23.209
24.725
26.217
27.688
29.141
30.578
32.000
33.409
34.805
36.191
37.566
38.932
40.289
41.638
42.980
44.314
45.642
46.963
48.278
49.588
50.892
52.191
53.486
54.776
56.061
57.342
58.619
59.893
61.162
62.428
63.691
69.957
76.154
82.292
88.379
94.422
100.425
106.393
112.329
118.236
124.116
129.973
135.807
025
14.449
16.013
17.535
19.023
20.483
21.920
23.337
24.736
26.119
27.488
28.845
30.191
31.526
32.852
34.170
35.479
36.781
38.076
39.364
40.647
41.923
43.195
44.461
45.722
46.979
48.232
49.480
50.725
51.966
53.203
54.437
55.668
56.896
58.120
59.342
65.410
71.420
77.381
83.298
89.177
95.023
100.839
106.629
112.393
118.136
123.858
129.561
.05
12.592
14.067
15.507
16.919
18.307
19.675
21.026
22.362
23.685
24.996
26.296
27.587
28.869
30.144
31.410
32.671
33.924
35.173
36.415
37.653
38.885
40.113
41.337
42.557
43.773
44.985
46.194
47.400
48.602
49.802
50.999
52.192
53.384
54.572
55.759
61.656
67.505
73.312
79.082
84.821
90.531
96.217
101.879
107.522
113.145
118.752
1.24.342
.10
10.645
12.017
13.362
14.684
15.987
17.275
18.549
19.812
21.064
22.307
23.542
24.769
25.989
27.204
28.412
29.615
30.813
32.007 ·
33.196
34.382
35.563
36.741
37.916
39.088
40.256
41.422
42.585
43.745
44.903
46.059
47.212
48.363
49.513
50.660
51.805
57.505
63.167
68.796
74.397
79.973
85.527
91.062
^ 96.578
102.079
107.565
113.038
118.49$
20
8 558
9.803
11.030
12,242
13.442
14.631
15.812
16.985
18.151
19.311
20.465
21.615
22.760
23.900
25.038
26.171
27.302
28.429
29.553
30.675
31.795
32.912
34.027
35.139
36.250
37.359
38.466
39.572
40.676
41.778
42.879
43.978
45.076
46.173
47.269
52.729
58.164
63.577
68.972
74.351
79.715
85.066
90.405
95.734
101.054
106.364
111,$67
30
7.231
8.383
9.524
10.656
11.781
12.899
14.011
15.119
16.222
17.322
18.418
19.511
20.601
21.689
22.775
23.858
24.939
26.018
27.096
28.172
29.246
30.319
31.391
32.461
33.530
34.598
35.665
36.731
37.795
38.859
39.922
40.984
42.045
43.105
44.165
49.452
54.723
59.981
65.227
70462
75.689
80.908
86.120
91.325
96.524
101.717
!0$.90б
269

о
о
Is
| О
С*
©
©
©
о
о
о
о
о
о
©
©
о
©
о
"*
636-62
31-598
12-924
8-610
г^ м< со
СО СО СМ -Η
00 СМ 0 t>
*н <м ,-н
СО
© СО 00
СО © ^ Ю
ь- ·<* t^ ю
СМ —<
|> ϊβ 1-1 ч*
© © X ©
cboi ό ^
СО
»-* 1С *-ι I—
СМ со "* т*
^ © <чН СО
СО
со со см со
О О 00 Г-
г- со *-< г·
СМ тН СО СМ
■^ © со см
— Μ Ю СО
W Л W ή
СО CM CM СМ
00 СО X СО
Is*· 00 СО СО
О 00 СО Ю
© © 00 *ч *-·
® ЮО^СО
CO © ^ © t*·
CO CO Ю — I*-
© © 00 © ©
00 CM Г- Ю CM
CO Г"» © CO ©
t*~ --н CM CO ft
t*~ CO © CO CO
^ ^* ^* со со
CM t> © ιβ ©
CO © © Ю Ю
© t*- *<* CO CM
^ CO CO CO CO
»л со oo со —<
© -* © © CM
CO *-« © GO 00
CO CO CM CM CM
-* Г*« Ю © CM
Г- τ*· © © ©
Ю ^ CO CO CM
CM CM CM CM CM
Ю CO »ft © CO
-+ *** © © CO
© © 00 CO CO
© © »ft Г- CO
r- *<* ~ © oo
^ ^ ^ CO CO
Г- Г- X ~« ©
X CO -ч CM «·*
1С ч* CO CM -*
*4* ^ ^ ^ ^
*** Ю © CM t*»
^ © © 00 t^
*^ ^ CO CO CO
и t» 00 И ©
CO © CM l> CM
Ю TH ч* CO CO
CO CO CO CO CO
© © Ю *-« Г-
~« ~-·9 9 ft
CO CO CO CO CM
·* 00 -4 © ·*
© ^- X 1С CM
t*·* t^- CO CO CO-
CM CM CM CM CM
X -ч © © Ю
CM © t- CO **
CM CM —Г ^ —>
CM CM CM CM CM
см © см —ι —·
00 t- t*» t- t-
CM CO © © li>
r*- © о ю ч*
CO CO CO CO CO
со «о ю ем со
t^ — © см со
© о © © со
т|* ^ СО СО СО
со © © © ©
СО X ч* —' Г-«
г- © © © ιο
со со со со со
© СМ СМ Г- т*
00 Ю OJ 65 h·
см см см ~+ -■«
со со со со со
t- -* со со -ч
■^ см © г- ©
© © со со со
см см см см см
см со г- см ©
© со © ю со
со »с ю о ю
см см см см см
мОО^СО
СО СМ —■ © О
см см см см см
СО © ©** ©
Ю ч* <■■»« СО СМ
t- t- t- t- r-
~ч г- со © oo
-* CO CO CO CM
CO CO CO CO CO
© © CM Г*- Ю
О —' © © ***
00 СО Г- f- Г-
со со со со со
см ь- »с »л t^·
1Л CM © СО ©
1Л >Л Ю <? тИ
со со со со со
О СО ι—' © ©
СО СО СО СО СО
ΙΛ »-и © Г» Г-
^ СО -^ О 05
СО СО СО СО Г^
см см см см см
00 СО 00 © СМ
см ^ о © ©
W5 Ю Ю Ю ч*
см ом см см см
© © ^ © ч*
со со г- © ©
© о о © ©
см см см см см
см см —· — -*
Г- 1> Г- Г- f-
Ю СО «-· С5 00
СМ <М ^1 — —«
со со со со со
Οϊ © © 1- О
t- г- © © ©
со со со со со
© 1Л —' 00 ©
ю со см © ©
^ *f *4* ^ СО
со со со со со
00 Г- t^· Г» СО
t-- © ио -* со
© о © © ©
со со со со со
Г^ © *н СО ©
00 Г~ t^ © Ю
t^ 1> Г^ Г» t-
СМ СМ СМ 6} СМ
Ю © СО Г- СМ
со г·* г^ © ©
^* ^ ^7* ^ ^4*
см см см см см
О © СМ СО «5
© Ю Ю т*< тЦ
9 9 9 9 9
см см см см см
СО© СО ~* 05
©©о © ©
Г- t> Г^ 1- ©
© Ю Tt< СО —<
СО СО СО СО СО
CO ^ © CO -η
ч* Ю © Г- ©
© Ю -t CO CI
со со со со со
1С t^ СМ © ©
со © со © ©
со со см ·-< 9
-со со со со со
о ^ »с © t-»
со г- — © ©
© © © 00 СС
со ся см см см
© «* О 1> ©
«5 © © —· Г-
1> 1> СО © Ю
см см с ι см см
Г- СО © X ©
1С СМ © iC СМ '
^ ^« со со со 1
см см см см 6\
см ^ о © ©
^ СМ © X ©
ооос;»
CM CM W ^ ^ч
h ^ w ю ifl
ft 30 Mi *
СО СО © © ©
о со © © см
*-< © © X X
со со а см см
©СО Ю -»
© ^н © ·*
© 00 t-
ΓΑ ©
ϊβ © t- ι-н
CM X t*» Is-
CO CM CM CM
©
HNrt^<
t*- oo —* © со
(M _ «, о ©
t— t- Is- r- r-
ό
г- ю со см -«
CO © CD © ©
CM CM CM CM CM
6
ui>©t^ce о
О t^ Ю -f ?1
© © © © ft
r** © © © ©
ό
© © © © 00
Φ CO Ю Ю Ю
CM CM CM CM CM
©
О ,н Г» Р0 ·*
~-* О ft CO 00
© © X 00 CO
© © © © ©
©
00 »h·^^
см см см см см
©
кП^ЬОО^
Г- © © 1Л Ю
СО СО СО СО 00
© © © © ©
©
г- t- © © ©
ю ю о о ю
см см см см см
ό
Ои(ЧЛ^
Tf· ^ ^ СО ГО
00 СО 00 X 00
со © © © ©
о
© © © © ©
О О О "С О
СМ СМ СМ СМ 5^
о
»Л Ν© t^CO О
(Ν cN (N CM CM
СО —* © Г- -f
X X Г- 1- Г-
© © © © © 1
©
© »с ^ ^ со
*о ю ίο ю ΐΛ I
см см см см см
9
©О©© Q

C0
Pf
s
ч 8
о ||
2,
s
s
as
к
a
&
s
s
Η
я
ctf
8
о
<-*
-ft
<·*
00
>o
*
ΓΓ
Λ
tN
**
к
owe
со
«о
00 CN Ю
^ со со
со о со со
CO
CO
to О ·*»
-* to op
— © со со
© ©ем ph
CN
CO
to ca cn
^ со о
О ©CN -4
CN
«О
CO t- О
»* op ем
О © CN »-·
CO
γο«
CD 05 b· ЧИ
© ©CN рч
3
t-ca©
CO"* 00
КОМИ
л
ю
СО ι— рч
coca cn
o> OS r· ιό
Ю ©CN p*
00
ю
О <# «Μ
«cn «о
-j» ©bo ю
ю
иэ <-· со
CN fr- ©
to © со ώ
cn © cn рч
со
ю
« © © со
ОЛМи
8
WO00O
© όό оо
© ©«рЧ
3
§28
fN GO "»>рЧ
Ю © СО CN
S
**««<*
МООЮОм
О 00 СО 00 СО
© со ιό Ци Ци
О «Ο CN СО 00
N0000^
00 « © О Ю
СО CN OS CN©
© г» ιό ιό-*
Ю О © © рч
«5 * рч СО 00
cn © рч cn©
©to© ά ^
© cn to to рч
ca to сою ό
о>о ^cot*
CN рч 00 © τ*
0 00 CO CO «5
г» г» © to О
© <« рч«©
О да to с© ιό
to Ю © W ©
са to ·* ер©
ооо toco©
©ююрчсм
Μ м (Й О *
«β оо « ел ел
© fr- *» ΙΟ»
cn©» to©
Γ» N Ю ΙΟ N
CN Л О © β
со о са оо go
СО ΙΟ «О СО «О
CNiXNCN О
©«CN·* о
«0^(4 00 9»
рч о со to ρ
©СО СО -ч φ
со со со со со
00 00 ч*1 ^ 00
ot»>o«H
~* со со «со
CN © to ιρ ср
^* со со со во
мООФм
^ рч СО СО Ю
-if Ци со со со
© Ю рч CN ©
ЮвЧ О 00 СО
<·*<«'«««
HOtocdO
ι> <+ рн са оо
■* ■<» чи «со
О Г"> |рсррч
ιό <* чи чи хк
© t« CN CN ©
СО О 00 СО «*
ιό ιό Ци чи чи
о* ем со со са
СО СО О 00 СО
ιό-όιό**-*
CD СО *· «NO
ιό ιό-ο ιό to
ю t>» to ^ со
toe* ea i> to
cb «ο ιό to to
«•-«Он
iocn ca t- ю
t^ CD CO CO
■4* Ю CO t« CO
о to со о со
о са са са со
е«*<ч<ч*
г» m to г» ca
op t- со to *»
CN CN CN CN CN
to со со to t-
O ca oo to to
«CNCNCN CN
cn --ι ο caop
«CO CO CNCN
to со со оо о
«Np-OO
CO CO CO CO CO
tO ** CO CN рч
CO CO CO CO CO
t» Ю CO t» Ο
со tp <* coco
CO CO CO CO CO
о са с»** со
© GO to to CO
* CO CO CO CO
* CN OO m*M>
со cnph oca
ЧИ ЧИ ЧИ "* CO
tO -*COCN рч
*·■* ЧИ ЧИ ЧИ
ea t« r* coo
00 to CO to tO
^Ци Ци «in "in
cn eaco ca ρ*
^CN-OO
ιό >ό >ό ιό to
«CN*-4p©
to «b to «b >ό
со со о са со
00 CO 00 00 GO
- »ft%Ot>00t>
Μρ4ρ4«4«Ν
CN© рч©рч
*l««CNCN
CNCN CNCNCN
рч Ю О «О О
«ρ to ю ^ ч»
2Я CNCN CN CN
00 CN toCN 00
to Г» СО СО tO
CNCNCNCNCN
о>< 00 CO 00 «J»
ca оо оо to to
CNCNCNCN CN
ca со оо со ca
о © со ca go
CO COCNCN «N
eo t»eN г- со
Np*hOO
со со со со со
tO-* Ю ρ-» CO
ip tp <+ -J· cp
CO CO CO CO CO
Г»ивн1>
00 00 to to CO
CO CO CO CO CO
© o> ca ч*о
ρ-* Ο ca ca ca
ЧИ "ЧИ CO CO CO
CO to p- CO CN
<* CO COCNCN
*· toCNtOCN
©COGpto l>
Ю 00 CN CO Η
OO to to tO CO
to to to to to
OCN tOCOCN
pH © © 00 00
00 GO to to »>
г^яяя
5:2SS©
CNtNCN CNCN
© CO © © CO
CO COCNCNCN
CN CNCNCNCN
-J< Ο to -*H
ΙΟ Ю ^ *#f
CN CN CN CNCN
Ο © со © to
ro<0©cptp
CNCN CN CNCN
ю «^ со to во
CO 00 to r- to
CN CN CN CNCN
©©co©£»
© © © ca cp
CNCN CN CNCN
CN © © CO О
cpcNC^eNCN
со со со со со
co©«$ со©
со to ю to tp
CO CO CO CO CO
tOCN COtOfO
00 © to r· (o
coco со cb со
»o>»-* *? Д
p>H p-4 —4 O©
fCOCfttgCN
ιό ιό lOV» tO
toCNOO^Jg
t» to CO «P<P
t>t> foe^r·
ssssa
© op tp cp© J
ρ- CN -И» со t>^. {
CN ©00© -* [
CNCN Αρη A
© О CO © О 1
CO CNOOO to
CN CNCN Api·
Ю to О CO ©
tO CO CN О 00
CNCN CNCN A
© CN tO©*Ji |
МЙМнО
CN CNCN CNCN
«J» © О -J· CO Ι
» © toco—t
CNCN CNCN CN
to©CN© РЧ 1
P-i © © СО Ю
«CNCNCNCN
to©CN©0 1
«dHOao
«««CNCN
© p^ -I» toCN
totp « P-4 О
во « со « «
«N«tO©CN
ocp tp^co
4·««««
IP- Ρ- «tO©
Ю CO ρ- ©to
ЧИ -ί< *β «CO J
© © © © Ή
« 9+ © to©
ιό to ^ «ί; <->
©н» ют
ю«©со©
to [о to©©
S5SS8
о
II
CJ

8
1 s
о
л
8
•
<**
•4
«0
4>
to
*
10
94
*4
1 **/
© со со
О Ю О СО
«Г О СО Ю
Ift —t
CI
2522
19 48
8-57
5-69
О О» 00 Ю
ift -ч
см
ift СО ©
© ч* СО СО
со да оо ιο
CI
СО О tO
Οϊ ч* Г- 00
ю да со ift
■·* гч
сч
1-4 Ч* -»
С> "^ t- О»
со да cb ift
ч* 1-1
см
238 9
19-37
8-85
604
234 0
1933
8-94
616
о — «о
с» л © см.
0 0)0)Ф
СО .-ι
см
224 6
19-25
9-12
639
215 7
1916
9-28
659
ою-*
ιο о «о о»
да да да to
e»<-t
*- со <-i
А соог»
Фнн
*■<««*
<© г* со ео —«
СО СО СМ ОЭ Г»
■tr со со см см
СО rt< О -ν да
·* со со со см
© ~4 СО СО ".О
ift СО СО © 00
ч* СО СО СО СЧ
О Г* ч* Ю ч*
о оо η· ~* да
ч* СО СО СО СМ
CM ч* »Н СМ «
ер да ю сч ©
*♦ СО СО СО СО
СО О Г- 00 1>
«о о «о см о
<*ч* сососо
CM ift СО ч*сО
СОм t~ ч* см
ч* 4h СО СО СО
Ift СО Г» СО Г>-
О» СМ СО О СО
ч# ч* СО СО СО
ift да г» да оо
© СО © СО ч*
о ^ со со со
О» СО СМ о* СО
>-4 ift ~ GO tO
«5 ч* ч* СО СО
ч* Ь- СО О 00
О ч* ч* ч* СО
да ч* ч* «о «о
Г» ин Г- ч* СЧ
ift «^ ч> ч*
ρ- О» О» СМ СМ
«о ел ю. со «-4
«bio >Ь ιό >Ь
tA^^CO*
ч* © © ~ СО
см ем см см см
СМ в> 00 О СМ
to «* со со еч
см см. см. см «я
© г» t~» со --
г» ift ч* со со
СМ СЧ СЧСЧСЧ
Г- ift "V «О да
t~ со о ч* со
СМ СЧ СМ СМ СМ
2-85
272
262
2 53
246
HftaOrt
с» ь- «о со ю
СЧ СМ СМ. СМ СМ
1- ift ift Г-©
О О 00 Г- 1^·
со смечем «я
СЧ Л © СЧ Ю
см о о о» со
со со со счеч
со о ^ со to
со со во соей
00 сО СО со -н
ч* СО СЧ -* »-4 %
■СО СО СО СО СО
-4 О» OS — Ч*
l·· ю ч* ч* ер
СО СО СО СО СО
О СО СП —· <*
«■ч О* СО 00 Г"·
^· СО СО СО СО
««u)t>o
с» оо г* со «о
«* ч*ч* ч* ч*
О «* <Ч f* *
г- ~ со ем оо
О О О) СЛ 00
СЧ СЧ Анн А
«о -н ее ем со
и«ооа
еч см счеч А
Ift да ift — Г»
см ~ — «о
счеч емечеч
СО 00 СО CR СО
со см сч f-i^4
СМ СЧ СЧ СЧ СЧ
о w ^ г- со
ч* со со счеч
ем см емечеч
оо ем со «t -н
ч(* ч$< со со со
счешем счеч
*# силюсь
СО Ift ift ift ч*
сч сч сч счеч
ел ^ о «о со
Г> t~ t~ О <0
счеч сч счеч
О ift «■* Г- ч*
б> 00 СО 1-· h·
см см еч ем см
«О -4 «О СО©
о о л да да
со со еч счеч
ел «* ©toco
сч ем см н-1^4
со со со со со
оо со да о сч
со со ю о о
со со со со со
ч* да ю ~юо
Ift ч# ч* ч* СО
ч> ч* ч* ч* чи
Шч^ЬСОС*
«^ «00 О СО
СО СО Г- Г· 1Г·
»ft см да «о ч»
да да оо оо оо
-* -η 00 О Ί*
О о о да да
еч о г» ift со
•ч~©0©
сч счеч счеч
OOOU5WH
СМ гн «-· г-4 гч
еч счеч счеч
00 1Я СО ©СО
см счеч сч ι-·
сч сч счечеч
ЫЭ СЧ ©f- <©
ч* ч* ч* со со
сч счеч счеч
© Г- Ift СО <-«
<0 ift Ю 10 Ю
сч счеч счеч
-ν оо со ч* еч
г- со со to «о
сч счеч счеч
Г» 4* СМ © 00
вО 00 00 00 Г"
еч счеч счеч
© f- 1ft СО *ч
мОООО
со со со со со
да t- ч* еч ©
·? ·^ ■* ·# чи
со со со со со
ift ем о со to
со со со ем см
+ ·+ it-it-in
8сч88«
-+ да г* »ft ^*
t^ сО со со со
сч © да г- »ft
со со ι> г· г-
СМ ©00 Г* Ift
да да оо оо со
•ч да г* о 4*
о да да да да
сч А А А А
да г*· со 4* со
©4© © О ©
еч счеч счеч
to ift соеч ©
HHiiiHrt
сч счеч счеч
««tcMp-даоо
со со со счеч
сч счеч счеч
да г- to ift со
сч счеч счеч
© да г* со »ft
«О «Д Ю ift %Р
счеч сч сч сч
tO 4* СО ~ ©
Г» Ь» Г· t- !>·
еч сч сч еч еч
да оо to ift со
да да да да да
сч сч еч счеч
да г» ift ч* со
со со со со со
СО СО СО СО СО
4# со -ч © оо
ем ем см ем «
"ЧИ ^ ^ ■* ^
U)v9r>000
ΓΊ«ΝΓ4<Ν
ем ^- да ift ©
со »ft со ем ©
■♦ f СО СО СМ
1-· СО Ift 4J" СО
•*f >rr »ft ift СО
СО Г» tO Ift rft
СО <*Ч Ift СО Г-
да ςρ r-o о
AAAAA
2 01
1-92
1-84
1-75
1-67
да © ем со ίο
© © да со г*
счеч А А А
г- оо © ем -*
CNmhQO
счечечеч А
СЧ 4f ift I-.*©
·+ CO CM «i-<
счсчсчсчсч
со ift г- да -*
tft τ «о ем см
ем см счеч еч
да м со ift h»
to «© ift 4J. со
CtC4 еч счеч
сч 4*<о со ©
дасо t- toto
сч сч еч см сч
СЧ СО Ift Г" ©
срем м о о
СО СО СО СО СО
1Г-00 ©СМ 4*
~ ©© дасо
ч* ЧИ ч# СО СО
8SS§8

к
33
g и
о —
•г
* Д
Я CO
Η ^
5?
0?
Я
32
В
о
cd
α,
s
ч
χ
Η
32
8
m
«4
00
^o
1Л
*·
л
CM
Ρ*
и
ι CO СЬ CO eO
со <* рч r·
со сл »Ь со
Ι *°
сл t- ю сл
*Γ" "? *Γ" Τ
см ел »ό со
Ι φ
COeD Ρ» CM
ем о» tb со
о
■^•■^ 00 ·«*
г» ^ «-4 op
рч σ> ιό со
CD
CM <*eM CO
рч сл ιό со
CD
όά ιό со
со
ч* t- Irt Irt
ч*ср с* ел
ело» ιό со
ю
©СО 00 рч
CM CO CM ©
оо ел ιό чи
ч* ел —* ю
СМ 94 СО О
Р^· СЛ»0 ч>
Ю
«О ч*ч*рч
00 СМ СО~ч
irt СЛ WW
Ю
А СО О 09
ιρ *ч со рч
СО 09 10 ч*
ю
© © СО СМ
»л о «и· ео
сл сЬ ιό ч*
СО СО ч* ч*
00UIOIO
OS СО Ю Ч*
со
**счлч*
О СМ Г» СЛ СО
ч* СО рч ч* -Ч
рч Г- Ю СО еМ
СОеМ СМ ем еМ
Ρ» ОСО 00 Ю
рч 00 Ю СО еМ
ео ем см см см
СМ 00 Ю ^ СО
СО CM CM <N CM
ч* г» еоео ч*
ем ор со ■? со
СО CM CM CS СМ
ЬОЬООО
СМ О) СО ΙΟ СО
СО СМ СМ СМ СМ
H*00IOO)t«
со ел г- «5 ч*
со см см см ем
© «О СО Г» Ю
ч* О 00 СО Ю
со со ем см см
Ю рч 00 СО рЧ
ч* *? ор г· со
со со ем ем ем
ем оо со «ч с»
»р рч osop ер
со со ем ем ем
ем с» р-ем **
со ем о о» ор
со со со ем ем
00 СО СО рч -ч
Г» ч* СМ рч О
со со со со со
СО 00 О) СО СО
О Г· ΙΟ «^ СО
4ί· СО СО СО СО
1вч9С<»0О9*
СО Г» О О О
© 9 <л оо ор
ем·^ «-ι»* **
рч COCO О СО
•и О Φ О) 00
ем ем рч рч ·*-
СО 00 рч CD рч
йООФО)
емемсм~ *ч
©ем со рчсо
СМ рч О ОО
ем см ем см ·->
ч* Р-©Ю рч
смрч pioo
ем ем ем ем см
00 р* Ю О Ю
СМ СМ рч рчО
ем см см ем ем
со со ем ем»-»
ем ем ем см ем
СО еЛ СО 00 ч)1
ч* ео со ем ем
ем ем ем ем ем
СМ Ю СЛ Ю рч
IO ^* СО СО СО
ем ем ем ем ем
рч ч* 00 СО СЛ
со ιρ ч* -# со
см ем ем ем ем
со со рч со ем
г> со со ίο «о
см ем ем ем см
ем со р^ со со
СЬ 00 00 Г» Г*
ем ем ем ем ем
с» ео оо ч*©
ем см рч рч Т*
СО СО СО СО СО
0«-<4*)*Ι·
со ем о» со со
£> Г» СО CD СО
СМ 00 Ю СМ О
00 Г- Г· Г- Р^
Г» Ч* рч 00 СО
op op op f· р·
СМ ©СО ч* рч
09 00 00 00 00
Г- чКрЧ СЛ СО
СЬ СЛ СЛ 00 00
см oseocop*
О О) © © О)
ем е» со ч* см
•нОООО
ем ем ем см ем
рч 00 Ю СО рЧ
СМ рч р* р* рч
ем ем см ем см
г· ч* ем © оо
ем ем ем ем рч
см ем ем ем ем
СО СО рч OS Г*
со со со ем ем
ем ем ем ем ем
сп со ^< ем ©
<* ^ ^ ^ -^
ем ем ем ем ем
© Г» -^ С4 рч
г* со со со со
ем ем ем ем ем
г» ю ео рч о»
9999?
ео со со со см
νη^ο ι- ооо
«Ч «Ч РЧ 1MJ «^
рч О» t- О СО
СО lO »Л ift 10
сое©'* ем *ч
^ ем © а г-
г- г- г- со ер
Л 00 СО ^1 СО
Г- t» Г» Г- Г»
ч* СО рч © 00
00 00 00 00 Pj*
or-со ■* ео
00 00 00 00 00
©00 Г» Ю ^
© о> сь о> сь
09 00СО 1Л -«*
©©о©©
ем ем ем см ем
СО "ОСО рч ©
ем ем ем ем ем
irt со ем рч о»
см ν ем ем рч
ем ем ν ем ем
00 СО Ю -^ СО
ео со со со со
ем ем ем ем ем
о г» со ю ^
ем ем ем ем ел
Г* СО iO 4f СО
сь сь сь сь сь
ем ем ем ем ем
CMcMCMcMiS
ем © о со ρ-
МНМр4Н
О 00 Г» СО Л
Ю irt 1Л irt Ю
ерю -о· ео ем
ем рч © ел оо
t* г- г· со ер
г- ео ю ■*< ео
г- г· t* г- г·
ем рч © о>оо
CQ 00 00 t·· Pj·
ео ем рч©о>
OS OS 09 СЬ 00
ем рч© ©о>
οοοοσ»
ем ем ем ем рч
<os оо t* ео со
©999°
ем см ем ем ем
00 Р« Р« СО Ю
см ем ем ем ем
СМ рч © CS0O
ер со ер ем ем
ем ем ем ем ем
ео ем рч © ©
ем ем ем ем с*4
ем рч © ел с»
OS OS СЛ 00 00
ем ем ем см см
СО 00 СЛ OS О
*f ерем -* ©
ч|11> ©ем ч*
ю «* ^ еоем
р-« ^JJ ОО рч чИ
t- рч «^ ооеч
«р со «р ^ ^<
ем со © ю ел
PJ- СО СО »р ·*
Г» рчсО©«5
Р» р- СО СО Ю
со со t- ем г·
00 00 Р*· Р* CD
00 СО Ρ» СМ Ρ»
ел ел оо оо ρ* Ι
ΙΟ ©Ю©Ю
© © сл ел оо
ем смрч рч рч
^ ел "^ сл ·*
*ч©©09 09
смемем рч рч
оо со оо ео оо
ем см рч р* ©
ем смемем ем
OS^II OS Irt ©
■ч)· ^ со со ер
см ем ем емем
00<*OS Юр*
00 00 Г- Р» Г*
ем ем емем ем
«5 <*о<м 8
О
о
ЭТЗ

Таблица VIII
Распределение статистики Спирмэна:
D = Σ (Т| — /)2, PiD < d] (В таблице
приведены только вероятности
«левого хвоста» P[D <! d],)
ά
η
0
η
0
2
η
0
2
η
0
2
4
6
η
0
2
4
6
8
10
12
14
η
0
2
4
6
8
10
12
14
16
18
20
22
24
26
η
0
2
4
6
8
10
12
14
46
18
20
Ρ
= 2
.5000
= 3
.1667
.5000
= 4
.0417
.1667
= 5
.0083
0417
.0667
.1167
= 6
.0014
.0083
.0167
.0292
.0514
.0681
.0875
.1208
= 7
.0002
.0014
.0034
.0062
.0119
0171
.0240
0331
0440
.0548
.0694
.0833
.1000
.1179
= 8
.0000
.0002
.0006
.0011
0023
.0036
.0054
.0077
.0109
.0140
.0184
d
22
24
26
28
30
32
34
36
38
40
42
44
η
0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
32
34
36
38
40
42
44
46
48
50
52
54
56
58
60
62
64
66
η
0
2
4
6
8
Ρ
.0229
.0288
.0347
.0415
.0481
0575
.0661
.0756
.0855
.0983
.1081
.1215
= 9
.0000
.0000
.0001
.0002
.0004
.0007
.0010
.0015
.0023
.0030
.0041
.0054
.0069
.0086
.0107
.0127
0156
.0184
.0216
.0252
.0294
.0333
.0380
.0429
.0484
0540
0603
.0664
.0738
.0809
.0888
0969
.1063
.1149
= 10
.0000
.0000
.0000
.0000
.0001
d
10
12
14
16
18
20
22
24
26
28
30
32
34
36
38
40
42
44
46
48
50
52
54
56
58
60
62
64
66
68
70
72
74
76
78
80
82
84
86
88
90
92
η
0
2
12
14
16
18
20
22
Ρ
.0001
.0002
.0003
0004
.0006
.0008
.0011
.0014
.0019
.0024
.0029
.0036
.0044
.0053
.0063
0075
.0087
.0101
.0117
.0134
.0153
.0173
.0195
.0219
0245
.0272
.0302
.0334
.0367
0403
.0441
.0481
0524
.0569
.0616
.0667
.0720
.0774
.0831
.0893
.0956
1022
= 11
.0000
0000
.0000
.0000
0001
0001
.0001
.0002
d
24
26
28
30
32
34
36
38
40
42
44
46
48
50
52
54
•56
58
60
62
64
66
68
70
72
74
76
78
80
82
84
86
88
90
92
94
96
98
100
102
104
106
108
110
112
114
116
118
120
122
124
126
128
Ρ
.0003
.0003
.0005
.0006
.0007
.0009
.0011
.0014
.0014
.0020
.0023
.0027
.0032
.0037
.0043
.0049
.0056
.0064
.0072
.0081
.0091
.0102
.0113
.0126
.0139
.0153
.0168
.0184
.0201
.0220
0239
.0260
.0281
.0304
.0328
.0354
.0380
0409
0438
.0470
.0502
.0536
.0571
.0609
0647
.0688
.0729
0773
0817
.0865
.0913
.0964
.1015
274

• ОГЛАВЛЕНИЕ
Предисловие к русскому переводу 5
Предисловие 7
Обозначения и сокращения 9
Глава 1. Некоторые вопросы теории вероятностей 11
1.1. Введение условности с помощью случайной величины или случайного
вектора 11
1.1.А. Дискретный случай 11
1.1.Б. Условное математическое ожидание для дискретных величин ... 14
1.1.В. Непрерывные величины 16
1.1.Г. Комментарии к общему случаю 18
1.2. Теория распределений для преобразований случайных векторов 19
1.3. Теория распределений для выборок из нормальной генеральной
совокупности 25
1.3.Α. χ2~, F- и /-распределения 25
1.3.Б. Ортогональные преобразования 28
1.4. Двумерное нормальное распределение 31
1.5. Аппроксимации распределений и моментов 37
1.5.А. Некоторые примеры 37
1.5.Б. Аппроксимации моментов 39
1.5.В. Преобразования, стабилизирующие дисперсию 41
1.5.Г. Аппроксимация Эджворта и другие аппроксимации 41
1.6. Предсказание 44
1.7. Примечания 51
1.8. Задачи и дополнения 52
1.9. Библиография 65
Глава 2. Статистические модели 66
2.1. Формулировка статистических моделей 66
2.2. Достаточность 73
2.3. Экспоненциальные семейства 78
2.3.А. Однопараметрический случай 78
2.З.Б. ^-параметрический случай 82
2.4. Байесовские модели 84
2.5. Примечания 91
2.6. Задачи и дополнения 91
2.7. Библиография 99
Глава 3. Методы оценивания 101
3.1. Принципы подстановки 101
3.1.А. Подстановка частот 102
3.1.Б. Метод моментов 104
3.2. Метод наименьших квадратов 105
3.2.А. Общие модели и модели линейной регрессии 105
3.2.Б. Взвешенные наименьшие квадраты 109
3.3. Оценки максимума правдоподобия ПО
3.3.А. Однопараметрические семейства 111
3.3.Б. Максимум правдоподобия в многопараметрических моделях ... 117
З.З.В. Максимум правдоподобия и другие методы 118
275

3.4. Примечаний 119
3.5. Задачи и дополнения 119
3.6. Библиография 126
Глава 4. Сравнение оценок — теория оптимальности 127
4.1. Критерии оценивания 127
4.2. Несмещенные оценки с равномерно минимальной дисперсией ... 131
4.3. Неравенство информации 137
4.4. Теория больших выборок 143
4.4.А. Состоятельность 143
4.4.Б. Асимптотическая нормальность и связанные с ней свойства 144
4.4.В. Асимптотическая эффективность и оптимальность 148
4.5. Несмещенные оценки и оценки максимума правдоподобия. Сравнение 152
4.6. Примечания 153
4.7. Задачи и дополнения 154
4.8. Библиография 163
Г л а в а 5. От оценивания к доверительным интервалам. Проверка гипотез 165
5.1. Точность, доверительные интервалы и границы 165
5.1.А. Одномерный случай 165
5.1.Б. Многомерные доверительные области 175
5.1.В. Другие понятия доверительных областей 176
5.2. Элементы проверки гипотез 177
5.2.А. Введение и схема Неймана — Пирсона 177
5.2.Б. /?-значение: статистика критерия как результат наблюдений . . . 186
5.2.В. Мощность и объем выборки: области индифферентности 187
5.3. Доверительные процедуры и проверка гипотез 191
5.3.А. Двойственность между критериями и доверительными областями 191
5.3.Б. Доверительные интервалы и мощность 196
5.3.В. Приложения доверительных интервалов к задачам сравнения и
выбора 197
5.4. Примечания 198
5.5. Задачи и дополнения 199
5.6. Библиография·. . ; . 205
Глава 6. Оптимальные критерии и доверительные интервалы:
критерии отношения правдоподобия и процедуры, связанные с отношением
правдоподобия 207
6.1. Лемма Неймана — Пирсона 207
6.2. Равномерно наиболее мощные критерии 212
6.3. Равномерно наиболее точные доверительные границы 221
6.4. Отношение правдоподобия и связанные с ним методы 224
6.4.А. Критерии для среднего значения нормального распределения —
эксперименты с подобранными парами 226
6.4.Б. Критерии и доверительные интервалы для разности средних двух
нормальных совокупностей 231
6.4.В. Задача о двух выборках с неравными дисперсиями . > 235
6.5. Методы отношения правдоподобия для двумерных нормальных
распределений 236
6.5.А. Проверка независимости, доверительные интервалы для ρ . . 236
6.5.Б. Критерии для двумерного вектора средних (μχ, μ2) 240
6.6. Аппроксимации большой выборки при проверке гипотез 242
6.6.А. Аппроксимации распределения статистики критерия в случае,
когда гипотеза Η верна 243
6.6.Б. Состоятельность и локальная мощность 247
6.7. Примечания 250
6.8. Задачи и дополнения 250
6.9. Библиография 265
Таблицы 267
276

# ОГЛАВЛЕНИЕ 2 ВЫПУСКА
Глава 7. Линейные модели — регрессионный и дисперсионный анализ
7.1. Введение в общую линейную модель
7.1.А. Некоторые примеры линейных моделей
7.1.Б. Что такое общая линейная модель и каковы ее допущения
7.1.В. Что означает принятие линейной модели
7.1.Г. Матричная формулировка линейной модели
7.1.Д. Родственные модели
7.2. Оценивание в линейных моделях
7.2.А. Канонический вид
7.2.Б. Оценивание линейных функций средних — связи с методом
наименьших квадратов и теорий несмещенных оценок
7.2.В. Дисперсия оценок наименьших квадратов: теорема Гаусса —
Маркова
7.2.Г. Оценивание дисперсии ошибки
7.2.Д. Теория распределений: доверительные интервалы
7.3. Критерии в линейных моделях
7.3.А. Общая теория
7.3.Б. Линейная регрессия
7.З.В. Модели дисперсионного анализа
7.4. Совместные доверительные интервалы и множественные сравнения
7.4.А. Метод Тьюки
7.4.Б. Метод Шеффе
7.5. Примечания
7.6. Задачи и дополнения
7.7. Библиография
Глава 8. Анализ дискретных данных
8.1. Согласие с одной гипотезой
8.2. Согласие с семействами распределений: таблицы сопряженности
признаков
8.3. Модель ρ выборок и «регрессия» для биномиальных случайных
величин
8.3.А. Модель ρ выборок
8.3.Б. «Регрессионная» (логит-)модель
8.4. Примечания
8.5. Задачи и дополнения
8.6. Библиография
Глава 9. Непараметрические модели
9.1. Ранговые методы сравнения двух совокупностей
8.1.А. Статистика Уилкоксона
9.1.Б. Доверительные интервалы и оценки для сравнения двух
генеральных совокупностей
9.1.В. Ранговые методы для связанных наблюдений
9.2. Знаковый критерий и знаковый ранговый критерий Уилкоксона
9.3. Ранговые критерии для плана с одним признаком
9.4. Линейная регрессия и независимость
9.4.А. Линейная регрессия
9.4.Б. Критерии независимости

δ.5. Устойчивые оценки и связанные с ними методы
9.6. Согласие и выбор модели
9.6.А. Критерий Колмогорова
9.6.Б. Исследование формыураспределения
9.6.В. Проверка согласия с формой нормального распределения
9.6.Г. Вопрос
9.7. Примечания
9.8. Задачи и дополнения
9.9. Библиография
Глава 10. Теория решений
10.1. Элементы теории решений
10.2. Сравнения решающих функций
10.3. Вычисление байесовских решающих функций
10.4. Вычисление минимаксных функций и установление допустимости
10.5. Примечания
10.6. Задачи и дополнения
10.7. Библиография
Пр иложен и е. Обзор основных понятий теории вероятностей
П.1. Основная модель
П.2. Элементарные свойства вероятностных моделей
П.З. Дискретные вероятностные модели
П.4. Условная вероятность и независимость
П.5. Сложные опыты
П.6. Биномиальные испытания, выбор с возвращением и без возвращения
П.7. Вероятности на евклидовом пространстве
П.8. Случайные величины и векторы: преобразования
П.9. Независимость случайных величин и векторрв
П. 10. Математическое ожидание случайной величины
П. 11. Моменты
ПЛ2. Производящие функции моментов
П. 13. Некоторые классические распределения (дискретные и непрерывные)
П. 14. Типы сходимости случайных величин и предельные теоремы
П. 15. Предельные теоремы (продолжение)
П. 16. Пуассоновский процесс
П. 17. Библиография
Источники
Таблицы

Бикел П., Доксам К.
JB60 Математическая статистика /Пер. с англ. Ю. А.
Данилова; Предисл. Ю. Н. Тюрина.— Вып. 1. — М.: Финансы и
статистика, 1983. — 278 с, ил.— (Математико-статистиче-
ские методы за рубежом).
В пер.: 2 р. 40 к.
В книге изложены основные методы современной математической
статистики. Содержится большое число задач. В вып. 1 рассмотрены основные
положения теории вероятностей, статистические модели, методы оценивания и
сравнения оценок — теория оптимальности, доверительные интервалы и проверка
гипотез, оптимальные критерии (критерий отношения правдоподобия и связанные с
ним процедуры).
Для преподавателей математической статистики, аспирантов и студентов
экономических специальностей вузов.
0702060000-048
010(01)-83
ББК 22.172
517.8

П. Бикел, К. Доксам
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
Книга одобрена на заседании редколлегии серии Мате-
матико-статистические методы за рубежом» 28.04.81
Зав. редакцией А. В. Павлюков
Редактор К. М. Чижевская
Мл. редактор О. А. Ермилина
Техн. редактор Л. Г. Челышева
Корректоры Т. М. Васильева, Я. Я. Сперанская и
3. С. Кандыба
Худож. редактор О. Я. Поленова
ИБ № 1248
Сдано в набор 10.09.82. Подписано в печать 04.02.83.
Формат 60X907i6. Бум. тип. № 2. Гарнитура
«Литературная». Печать высокая. Уч.-изд. л. 19,92
Усл. п. л.17,5. Тираж 7000 экз. Заказ 1182
Цена 2 р. 40 к.
Издательство «Финансы и статистика», 101000, Москва,
ул. Чернышевского, 7
Московская типография № 4 Союзполиграфпрома
при Государственном комитете СССР
по делам издательств, полиграфии и книжной торговли
129041, Москва, Б. Переяславская ул., д. 46.

\