Автор: Кендалл М. Стьюарт А.
Теги: теория вероятностей и математическая статистика теория вероятностей
Год: 1975
Текст
THE ADVANCED
THEORY OE STATISTICS
MAURICE G. KENDALL, M.A., Sc.D.
Managing Director, C-E-I-R Ltd . formerly Professor of Statistics in the
University of London President of the Royal Statistical Society, 1960-1962
and
ALAN STUART, D.Sc. (econ.)
Professor of Statistics in the University of London
IN THREE VOLUMES
M. КЕНДАЛЛ, А. СТЬЮАРТ
СТАТИСТИЧЕСКИЕ
ВЫВОДЫ
И СВЯЗИ
Перевод с английского
Л. И. ГАЛЬЧУКА, А. Т. ТЕРЕХИНА
Под редакцией
А. Н, КОЛМОГОРОВА
VOLUME 2
INFERENCE AND. RELATIONSHIP
SECON9 EDITION
CHARLES GRIFFIN & COMPANY LIMITED"
LONDON
ИЗДАТЕЛЬСТВО «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА 1973
517.8
К 35
УДК ,519.24
Статистические выводы и связи. М. К е н д а л л,
А. Стьюарт, Главная редакция физико-математи-
физико-математической литературы изд-ва «Наука», 1973.
Книга представляет собой второй том трехтом-
трехтомного курса статистики М. Кендалла и А. Стьюарта,
первый том которого вышел в 1966 г. под названием
«Теория распределений;». В книге содержатся све-
сведения по теории оценивания и проверки гипотез,
анализу корреляции и регрессии, непараметрическим
методам, последовательному анализу. Изложение
сочетает более или менее подробный вывод основ-
основных результатов с относительно кратким перечисле-
перечислением большого количества более частных сведений.
Книга содержит много практических рекомендаций
и примеров их применения.
Книга будет представлять интерес для специа-
специалистов, студентов и аспирантов в области матема-
математической статистики, а также для широкого круга
научных работников, имеющих дело с ее приложе-
приложениями.
Библ. 817. Илл. 25.
Перевод на русский язык, «Наука>, 1973.
К-
0223-1852_
042 @2)-73
45-73
ОГЛАВЛЕНИЕ
ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА 7
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ . Ц
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ 12
ГЛАВЫ
17. ОЦЕНИВАНИЕ 13
18. ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ . 58
19. ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ И ДРУГИЕ
МЕТОДЫ Ю9
20. ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ 139
21. ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ 183
22. ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ 219
23. ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ 249
24. КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ И ОБЩАЯ ЛИНЕЙ-
ЛИНЕЙНАЯ ГИПОТЕЗА 301
25. СРАВНЕНИЕ КРИТЕРИЕВ 351
26. СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ: ЛИНЕЙНАЯ РЕГРЕССИЯ И
КОРРЕЛЯЦИЯ 373
27. ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ 423
28. ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ , 461
29. ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ 500
30. КРИТЕРИИ СОГЛАСИЯ 558
31. УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 622
32. НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК .... 687
33. КАТЕГОРИЗОВАННЫЕ ДАННЫЕ 719
34. ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ 791
Приложение
ТАБЛИЦЫ
1. ФУНКЦИЯ ПЛОТНОСТИ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ . , . 833
2. ФУНКЦИЯ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ . . . i , , t ,: • 833
3. КВАНТИЛИ ^'-РАСПРЕДЕЛЕНИЯ , 835
4а. ФУНКЦИЯ ЗС'-РАСПРЕДЕЛЕНИЯ С ОДНОЙ СТЕПЕНЬЮ GBOEОДЫ
ДЛЯ 0<Ха< (...., , .. ; .,.,,,.;. , , . . , . 830
ОГЛАВЛЕНИЕ
46. ФУНКЦИЯ ^'-РАСПРЕДЕЛЕНИЯ С ОДНОЙ СТЕПЕНЬЮ СВОБОДЫ
ДЛЯ 1<Х2<Ю 836
5. КВАНТИЛИ i-РАСПРЕДЕЛЕНИЯ 837
6. 5%-НЫЕ ТОЧКИ г-РАСПРЕДЕЛЕНИЯ 839
7. 5%-НЫЕ ТОЧКИ F-РАСПРЕДЕЛЕНИЯ 840
8. 1%-НЫЕ ТОЧКИ г-РАСПРЕДЕЛЕНИЯ 841
9. 1%-НЫЕ ТОЧКИ F-РАСПРЕДЕЛЕНИЯ 842
ЦИТИРОВАННАЯ ЛИТЕРАТУРА 844
УКАЗАТЕЛЬ , 878
ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА
Публикуемая сейчас книга является переводом вто-
второго тома трехтомного труда М. Кендалла и А. Стью-
арта «The Advanced Theory of Siatistics». Первый том
появился на русском языке в 1966 г. под названием
«Теория распределений». Первые издания всего труда,
написанные одним Кендаллом, выходили в двух томах
с 1943 по 1952 г. Это была наиболее полная в мировой
литературе сводка получивших практические примене-
применения сведений и формул, сопровождаемая большим чис-
числом умело подобранных примеров. В 1958 г. начали вы-
выходить тома трехтомного издания, составленного сов-
совместно Кендаллом и Стьюартом. Это расширенное из-
издание закончено в 1966 г. Появившийся в 1966 г. тре-
третий том тоже предполагается перевести на русский
язык.
Несмотря на участие младшего из авторов (А. Стью-
арта), трехтомное издание остается несколько старомод-
старомодным (каким было двухтомное уже в момент своего по-
появления). Читатели, знакомые с современным стилем
изложения теории вероятностей и математической ста-
статистики, соединяющим общность и логическую отчетли-
отчетливость с простотой и краткостью, местами будут разоча-
разочарованы. Но богатство конкретного материала и обилие
показательных примеров искупают недостатки труда
Кендалла и Стьюарта.
Терминология по возможности согласована с пере-
переводом первого тома. Небольшие погрешности исправле-
исправлены без специальных на то указаний. В более ответствен-
ответственных случаях отклонения от подлинника оговорены в
примечаниях. За примечания «от редактора» я несу
ОГЛАВЛЕНИЕ
46. ФУНКЦИЯ ^'-РАСПРЕДЕЛЕНИЯ С ОДНОЙ СТЕПЕНЬЮ СВОБОДЫ
ДЛЯ \<%'<W 836
5. КВАНТИЛИ i-РАСПРЕДЕЛЕНИЯ 837
6. 5%-НЫЕ ТОЧКИ 2-РАСПРЕДЕЛЕНИЯ 839
7. 5%-НЫЕ ТОЧКИ F-РАСПРЕДЕЛЕНИЯ 840
8. 1%-НЫЕ ТОЧКИ г-РАСПРЕДЕЛЕНИЯ 841
9. 1%-НЫЕ ТОЧКИ F-РАСПРЕДЕЛЕНИЯ 842
ЦИТИРОВАННАЯ ЛИТЕРАТУРА 844
УКАЗАТЕЛЬ , ... s ... s , 878
ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА
Публикуемая сейчас книга является переводом вто-
второго тома трехтомного труда М. Кендалла и А. Стью-
арта «The Advanced Theory of Siatistics». Первый том
появился на русском языке в 1966 г. под названием
«Теория распределений». Первые издания всего труда,
написанные одним Кендаллом, выходили в двух томах
с 1943 по 1952 г. Это была наиболее полная в мировой
литературе сводка получивших практические примене-
применения сведений и формул, сопровождаемая большим чис-
числом умело подобранных примеров. В 1958 г. начали вы-
выходить тома трехтомного издания, составленного сов-
совместно Кендаллом и Стьюартом. Это расширенное из-
издание закончено в 1966 г. Появившийся в 1966 г, тре-
третий том тоже предполагается перевести на русский
язык.
Несмотря на участие младшего из авторов (А. Стью-
арта), трехтомное издание остается несколько старомод-
старомодным (каким было двухтомное уже в момент своего по-
появления). Читатели, знакомые с современным стилем
изложения теории вероятностей и математической ста-
статистики, соединяющим общность и логическую отчетли-
отчетливость с простотой и краткостью, местами будут разоча-
разочарованы. Но богатство конкретного материала и обилие
показательных примеров искупают недостатки труда
Кендалла и Стьюарта.
! Терминология по возможности согласована с пере-
переводом первого тома. Небольшие погрешности исправле-
исправлены без специальных на то указаний. В более ответствен-
ответственных случаях отклонения от подлинника оговорены в
примечаниях. За примечания «от редактора» я несу
ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА
ответственность совместно с Д. М. Чибисовым — инициа-
инициатором большинства из них.
Многие из упомянутых авторами таблиц имеются в
книгах: Л. Н. Большее, Н. В. Смирнов, Таблицы
математической статистики, М.., изд-во «Наука», 1965;
Д. Б. Оуэн, Сборник статистических таблиц (перев.
с англ.), М.., Изд-во Вычислительного центра АН СССР,
1966. В таких случаях сделаны примечания со ссылками
на эти книги.
А. Н. Колмогоров
«Вы еще не рассказали мне, — заметила леди
Наттэл, — чем занимается ваш жених».
«Он статистик», — ответила Лэймия с непри-
неприятным ощущением обороняющегося.
Леди Наттэл была, очевидно, застигнута
врасплох. Ей не приходило в голову, что стати-
статистики вступают в нормальные общественные от-
отношения. Этот род людей, как она предполагала,
увековечен на некоторый второстепенный образ
действий, наподобие мулов.
«Но, тетя Сара, это очень интересная про-
профессия», — сказала с жаром Лэймия.
«Я не сомневаюсь в этом, — ответила ее тетя,
которая, очевидно, очень сомневалась. — Выра-
Выразить что-нибудь значительное в одних лишь циф-
цифрах, понятно, настолько невозможно, что должен
существовать бесконечный простор для хорошо
оплаченных советов относительно того, как это
сделать. Но не думаете ли вы, что жизнь со ста-
статистиком была бы до некоторой степени, скажем,
скучной?»
Лэймия молчала. Ей не хотелось говорить о
поразительной глубине эмоциональных возможно-
возможностей, которую она открыла под цифровой внеш-
внешностью занятий Эдварда.
«Дело не в цифрах, — сказала она наконец. —
а в том, что вы с ними делаете».
К- Мэндервил, Крушение Лэймин Гёрдлнек
(К. А. С. Manderville, The Undoing of
Lamia Gurdleneck)
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ
Предлагаемая книга является вторым томом трактата о со-
современной теории статистики. В нее входят теория оценивания
и проверки гипотез, статистические связи, свободные от распре-
распределения методы и последовательный анализ. Третий, заключи-
заключительный том будет содержать планирование и анализ выбороч-
выборочных обследований и экспериментов, включая дисперсионный ана-
анализ, а также теорию многомерного анализа и временные ряды.
Настоящий том имеет очень слабое сходство с первоначаль-
первоначальным вторым томом «Современной теории» Кендалла. Его при-
пришлось перестроить и переписать практически заново вследствие
быстрого развития статистики в последние пятнадцать лет. Бег-
Беглый взгляд на прилагаемый список литературы покажет, как
много работ было опубликовано за этот период.
Мы старались сделать данный том, как и первый, само-
самостоятельным в трех отношениях: он имеет свой список литера-
литературы, снабжен собственным указателем, и в нем повторяются
необходимые таблицы, приведенные в приложении к первому
тему. Нам не пришлось тратить слишком много места для
обширной библиографии, поскольку Кендалл и Дойг (Kendall
and Doig) отдельно опубликовали исчерпывающую Bibliography
of Statistical Literature. Мы специально позаботились о том,
чтобы снабдить изложение большим количеством упражнений:
их в данном томе имеется около 400.
За разрешение воспроизвести некоторые из таблиц, поме-
помещенных в конце книги, мы весьма признательны проф. сэру
Рональду Фишеру (sir Ronald Fisher), д-ру Фрэнку Иэйтсу
(Frank Yates), м-рам Оливеру и Бойду (Oliver and Boyd) и
издателям журнала Biometrika. М-р Э. В. Бёрк (Е. V. Burke)
из издательства Charles Griffin and Company Limited оказал
нам неоценимую помощь при печатании книги. Мы также при-
признательны м-ру К. Мэндервилу (К. А. С. Menderville) за раз-
разрешение процитировать из его неопубликованного рассказа от-
отрывок, приведенный на странице 9.
Как всегда, мы будем благодарны за уведомления о ка-
каких-либо ошибках, опечатках или неясностях.
Лондон, М. Дж. К..
март, 1961 А. С.
12
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
Помимо устранения несущественных опечаток и ошибок, этот
том был полностью просмотрен и исправлен для данного из-
издания. В нескольких местах прогресс статистики сделал необхо-
необходимым переписать заново страницу или две, хотя обычно требо-
требовалось изменение только отдельных абзацев или предложений.
В процессе переработки было добавлено несколько сотен но-
новых . ссылок и, кроме того, значительное количество новых
упражнений, в большинстве взятых из последних работ.
Мы благодарны читателям всего мира, которые помогли нам
сделать эти улучшения.
Лондон,
январь, 1967
М. Цою. К..
А. С.
ГЛАВА 17
ОЦЕНИВАНИЕ
Постановка задачи
17.1 В предшествующих главах нам в ряде случаев прихо-
приходилось сталкиваться с задачей оценивания параметров генераль-
генеральной совокупности по выборочным данным. Однако до сих пор
обсуждение такого рода вопросов проводилось, по существу,
на интуитивном уровне. Так, в теории больших выборок мы
брали в качестве оценок среднего и моментов генеральной со-
совокупности выборочное среднее и выборочные моменты, считая
эти оценки вполне удовлетворительными.
Теперь мы приступаем к более детальному изучению этого
предмета. В настоящей главе будут рассмотрены различные
критерии, которым должна удовлетворять «хорошая» оценка, и
изучен вопрос о существовании «наилучших» (в приемлемом
смысле этого слова) оценок. Несколько следующих глав будут
посвящены методам получения оценок с требуемыми свой-
свойствами.
17-2 Очевидно, что если выборка не случайна, а получена
каким-то целенаправленным способом, относительно которого
ничего определенного не известно, то о генеральной совокуп-
совокупности можно сказать очень немногое. Кое-какие выводы три-
тривиального характера, конечно, возможны. Например, если мы
берем десять реп из кучи в 100 реп и находим, что их общий
вес равен десяти фунтам, то ясно, что средний вес одной репы
в куче не меньше одной десятой фунта. Однако информация
такого рода вряд ли может представлять ценность. Что ка-
касается оценивания на основе пристрастных выборок, то оно
принадлежит скорее области субъективных суждений, нежели
области точных и объективных понятий. Поэтому мы ограни-
ограничимся только случайными выборками. Общая задача, в ее про-
простейшей постановке, будет заключаться в оценивании параметра
генеральной совокупности на основе информации, даваемой вы-
выборкой. Мы начнем с задачи оценивания одного параметра.
Случай нескольких параметров будет рассмотрен позже.
12
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
Помимо устранения несущественных опечаток и ошибок, этот
том был полностью просмотрен и исправлен для данного из-
издания. В нескольких местах прогресс статистики сделал необхо-
необходимым переписать заново страницу или две, хотя обычно требо-
требовалось изменение только отдельных абзацев или предложений.
В процессе переработки было добавлено несколько сотен но-
новых . ссылок и, кроме того, значительное количество новых
упражнений, в большинстве взятых из последних работ.
Мы благодарны читателям всего мира, которые помогли нам
сделать эти улучшения.
Лондон,
январь, 1967
М. Док. К..
А. С.
ГЛАВА 17
ОЦЕНИВАНИЕ
Постановка задачи
17.1 В предшествующих главах нам в ряде случаев прихо-
приходилось сталкиваться с задачей оценивания параметров генераль-
генеральной совокупности по выборочным данным. Однако до сих пор
обсуждение такого рода вопросов проводилось, по существу,
на интуитивном уровне. Так, в теории больших выборок мы
брали в качестве оценок среднего и моментов генеральной со-
совокупности выборочное среднее и выборочные моменты, считая
эти оценки вполне удовлетворительными.
Теперь мы приступаем к более детальному изучению этого
предмета. В настоящей главе будут рассмотрены различные
критерии, которым должна удовлетворять «хорошая» оценка, и
изучен вопрос о существовании «наилучших» (в приемлемом
смысле этого слова) оценок. Несколько следующих глав будут
посвящены методам получения оценок с требуемыми свой-
свойствами.
17.2 Очевидно, что если выборка не случайна, а получена
каким-то целенаправленным способом, относительно которого
ничего определенного не известно, то о генеральной совокуп-
совокупности можно сказать очень немногое. Кое-какие выводы три-
тривиального характера, конечно, возможны. Например, если мы
берем десять реп из кучи в 100 реп и находим, что их общий
вес равен десяти фунтам, то ясно, что средний вес одной репы
в куче не меньше одной десятой фунта. Однако информация
такого рода вряд ли может представлять ценность. Что ка-
касается оценивания на основе пристрастных выборок, то оно
принадлежит скорее области субъективных суждений, нежели
области точных и объективных понятий. Поэтому мы ограни-
ограничимся только случайными выборками. Общая задача, в ее про-
простейшей постановке, будет заключаться в оценивании параметра
генеральной совокупности на основе информации, даваемой вы-
выборкой. Мы начнем с задачи оценивания одного параметра.
Случай нескольких параметров будет рассмотрен позже.
14
ГЛАВА 17
17.3 Выясним прежде всего, что понимается под словом
«оценивание». Предположим, что мы знаем, с точностью до зна-
значения неизвестного параметра 0, распределение генеральной
совокупности. Пусть, кроме того, дана выборка из п наблю-
наблюдений Х[ хп. Требуется определить, используя эти наблю-
наблюдения, число, которое можно было бы взять в качестве значе-
значения 9, или интервал, о котором можно было бы утверждать,
что он содержит это значение.
Будем называть статистикой любую функцию, зависящую
только от наблюдений. Так как наблюдения являются случай-
случайными величинами, то статистики будут тоже случайными вели-
величинами. Поэтому, если какая-то из них используется для оцени-
оценивания параметра 9, то для отдельных выборок могут получиться
значения, сильно отличающиеся от истинного. Отсюда ясно,
что нельзя найти оценку, которая принимала бы значения, близ-
близкие к 9, для всех возможных выборок. Мы должны ограничиться
такой процедурой оценивания, которая давала бы хорошие ре-
результаты «в среднем» при многократном ее использовании или
имела бы «большую вероятность успеха». Другими словами,
надо иметь в виду, что методы оценивания порождают распре-
распределения значений оценок, и сравнивать их достоинства, исходя
кз свойств этих распределений.
17.4 Мы достигнем большей ясности, если будем различать
правило оценивания (которое назовем оценочной функцией или
просто оценкой) и значения, к которым это правило приводит
в конкретных случаях*). Различие между ними такое же, как
между функцией f{x), определенной на некотором множестве
значений переменной х, н отдельным значением, скажем f(a),
которое эта функция принимает при фиксированном значении х,
равном а. Наша задача заключается в нахождении оценок, а не
их частных значений. Мы не будем отвергать оценку, если она
даст плохие результаты для отдельных выборок (в том смысле,
что ее значения будут существенно отличаться от истинного
значения), но мы ее отвергнем, если она будет давать плохие
результаты очень часто, т. е. если распределение значений
оценки будет сильно расходиться с истинным значением 9. Во-
Вообще, качество оценки будет определяться целиком на основа-
основании ее выборочного распределения.
17.5 В теории больших выборок мы часто брали в качестве
оценки для 9 статистику t, вычисляемую по выборке точно та-
таким же путем, каким 9 вычислялось по генеральной совокуп-
совокупности. Например, выборочное среднее считалось оценкой для
генерального среднего. Попробуем обосновать эту процедуру.
*) Соответствующие английские термины — estimator (оценка) и esti-
estimate (значение оценки). (Прим. ред.)
ОЦЕНИВАНИЕ
Рассмотрим случай генеральной совокупности вида
15
x, -oo<*<co. A7.1)
В качестве оценки генерального среднего 9 возьмем выбороч-
выборочное среднее
Распределение t имеет вид (пример 11.12)
\n(t-Q)^dt, A7.3)
т. е. t распределено нормально со средним 9 и дисперсией 1/л.
Отметим две особенности этого распределения: (а) его
среднее, а также мода и медиана равны истинному значению 9;
(б) при возрастании п рассеяние значений t относительно 9
становится меньше, и вероятность того, что данное значение t
отличается более чем на некоторую фиксированную величину
от 9, уменьшается. Можно сказать, что точность оценки уве-
увеличивается с ростом п.
17.6 Вообще, нетрудно понять, что выражение «точность,
увеличивающаяся с ростом я» имеет определенный смысл в том
случае, когда дисперсия выборочного распределения t убывает
с убыванием 1/га, а центральное значение либо совпадает с 9,
либо отличается от него на величину, которая также убывает
с убыванием 1/л. Большинство оценок, с которыми обычно име-
имеют дело, принадлежит к этому типу. Но есть и исключения.
Рассмотрим, например, выборку из генеральной совокупности,
имеющей распределение Коши:
dF{x)— n
ОО
СО.
A7.4)
Если мы возьмем в качестве оценки для 9 выборочное сред-
среднее t, то распределение t будет иметь вид
(см. пример 11.1). В этом случае распределение t совпадает
с распределением одного наблюдения и точность не увеличи-
увеличивается с ростом п.
Состоятельность '¦
17.7 Увеличение точности с увеличением объема выборки
является, конечно, очень желательным свойством оценки. В слу-
случае, когда дисперсия выборочного распределения оценки убы-
убывает с ростом п, для возрастания точности необходимо еще,
16
ГЛАВА 17
чтобы центральное значение этого распределения стремилось
х 9, иначе оценка будет принимать значения, систематически
отличающиеся от истинного. Поэтому первый критерий каче-
качества оценки может быть сформулирован следующим образом.
Оценка tn, вычисленная на основании выборки объема п,
называется-состоятельной оценкой для 9, если для любых сколь
угодно малых положительных 8 и ц существует N такое, что
вероятность неравенства
и„-в|<в A7.6)
больше 1—ц для всех n^>N, или, в обозначениях теории ве-
вероятностей,
P{l'«-e|<s}>l-Ti, n> N. A7.7)
Приведенное определение аналогично обычному определению
сходимости числовой последовательности. Для любого наперед
заданного числа е можно найти такое достаточное большое
число, что при любом объеме выборки, превышающем это число,
вероятность того, что t отличается от истинного значения
больше чем на 8, будет сколь угодно близка к нулю. Оценка tn
называется в этом случае сходящейся по вероятности или сто-
стохастически к 9. Таким образом, оценка t будет состоятельной
оценкой для 9, если она сходится к 9 по вероятности.
Пример 17.1
Выборочное среднее является состоятельной оценкой пара-
параметра 6 генеральной совокупности A7.1). Это было установлено
с помощью общих рассуждений, формальное же доказательство
выглядело бы следующим образом.
Пусть 8 задано. Согласно A7.3) (t — 6) п1'2 распределено
нормально с нулевым средним и единичной дисперсией. Следо-
Следовательно, вероятность события \{t — 9) я1/2 l^en'/2 равна значе-
значению нормального интеграла в пределах ±ея'/2. Для любого
положительного х\ всегда можно выбрать такое достаточно
большое п, что это значение будет больше 1 —ц, причем нера-
неравенство будет выполняться и для больших п. Таким образом,
число N, требуемое в определении сходимости по вероятности,
может быть найдено, и, следовательно, условие A7.7) будет
выполнено.
Пример 17.2
Пусть имеется статистика tn со средним значением, отличаю-
отличающимся от 9 членами порядка п~1, и с дисперсией vn порядка
п~1, и пусть распределение (tn — 9)/у'^2 стремится к нормальному
при возрастании п. Тогда, как и в примере 17.1, {tn — 9) будет
ОЦЕНИВАНИЕ
17
стремиться по вероятности к нулю и tn будет состоятельной
оценкой для 9. Этот случай охватывает большинство статистик,
встречающихся на практике.
Результат остается справедливым даже при неизвестном
предельном распределении. Это непосредственно следует из не-
неравенства Бьенэме — Чебышева C.94). Действительно, если
где
то мы имеем
lim fert= lim vn =
т. е. A7.7) будет выполнено.
Несмещенные оценки
17.8 Свойство состоятельности является предельным свой-
свойством, т. е. относится к поведению оценки при стремлении
объема выборки к бесконечности и не налагает никаких ограни-
ограничений на поведение оценки при конечных п. Если существует
одна состоятельная оценка tn, то можно построить бесконечно
много других. Например, при фиксированных а и b оценка
п — а ,
п-Ь
будет также состоятельной. Мы знаем, что в некоторых случаях
состоятельной оценкой генерального среднего является выбо-
выборочное среднее
* = 2 Xj/tl.
Но статистика
тоже будет состоятельной оценкой генерального среднего. По-
Почему же мы одну предпочитаем другой? Интуитивно кажется
абсурдным делить сумму п количеств на какое-либо число, от-
отличное от п. Однако мы скоро увидим, что интуиция не очень
надежный советчик в этом вопросе. Так, имеются основания для
предпочтения статистики
статистике
18
ГЛАВА 17
в качестве оценки генеральной дисперсии, несмотря на то что
последняя является выборочной дисперсией.
17.9 Рассмотрим выборочное распределение некоторой оцен-
оценки /. Если оценка состоятельна, то центральное значение этого
распределения при больших объемах выборки должно быть
близко к 0. Можно дополнительно потребовать, чтобы это цент-
центральное значение было равно 8 для всех выборок, а не только
для больших.
Если требовать, чтобы для всех п среднее значение t было
равно 0, т. е.
то мы определим так называемую несмещенную оценку. Этот
термин, подобно многим в статистике, нельзя назвать удачным.
Нет никаких оснований, кроме удобства, выделять арифметиче-
арифметическое среднее среди других мер расположения как критерий не-
несмещенности. С таким же успехом мы могли бы выбрать для
определения несмещенной оценки медиану распределения / или
его моду. Среднее выбрано, как всегда, из-за его хороших ма-
математических свойств. Это вполне разумно, но надо помнить,
что этому термину не следует придавать каких-либо оттенков
не технического характера*).
Пример 17.3
Равенство
показывает, что выборочное среднее является несмещенной
оценкой генерального среднего всегда, когда последнее суще-
существует. Однако выборочная дисперсия не будет несмещенной
оценкой генеральной дисперсии. Действительно,
М
- *? }=м
1
Х.ХЬ I =
.(л - 1) W, -(«-D nf = (n - 1)ц2,
*) Несколько более подробное обсуждение вопроса о том. когда
желательна несмещенность оценки имеется в книге: С. Р. Ра о. Линейные
статистические методы и их применения, М., «Наука», 1968, стр. 270—272.
(Прим. ред.)
ОЦЕНИВАНИЕ
19
т. е. — /, (х — xf имеет среднее значение
ной оценкой будет
п— 1
Несмещен-
поэтому ее обычно предпочитают выборочной дисперсии.
Из сказанного видно, что состоятельная оценка не обяза-
обязательно является несмещенной. Нам встречалась также несме-
несмещенная оценка, которая не была состоятельной (пример 14.5).
Таким образом, ни одно из этих свойств не влечет другое. Од-
Однако состоятельная оценка, асимптотическое распределение ко-
которой имеет конечное среднее, должна быть асимптотически
несмещенной.
Иногда несмещенной оценки вообще не существует (см.
упражнение 17.12). Если такая оценка и существует, то может
случиться, что в отдельных случаях, и даже всегда, она будет
давать бессмысленные результаты. Например, при оценивании
параметра 0, 0 ^ 0 ^ 1, никакая статистика, распределение
которой сосредоточено на интервале @, 1), не будет несмещен-
несмещенной, так как для 0 = 0 ее математическое ожидание (за исклю-
исключением тривиальных случаев вырождения) превосходит 0. Один
важный пример такого рода будет рассмотрен в 27.34: Упраж:
нение 17.26 содержит принадлежащий Э. Леману пример не-
несмещенной оценки, которая всегда приводит к бессмысленным
результатам.
Поправки на смещение
17.10 Если имеется состоятельная, но смещенная оценка и
желательно исключить смещение, то можно вычислить матема-
математическое ожидание оценки и попытаться найти нужную поправ-
поправку, подобно тому как было сделано в примере 17.3. Однако это
математическое ожидание иногда бывает довольно сложной
функцией параметра 0, который нужно оценить, и тогда не
очень понятно, какова должна быть поправка. Остроумный ме-
метод, позволяющий преодолевать эту трудность в широком клас^
се случаев, предложил Кэнуй A956).
Пусть (смещенная) оценка tn, вычисленная на основе п на-
наблюдений, является функцией выборочных ^-статистик kt (гла-
(глава 12). Пусть, кроме того, существуют все семиинварианты щ
генеральной совокупности (тогда, как известно, kt будут не-
несмещенными оценками для %г). Разложение tn в ряд Тейлора
относительно 9 дает
*„-е = 2 <*'-*<> (w) + iSS <*'-*> (*/-*/>
A7.8)
тшшзшт
20
ГЛАВА 17
(производные взяты в точках /г* = хг). Беря затем математи-
математические ожидания от обеих частей равенства A7.8) и учитывая
тот факт, что моменты ^-статистик являются степенными ря-
рядами по степеням 1/л A2.13), мы получим
A7.9)
г=1
Отметим, что, даже если tn не будет функцией ^-статистик,
A7.9) может-иногда выполняться (см. упражнение 17.13). Пусть
теперь ?n_i обозначает статистику, полученную осреднением
статистик tn-i, вычисленных для всех п подмножеств из л—1
наблюдений. Если рассмотреть новую статистику
t'n = ntn-{n-\)tn.i,
то из A7.9) немедленно будет следовать
A7.10)
A7.10
Последнее выражение показывает, что смещение t'a имеет по-
порядок 1/га2. Аналогичные вычисления показывают, что стати-
статистика
t"n = {пГп - (л - IJ ?„_,}/{л2 - (п - IJ}
будет уже иметь смещение порядка 1/я3, и т. д. Таким образом,
предложенный метод позволяет исключать смещение с любой
желаемой точностью.
В упражнении 17.18 требуется показать, что Df? = Dfnc точ-
точностью до членов порядка 1/л, т. е. исключение смещения пер-
первого порядка не увеличивает дисперсии. Это, однако, может
быть неверно для поправок более высокого порядка.
В статье Миллера A964) рассматривается вопрос об асим-
асимптотической нормальности статистики /А и об оценивании ее
дисперсии.
Пример 17.4
Найти несмещенную оценку для 02, где 0 — параметр бино-
биномиального распределения
р{л; = г} = (")9ГA — 9)п~г, ' = 0, 1, 2, .... п.
Интуитивной оценкой будет
ОЦЕНИВАНИЕ 21
поскольку г/п — несмещенная оценка для Э. Статистика гп_л
может принимать только два значения:
или
в соответствии с тем, что исключено из выборки: «успех» ила
«неудача». Следовательно,
— [ \2 / г \21 Г2 („ _ 2) + г
поэтому A7.10) примет вид
f—nt—in—Wi . - г2 г2(п~2) + г __ г(г-
Полученная оценка оказывается точной несмещенной оценкой
для 82.
17.11 Вообще может существовать более одной состоятель-
состоятельной оценки параметра, даже если ограничиться только несме-
несмещенными оценками. Рассмотрим еще раз задачу оценивания
среднего нормальной совокупности с дисперсией а2. Выборочное
среднее является состоятельной и несмещенной оценкой. Пока-
Покажем, что то же самое верно и для медианы.
Из соображений симметрии следует, что медиана является
несмещенной оценкой генерального среднего, которое, конечно,
совпадает с медианой генеральной совокупности. Для больших
п распределение медианы стремится к нормальному распреде-
распределению (см. 14.12):
dF(x) ее exp{-2rt/2(jc-9J}dJC A7.13)
(ft — ордината медианы генеральной совокупности*), равная
Bзт<т2)~1/а в нашем случае). Из A7.13) видно, что дисперсия
выборочной медианы равна па2/ Bл) и стремится к нулю при
больших п. Следовательно, выборочная медиана состоятельна.
17.12 Мы должны, таким образом, продолжать поиски кри-
критериев, позволяющих осуществлять выбор среди различных со-
состоятельных оценок. Один такой критерий возникает естествен-
естественным образом при рассмотрении дисперсий оценок. Дело в том,
что чем меньше дисперсия оценки, тем большая доля ее рас-
распределения сосредоточена вблизи 9. Во всяком случае, это
верно для распределений типа нормального. Несмещенная со-
состоятельная оценка с меньшей дисперсией будет, следователь-
следовательно, в среднем меньше отклоняться от истинного значения, чем
оценка с большей дисперсией. Поэтому разумно считать ее бо-
более предпочтительной.
*) Имеется в виду значение функции плотности, отвечающее медиане.
(Прим. ред.)
Z'2
ГЛАВА 17
Для среднего и медианы нормальных выборок имеем из
A7.3)
D (средн.) = о2/п A7.14)
(при любых п) и из 17.11
О(мед.)=шт2/Bл)
A7.15)
(при больших п). Поскольку . я/2 = 1,57 > 1, то среднее яв-
является более эффективной оценкой, чем медиана, по крайней
мере для больших п. Следующие данные могут быть получены
с помощью таблицы XXIII из сборника Tables for Statisticians
and Biometricians, Part II:
n 2
D (мед.)
D (сред.)
1,00
3
1,35
4
1,19
5
1,44
Таким образом, мы видим, что дисперсия выборочного среднего
всегда меньше дисперсии выборочной медианы при оценивании
среднего значения нормального распределения.
Пример 17.5
Мы уже знаем (см. 17.6), что выборочное среднее не яв-
является состоятельной оценкой медианы 0 распределения Коши
1 djc ^ <,
я {1 + (х— бJ} ' ~^ ~^ •
В то же время, поскольку ордината медианы равна 1/я, A7.13)
дает для дисперсии t в случае больших выборок
и медиана, очевидно, является состоятельной оценкой. Хотя в
данном случае прямое сравнение со средним невозможно, так
как дисперсия последнего не существует, тем не менее ясно,
что медиана предпочтительней выборочного среднего в качестве
оценки для 0. Таким образом, ситуация здесь противоположна
той, которая была в случае нормального распределения. Это г
факт особенно интересен, если принять во внимание сходство
данных распределений.
Питмэн A937с): дает следующее определение. Оценка t называется «бо-
«более близкой» к 9, чем оценка и, если Р{|* — 6| < \и — в\} > 1/2. Однако,
как он подчеркивает, этот привлекательный критерий не обладает свойством
транзитивности. См. также Гири A944) н Джонсон A950).
ОЦЕНИВАНИЕ
23
Оценки с минимальной дисперсией
17.13 Итак, кажется естественным использовать дисперсию
оценки как критерий ее приемлемости. И она действительно
использовалась для этой цели еще со времен Лапласа и Гаусса.
Однако только относительно недавно было установлено, что при
достаточно общих условиях существует нижняя граница диспер-
дисперсий оценок. Для нахождения этой границы нам понадобятся не-
некоторые предварительные результаты, которые будут полезны в
дальнейшем также для других целей.
17.14 Обозначая f(x\Q) плотность непрерывной или дискрет-
дискретной совокупности, мы определим функцию правдоподобия *) L
выборки из п независимых наблюдений равенством
Поскольку L есть совместная плотность наблюдений, то
J .... $ Ldxx ... dxn=\. A7.17)
Предположим теперь, что для всех 0 существуют первые две
производные по 0 функции L, и продифференцируем обе части
равенства A7.17). Если можно изменить порядок дифферен-
дифференцирования и интегрирования, например, если пределы интегри-
интегрирования (т. е. область изменения х) не зависят от 0, то мы по-
получим
что можно переписать в виде
Дифференцирование A7.18) и последующая перемена порядка
дифференцирования и интегрирования приводят к соотношению
J
dL \ dL
)
которое можно записать как
Г Г ( i 1 дг. \2
J -
*) Р. А. Фишер называет функцию L правдоподобием, когда она рас-
рассматривается как функция от 9, и вероятностью, когда она рассматривается
как функция от х при фиксированном в. Соглашаясь с важностью проведе-
проведения такого различия, мы, однако, во избежание введения дополнитель-
дополнительных обозначений, используем в обоих случаях термин «правдоподобие» и
симрол L.
24
ГЛАВА 17
или же
A7.19)
17.15 Далее мы будем рассматривать несмещенные оценки t
некоторой функции т@) от параметра 8. Это позволит рассмот^
реть не только смещенные и несмещенные оценки самого пара-
параметра 0, но и, например, оценивание стандартного отклонения
в случае, когда параметром служит дисперсия. Итак,
\tLdx,
A7.20)
Дифференцирование соотношения A7.20) дает
что можно переписать, учитывая A7.18), в виде
х' @) = J ... J {t - т @)} ^§±-L dxx... dxn. A7.21)
Используя неравенство Коши — Буняковского *), из последнего
соотношения получаем
... j{t-T(Q)FLdxl...dxnj ...
или, после несложных преобразований,
Ш = М {t - х @)}2 ^{т' @)}2/М
A7.22)
Это основное неравенство для дисперсии оценки. Его часто на-
называют неравенством Крамера — Рао (Рао A945); Крамер
A946)). Впервые оно было, по-видимому, получено Эйткином
и Силверстоуном A942). Используя A7.19), это неравенство
можно переписать в следующем виде, часто более удобном на
практике:
Ш > - {т' @)}2/М ^)
Мы будем называть A7.22) и A7.23) минимальной границей
дисперсии (сокращенно МГД) оценки функции т@). Оценка,
дисперсия которой при всех 0 равна этой минимальной границе,
будет называться МГД-оценкой.
*) В оригинале это неравенство называется неравенством Коши — Швар-
Шварца. (Прим. ред.)
ОЦЕНИВАНИЕ
25
Для того чтобы из A7.20) следовало A7.22), необходимо
лишь выполнение равенства A7.18). Если, кроме того, выпол-
выполнено A7.19), то МГД может быть записана также в виде
A7.23). (См. в связи с этим упражнения 17.21 и 17.22.)
17.16 Если оценивается сам параметр 0, то, заменяя в A7.22)
производную т'@) ее значением т'@)= 1, мы получим для не-
несмещенной оценки параметра 8 неравенство
Величина
/ = l
07*4»
A7.25)
называется иногда количеством информации, содержащейся в
выборке.
17.17 Условие, при котором достигается МГД, получить не-
нетрудно. В самом деле, A7.22) следует непосредственно из не-
неравенства Коши — Буняковского, а необходимым и достаточ-
достаточным условием того, чтобы последнее превратилось в равенство,
является (см. 2.7) пропорциональность {t — т@)} и —щ— для
любых наборов наблюдений, т. е.
дв
A7.26)
Значение А в A7.26) не зависит от наблюдений, но может быть
функцией от 0, поэтому следует переписать A7.26) в виде
A7.27)
Далее, из A7.27) и A7.18) получаем
A7.28)
Так как A7.22) превращается в равенство, то подстановка в
него A7.28) дает
. A7.29)
Мы заключаем отсюда, что если A7.27) выполнено, то t яв-
является МГД-оценкой для т@), причем дисперсия этой оценки
дается выражением A7.29), которое равно правой части A7.23).
Если т@M=8, то дисперсия / равна величине 1/Л@), которая
в свою очередь, равна правой части A7.24),
26 ГЛАВА 17
Пример 17.6
Требуется оценить параметр 9 в нормальной совокупности
с известным а.
Поскольку равенство
имеет вид A7.27), если положить t = jc, Л (9) = л/а2 и т(9) = 9
то * будет МГД-оценкой для 9. Дисперсия этой оценки рав-
равна а2/п. у
Пример 17.7
В случае распределения
-8) V -о
для параметра 9 не существует МГД-оценки, так как равенство
* — е
оо,
l + (*-6J}
не может быть приведено к виду A7.27).
Пример 17.8
Для распределения Пуассона
получаем
откуда следует, что х есть МГД-оценка для 9. Дисперсия этой
оценки равна 8/я.
Пример 17.9
В случае биномиального распределения, для которого
Мг|е)=(;)е'A-9ГГ, г-0, 1,2 п,
из равенства
д logL п (г а\
W~-~ 9A-9) \7Г~" 8]
следует, что r/п есть МГД-оценка параметра G. Эта оценка
имеет дисперсию, равную 6A — 0)/п.
ОЦЕНИВАНИЕ
27
17.18 Из изложенного выше следует, что МГД-оценка может
существовать только для какой-то одной функции т(9) от па-
параметра 9. Следующий пример иллюстрирует этот факт.
Пример 17.10
Оценить параметр 9 нормального распределения
Из равенства
dlogL
немедленно следует, что — У] х2 есть МГД-оценка для гене-
генеральной дисперсии 92, причем дисперсия этой оценки, согласно
A7.29), равна —"П§~(®2)— — • Однако Для самого 9 МГД-
оценки в данном случае не существует.
Уравнение A7.27) дает условие, которому должна удовлег-
ворять плотность распределения, для того чтобы для некото-
некоторой функции т(9) от параметра 9 существовала МГД-оценка.
Но если это условие не выполняется, то еще может существо-
существовать оценка, которая будет равномерно по 9 иметь дисперсию,
меньшую дисперсии любой другой оценки. Такую оценку мы
назовем оценкой с минимальной дисперсией (МД-оценка). Дру-
Другими словами, минимальная достижимая дисперсия может быть
больше нижней границы дисперсии, даваемой неравенством
Крамера — Рао. Когда же условия регулярности, приводящие
к неравенству Крамера — Рао, не выполнены, минимальная до-
достижимая дисперсия может быть и меньше нижней границы, по-
получающейся при формальном применении этого неравенства.
Однако в любом случае из равенства A7.27) вытекает, что
может существовать только одна функция от 9, для которой
достигается МГД, а именно функция, являющаяся математиче-
математическим ожиданием статистики t, через которую линейно выра-
выражается производная логарифма функции правдоподобия
dlogL/dQ.
17.19 Интегрируя соотношение A7.27), определяющее вид
функции правдоподобия, и обозначая интеграл от произвольной
функции Л (9) снова через А (9), мы получим
log L = tA (9) + Р (9) + R (х„ х2,...., *„).
Отсюда следует, что плотность распределения должна иметь
вид . . ¦
f (х |8) =ехр{Л (9) В (х) + С(х) + D(9)}, A7.30)
28
ГЛАВА 17
где
2
Семейство распределений вида A7.30) часто называют экспо-
экспоненциальным. Мы возвратимся к нему в 17.36.
17.20 Когда МГД A7.22) не достигается, можно найти бо-
более точную нижнюю границу дисперсии оценки, т. е. границу,
большую той, которая дается неравенством Крамера — Рао. Су-
Существенным условием доетижимости A7.22) является линейная
зависимость разности t — т@) от—Щ--= ТГЖ' °Днако если
такой оценки t, для которой это условие выполняется, не суще-
существует, может еще существовать оценка, для которой t — т(9)
будет линейной функцией от -?-~Ж' 7Г~дР~ и от более высоких
производных функции правдоподобия. Этот факт приводит к сле-
следующему результату, принадлежащему Бхаттачария A946).
Пусть функция т@) оценивается статистикой /. Введем обо-
обозначения
dQr
и определим функцию
A7.31)
где а,- — константы, которые будут определены ниже. Диффе-
Дифференцирование A7.17) г раз дает (при допустимости перемены
порядка дифференцирования и интегрирования)
откуда
A7.32)
A7.33)
M(Ds) = 0.
Дисперсия Ds равна, следовательно,
М (Dl) = J ... J J (t - х (9)) - 2 arl}r)JL J2 L dxx ... dxn. A7.34)
Минимизация A7.34) по ат приводит к системе
J ... J ^(t-
^ = 0 A7.35)
ОЦЕНИВАНИЕ
29
(p = 1, 2, ..., s), которую можно переписать следующим об-
образом:
J .., | (t - x @)) L(p) dxy ... dxn =
¦ci Г С Lir) /(p>
eSa»-J ••' J ^r-\~Ld^ ••¦ dx- ^7.36)
г
Левая часть A7.36), согласно A7.32) и A7.20), равна
\ ... jtLip)dXl ... dxn = x{"\
Правую же можно записать в виде
Подставляя эти значения в A7.36), получим
р = 1, 2,..., s. A7.37)
г=1
Если матрица /rp = M (—T~ ' ~т~) этой линейной системы не-
невырождена, то система имеет решение
аг=2т(р>/ГР\ г=1, 2, ..., s. A7.38)
Следовательно, если A7.34) минимально, то A7.31) принимает
значение
Ds = *-T(e)-2 S x(p)/7P'L<r)/L.
p=l
A7.39)
Само же A7.34), как следует из A7.39), равно
М (D*) = J ... / J (t - т (9)) -22 Т'Э>/^ L(rV^ I' L dxx ... dxn.
Это выражение, учитывая A7.35), можно записать в виде
М (Dl) = J ... j{t — t @)}2 L dxx ... dxn -
-22 '"^ J • • • J ^Llr> ^- • • •rf^
»¦ p
или, окончательно,
I- '-С)
A7.40)
г Р
30
ГЛАВА 17
ОЦЕНИВАНИЕ
31
Так как левая часть A7.40) неотрицательна, то мы получаелт
нужное нам неравенство
Df>2 2 T(p>/rpVr). A7.41)
В частном случае s=l неравенство A7.41) превращается в
неравенство A7.22).
17.21 Условием достижения нижней границы в A7.41) яв-
является условие M(Ds) = 0, которое ввиду A7.33) сводится к
Ds = 0, что дает (см. A7.39))
r=I
A7.42)
Условие A7.42), требующее линейной зависимости t—т@) от
величин LW/L, является обобщением A7.27). Если t—т@) есть
линейная функция от первых s таких величин, то, конечно, мы
ничего не выиграем, добавляя члены более высокого порядка.
С другой стороны, правая часть A7.41) является неубывающей
функцией от s, поскольку минимальная дисперсия функции Ds
не может возрастать при добавлении новых коэффициентов аг.
Таким образом, если при оценивании заданной функции т@)
не существует МГД-оценки, то мы можем надеяться найти
оценку, дисперсия которой будет равна нижней границе, давае-
даваемой A7.41) при некотором s> 1.
17.22 Посмотрим теперь, как изменится нижняя граница
дисперсии, если в A7.41) взять s = 2 вместо s= 1. Используя
обозначение
A7.43)
J гр I
можно записать A7.41) в виде
Ш х' х"
х' /„ /„
** h2 h2
или, что то же самое,
>0
A7.44)
Dt>S2L+-&/..*=
/17/ -/»V A7'45)
Второе слагаемое в правой части A7.45) характеризует полу-
полученное уточнение границы. Записывая Jrp(n) в виде функции от
объема выборки и пользуясь соотношениями
Ju(n) = nJn(l), |
/u(n)=n/12(l), | A7.46)
/и (п) = л/» A) + 2л (я - 1) {/,, A )}2, )
получим
/-.'42 i>r" тг Т. (WIT. (\\\2 I \ \
^«¦/n(l)" 2«2{/u(l)}2 "*¦ \п2)' \11'%1>
откуда следует, что поправка к границе имеет порядок 1/л2, в то
время как главный член имеет порядок 1/п. Следовательно, ве-
величина поправки важна только при т7 = 0, т. е. когда главный
член исчезает. В случае, когда t является оценкой для самого 0,
A7.47) принимает вид
что можно переписать, используя A7.46) и возвращаясь к пер-
первоначальным обозначениям, следующим образом:
Dt> —
12
'п " 2/t,
A7.48)
Если граница при s = 2 равна границе прн s = 1, то из этого, вообще,
не следует, что последняя достижима. Однако для экспоненциального семей-
семейства это так (см. Патнл и Шоррок A965)).
Пример 17.11
Мы уже знаем, что несмещенной оценкой параметра 0 би-
биномиального распределения является статистика г/п =¦ р, а не-
несмещенной оценкой для 02 — статистика г(г—1)/{п(п—1)},
поэтому естественной несмещенной оценкой для функции
8A—0) будет
г г (п — 1)
= " A) =
Дисперсия / в случае больших выборок с точностью до членов
первого порядка дается (см. A0.14)) выражением
Ор~ 6A-6H-28)^
которое совпадает с первым членом в A7.41) и A7.45), по-
поскольку т' = A—20) и /ц =л/{0A—0)}. Таким образом, если
этот член не равен нулю, то / будет МГД-оценкой (асимптоти-
(асимптотически). Однако при 0= 1/2 он равен нулю, поэтому мы должны
рассмотреть следующий член, чтобы получить ненулевую гра-
границу дисперсии. Легко проверить, что _
1 _ 2вA-28)
Jl2~ в2 A — вJ '
следовательно, второй член в A7.47) равен
32
ГЛАВА 17
При 0=1/2 этот член равен 1/(8л2). Записав статистику t
в виде
можно найти точную дисперсию / при 0 = 1/2, используя мо-
моменты биномиального распределения. Эта дисперсия равна
Ш=1/{8я(я—1)}, т. е. совпадает со вторым слагаемым в
A7.47) до членов порядка 1/л2.
17.23 Пример 17.11 выявляет один довольно важный факт.
Если для функции т@) существует МГД-оценка t, т. е.
Dt = {V(B)}2/Ju, A7.49)
и требуется оценить некоторую другую функцию, скажем
¦ф {^@)}, то из известных асимптотических результатов и из
A7.49) следует (при условии, что \|/ не равна нулю), что
или
Другими словами, из того, что для некоторой функции от 0
существует МГД-оценка, следует, что для любой функции от
6 существует оценка с дисперсией, асимптотически равной
МГД. Более того, этой оценкой служит соответствующая функ-
функция от t. В 17.35 мы получим, в дополнение к сказанному, один
более точный результат, касающийся функций от МГД-оценок.
17.24 Не представляет никакого труда распространить ре-
результаты этой главы относительно МГД-оценок на случай не-
нескольких параметров 8i, 02, .. ., 0ft. Если ставится задача об
оценивании некоторой функции от этих параметров, скажем
чг(9ь 02, ••-, 0ft), то аналогом самого простого результата,
A7.22), будет неравенство
дг дх ,_
A7.50)
где 1ц1¦
¦ элементы матрицы, обратной к
Как и в одномерном случае, A7.50) учитывает только члены
порядка 1/п; неравенство же, учитывающее члены более высо-
высокого порядка, имеет более сложный вид.
ОЦЕНИВАНИЕ
33
17.25 Оказывается, можно получить даже более точные, чем рассмотрен-
рассмотренные выше, нижние границы для дисперсий оценок, причем без условий ре-
регулярности. Следуя Киферу A952), рассмотрим случай несмещенных оценок.
Обозначим, как и в A7.16), через L(x\Q) функцию правдоподобия, а
через ft — случайную величину, независимую от х и определенную так, что
сумма (9 + ft) не выходит за пределы допустимых значений для 9. Пусть
Ki (ft) н Xz (ft) — произвольные функции распределения. Тогда, если t — не-
несмещенная оценка для 9, го можно написать
J {t-(Q + h)}L(x\Q + k)dx = O,
используя одни знак интеграла н один дифференциал dx для обозначения
re-кратного интегрирования. Интегрируя еще раз по Ki(h) (t = 1, 2), получим
J [ f U - (8 - ft)} L (x | 9 + A) dx\ dXt (A) = 0.
Таким образом, можно написать
Г Г Г 1
М1 (А) - М2 (А) = (t - в) L (х | 9 + A) d {Л, (А) - Х2 (A)} dx =
*) L J j
, (х | 9 + A) d (Л, - X2)
Г
J (t~
{L(x\Q)}112
Пользуясь теперь неравенством Коши — Буняковского, получим
dx.
dx,
что дает
{М, (ft) - М2 {h)Y
J Ц J L (х| 9 + Л) d (Kt - К2) }2Д (х | 9)] dx
Поскольку это верно для любых Ki и Хг, то мы имеем
sup , rf ¦„ ' —, i • A7.51)
up
"к / КIL {х'е+h) d (Л'- Лг)} А(х'
dx
Верхняя грань в A7.51) берется по всем \i ф Хг, для которых определено
подннтегральное выражение в знаменателе. Баранкин A949) доказал, что
неравенства этого типа дают наилучшие возможные границы для D t.
Если распределение X2(ft) сосредоточено в точке ft Ф 0, то A7.51) при-
принимает- вид
i!!I*»L . (.7.52)
up
" J
Если, кроме того, распределение Xt также сосредоточено в некоторой точке
h Ф 0, то неравенство A7.52) превращается в
1
inf (I/A2) | J [{L {x\Q + h))*IL (х | в)] dx - 1 J
2 М. Кендалл, А. Стьюарт
A7.53)
34
ГЛАВА 17
Нижняя грань берется по всем h # О, для которых из L(x\Q)= 0 следует
L(x\Q + й)== 0. Неравенство A7.53), установленное Чепмэном и Роббиисом
A951), дает, по меньшей мере, такую же хорошую границу, как и A7.24),
но применимо в более общем случае. Знаменатель в правой части A7.24),
равный
д log
si
L Y\ Г..
-)J" J №>
в случае допустимости перемены порядка интегрирования и перехода к пре-
пределу можно записать в виде
м\(акк\*\, ,im ' [ Г
L\ 5в ; j ft^.o h2 LJ
- il.
j
Знаменатель в правой части A7.53) есть нижняя грань этой величины по
всем допустимым значениям л и не может, следовательно, быть больше
предела этого выражения при Л-»-0, т. е. A7.53) дает, по меньшей мере,
такие же хорошие результаты, как и A7.24). Отсюда следует, что A7.52)
и A7.51) дают; вообще говоря, еще лучшие результаты, однако, чтобы их
использовать, нужно в каждом конкретном случае находить Xt и Xi. Нера-
Неравенство же A7.53) можно применять сразу. В случае, когда область опре-
определения' распределения зависит от оцениваемого параметра и неравенство
(Jv.7.24) -неприменимо, более эффективным средством изучения свойств наи-
наилучших оценок является использование достаточных статистик, которые бу-
будут рассмотрены несколько позже.
17.26 До сих пор мы в основном занимались оценками, дис-
дисперсия которых равномерно по 8 достигала МГД. Однако во
многих случаях таких оценок не существует, даже когда вы-
выполнены условия, при которых была получена эта граница.
Остается надежда, что тогда существует МД-оценка, т. е. оцен-
оценка, имеющая для всех 0 минимальную" достижимую дисперсию.
Единственна ли такая оценка? Легко показать, что если МД-
оценка существует, то она всегда единственна, безотносительно,
к достижению какой-либо границы.
Пусть j\ и t2— несмещенные МД-оценки для т@), и пусть
дисперсия, этих оценок равна V. Рассмотрим новую оценку
для т@)
с дисперсией
1, t2)}.
A7.54)
Согласно неравенству Коши — Буняковского
cov (f,,. t2) = J .... J (*, — т) (t2 — x) Ldx{ .... d*,,
x, ...dxnj ... \{h~
A7.55)
ОЦЕНИВАНИЕ
35
откуда
Поскольку ti и fa имеют по предположению минимальную дис-
дисперсию, то в последнем неравенстве, а следовательно, и в
A7.55) должен стоять знак равенства. Для этого ti — х и fa— х
должны быть пропорциональны:
(tl-x) = k(Q)(t2-x). A7.56)
Но если это так, то
cov (/,, t2) = k (9) Dt2 = k (9) V,
откуда ввиду равенства в A7.55)
А(8) = 1.
"Таким образом, ^.совпадает с fa, т. е. МД-рценка единственна.
17.27 Обобщая доказательство предыдущего пункта, можно
получить одно интересное неравенство для коэффициента кор-
корреляции р между двумя оценками, который согласно 16.23 оп-
определяется как отношение их ковариации к квадратному корню
из произведения дисперсий. Из неравенства A7.55) следует,
что всегда р2 ^ 1.
Пусть t — несмещенная оценка для тF) с минимальной дис-
дисперсией V, a fi и fa — любые другие несмещенные оценки для
t(9).. Рассмотрим новую оценку для т@)
— а)/2,
которая имеет дисперсию
Ш3 = а2Ш,+ A -aJ
Вводя обозначения
можно записать A7.57) в виде
Dt3/V =
или, обозначая
, t2). A7.57)
kuk2>ly
A7.58)
_ cov {tI, t2)
P 1*
cov (<i, t2)
' в виде
(A,*,)? '
= a% + A - aJ k2 + 2a A - a) p {kxk2)>u,
V, следую-
следуюA7.59)
что можно переписать, учитывая неравенство.\Шз
щим образом:
1/2
2*
36
ГЛАВА 17
Неравенство A7.59) является квадратичным неравенством
по а:
- 2р (kxk2I12) + 2а
- k2) + (k2 -
0.
Поскольку корни соответствующего уравнения могут быть
только мнимыми или равными, то его дискриминант неположи-
неположителен:
или
2I12 - k2f < [k, + k2 - 2p (k^I12} (k2 - 1),
{p{klk2)ll2~ l}2^(kl-l)(k2- 1).
Следовательно,
~\)(k2-\)
f (*i-D (*»-!) I
I Mi i
(M*I/2
Обозначая ?"t = l/ku E2 = l/k2, имеем окончательно
A7.60)
Когда ?\ или ?2= 1, т. е. ^ или t2 есть МД-оценка для т@),
неравенство A7.60) превращается в равенство
р = ?1/2. A7.61)
где Е — обратная величина дисперсии другой оценки, называе-
называемая обычно по причинам, которые будут рассмотрены в
17.28—29, ее эффективностью.
Эффективность
17.28 До сих пор мы занимались точными результатами, от-
относящимися к МД-оценкам, в том смысле, что на объем
выборки не накладывалось никаких ограничений. Теперь мы пе-
переходим к рассмотрению свойств, справедливых лишь для боль-
больших выборок. Дело в том, что если даже МД-оценка не суще-
существует ни для какого значения п, то такая оценка может суще-
существовать для п —* оо. Большинство оценок, с которыми мы
имеем дело, в силу центральной предельной теоремы распреде-
распределены асимптотически нормально; поэтому при больших выбор-
выборках распределения таких оценок будут характеризоваться
только двумя параметрами — средним и дисперсией. Если
оценка состоятельна, то она, как правило, будет асимптотически
несмещенной (см. 17.9). Поэтому основным средством сравне-
сравнения состоятельных, асимптотически нормальных оценок неко-
некоторой функции от параметра становится дисперсия.
ОЦЕНИВАНИЕ
37
Оценка такого рода, имеющая минимальную дисперсию для
больших выборок, называется эффективной*). Этот термин
был введен Фишером A921а). Из результатов 17.26 следует,
что все эффективные оценки асимптотически эквивалентны.
17.29 В случае асимптотически нормальных оценок и боль-
больших п, в отличие от случая малых п и оценок с произвольным
распределением, разумно ввести меру эффективности оценки.
Мы определим эффективность некоторой оценки по отношению
к эффективной оценке как величину, обратную отношению объе-
объемов выборок, приводящих к одной и той же дисперсии оценки,
т. е. дающих одинаковую точность.
Если *i — эффективная оценка, а /2 — некоторая другая
оценка и если (как это обычно бывает) дисперсия для боль-
большой выборки есть простая функция от величины, обратной
объему выборки, то нашему определению эффективности можно
придать простую форму. Пусть
где iii, «2 — константы, не зависящие от п., а под знаком диспер-
дисперсии указан объем выборки. Чтобы получить V\ = V2, мы
должны иметь
V, a, ns2
1= — = lim -,
т. е.
1
— = hm — = lim —
A7.63)
При г
Так как ti по предположению эффективна, то г ~ р
второй множитель в правой части A7.63) стремится к нулю;
следовательно, чтобы произведение оставалось равным a2lau
должно выполняться условие
оо,
A7.64)
которое показывает, что эффективность t2 равна нулю. При
г = s имеем равенство
которое в силу A7.62) может быть записано в виде
lim-^ = lim(^V/r.
«1 \v 1J
См., однако, обсуждение «сверхэффективдости» в 18.17,
38
ГЛАВА 17
Эффективность t2 обратна этой величине и равна
. A7.65)
Заметим, что при r>s A7.65) дает тот же результат, что и
A7.64). Если г = 1, как это чаще всего бывает, то A7.65) сво-
сводится к величине, обратной отношению дисперсий. С этим слу-
случаем мы встречались в 17.27. Таким образом, при сравнении
оценок с дисперсиями порядка 1/л эффективность по отноше-
отношению к эффективной оценке обратна отношению дисперсий.
Если дисперсия эффективной оценки не имеет такой простой
формы, как в A7.62), то измерение относительной эффектив-
эффективности становится более трудной задачей (см. упражне-
упражнение 18.21).
Пример 17.12
В примере 17.6 мы показали, что выборочное среднее яв-
является МГД-оценкой для среднего ц нормальной совокупности
с дисперсией о2/п. Тем более оно будет эффективной оценкой.
В примере 11.12 было показано, что выборочное среднее имеет
точное нормальное распределение. В 17.11—12 мы видели, что
выборочная медиана распределена асимптотически нормально
со средним ц и дисперсией ло2/{2п). Таким образом, из A7.65)
с г = 1 следует, что эффективность выборочной медианы равна
2/я = 0,637.
Пример 17.13
Оценка с большей эффективностью, без сомнения, предпоч-
предпочтительней оценки с меньшей эффективностью, если другие ха-
характеристики этих оценок одинаковы. Но эти характеристики
могут быть и разными. Так, иногда получение эффективной
оценки ti требует больше вычислений, чем получение некоторой
другой оценки t2. Трудности, связанные с увеличением объема
вычислений, могут в этом случае свести на нет выигрыш от
уменьшения числа наблюдений, особенно когда легко получить
дополнительные наблюдения.
Рассмотрим задачу оценивания стандартного отклонения
нормальной совокупности с неизвестной дисперсией а2 и неиз-
неизвестным средним. Двумя возможными оценками стандартного
отклонения являются выборочное стандартное отклонение и
выборочное среднее отклонение, умноженное на (я/2I'2 (см.
5.26). Вторая оценка, как правило, вычисляется легче, и если в
нашем распоряжении имеется много наблюдений (например,
ищется стандартное отклонение показаний барометра и есть
ОЦЕНИВАНИЕ
39
запись большого числа этих показаний), то может оказаться,
что. лучше пользоваться средним отклонением, а не стандарт-
стандартным отклонением. (Обе оценки асимптотически нормальны.)
В случае больших выборок дисперсия среднего отклонения
равна ¦^-A~7г) (см- (Ю.39)). Дисперсия соответствующей
оценки для а получается умножением этой величины на я/2:
Стандартное отклонение имеет дисперсию о2/2п (см. 10.8(d)),
причем дальше мы увидим, что оно является эффективной
оценкой. Таким образом, можно вычислить эффективность пер-
первой оценки
Точность оценки, основанной на среднем отклонении и вычис-
вычисленной по выборке объема 1000, следовательно, примерно рав-
равна точности стандартного отклонения, вычисленного по выборке
объема 876. Если легче вычислить среднее отклонение 1000 на-
наблюдений, чем стандартное отклонение 876 наблюдений, и не-
недостатка в наблюдениях нет, то может оказаться предпочти-
предпочтительней взять первую оценку.
Однако надо помнить, что, используя такую процедуру,
мы сознательно соглашаемся на потерю части информации.
Приложив дополнительные усилия, мы могли бы увеличить эф-
эффективность нашей оценки с 0,876 до единицы, или примерно на
14 процентов от первоначальной величины.
Оценивание по методу минимума среднего квадрата ошибки
17.30 Мы рассматривали вопросы о несмещенности и о ми-
минимизации выборочной дисперсии более или менее независимо
друг от друга. Но иногда их уместно изучать одновременно.
Смещение не обязательно должно играть большую роль, чем
дисперсия. Что мы в действительности требуем от оценки t —
это чтобы она была «близка» к истинному значению 0. Рас-
Рассмотрим поэтому вместо ее среднего квадрата ошибки относи-
относительно собственного математического ожидания средний квад-
квадрат ошибки относительно истинного значения. Получаем
(член с удвоенным произведением равен нулю). Второе сла-
слагаемое в правой части есть просто квадрат смещения t при оце-
оценивании 0. Если t — несмещенная оценка, то это слагаемое
равно нулю и средний квадрат ошибки совпадает с дисперсией.
40
ГЛАВА 17
Однако в общем случае минимизация среднего квадрата ошиб-
ошибки дает результаты, отличающиеся от тех, которые получаются
при минимизации дисперсии.
Пример 17.14
На какое число нужно умножить выборочное среднее х,
чтобы получить для генерального среднего оценку с наимень-
наименьшим средним квадратом ошибки? Из предыдущих результатов
имеем М(ах) = a\i, D(ax) = а2в2/п, где о2— генеральная диспер-
дисперсия, а п — объем выборки. Следовательно,
М (ах - р.J = а2а2/п +\х2(а- IJ.
Минимизация последнего выражения по а приводит к уравне-
уравнению
2ав2/п + 2у,2(а- 1) = 0,
из которого получаем
u — ц2 + а'/п •
Если п—»• оо, то а—*1, и мы получаем несмещенную оценку; но
при любом конечном яо>1.
При известной функциональной связи между \х и а2 можно
пойти дальше. Например, если а2 = ц2, то а = п/(п + 1).
Очевидно, рассмотрения такого рода представляют цен-
ценность только в случае выборки из распределения, параметры
которого связаны известной функциональной зависимостью.
Оценивание по методу минимума среднего квадрата ошибки
применяется не очень часто, но надо заметить, что причиной
этого являются скорее практические трудности, чем теоретиче-
теоретические соображения. В некотором смысле успешное изучение не-
несмещенных МД-оценок связано с тем, что требование несме-
несмещенности позволяет обойти эти трудности.
Достаточные статистики
" 17.31 Рассмотренные нами критерии, именно несмещенность,
состоятельность, минимальность дисперсии и эффективность,
дают довольно разумные характеристики оценок. Для их более
глубокого изучения нам потребуется понятие достаточности,
введенное Фишером A921а, 1925).
Пусть сначала оценивается один параметр 6. Имеется бес-
бесчисленное множество возможных оценок для 0, и мы должны
выбрать какую-то из них. Рассмотрим для выборки объема
п ^3= 2 совместное распределение г функционально независимых
статистик
fr(t, h *г_, |9), г = 2, 3, .... л,
ОЦЕНИВАНИЕ
41
из которых нас .особо интересует статистика t. Используя тео-
теорему умножения вероятностей G.9), можно записать это рас-
распределение как произведение маргинального распределения t
на условное распределение других статистик при фиксирован-
фиксированном t:
fr(t, /„..., /r_,ie) = g(/|e)Ar_1(/,f.... *г_,|/, в). A7.66)
Если второй сомножитель в правой части A7.66) не зави-
зависит от 0, то очевидно, что имеет место ситуация, когда знание,
статистик U, ..., tr-i ничего не добавляет к знаниям о пара-
параметре 0, полученным на основании статистики t. Если, далее,
это верно для каждого г и для любого набора (г— 1) статис-
статистик U, то можно с полным основанием сказать, что t содержит
всю информацию относительно 0, имеющуюся в. выборке. Ста-
Статистика t будет в этом случае называться достаточной для 6.
Таким образом статистика t будет достаточной для 0 тогда и
только тогда, когда
fr(t, U, .... /|._,|в) = г(Пв)А,_,(/„ .... *,_,!/), A7.67)
где Аг-1 не зависит от 0 для г = 2, 3, ..., п и любого набора
*!,..., /^1*).
17.32 В том виде, в каком оно было дано, определение
A7.67) не позволяет в каждом конкретном случае определить,
существует ли достаточная статистика. Однако мы можем пред-
представить это определение, в форме условия на функцию правдо-
правдоподобия. Если последняя может быть записана в виде
L(xu ..., xa\b) = g(t\%)k(xu ..., хп), A7.68)
где g(t\Q) является функцией от t и 6 **) и k не зависит от 0,
то легко видеть, что A7.67) можно вывести из A7.68). Дейст-
Действительно, умножим обе части A7.68) на дифференциал
dXi.. . dxn и сделаем преобразование
хп)
хп),
=l, 2, ..., г—
(здесь г — любое, а набор ti, ..., U—i произволен). Якобиан
преобразования не содержит 6, и A7.68) может быть приведено
к виду
g(t\Q)dtl(t,
tr-u tr, .... *«-i
A7.69)
*) Определение достаточности обычно дается для г — 2, но нам ка-
кажется, что определение для любых г более естественно. Такое изменение в
определении не налагает дополнительных ограничений на понятие достаточ-
достаточности.
**) Мы сохраняем обозначение g(t\Q), так как эта функция от t и от 9
может всегда рассматриваться как маргинальное распределение t.
42
ГЛАВА 17
Проинтегрировав по лишним переменным tr, ..,, tn-\, получим
для совместного распределения t, tu ..., ^r_j в точности выраже-
выражение A7.67).
Следует заметить, что, интегрируя по tr, .,., ?п_ь т. е. по
хт, ..., Хп-и мы предполагали, что при этом не появляются чле-
члены, зависящие от 0. Это, конечно, так, если область определения
распределения соответствующей переменной не зависит от 0;
позже мы увидим A7.40—1), что интегрирование остается не-
независимым от 0, даже если один или оба предела интегрирова-
интегрирования зависят от 0.
Обратный результат также легко устанавливается. Поло-
Положим в A7.67) U = Xi и г = п (i = 1, 2 п — 1); тогда
fr(t, хъ х2 xn-l\B) = g(t\B)hn-l(xl, ..., *„_,!*). A7.70)
Умножая обе части A7.70) на дифференциал dt dxi. .. dxn-i и
совершая преобразование
„ v a v v \
лп — лпуч Л1> •••> •*№•—\)у
Х{ = Xi, t = 1, 2 п — I,
немедленно получаем A7.68). Таким образом, A7.67) необхо-
необходимо и достаточно для A7.68). Доказательство было проведено
для непрерывных распределений. В дискретном случае оно по-
получается проще, и читатель может провести его сам по той
же схеме. Очень общее доказательство эквивалентности A7.67)
и A7.68) было дано Халмошем и Сэвиджем A949).
Мы рассматривали только случай rt ^ 2. При п = 1 в ка-
качестве определения достаточности берется A7.68).
Достаточность и минимум дисперсии
17.33 Из необходимого и достаточного условия достаточ-
достаточности в форме A7.68) сразу вытекает одно интересное следст-
следствие. Беря от обеих частей логарифмы и дифференцируя, мы
получаем
a log*. _ aiogg(fie) П77П
Сравнивая A7.71) и условие A7.27) существования МГД-оцен-
ки для т@), мы видим, что такая оценка существует, только
когда имеется достаточная статистика. Действительно, A7.27)
есть просто специальный случай A7.71), именно, когда
A7.72)
Таким образом, хотя на первый взгляд требование достаточ-
достаточности может показаться более ограничительным условием, чем
ОЦЕНИВАНИЕ
43
достижение МГД, в действительности оно менее ограничительно.
A7.71) выполняется всегда, когда выполняется A7.27), но даже
если A7.27) не выполняется, может оказаться, что достаточная
статистика существует.
Пример 17.15
Из рассуждений пункта 17.33 следует, что все найденные
нами МГД-оценки (примеры 17.6, 17.8, 17.9, 17.10) будут доста-
достаточными статистиками.
Пример 17.16
Рассмотрим задачу оценивания параметра 0 в распреде-
распределении
Функция правдоподобия (ФП) в этом случае равна
0~", если х(п) <[0,
0 в противном случае,
поскольку все наблюдения, включая наибольшее из них
не превосходят 0.
Можно также написать
где
и(г) =
A7.73)
1, z>0,
0, z < 0.
Из A7.73) видно, что ФП представляется в виде произведения
ФУНКЦИИ ОТ Х(П) И ОТ 0
на функцию от х\,..., хп
к \Х\, . . ., Хп) = 1.
Следовательно, согласно A7.68) х(п) есть достаточная ста-
статистика для 0.
17.34 Достаточная статистика t определяется соотношением
A7.68) единственным образом с точностью до взаимно одно-
однозначных функций от t. Например, если t = t(u), то A7.68)
можно записать в виде
и мы имеем
> = ?(пенп«)!т7$Т
{x\Q) = gl(u\Q)k1(x),
44
ГЛАВА 17
где gi{u\Q) является плотностью для и, a ki не зависит от 0,
т. е. статистика и достаточна для 0. Такая неоднозначность,
однако, не создает на практике никаких.трудностей, поскольку
мы выбираем такие функции от t, которые являются состоятель-
состоятельными и даже обычно несмещенными оценками для 0. Достаточ-
Достаточными статистиками в некоторых случаях могут быть и не взаим-
взаимно однозначные функции от t (см. упражнение 23.31).
Если не учитывать неоднозначность этого вида, то достаточ-
достаточная статистика единственна. Действительно, если имеется две
достаточные статистики tt и t2, то из A7.67) получаем при
г = 2
f (¦} -f I CX\ i /т (¦} I d\ U (i I -h \ ,, /v D- I Q\ I* [4- I 4 \ /17 *7/t\
/2 \^ 1 * 2 1 ^*/ ~~~* s 1 \ 1 J ^v **1 \ 2 J 1 / "~~" я9 \*2 I ^/ **2 \M I ^2/» \* ' * • ^/
откуда следует функциональное соотношение
ti=-k(t2, 0). A7.75)
Но /i и ^ являются функциями только от наблюдений и не за-
зависят от 0, следовательно, из A7.75) вытекает, что tt и tz функ-
функционально связаны.
17.35 В 17.33 мы видели, что если существует МГД-оценка,
то она является достаточной статистикой. Теперь мы докажем
более общий результат, принадлежащий Рао A945) и Бле-
куэллу A947) и состоящий в том, что независимо от достиже-
достижения какой-либо границы дисперсии несмещенная МД-оценка,
если она существует, всегда является функцией от достаточной
статистики.
Пусть t — достаточная статистика для 0, a t± — некоторая
другая статистика с конечной дисперсией и математическим
ожиданием
М(*,) = т(в). A7.76)
Ввиду A7.68) можно записать A7.76) следующим образом:
т@} = J ... J4g(*|e)?(*i, .... xn)dxu ..., dxn. A7.77)
Переходя в правой части A7.77) к новым переменным t, Хъ
Хз,..., хп и интегрируя по последним п — 1 из них, получим
Т(9)= $ p(t)g(t\B)dt, A7.78)
откуда следует, что существует функция p(t) от достаточной
статистики, являющаяся несмещенной оценкой для т@). Из
вывода равенства A7.78) видно, что p(t)= M(ti\t). Далее,
= М {/, - т @)}2 = М {[/, - р (/)] + [р (t) - х @)]Р =
= м {/, - р {t)f + м {р ® - т @)}2,
ОЦЕНИВАНИЕ
45
так как M{^i — p(t)} {p{t)—т@)}.== О (что можно показать,
беря условное математическое ожидание относительно t). Сле-
Следовательно,
D/, = М{*, -р{t)f +D{p(t)}>D{p(*)},
причем равенство имеет место в том и только в том случае,
когда t\ = p{t). Таким образом, p(t)= M(^ij/) имеет меньшую
дисперсию, чем t\. В 23.9—11 мы увидим, что обычно только
одна функция от достаточной статистики имеет заданное ма-
математическое ожидание. В этом случае любой выбор t± приво-
приводит к одной и той же оценке М (ti\t), которая и будет единст-
единственной несмещенной МД-оценкой для т@).
Полученный результат не всегда легко использовать кон-
конструктивно, поскольку может оказаться, что M(/i|?) трудно вы-
вычислить (один важный класс случаев, когда оценка получается
в явном виде, дает упражнение 17.24); однако он гарантирует
нам, что несмещенная оценка с конечной дисперсией, являю-
являющаяся функцией от достаточной статистики, будет единственной
МД:оценкой.
Распределения, обладающие достаточными статистиками
17.36 Теперь мы постараемся определить класс распределе-
распределений, для параметра которых существует достаточная стати-
статистика. Сначала будет рассмотрен случай, когда область изме-
изменения варианты не зависит от параметра 0. Если t достаточна
для 0 в выборке из п независимых наблюдений, то из A7.71)
следует, что
A7.79,
где К есть некоторая функция от t и 0. Рассматривая A7.79)
как уравнение относительно t, мы видим, что оно остается спра-
справедливым для любого значения 0, в частности, равного нулю.
Отсюда ясно, что t может быть представлено в виде
t " j
A7.80)
где М и k — произвольные функции. Если да = 2& (*/). то /С
будет функцией, обозначим ее N(Q,w), только от 0 и w. По-
Поэтому из A7.79) вытекает, если существуют написанные ниже
производные, что
d2logL dN dw
двдх
1
dw дх.
A7.81)
46
ГЛАВА 17
Левая часть A7.81) зависит только от 0 и от Xj, a /j
только от Xj. Отсюда следует, что dN/dw зависит только от 0
и Xj. Но производная dN/dw симметрична относительно иксов и,
следовательно, зависит лишь от 0. Поэтому, интегрируя ее по
w, получим
N(Q)
где р и q— произвольные функции от 0. Таким образом, A7.79)
принимает вид
), A7.82)
откуда
-^ log / (х | 0) = р (Q)k (х) + q @)/я,
что дает необходимое условие существования достаточной ста-
статистики:
/ (х 10) = ехр {А (в) В (х) + С (х) + D @)}. A7.83)
Этот результат, принадлежащий Дармуа A935), Питмэну
A936) и Купмэну A936), в точности совпадает с формулой
A7.30), определяющей общий вид распределений экспонен-
экспоненциального семейства и выведенной как условие существования
МГД-оценки для некоторой функции от 0.
Работа Л. Брауна A964) посвящена условиям регулярности, достаточным
для справедливости этого результата, и содержит ссылки иа относящиеся
к этому вопросу публикации.
Если выполняется A7.83), то в случае, когда область оп-
определения /(х|6) не зависит от 0, функция правдоподобия бу-
будет достаточной статистикой для 0. Таким образом, в этом слу-
случае условие A7.83) является достаточным для того, чтобы рас-:
пределение обладало достаточной статистикой.
Все перечисленные в примере 17.15 распределения имеют
вид A7.83). . . . .
17.37 Итак при выполнении условий регулярности имеется
взаимно однозначное соответствие между существованием до-
достаточной статистики для 0 и существованием МГД-оценки для
некоторой функции от 0. Если выполняется A7.83), то сущест-
существует достаточная статистика для 0 и имеется ровно одна футе-"
ция t от этой статистики (являющаяся сама достаточной ста-
статистикой), которая удовлетворяет A7.27) и оценивает, следо-
следовательно, некоторую функцию т@) с дисперсией, равной МГД.:
Для больших выборок, кроме того, любая функция от доста-
достаточной статистики оценивает свое математическое ожидание с
ОЦЕНИВАНИЕ
47
точностью, равной МГД (см. 17.23). Наконец, для любого п лю-
любая функция от достаточной статистики будет для своего ма-
математического ожидания оценкой с минимальной достижимой
дисперсией (см. 17.35).
Достаточные статистики для нескольких параметров
17.38 Идеи предыдущих пунктов непосредственно обоб-
обобщаются на случай распределений, зависящих от нескольких
параметров 0Ь ..., 0&. По существу, не появится также ничего
нового, если мы будем вместо одномерных рассматривать мно-
многомерные распределения. Итак, пусть Xi — векторная варианта с
р(^1) компонентами, t (или U)—вектор, компонентами кото-
которого служат s статистик, и 9 — вектор параметров.с k компо-
компонентами. Результаты пунктов 17.31 и 17.32 в этом случае почти
не изменяются. Если можно написать соотношение
L(x\Q)=:g(t\Q)h(x),
A7.84)
то совокупность компонент вектора t будет называться системой
(совместно) достаточных статистик для 9. Свойство A7.67)
выводится так же, как и раньше.
Число s компонент вектора t может быть больше, равно
или меньше, чем число k компонент вектора параметров. Если
s = 1, то мы имеем дело с одномерной достаточной статистикой.
(Таким образом, термин «достаточная статистика», которым мы
пользовались до сих пор, следовало бы заменить термином «од-
«одномерная достаточная статистика».) Полагая t = х, мы видим,
что сами наблюдения всегда образуют систему достаточных
статистик для 9 с s = п. Желая упростить задачу анализа
данных, мы, естественно, хотим, чтобы s было как можно
меньше. Но даже это требование не является достаточно огра-
ограничительным (см. упражнение 18.13). В главе 23 мы определим
понятие минимальной системы достаточных статистик, которая
будет фун-кцией от всех других систем достаточных статистик.
Очевидно, что из совместной достаточности t для 9 не сле-
следует, что какая-нибудь отдельная компонента t, скажем #'), слу-
служит достаточной статистикой для 04. Так будет только в том
случае, когда g(i\Q) разлагается в произведение, одним из со-
сомножителей которого является gi(?A)|0i). Неверно и обратное:
индивидуальная достаточность каждого из t^ при известных
остальных не обеспечивает совместной достаточности.
Для k = 1 результат пункта 17.35 сохраняется, если t —
вектор, имеющий s < п компонент (случай s = п бессодержа-
бессодержателен). При этом, чем меньше s, тем легче этот результат ис-
использовать,
48
ГЛАВА 17
Пример 17.17
Рассмотрим оценивание параметров ц и о* распределения
1
dF(x) =
Поскольку
. оо.
ц, а2) =
*,--М2
1-
а» Bя)^ CAJJ I ~ T Zi \—Г~) \ • A7-8б)
! t=i '' J
а совместное распределение f и s2 (пример 11.7) имеет вид
то, учитывая соотношение 2 (* — М-J = я {s2 + (х — цJ}> получим
1(х|ц, aa) = g(je, «»||х, a2)k(x).
Таким образом, х и s2 совместно достаточны для (j, и а2. Мы уже
видели, что х достаточна для ц при известном а3 (примеры 17.6,
17.15), а —У](^ —М-J достаточна для a2 при известном ц
(примеры 17.10, 17.15). Из A7.85) легко видеть, что одна s2 не
будет достаточной для о2.
17.39 Основные результаты, относящиеся к достаточным
статистикам, естественным образом обобщаются на случай k
параметров. Условие (обобщающее A7.83)) того, что распре-
распределение обладает системой k статистик, совместно достаточных
для k параметров, при аналогичных предположениях о непре-
непрерывности и существовании производных выглядит следующим
образом:
/ (х) = ехр { S А, (9) В, (х) + С (х) + D @)}.. , A7.86)
Оно было получено Дармуа A935), Купмэном A936) и Пит-
мэном A936). Более общие результаты, связанные с этим во-
вопросом, получили Баранкин и Мантра A963). Результат пункта
17.35 о свойствах функций от достаточных статистик как един-
единственных оценках с минимальной дисперсией обобщается в сле-
следующей теореме РаоA947): при одновременном оценивании
г (г sg: k) функций г, от k параметров б5 несмещенные оценки tu
являющиеся функциями от минимальной системы из k достаточ-
достаточных статистик, имеют минимальные достижимые дисперсии.
Нижние границы (не обязательно достижимые) дисперсий этих
ОЦЕНИВАНИЕ
49
функций определяются (если область изменения вариант не
зависит от 8S) соотношением
k н
-dsrw7' i==l-2 г> A7-87)
где IJi1—элементы матрицы, обратной к информационной мат-
матрице
Неравенство A7.87) обобщает неравенства A7.22) и A7,50), яв-
являющиеся его простейшими частными случаями. Подобно
A7.22), A7.87) учитывает только члены порядка 1//г.
Достаточность в случае зависящей от параметра
области изменения варианты
17.40 Рассмотрим теперь ситуацию, в которой область изме-
изменения варианты зависит от 6. Мы опускаем тривиальный, слу-
случай п=1. Пусть сначала от 0 зависит только нижняя граница
области изменения. Тогда плотность распределения f{x\Q) бу-
будет определена на отрезке аF)^ х ^ Ь, где а@)— монотонная
функция от параметра б, изменяющегося в некотором невырож-
невырожденном интервале.
Точно так же, как в примере 17.16, мы получим
L(x\Q) = f[f(xi\Q)u(xil)-a{Q)),
i=i
где X(i) — наименьшее значение в выборке, а
| 1, если 2^0,
\ 0 в противном случае.
Из вида функции правдоподобия ясно, что х^ невозможно вы-
выделить в сомножитель, не зависящий от 6; поэтому одномерной
достаточной статистикой, если такая существует, может быть
только X(i). Но статистика x(i) может быть достаточной, только
если /(*i|9) разлагается в произведение двух функций, одна из
которых зависит от Х{, а другая — от 0, т. е. если
()/h(Q) A7.89)
f{\) g(
Это условие является необходимым и достаточным для лхшо,,
чтобы функция правдоподобия имела вид
Щ
т- е
. чтобы согласно A7,68) х{Х) была достаточной.
50
ГЛАВА 17
Мы придем к такому же результату (с заменой хт на #(„>)
в случае варианты, меняющейся в пределах а ^ х ^ 6@), где
6(9)—монотонная функция от 0: Х(„) будет тогда и только тог-
тогда одномерной достаточной статистикой, когда выполняется
A7.89). "
При предположении A7.89) в упражнении 17.24 требуется,
используя результат пункта 17.35, найти явный вид единствен-
единственной несмещенной МД-оценки для произвольной функции т@).
Следует отметить, что в этой задаче параметр выбран так, что
он совпадает с соответствующим пределом области изменения
варианты.
17.41 Если оба предела изменения варианты зависят от 0,
т. е. а @) ^ х ^ b @), то мы имеем
L (х 10) = П / (** 16) и (*A) - а @)) и (Ь @) - х(п)).
Рассуждения, аналогичные предыдущим, показывают, что не-
необходимым и достаточным условием того, что крайние наблю-
наблюдения Х(ц и Х(П) образуют систему достаточных статистик для 0,
является A7.89). Посмотрим теперь, существует ли в данном
случае одномерная достаточная статистика; заметим, что если
такая статистика существует, то она является функцией от х^
И ОТ Х(п).
По существу, мы должны решить вопрос о существовании
одномерной статистики, которая показывала бы, чему равно
произведение u(x{i)— а@))иF@)— х(П)) в L(jj|0) — нулю или
единице. Это произведение равно единице, если
хо)>а(в), Ь{В)>х(я).
A7.90)
Имеется четыре возможности:
(I) а@) и b(Q)—возрастающие функции от 0. Тогда A7.90)
принимает вид
а (*
(II) а@) и 6@)—убывающие функции от 0. Тогда A7.90)
принимает вид
(III) a@) возрастает, 6F) убывает. Тогда A7.90) прини-
принимает вид
A7.91)
(IV) а@) убывает, 6@) возрастает. Тогда A7.90) прини-
принимает вид
A7.92)
ОЦЕНИВАНИЕ
51
В случаях (I) и (II) не существует одномерной достаточной
статистики, так как необходимо знать и дгA) и Х(Пу Что касается
случая (III), то A7.91) показывает, что функция u{t\ — 0), где
*, = min {а (*(о), *"'(*(»))}. A7.93)
эквивалентна произведению и(хщ— аF))-ыF@)—#(п>), т. е. tt
является одномерной достаточной статистикой для 6. Анало-
Аналогично в случае (IV) одномерной достаточной статистикой будет
^2 = max{a-1(xA)), 2T1 (*(«))}. A7.94)
так как ы@ — tz) эквивалентна произведению «(%) — оF))Х
Х"(^F)—х(п))- Резюмируя, можно сказать, что если верхний
предел есть монотонно убывающая функция нижнего и выпол-
выполнено A7.89), то существует одномерная достаточная статистика,
даваемая равенствами A7.93) или A7.94), соответственно тому,
является а@) возрастающей или убывающей функцией от 0.
Упражнение 20.13 дает распределение ti, из которого легко пот
лучить и распределение tz. .
Изложенные результаты были получены Питмэном A936) и
Дэвисом A951). Требование, чтобы 6 принадлежало невырож-
невырожденному интервалу, является существенным (см. пример 17.23).
Пример 17.18
Для прямоугольного распределения
dF = dx/BQ), — 8 < х < 0,
имеет место случай (IV) пункта 17.41. Одномерная достаточная
статистика A7.94) принимает вид
*2 = тах{— х(и, *(„)}
и совпадает ввиду неравенства х^ ^ Х(П) со статистикой
которая приемлема и с интуитивной точки зрения.
Пример 17.19
. - Распределение
dF {х) = ехр {— (х — a)} dx, а<^л:^оо,
удовлетворяет условию A7.89), так как можно написать
(— x)/exp(— а).
Следовательно, наименьшее наблюдение хD) является достаточ-
достаточной статистикой для нижнего предела а.
52
ГЛАЕА 17
Пример. 17.20
Распределение
dF(x)ocexp(— xQ)dx,
очевидно, не может быть приведено к виду A7.89); следова-
следовательно, при п~^2 для 9 не существует одномерной достаточной
статистики.
Пример 17.21
Рассмотрим распределение
и поэтому можно написать
L(x\a, p) = (p-a)-n = gl
Пример 17.22
Прямоугольному распределению
зависящее от двух параметров. Ясно, что при фиксированном a
#(„) достаточна для р, а при фиксированном р хт достаточна
для а. Кроме того, x(i) и хB) совместно достаточны для аир.
Это следует из того, что совместное распределение хт и
даваемое формулой A4.2) с г = 1, s = п, имеет вид
(n)) = n{n—l)(xin) — *(,))П~2/(Р — «У»
(х).
-1N, ft>0,
соответствует случай (I) пункта 17.41. Одномерной достаточной
статистики здесь не существует, но пара (x(i), Х(П)) образует
достаточную систему, так как A7.89) выполняется.
Пример 17.23
В случае прямоугольного распределения
когда 0 может принимать только целочисленные значения, верх-
верхний предел не является монотонно убывающей функцией ниж-
нижнего предела. Однако очевидно, что любое наблюдение хг из
выборки объема п будет одномерной достаточной статистикой
для 0. В действительности [хг] оценивает 0 даже с нулевой дис-
дисперсией. Если ограничение, что 0 принимает только целочис-
целочисленные значения, исключить, то, в соответствии с 17.41, одно-
одномерной достаточной статистики существовать не будет.
ОЦЕНИВАНИЕ
S3
17.42 На этом мы заканчиваем обсуждение основных идей
теории оценивания. Дальнейшее развитие теории достаточных
статистик будет дано в главах 23, 24. А пока мы продолжим
изучение теории оценивания с другой точки зрения—мы -иссле-
-исследуем свойства оценок, получаемых методом максимального
правдоподобия.
УПРАЖНЕНИЯ
17.1 Показать, что для выборок из распределения
dF--
1
Г (р) 9"
xp-le-x/edx>
х[р является при фиксированном р МГД-оценкой для 9 с дисперсией
л
02/(яр), в то время как при 9= 1 статистика —
д2 log Г (р)
jp
i есть МГД-оцен-
2=1
ка для -j- log Г (р) с дисперсией < jp
17.2 Случайная величина х имеет функцию плотности
t/ n.
где 0 < 9 < 1, а fi, fi — полностью известные ф. п., области определения
которых не зависят от 9. Показать, что МГД при оценивании 9 по выборке
объема п равна
— I
9A-9) '
л
1
J /
и сводится к выражению для биномиального случая (пример 17.9), если
области определения fi и /г не перекрываются.
(Хилл, 1963b.)
17.3 Вычислить /2
Ul d2L \2 1
—г- Чд2 ) > для биномиального распределе-
распределения в примере 17.11 и использовать полученный результат для точного вы-
вычисления A7.45). Сравнить результат с точной дисперсией t при 9 = 1/2,
приведенной в этом примере.
17.4 Записывая A7.27) в виде
_ %' (9) U
In L
н обозначая характеристическую функцию t — т(9) через <р(г) {г-
показать, что если t есть МГД-оценка, то справедливо соотношение
: Ш),
дг
а семиинварианты t удовлетворяют равенствам
дх дхг
(А)
54
Глава i?
Вывести отсюда, что ковариация между оценкой t и несмещенной оценкой ее
г-го семиинварианта равна (г + 1)-му семиинварианту t.
Доказать неравенство A7.50) для оценки функции от нескольких пара-
параметров и показать, что в случае достижения границы формула (А) останется
справедливой.
(Бхаттачария, 1946, 1947.)
17.5 Показать, что в случае оценивания параметра 9 логистического рас-
распределения
2
МГД равна 3/п, тогда как точная дисперсия выборочного среднего равна
я2/Cп). а асимптотическая дисперсия медианы равна 4/п.
17.6 Показать, что для распределения
1
exp[ -¦
статистики
t, = \ +
2=1
2
1/2
являются несмещенными оценками параметра а. Показать также, что A7.53)
вообще дает большую границу, чем граница а2/Bя), даваемая A7.24); про-
проверить, рассматривая случай п == 2, что даже эта граница не достигается
для оценки ^ при малых п.
(Чепмэн и Роббинс, 1951.)
17.7 Показать, что в случае распределения
(Jt2—l/n — ц2) является линейной функцией от —f--~— и -г- -. ¦»¦ и, сле-
довательно, согласно A7.42) х2—1//г будет несмещенной оценкой для цг
с минимальной достижимой дисперсией.
17.8 Исходя непосредственно из вида функций правдоподобия, пока-
показать, что в случаях, рассмотренных в примерах 17.8 и 17.9, достаточные
статистики существуют.
17.9 Используя A7.86), показать, что в случае трехпараметрического
распределения
х — а\"-"' dx ^ ^,
а) существует достаточная статистика для р при известных а и а;
б) существует достаточная статистика для а при известных р и а; в) су-
существуют совместно достаточные статистики для р и а при известном а;
г)- имеется достаточная статистика для а при известном а и р = 1.
ОЦЕНИВАНИЕ
55
17.10 Доказать неравенство A7.57) для дисперсии оценки, входящей в
систему оценок, для нескольких функций от параметров.
17.11 Пока.зать, что если tt есть несмещенная МД-оценка для 9, a U —
другая несмещенная оценка, то ковариация ft и (^2 — it) равна нулю. Вы-
Вывести отсюда, что отклонение (h—9) можно разложить на две компоненты,
одна из которых соответствует отклонению (ti — 9), а другая — неэффек-
неэффективности оценки.
(См. Фишер, 1925.)
17.12 Пусть в биномиальном распределении примера 17.9 а и Ь прини-
принимают целые неотрицательные значения. Положим хаь = 9е A—9)ь. Пока-
Показать, что если a, b &t 0 и а + Ь ^ п, то Тоь имеет несмещенную оценку *)
г(а)(ге — г)<ьIп(а+ь\ и что в других случаях несмещенной оценки для хаь не
существует.
17.13 Пусть дана выборка объема п из распределения вида A7.89). с
областью определения а ^ х ^ 9. Показать, что достаточная статистика Х(п)
не будет несмещенной оценкой для 9. Используя метод пункта 17.10, пока-
показать, что f = 2*(П) — *(n-i) не смещена до членов порядка /г и имеет та-
такой же, до членов порядка ггг, средний квадрат ошибки, как и xin), именно
—г< ./,/»¦ > ¦ Показать далее, что t" = 3(ж(п) — *(„_!))+ дс(в_2).
/1 ( Я (О) J
(См. Робсои и Уитлок, 1964.)
17.14 Пусть дана выборка объема п из распределения с функцией плот-
плотности A7.86), область определения которой не зависит от параметров. По-
Показать, что статистики
'/-S */(**)• i=i. 2, ...,*,
образуют систему из k совместно достаточных статистик для параметров
9i, ..., 9/i и что их совместная функция плотности дается выражением
g(tut2, .... tk\0)=exp{nD@)}h(tut2, ...,
2
т. е. сама имеет вид A7.86).
17.15 Использовать результат упражнения 17.14 для оывода распреде-
распределения х в примере 17.6.
17.16 Показать, что статистика -.— . ¦ 2 (х ~ хJ, отличающаяся мно-
множителем от выборочной дисперсии, представляет собой оценку дисперсии
нормальной совокупности с наименьшим средним квадратом ошибки.
17.17 Использовать метод пункта 17.10 для исключения смещения в вы-
выборочной дисперсии при оценивании генеральной дисперсии. (Ср. с резуль-
результатом примера 17.3.)
¦ (Кэнуй, 1956.)
17.18 Показать, что при использовании метода, изложенного в пункте
17.10, дисперсия /^ совпадает с дисперсией tn до членов порядка 1/л.
(Кэнуй, 1956.)
17.19 Использовать метод пункта 17.10 для получения поправки иа сме-
смещение при оценивании квадрата генерального среднего квадратом выбороч-
выборочного среднего.
*) Здесь используется обозначение л<") — п(п—1) ... (/г — а ¦+• 1)
(Прим. ред.)
56
ГЛАВА 17
17.20 Для (положительно определенной) матрицы ковариаций произве-
произведение любого диагонального элемента иа соответствующий диагональный
элемент обратной матрицы ие может быть меньше единицы. Вывести от-
отсюда, что если в A7.87) мы имеем г ¦=¦ k и Ti = 9; (для всех i), то полу-
получающаяся для 9i граница будет не меньше границы, даваемой A7.24). Объ-
Объяснить, почему получается такой результат.
(С. Р. Рао, 1952.)
17.21 Неравенство A7.22), определяющее МГД, остается верным для
распределения /(лг|9), у которого границы области определения (а, Ь) зави-
зависят от 9, при условии, что выполняется A7.18). Показать, что это так, если
и что если, кроме того,
df (х | 9)
<Э9
г аи* I e
то A7.19) тоже остается верным, и. мы можем представить МГД в форме
A7.23). * -
17.22 Используя результат упражнения 17.21, показать, что при оценива-
оценивании параметра 9 в распределении
dF(x)
1
Г(Р)
-Q)"-1 exp{— (,x-Q)}dx,
р>2.
МГД дается неравенством A7.22) и равна (р— 2)/«, однако является не-
недостижимой, так как для 9 не существует одномерной достаточной стати-
статистики.
17.23 Пусть случайная величина х имеет распределение f{x\Q) и изме-
изменяется в интервале (а,Ь) (который может зависеть от 9). Показать, что
если М {t(x, 9)} = т(9) и / вместе с dffdx обращается в нуль в точках а
и Ь, то
(ср. с выводом A7.22) в упражнении 17.21).
(Б. Рао A958b). Имеет место также
аналог A7.45) с заменой т'г) на
в 1гр на -р- -
см. Санкаран A964).)
17.24 Пусть
/(*)-*(*)# F),
Показать, что если функция t{x) от одного наблюдения является несме-
несмещенной оценкой для т(9), та
-*(*) = {т (*) К (*) + х' (*) h (x)}/g (x),
Используя 17.35, вывести отсюда, что единственная МД-оценка для т(9)
по выборке объема п дается выражением
: (*A))-"
ОЦЕНИВАНИЕ
57
и аналогично для а ^ х ^ 9
В качестве иллюстрации рассмотреть распределения
(
(Тейт, 1959)
17.25 Пусть две статистики (ti, h) совместно достаточны для двух пара-
параметров (9i, 9г) и ti достаточна для 9i при известном 92. Показать, что
условное распределение h при данном ti не зависит от 9t. Рассмотреть в
качестве иллюстрации k независимых биномиальных выборок, имеющих объ-
объемы rti (i = 1, 2, ..., k) и параметры 9i, связанные соотношением
и- показать, что если у, есть число «успехов» в i-й выборке, то условное
распределение суммы 2 x^i ПРИ данной сумме 2 У\ не зависит от а.
' . (Д. Кокс, 1958а)
17.26 Если нулевой исход в пуассоновском распределении не может быть
наблюдаем, то оно называется- усеченным пуассонбвским. Показать, что един-
единственная несмещенная оценка для 1—е , построенная по одному наблю-
наблюдению х (х = 1, 2, ...) над усеченным пуассоиовским распределением
е &х/х\, равна 0 при х нечетном и 1 при х четном.
17.27 Показать, подобно тому как это было сделано в примере 17.13,
что эффективность рассмотренной в 10.14 оценки для а, основанной на сред-
средней разности, в случае нормальных выборок равна 0,978.
ГЛАВА 18'
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО
ПРАВДОПОДОБИЯ
18.1 В 8.6—10 мы уже познакомились с принципом макси-
максимального правдоподобия (МП) в его общей формулировке.
Данная глава посвящена приложениям этого принципа к за-
задачам оценивания и изучению его свойств как метода оцени-
оценивания. При этом мы в основном будем иметь дело с выборками
из л независимых наблюдений из одного и того же распреде-
распределения. Совместное распределение наблюдений, рассматривае-
рассматриваемое как функция неизвестного параметра б, будет называться
функцией правдоподобия (ФП) выборки
...f(xn\Q),
A8.1)
где f(x\Q) обозначает плотность распределения, если оно не-
непрерывно, либо вероятность значения х, если распределение
дискретно, причем распределение может быть как одномерным,
так и многомерным. Согласно принципу МП, который после по-
появления работы Фишера A921а) стал широко использоваться
в статистической теории, в качестве оценки для 6 следует взять
то значение 9 из области допустимых значений параметра G,
для которого ФП принимает наибольшее возможное значение.
Другими словами, надо найти такое 6, для которого при любом
допустимом значении 6 выполняется неравенство
L(je|6)>L(jc|6). A8.2)
Далее будет предполагаться, что 6 может принимать все дей-
действительные значения из некоторого интервала (который мо-
может быть бесконечным в одну или в обе стороны).
18.2 В одном довольно общем случае вид оценки макси-
максимального правдоподобия (МП-оценки) определяется сравни-
сравнительно просто. Если ФП дважды дифференцируема в своей об-
области определения, то ее стационарные значения (если они су-
существуют) даются корнями уравнения
_дЬ(х\в) А
L {х\
A8.3)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
59
Достаточным (но не необходимым) условием того, чтобы
некоторое стационарное значение 8 было локальным максиму-
максимумом, является неравенство
Ь"(х\Ъ)<0. A8.4)
Если таким путем мы найдем все локальные максимумы
ФП и затем выберем среди них наибольший (если их несколь-
несколько), то мы получим решение (или решения) A8.2) при усло-
условии, что ФП не имеет краевого максимума в граничных точках
области изменения 8.
18.3 На практике часто проще иметь дело с логарифмом
ФП, чем с самой функцией. При выполнении условий предыду-
предыдущего пункта ФП и ее логарифм будут иметь максимумы в од-
одних и тех же точках, так как
logL
и L > 0. Поэтому в тех случаях, когда это проще, ищут реше-
решения уравнения •
(logL)'=0, A8.5)
для которых
(logL)"<0. A8.6)
A8.5) часто называется уравнением правдоподобия.
Максимальное правдоподобие и достаточность
18.4 Легко видеть, что в случае, когда для 6 существует
одномерная достаточная статистика, МП-оценка должна быть
функцией от этой статистики. Действительно, если. / достаточна
для 6, то ФП разлагается в произведение двух сомножителей
(см. A7.84)):
L(\e) (t\Q)h(). A8.7)
Поскольку второй сомножитель в правой части A8.7) не зави-
зависит от 6, то выбор 6, максимизирующего L(x\Q), эквивалентен
выбору 6, максимизирующего g(t\Q), т. е. 8 есть функция толь-
только от t. .-.
18.5 Если для тF) существует МГД-оценка t, а уравнение
правдоподобия A8.5) имеет решение 6, то ? = тF), решение 8
единственно и обращает в максимум ФП. Действительно,
в 17.33 было показано, что в случае существования одномерной
достаточной статистики ФП такова, что некоторая функция от 6
может иметь МГД-оценку. Таким образом, как и в (Т7:27),
можно написать -
(logLy=A(Q){t-x(Q)}, A8.8)
60 ГЛАВА 18
откуда следует, что решения A8.5) имеют вид
* = т(ё). A8.9)
Дифференцируя A8.8) еще раз, получим
(log L)" = А' F) {t — т (9)} — Л(9)т'(9). A8.10)
Но так как согласно A7.29)
то последний член в A8.10) может быть представлен в виде
Кроме того, при 6=§ первый член, в правой части A8.10) в
силу A8.9) равен нулю. Следовательно, используя A8.11), мы
получаем из A8.10)
(log L)g = — {А (в)}2 Ш < 0. A8.12)
Из A8.12) следует, что каждое решение A8.5) является макси-
максимумом ФП. Но в регулярном случае между последовательными
максимумами должен находиться минимум. Поскольку же не
имеется ни одного минимума, то не может быть больше одного
максимума. Это, с другой стороны, следует также из един-
ственности МГД-оценки.
A8.9) показывает, что если (несмещенная) МГД-оценка су-
существует, то она дается методом МП.
18.6 Утверждение о единственности МП-оценки при наличии
одномерной достаточной статистики распространяется на слу-
случай, когда область определения f(x\Q) зависит от 6. Однако
доказательство несколько меняется. В 17.40—1 было показано,
что необходимым условием существования достаточной стати-
статистики является возможность разложения
/ (х | в) = g (x)lh (9). A8.13)
В этом случае ФП имеет вид
L (х | в) = Д g (Xi)!{h F)}n A8.14)
и принимает наибольшее значение, когда h (9) принимает наи-
наименьшее. Из A8.13) получаем
1
=j g(x)dx/h(e),
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
61
где интегрирование производится по всей области изменения х.
Следовательно,
" [{x)dx, A8.15)
откуда вытекает, что минимизация hF) эквивалентна миними-
минимизации интеграла в правой части A8.15) (один или оба предела
интегрирования которого зависят от 6).
Вспомним теперь A7.40—1), что одномерная достаточная
статистика для 0 существует, когда либо только один предел
зависит от 6, либо верхний предел является монотонно убы-
убывающей функцией нижнего. В обоих случаях значение A8.15)
будет монотонной функцией от области интегрирования, до-
достигающей единственного краевого минимума для наименьшей
возможной при данных наблюдениях области. МП-оценка 6, по-
полученная в результате минимизации области интегрирования
в A8.15), единственна, и краевой максимум ФП A8.14) ра-
равен ?(x|9).
Результаты этого и предыдущего пунктов были впервые по-
получены Хузурбазаром A948) (который, однако, в «регулярном.»
случае 18.5 применил другой метод). !
18.7 Таким образом, мы показали, что если для параметра 9
существует одномерная достаточная статистика, то МП-оцени
9 для 6 есть функция только от t. Далее, в этом случае 9 един-
единственна и ФП имеет только один максимум. Этот максимум
будет стационарным значением (при выполнении условий регу-
регулярности) либо краевым максимумом, если, соответственно, об-
область определения не зависит от 6 или зависит.
18.8 Из наших результатов следует, что МП-оценки, являю-
являющиеся взаимно однозначными функциями достаточных стати-
статистик, обладают всеми оптимальными свойствами последних. На-
Например, нам достаточно получить решение уравнения правдо-
правдоподобия и найти функцию от этого решения, которая была бы
несмещенной оценкой для параметра. Согласно 17.35 эта функ-
функция и будет единственной МД-оценкой, для которой достигается
(если это возможно) МГД A7.22).
Достаточные статистики, полученные в примерах 17.8—17.10,
17.16, 17.18 и 17.19, легко находятся с помощью метода МП.
Пример 18.1 -,,.
Оценим параметр 6 в распределении dF(x)=dxlQ, 0<|л;<;9.
Из вида ФП, приведенной в--примере 17.1:6, следует, что 9—х(П)
является достаточной статистикой и ФП имеет в этой точке
недифференцнруемый мдксимум. - - -
62
ГЛАВА 18
Очевидно, 6 не является несмещенной оценкой для-9. Легко
видеть, что несмещенной будет оценка
t = (n+ l)x{jn.
Пример 18.2
Оценим среднее 0 нормального распределения с известной
дисперсией. В примере 17.6 мы получили
dog ?)' = -?-(*-6).
Приравнивая это выражение нулю, находим
В этом случае 0 есть несмещенная оценка для 8.
Общий случай
18.9 Если для 0 не существует одномерной достаточной ста-
статистики, то ФП уже не обязательно будет иметь только один
максимум (см. упражнения 18.17, 18.33). В этом случае для
выбора МП-оценки надо воспользоваться условием A8.2). Да-
Далее будут рассматриваться свойства полученных таким путем
оценок. Мы увидим, что при достаточно широких условиях
МП-оценки состоятельны, а при выполнении условий регулярно-
регулярности (наиболее важным из которых является независимость об-
области определения f(x\Q) от 6), кроме того, асимптотически
нормальны и эффективны. Однако указанные свойства отно-
относятся к большим выборкам, а поэтому, как бы ни были важны
эти свойства, надо всегда помнить, что они не могут быть та-
такими же. убедительными аргументами в пользу МП-оценок, ка-
какими были рассмотренные нами свойства, связанные с доста-
достаточными статистиками. Возможно, вообще не следует ожидать
от какого-то одного метода, чтобы он давал «наилучшие» ре-
результаты при любых, обстоятельствах и для всех объемов вы-
выборок. Как бы то ни было, остается фактом то, что вне связи
с достаточными статистиками МП-оценки обладают только
асимптотическими оптимальными свойствами.
Пример 18.3
В качестве примера общей ситуации рассмотрим оценивание
параметра корреляции р по выборке объема п из нормирован-
нормированного двумерного нормального распределения
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 63
Находим
log L = - п log Bя) - 1 п log A - р2) -
откуда для
0 получаем
Это приводится к кубическому уравнению
Последнее имеет три корня, два из которых могут быть ком-
комплексными. В случае, когда все три корня действительны и
соответствуют допустимым значениям р, мы согласно A8.2)
выбираем в качестве МП-оценки тот из них, длд которого ФП
принимает наибольшее значение.
Если записать кубическое уравнение в виде
где
A8.16)
то условием того, что оно имеет единственный корень, является
неравенство
4р3 + 27<72 > 0.
Это неравенство наверняка выполнено при р > 0. Так как со-
согласно 10*3 и 10.9 выборочные моменты в A8.16) являются
состоятельными оценками соответствующих генеральных мо-
моментов, то р сходится по вероятности к положительной величине
Таким образом, асимптотически уравнение правдоподобия
имеет только один действительный корень, который и будет.
'4П-оценкой, поскольку комплексные корни не являются до«
пустим'ыми значениями.. . . .
64
ГЛАВА 18
Состоятельность оценок максимального правдоподобия
18.10 Теперь мы покажем, что при очень общих условиях
МП-оценки состоятельны.
Рассмотрим, как и в A8.2), выборку из п независимых на-
наблюдений из распределения f{x\Q) и для каждого п выберем
МП-оценку 6. Тогда для любого допустимого значения 9 будем
иметь *)
log L (jc 19) ^ log Z. (x 1 в). A8.17)
Пусть 0о обозначает истинное значение 0, а Мо — соответствую-
соответствующее математическое ожидание. Определим случайную величину
L(x\6)/L(x\6q). В силу того, что геометрическое среднее невы-
невырожденного распределения не превосходит арифметического
среднего, для всех 6* ф 9о будет выполняться неравенство
A8.18)
Поскольку математическое ожидание в правой части равно
то A8.18) записывается в виде
Вводя множитель \/п, получаем
A8.19)
при условии, что математическое ожидание в правой части
A8.19) существует. Это условие обычно бывает выполнено.
Далее, для любого 9 выражение
является средним п независимых одинаково распределенных
случайных величин с математическим ожиданием
Следовательно, согласно усиленному закону больших чисел
G.25) — IogL(x|9) при возрастании п сходится с вероятностью
*) Знак равенства в A8.17) может оказаться причиной неоднозначности
в выборе последовательности значений 9. См. 18.11 и 18.13 ниже.
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
65
единица к своему математическому ожиданию. Отсюда и из
A8.19) следует, что при п—>оо с вероятностью единица
UogL(x\Q')<^logL(x\Q0),
lim P{logL(jc|e*)<logL(x|90)}=l, 9* Ф 90. A8.20)
или
С другой стороны, A8.17) при 9 = 90 дает
logL(x\e)>logL(x\%).
A8.21)
A8.20) и A8.21) показывают, что при я-юо значение L{x\h)
не может отличаться от L(x\Q0). Поэтому, если L(x\Q) является
взаимно однозначной функцией от 9, то
P{lim в = во) = 1.
A8.22)
Мы привели эвристический вариант строгого доказательства
состоятельности МП-оценки, данного Вальдом A949). (Строгое
доказательство требует некоторых дополнительных условий.)
18.11 Мы показали, что любая последовательность оценок,
удовлетворяющая (8.2), состоятельна. Этот результат был уси-
усилен Хузурбазаром A948), который доказал, что если выпол-
выполнены условия регулярности, то при достаточно больших п су-
существует единственная состоятельная МП-оценка.
Пусть ФП дважды дифференцируема. Тогда из сходимости
6 к 0о по вероятности следует, что
Величина
1=1
есть среднее п независимых одинаково распределенных случай-
случайных величин и согласно усиленному закону больших чисел схо-
сходится с вероятностью единица к своему математическому ожи-
ожиданию. Поэтому A8.23) можно записать в виде
A8.24)
Но согласно A7.19) при выполнении условий регулярности
A8.25)
3 М. Кендалл, А. Стыоар*
66
ГЛАВА 18
Следовательно, A8.24) дает
A8.26)
18.12 Предположим теперь, что выполнены условия пункта
18.2 и имеется два локальных максимума ФП 0] и 02, которые
являются корнями A8.5) и удовлетворяют A8.6). Если
IogL(x|0) всюду имеет вторую производную, как мы предпо-
предполагали в предыдущем пункте, то между двумя максимумами 0\
и 02 должен находиться один минимум (обозначим его 03), для
которого
log L (х | 6) ] ^о A8.27)
Но поскольку 9, и 82 суть состоятельные оценки, то оценка 03)
значение которой заключено между ними, должна быть также
состоятельной и удовлетворять A8.26). Однако A8.26) и A8.27)
противоречат друг другу. Следовательно, мы можем получить
только одну состоятельную оценку, являющуюся корнем урав-
уравнения правдоподобия A8.5).
18.13 В связи с рассмотрением состоятельности МП-оценок
следовало бы обратить внимание на следующий факт. Не ис-
исключена возможность, что ФП имеет два (или более) макси-
максимума, т. е. в A8.2) имеет место знак равенства. Какое из
значений 0ь 62 и т. д., соответствующих этим максимумам, мы
должны выбрать? Появляющаяся неопределенность кажется
довольно серьезной. К счастью, она не играет важной роли, так
как обычно трудности возникают только для отдельных комби-
комбинаций выборочных значений, вероятность появления которых
мала. Однако если параметр неопределяем по существу, то не-
неоднозначность может возникнуть для всех выборок. Следую-
Следующий пример иллюстрирует такой случай.
Пример 18.4
Положим в примере 18.3
Тогда каждому действительному решению кубического уравне-
уравнения правдоподобия р будет соответствовать бесконечное число
оценок 0 вида
0r = af ccos p -f- 2пт,
где г — любое целое число. Параметр 0 здесь в принципе не*
возможно оценить. Рассматриваемая как функция от 0, ФП яв*
ляется периодической с бесконечным числом максимумов в точ-
точках 0Г, разности между которыми кратны 2п. Конечно, для
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
67
истинного значения 0о может существовать только одна состоя-
состоятельная оценка, однако у нас нет никакого способа определить,
какая именно из оценок 0Г состоятельна. В таких случаях мы
говорим, что сам параметр неидентифицируем и что можно оце-
оценить лишь cos 0.
Состоятельность и смещение МП-оценок
18.14 Хотя при выполнении условий пункта 18.10 МП-оценки
состоятельны, они . в общем случае могут быть смещенными.
Пример 18.1 показывает, что МП-оценка может быть смещенной
даже тогда, когда она является функцией от одномерной до-
достаточной статистики. Вообще говоря, этого следовало ожидать.
В 18.9 мы видели, что если 0 есть МП-оценка для 0, то МП-
оценкой для т@) будет т@). Однако в общем случае
A8.28)
так что если 8 есть несмещенная оценка для 0, то т@) не мо-
может быть несмещенной оценкой для т@). Если МП-оценка
состоятельна, то для нее можно повторить рассуждения, сле-
следующие за примером 17.3.
Бриллинджер A964) показал, что если смещение МП-оценки уменьшено
с помощью метода пункта 17.10, то t'n в A7.10) при выполнении условий
регулярности асимптотически нормальна. Он дает также разложения для ее
смещения и среднего квадрата ошибки.
Эффективность и асимптотическая нормальность МП-оценок
18.15 Рассматривая эффективность МП-оценок, мы уже не
получаем таких же четких результатов, как в 18.10. Следующий
пример с достаточной ясностью показывает, что для получения
оптимальных свойств МП-оценок, связанных, с эффективностью,
следует ввести некоторые ограничения.
Пример 18.5
В примере 17.22 было показано, что в случае распределения
dF(x) = dx/Q, &0<*<(A:+ 1H, k > 0,
для 0 не имеется единственной достаточной статистики, но пара
крайних наблюдений xw и Х(П) совместно достаточна для 0. Най-
Найдем теперь МП-оценку для 0. Для этого надо максимизировать
ФП примера 18.1. Так как
L(х 10) = e-"u(jc(i) - Щ U((k+1)Q- *<„)),
то
0=*<„)/(?+1)
3*
68
ГЛАВА 18
будет МП-оценкой. Мы видим, что 0 зависит только от х(п),
хотя для достаточности необходимы обе статистики хA) и ~хм]
Далее, из соображений симметрии следует, что %> и х(п)
имеют одну и ту же дисперсию, скажем V. Дисперсия МП-оцен-
МП-оценки равна
а для дисперсии оценки
имеем
9* = .
D9* = V/k2.
Так как х{Х) и х(п) асимптотически независимы (см. 14.23), то
функция
будет, подобно 9 и 9*, состоятельной оценкой для 9, причем
ее дисперсия
(А + IJ ^ &
обращается в минимум (см. упражнение 17.21) при а =
= k2 . ,k , ^г • Этот минимум равен
Таким образом, для всех k > О
D6 (k +1J
т. е. МП-оценка имеет большую дисперсию. При больших k
дисперсия 9 примерно в два раза больше дисперсии Э.
18.16 Теперь мы покажем, следуя Крамеру A946), что если
ФП имеет две производные по 9 в интервале, включающем истин-
истинное значение 9о, если, кроме того,
I п\\
= 0 A8.29)
и математическое ожидание
1оу1е)) « М{ (
существует и отлично от нуля в указанном интервале, то МП-
оценка 9 асимптотически нормально распределена со средним
9с и дисперсией 1//?2@)„
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
69
По формуле Тейлора имеем
/а
_
35
a»iogL
A8.31)
где 9* заключено между 0 и 0О. При наших предположениях
регулярности 0 является корнем A8.5), поэтому левая часть
A8.31) равна нулю, и мы можем написать
(dlogL\ I fi
\~W~L R Fo)
A8.32)
Так как 9—состоятельная оценка для 9о, а 9* находится между
0 и 0о, то из A8.24) и A8.30) следует, что знаменатель в пра-
правой части A8.32) стремится к единице:
Г д2 log
L W
A8.33)
Числитель же есть поделенная на #(90) сумма п независимых
одинаково распределенных случайных величин d\ogf{xi\Q0)/dQ.
Эта сумма имеет среднее нуль (в силу A8.29)) и дисперсию
R2(%), даваемую A8.30). Следовательно, согласно центральной
предельной теореме G.26) числитель будет асимптотически
нормально распределен со средним 0 и дисперсией 1. То же
самое можно сказать о всей правой части A8.32). Таким обра-
образом, левая часть A8.32) асимптотически является стандартной
нормальной величиной. Другими словами, МП-оценка 9 асим-
асимптотически нормально распределена со средним 9о и диспер-
дисперсией 1/Я2(90).
Даниэле A961) ослабил сформулированное выше условие асимптотиче-
асимптотической нормальности и эффективности МП-оценок.
18.17 Из приведенного результата, дающего для МП-оценки
асимптотическую дисперсию, равную МГД, вытекает, что при
сформулированных выше условиях МП-оценка эффективна. По-
Поскольку МГД может быть достигнута только при наличии до-
достаточной статистики (см. 17.33), то правомерно сказать, что
МП-оценка «асимпотически достаточна».
Ле Кам A953) возражал против использования термина «эффективный»,
поскольку с ним связано представление о достижении абсолютного мини-
минимума дисперсии для больших выборок, а этот минимум, строго говоря, не
достигается ни для МП-оценок, ии для каких-либо других оценок. Рассмо-
Рассмотрим, например, состоятельную, асимптотически нормально распределенную
с дисперсией порядка я-' оценку t для 8. Определим новую статистику
'•
kt, если \t \ < п~
A8-34)
70
ГЛАВА 18
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
71
Поскольку
llo
п-**>
k2, если 8 = 0,
то при к < 1 оценка i' будет для 6 = 0 более эффективной, чем t, а для
других значений 6 будет столь же эффективной. Ле Кам показал (см. также
Бахадур A964)), что подобная «сверхэффектнвность» может иметь место
только для значений 9, образующих множество меры нуль. Учитывая это,
мы сохраним термин «эффективный» в его обычном смысле. С. Р. Рао'
A962b), однако, показывает, что даже этого не очень существенного пара-
парадокса можно избежать, если определить эффективность оценки в терминах
ее корреляции с —щ— (ср. 17.15—17 и A7.61)). Уокер A963) дает усло-
условия регулярности, достаточные для того, чтобы МГД ограничивала асимпто-
асимптотические дисперсии всех асимптотически нормальных оценок.
Пример 18.6
В примере 18.3 было показано, что МП-оценка р для пара-
параметра корреляции нормированного двумерного нормального
распределения является корнем кубического уравнения
Дифференцируя второй раз, получим
+
или, учитывая, чтоМ (х2) = М (у2) == 1 и М (ху) = р,
.. (d*logL\_ гсA+Р2) 2яA+3р2)
4пр2 /гA+р2
-р2J — "" A-р2J
dp' j A-p2J - A-p2J ' A
Следовательно, согласно 18.16 асимптотически имеем
Dp=w(r+V)-
Пример 18.7
Распределению
соответствует логарифм правдоподобия
п
log L (х 18) = — п log 2 — 2 \хг — 8 1,
который максимален, когда сумма 2 | хс — 6 | минимальна, т. е.
i
когда 6 является медианой х{ (см. упражнение 2.1). (Если п
нечетно, то медианой будет среднее наблюдение; если же п
четно, то в качестве медианы можно взять любое значение из
интервала, концами которого служат два средних наблюдения.)
Таким образом, МП-оценкой является выборочная медиана,
0 = х Из A4.20) легко видеть, что ее дисперсия для больших
выборок равна D6= l/n.
В данном случае нельзя использовать результаты пункта
18.16 для проверки эффективности 6, поскольку требуемые ус-
условия дифференцируемости для рассматриваемого распределе-
распределения не выполняются. Но поскольку производная
I
-1,
если х>8,
если х < 8,
не существует лишь при л: = 8, мы имеем
= 1, х
дв
•aiog/(*|9)
как
так что если интерпретировать М И
{9-е оо.
J + J l-dfW=l,
то получим
м{(т-)}=
Отсюда следует, что МГД оценок для 8 равна Dt^l/n. Как
было показано, эта граница асимптотически достигается для 8.
18.18 Результат пункта 18.16 упрощается в случае распре-
распределения, допускающего для параметра одномерную достаточ-
достаточную статистику. Поскольку тогда из A8.10), A8.11) и A8.12)
получаем
A8.35)
то отпадает необходимость в вычислении математического ожи-
ожидания. МГД в этом случае равна просто — l/(—Ш—) и
/е=е
достигается точно, если 8 является несмещенной оценкой для
В, и асимптотически в случае выполнения условий пункта 18.16.
Если не существует одномерной достаточной статистики, то асим-
асимптотическая дисперсия 8 может быть оценена по выборке обыч-
обычным образом, при этом как правило ищут несмещенную оценку.
72
Пример 18.8
ГЛАВА 18
Оценить стандартное отклонение а нормального распреде-
распределения
dP (х) ¦¦
1
гBяI/2
exp -
Поскольку
. (log ЬУ=-п/
то достаточной МП-оценкой будет а = 1/ — У] х2 и
Таким образом, используя A8.35), мы получим при возраста-
возрастании п
Da l/(log L)'^o = o2/Bn).
Семиинварианты одной МП-оценки
18.19 Холдейн и Смит A956) получили, при некоторых ус-
условиях регулярности, выражения для первых четырех семиин-
семиинвариантов МП-оценки в следующей ситуации. Предположим,
что область определения распределения, из которого произво-
производится выбор, разбита на счетное число классов и вероятность
попадания наблюдения в r-й класс равна Пг (г = 1,2,...). Мы
сводим, таким образом, любое распределение к мультиноми-
нальному E.30), и если область определения исходного распре-
распределения не зависит от параметра 0, то мы можем искать реше-
решения уравнения правдоподобия A8.5). Поскольку вероятности
пт являются функциями от в, то из E.78) получим
L(x\Q)ccJlnnrr, A8.36)
где Пг — число наблюдений в г-м классе и 2 пт=» п — объем
выборки. Согласно A8.36) уравнение правдоподобия можно
записать в виде
dlogZ.
A8.37)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
73
где штрих означает дифференцирование по 0. Разлагая пг и п'г
по формуле Тейлора в окрестности истинного значения во, по-
получим
(ё) = пг @О) + @ - 6о) п'г (9о) + 4- (§ - боJ п7 (во) + ...,
Яг
; F) = П'г (в0) + (§ - во) П7 (во) + | @ - воJ Пг" (во) + . . .
A8.38)
Подстановка A8.38) в A8.37), биномиальное разложение и
суммирование полученных рядов приводят к разложению
а, - (Л, + а2 - р,) @ - 0О) + у BА2 - ЪВх+2щ-Ъ$2+Ьх) @-9оJ-
- 4- FЛ3 - 1252 + ЗС, + Щ) (ё - 90K + ... = 0. A8.39)
В A8.39) использованы следующие обозначенияз
Bi = 2 {я; (во)}' п? (80)/{яг (во)}',
Ct = 2 {п'г (во)}'"' К @о)}2/{яг (во)}',
г
Di = 2 {П'г (в0)}' П'г" (%I{ПГ (9о)}',
г
S}11Г"Лг Fо)
}i~'я? (9о) {-т ~ Пг {9о)
г ~"яг Fо)
При больших п можно применить теорему Лагранжа и обра
тить A8.39), что дает
(в - в0) = ЛГ'сч + AT3ai [(Л2 - 4 В{) а, - Л, (а2 - р,)] +
-ЗЛ1(л2--|я1)а1(а2-р1) +
+ у Л?а1 Bа3 - 3{52 + б,) + А\ (а2 - р,J] + О (n~3). A8,40)
74
ГЛАВА 18
A8.40) позволяет нам получить моменты в в виде рядов по,
степеням п~1.
18.20 Рассмотрим выборочное распределение суммы
W = \\hr\^-nr
где hr — произвольные постоянные веса. Используя формулы
для моментов мультиномиального распределения (см. E.80))
и обозначая St =2 hlrnr @O), получаем моменты W:
253),
+ n~3 (S4 - 4S,53 - 3522
p.5 (W) = 10л-зE2 - 5?)(S3 - 35,S2 + 25f)+ О (я"*),
Ц6 (W) = 15л-зE2 - 5?)з + О (п-4).
Отсюда можно получить выражения для моментов и смешан-
смешанных моментов случайных величин ос*, & и б*, фигурирующих в
A8.40), поскольку все они являются функциями вида W. Нако-
Наконец, подставляя эти моменты в A8.40), мы получим моменты 8.
Выражая через них семиинварианты, находим
к, = е0 -1 я-'лг'
+ о (п~2),
п~2АТ4 [- л! + j В\
\ A8.42)
х3 = п-2АТ3 (Аз - 35,) + О (л),
х4 = «~3ЛГ5 [—1251 (Л2 — 2?i) + Ах
- 4?>i) —
+ О
откуда
(л2 - щ) + о («-1'2),
A8,43)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
75
Первый семиинвариант в A8.42) показывает, что 0 имеет сме-
смещение порядка п'\ если fii ф 0. Если Б4 = 0, то смещение
имеет порядок п~2, что можно показать, вычисляя следующий
член в разложении первого семиинварианта. Главный член во
втором семиинварианте есть просто асимптотическая дисперсия,
полученная в 18.16. A8.43) показывает скорость установленной
в 18.16 сходимости к нормальному закону.
Если вычислить все члены в A8.42) и получить затем не-
несмещенные оценки первых четырех моментов 6, то можно с по-
помощью распределения Пирсона (см. 6.2—12) приблизить рас-
распределение 6 при малых объемах выборок. Это приближение
было бы лучше, чем нормальное приближение, полученное в
18.16.
Шентоном и Боумэном A963) были получены члены более высокого по-
порядка в A8.42—3).
Последовательное приближение к МП-оценке
18.21 В большинстве рассмотренных нами примеров МП-
оценки были получены в явном виде. Исключением является
пример 18.3, где мы пришли к кубическому уравнению. Но даже
в этом случае не представляет особого труда получить решение,
когда значения х заданы. Однако иногда уравнение правдопо-
правдоподобия настолько сложно, что приходится искать корень с по-
помощью итерационных методов, начиная с некоторого пробного
значения t.
Как и в A8.31), мы разлагаем д log L/dQ в ряд Тейлора (но
на этот раз в окрестности t) и получаем
а _ (д log L \ (dlogL\ ,/А_М
A8.44)
(б* лежит между 8и(). Отсюда
Если некоторое t не очень сильно отличается от 0» то можно
заменить 9* в A8.44) на t. Это дает
зе
)tl\
A8.45)
что является лучшим приближением для б, чем t. Этот процесс
можно повторять до тех пор, пока не будет получена желае-
желаемая точность.
Обычно в качестве I берут значение какой-нибудь легко
вычисляемой состоятельной оценки 8. Тогда при п —* оо мы бу-
76
ГЛАВА 18
дем иметь две состоятельные оценки / и6, сходящиеся к 8о- Оче-
Очевидно, 6* также будет сходиться к бо- Три случайные величины
№) №1 [№)]
(м
в
d2logL
Я. Использование в A8.44) второй из этих величин
о»
вместо первой дает A8.45). Использование же третьей вместо
первой дает другую итерационную процедуру:
(последнее равенство следует из 18.16). A8.45) есть итерацион-
итерационный процесс Ньютона — Рафсона, а процедура A8.46) предло-
предложена Фишером A925). Кейл A961) показал, что A8.46) при
больших л обычно быстрее приводит к цели, если не требуется
чрезмерно высокая окончательная точность. Обычно процедура
A8.46) менее трудоемка.
Как A8.45), так и A8.46) могут в некоторых случаях не
сходиться. Если даже они сходятся, но уравнение правдоподо-
правдоподобия имеет несколько корней, то нет никакой гарантии, что они
сходятся к корню, соответствующему абсолютному максимуму
ФП. Поэтому следует найти интервалы, в которых dlogL/дб ме-
меняет знак с плюса на минус, вычислить все максимумы и за-
затем сравнить их. Барнетт A966а) рассматривает систематиче-
систематический метод выполнения такой операции, используя «метод лож-
ложных положений».
Пример 18.9
Оценить параметр б в распределении Коши
Уравнение правдоподобия
dlogL _9
дВ ~
{1 + (х{
-3 _о
есть уравнение степени Bл—1) по 6. Согласно 18.16 для
асимптотической дисперсии 6 имеем
DO
[ зе2 /
от
-- f
2 (х- 6)
dx
л J
A+*2K
Л.
2
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Следовательно, ¦
D9 = 21 п.
Уравнение правдоподобия имеет в общем случае несколько
корней, и при малых л A8.45) или A8.46) могут не сходиться
(см. Барнетт A966а)). Однако с вероятностью, стремящейся к
1, 6 является максимумом, ближайшим к выборочной медиане,
асимптотическая дисперсия которой равна (пример 17.5)
а эффективность 8/я2 ~ 0,8. Следовательно, при больших п
м-ы можем взять в качестве начальной точки при отыскании 0
выборочную медиану и использовать формулу A8.46), которая
в данном случае примет вид
+ (xi - т ¦
i
Это будет первым приближением к 6. Более точные приближе-
приближения можно получить с помощью дальнейших итераций.
Блоч A966) предложил в качестве оценки для б линейную
комбинацию пяти порядковых статистик х(г) (г = 0,13л; 0,4л;
0,5л; 0,6л; 0,87л.) с весами —0,052; 0,3485; 0,407; 0,3485; —0,052.
Эффективность этой оценки превышает 0,95, поэтому она была
бы превосходной начальной точкой при итерационном решении
уравнения правдоподобия. Ротенберг и др. A964) показали, что
среднее значение центральных 24 процентов выборки из распре-
распределения Коши имеет асимптотическую дисперсию 2,28/л и, сле-
следовательно, эффективность 0,88. См. также Барнетт A966b).
пример 18.10
Мы рассмотрим теперь итерационный метод решения более
детально и для этой цели воспользуемея некоторыми данными,
полученными Фишером A925, глава 9).
Рассмотрим мультиноминальное распределение с четырьмя
классами, имеющими вероятности
р, = B + 9)/4, р2 =¦• р3 «= A - 6)/4, р4 = 6/4.
Параметр 6, лежащий в интервале @, 1), должен быть оце-
оценен исходя из наблюденных частот (a, b, c,d), соответствующих
четырем классам (объем выборки л равен а + Ь + с + d).
Имеем
L{a,b, с, die)ocB + 6)a(l-e)ft+c9d,
откуда
е •
78
ГЛАВА 18
Приравнивая последнее выражение нулю, получаем квадратное
уравнение относительно Э:
л92 + {2 (Ь + с) + d — а} 9 — 2d = 0.
Поскольку произведение коэффициента при 92 на свобод-
свободный член отрицательно, то произведение корней квадратного
уравнения должно быть также отрицательно; поэтому только
один корень может быть положительным, т. е. лежать в об-
области возможных значений 9. Значение этого корня 9 дается
выражением
2л9 = {я - d — 2 (b + с)} -f [{а + 2 (b + с) + Zdf - 8а (b + с)]т.
Полученная формула позволяет очень просто вычислять
МП-оценку 9. В примере Фишера (из генетики) наблюденные
частоты были равны
а =1997, 6 = 906, с =904, d = 32, n = 3839,
а для 9 было получено значение 0,0357.
Легко показать, проводя еще одно дифференцирование, что
па 1 _ 28 A-6) B+ 8)
д* log М ~~ «A + 26)
Подставляя в вместо 9, мы получаем в рассматриваемом слу-
случае для D6 Значение 0,0000336.
В целях иллюстрации мы найдем 9 для данного примера
итерационным путем, начав с какой-нибудь неэффективной
оценки. Фишером была предложена следующая простая неэф-
неэффективная оценка:
Легко видеть, что эта оценка состоятельна и имеет дисперсию
Ш = A -62)/л.
Значение t для генетических данных равно
t = {1997 + 32 — (906 + 904)}/3839 = 0,0570.
Это довольно далеко от значения 9, равного 0,0357, которое
мы ищем. Используя A8.46), получаем первое приближение
для 8:
= 0,0570+
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
79
Поскольку
' д log L \
1997
1810
32
= — 387,1713,
"^6=0.0570 2,0570 0,9430 ~^~ 0,0570
(De)e „_ = 2Х0-0^><°^,Х2'057 =0,00005170678,
/6=0,0570
3839 X 1Д14
то наша улучшенная оценка равна
6, = 0,0570—387,1713X0,00005170678 = 0,0570—0,0200 = 0,0370,
т. е. довольно близка к искомой величине 0,0357. Вторая итера-
итерация дает
dloSL\ __ 1997 1810 . 32
S— J —2^37 - "о^бЗ + -0^37
- 34.31495>
е=о,оз7о
2X0,037X0,963X2,037
3839 X 1,074 =
Следовательно,
ё2 = 0,0370—34,31495 X 0,00003520681 = 0,0370 — 0,0012=0,0358.
Полученное значение очень близко к искомому. Чтобы полу-
получить значение 0,0357, верное с точностью до четырех десятич-
десятичных знаков, нужна еще одна итерация. Кроме того, еще одна
итерация необходима, чтобы подтвердить, что полученное зна-
значение 9 устойчиво в пределах требуемого числа десятичных
знаков, т. е. дальнейшие итерации не нужны. Читателю следо-
следовало бы сделать эти итерации, чтобы убедиться в своем умении
использовать описанный метод.
Рассмотренный пример показывает, что при использовании
итерационного метода для практических целей следует позабо-
позаботиться о том, чтобы было сделано достаточное число итераций.
Правда, этот пример является неблагоприятным, поскольку
эффективность t низка. Она равна A . А A . 2т и при под-
подстановке 9 = 0,0357 вместо 9 принимает значение 0,13 или 13
процентов. Обычно стараются начинать со значения оценки с
более высокой эффективностью.
МП-оценки для нескольких параметров
18.22 Теперь мы переходим к рассмотрению общего случая,
когда требуется оценить одновременно несколько параметров
одномерного или многомерного распределения. Если 9 и х по-
понимать как векторы, то формулировка принципа МП A8,2) со-
сохранится: надо найти такую совокупность допустимых значе-
значений параметров 9ь ..., 0^, которая обращает ФП в абсолютный
80
ГЛАВА 18
максимум. В условиях регулярности пунктов 18.2—3 система
уравнений
щг1ошь(х\еи .... eft)=o, r=i, 2,.... k, A8.47)
дает необходимые условия локального экстремума, а неотри-
неотрицательная определенность матрицы
(^JJ
\ дВг dQs
A8.48)
является достаточным условием для того, чтобы этот локальный
экстремум был максимумом ФП. Решение системы A8.47)
дает МП-оценки 6i,..., 6*.
Случай совместной достаточности
18.23 Точно так же, как и в 18.4, в случае существования для
параметров 9i,..., 9* системы из s совместно достаточных ста-
статистик ti,... ,ts МП-оценки 9i,. .., 8й будут функциями этих
статистик. Как и раньше, это немедленно следует из фактори-
факторизации (см. A7.84))
. .'..,ие„ ...,
A8.49)
в силу того, что h (х) не содержит 9i,. .., 9&.
Однако МП-оценки не обязаны быть взаимно однозначными
функциями от достаточной системы статистик и, следовательно,
сами могут не составлять достаточную систему. В примере
18.5 мы уже встретились со случаем, когда МП-оценка единст-
единственного параметра была функцией только от одной из двух
совместно достаточных статистик (одномерной достаточной ста-
статистики в этом примере не существовало).
18.24 Единственность решения уравнения правдоподобия в
случае достаточности A8.5) обобщается, как показал Хузурба-
зар A949), на многопараметрический случай, если s = k. В ус-
условиях регулярности наиболее общей форме распределения,
допускающего систему из k достаточных статистик A7.86),
соответствует ФП, логарифм которой равен
log L = 2 А; (9) |l Bfa) + 2 С (*,) -f nD (9), A8.50)
где вместо 9i,..., 6* написано Q, а х может быть вектором.
Уравнения правдоподобия имеют, следовательно, вид
дА> хгч dD
-щ1~2иВ1(х{) + п-щ-==0, г=1, 2, ..., А. A8,51)
1 r i r
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
81
Решение 9 == (9Т, 92, .... Qk) этого уравнения дает максимум,
если неотрицательно определена матрица A8.48):
2 log L
Из A7.18) имеем
Кроме того,
dD
d2D
Очевидно, A8.53) и A8.54) имеют точно такую же структуру,
как A8.51) и A8.52), с той лишь разницей, что сумма Т =
= 2 В/ (xi) заменена ее математическим ожиданием, а 9 —ис-
i
тинным значением 9. Если мы исключим Г из A8.52), исполь-
используя A8.51), и заменим 9 на 9, то мы получим такой же резуль-
результат, как если бы мы исключали М(Т) из A8.54), используя
A8.53). Таким образом, имеем
_ м /
A8.55)
что является обобщением A8.35). Кроме того, из A7.19) по-
получаем
и, аналогично,
Мы видим, что матрица
e,
д log L д log L
дв.
)}-
A8'58)
отрицательно или неположительно определена, так как матрица
в правой части A8.58) есть матрица рассеяния D вариант
д log L/ддг' Матрица рассеяния D любых вариант хт неотрица-
неотрицательно определена, поскольку
M{%{xr-M(xr))ur\ =u'i
0,
A8.59)
82
ГЛАВА 18
Где и — вектор произвольных переменных. Итак, матрица рас-
рассеяния D неотрицательно определена. Если мы исключим ли-
линейные зависимости между переменными, она станет положи-
положительно определенной, а матрица в левой части A8.55)—отри-
A8.55)—отрицательно определенной. Следовательно, согласно A8.55) мат-
матрица
также отрицательно определена, и поэтому любое решение
A8.51) соответствует максимуму. Но в условиях регулярности
между любыми двумя максимумами должен находиться мини-
минимум. Поскольку нет ни одного минимума, то может иметься
только один максимум*). Таким образом, в условиях регуляр-
регулярности из совместной достаточности следует, что уравнение прав-
правдоподобия имеет единственное решение и что это решение со-
соответствует максимуму ФП.
Пример 18.11
В примере 17.17 мы видели, что выборочные среднее и диспер-
дисперсия х и s2 одномерного нормального распределения совместно
достаточны для генерального среднего ц и генеральной диспер-
дисперсии а2. Из 18.23 следует, что МП-оценки должны быть функ-
функциями от х и s2. Можно непосредственно проверить, что х и s2
сами являются МП-оценками. ФП дается выражением
= -у п
2) -
a2)
Следовательно, уравнения правдоподобия имеют вид
dlogL ^(x-p) n{x-\i)
dlogL
_i_
2a2 ^
~ a2
¦ = o,
= 0.
Их решениями будут
В то время как р. — несмещенная оценка, о2 смещена и имеет
математическое ожидание (п— 1)сг2/п. Как и в однопараметри-
ческом случае A8.14), МП-оценки не обязаны быть несмещен-
несмещенными.
*) Утверждение о наличии минимума между двумя максимумами спра-
справедливо только при к = 1. Общий случай можно свести к одномерному, рас-
рассматривая семейство A8.50) с 0, пробегающим прямую, проходящую через
два предполагаемых максимума. (Прим. ред.)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
83
18.25 Насколько нам известно, не имеется какого-либо об-
общего исследования единственности МП-оценок при наличии до-
достаточных статистик для случая, когда пределы области опре-
определения распределения зависят от нескольких параметров. Од-
Однако если статистики как совместно, так и индивидуально до-
достаточны для параметров, от которых зависят эти пределы, то
результаты, полученные в 18.6 для однопараметрического слу-
случая, очевидным образом, сохраняются. Это иллюстрируется сле-
следующим примером.
Пример 18.12
В примере 17.21 было показано, что для распределения
крайние наблюдения хA) и х(п) совместно достаточны для айв.
Ясно, что в этом случае МП-оценки
являются единственными, которые максимизируют ФП. Такой
результат будет всегда, когда границы интервала, на котором
сосредоточено распределение, зависят от разных параметров.
Состоятельность и эффективность в общем случае
нескольких параметров
18.26 В общем случае, когда не обязательно имеется k до-
достаточных статистик для k параметров, совместные МП-оценки
обладают асимптотическими оптимальными свойствами, ана-
аналогичными тем, которые имели место в случае одного пара-
параметра.
Заметим, прежде всего, что доказательство состоятельности,
данное в 18.10, полностью переносится на случай многих пара-
параметров, если интерпретировать Э как вектор параметров
01,..., Эй и 9, Э* — как векторы оценок для Э. Таким образом,
при очень общих условиях система совместных МП-оценок схо-
сходится по вероятности к истинной системе значений парамет-
параметров во-
Кроме того, непосредственно обобщая метод пункта 18.16,
можно показать (см., например, Вальд A943а)), что совместное
распределение МП-оценок сходится, в условиях регулярности, к
многомерному нормальному распределению с матрицей рассея-
рассеяния, обратной к матрице
8?) (*$*г^) (.8.60,
84
ГЛАВА 18
Мы приведем лишь схему доказательства этого факта. Ана-
Аналог разложения Тейлора A8.31), в котором левая часть при-
приравнена нулю, принимает вид
-'¦2
*•
Поскольку 9* сходится по вероятности к 90, а вторые производ-
производные в правой части A8.61) сходятся по вероятности к своим
математическим ожиданиям, то мы можем рассматривать
A8.61) как систему линейных уравнений относительно
(9Г— бго). Эту систему можно записать в виде
y = V~lz, A8.62)
где у = д logL/dQ, z = 9 —90, а V определена в A8.60).
Согласно многомерной центральной предельной теореме,
если для каждого 9Г будет выполняться A8.29), то вектор у
будет иметь предельное многомерное нормальное распределе-
распределение. Следовательно, вектор z также будет в пределе распреде-
распределен нормально. Матрица рассеяния V вектора у дается, по оп-
определению, выражением A8.60), так что под знаком экспоненты
многомерного распределения будет стоять квадратичная форма
(см. 15.3)
A8.63)
Преобразование A8.62) дает для я квадратичную форму
откуда следует, что матрица рассеяния z\ равна (V-1)-1 = V,
как и утверждалось в A8.60).
18.27 Если имеется k совместно достаточных статистик для
k параметров, то можно подставить A8.55) в A8.60), что дает
следующее значение для матрицы, обратной к матрице рассея-
рассеяния, в случае больших выборок:
¦-к
Соотношение A8.64) так же, как и результат пункта 18.18, об-
обобщением которого оно является, устраняет необходимость на-
нахождения математических ожиданий.
Если системы из k достаточных статистик не существует,
то элементы матрицы рассеяния могут быть оценены по вы-
выборке стандартными методами.
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
85
18.28 Тот факт, что МП-оценки имеют матрицу рассеяния,
определяемую соотношением A8.60), позволяет установить даль-
дальнейшие оптимальные свойства совместных МП-оценок.
Рассмотрим произвольную систему tiy ..., th состоятель-
состоятельных, функционально не связанных оценок параметров Эь ..., 9^,
имеющих матрицу рассеяния D. Аналогично A7.21), при усло-
условиях регулярности, если каждая из состоятельных оценок яв-
является асимптотически несмещенной, получаем асимптотическое
равенство
| | ttL (х 16) dxx ... dxn = Qt,
которое после дифференцирования приводит к соотношению
J
откуда, учитывая A7.18), получаем
COV
a log
-я
я
г)-W ьф\. A8-65)
Рассмотрим теперь матрицу рассеяния Ik вариант t\, ...
• •¦. h,—§&~' •••• —^—, которая вследствие A8.65) и резуль-
результатов 18.26 равна
(* ?) A8.66)
где /й — единичная матрица порядка k. Будучи матрицей рас-
рассеяния, С неотрицательно определена. Следовательно, ее опре-
определитель неотрицателен (см. A8.59)). Поскольку определитель
матрицы
также неотрицателен, то
Но так как
V l
то \D — V\ ^ 0, откуда (ем. 19.8 ниже)
\Dl>\V\. A8.67)
Таким образом, определитель матрицы рассеяния любой сис-
системы оценок (называемый обобщенной дисперсией этой системы
86
ГЛАВА 18
оценок) асимптотически не меньше, чем |V|. Но в 18.26 было
показано, что для МП-оценок асимптотически |D| = |V|. Сле-
Следовательно, МП-оценки являются асимптотически оценками с
минимальной обобщенной дисперсией. Этот результат впервые
был получен Гири A942а).
Пример 18.13
Рассмотрим снова оценки х и s2 примера 18.11. Имеем
d2logL п_ d2 log L п 2 (* ~ ^J
дц2 02 ' д (а2J 20* 06 •
д2 log L п {х — ц)
дц д @2) ~ о4
Вспоминая, что МП-оценки х и s2 достаточны для ц и а2, и ис-
используя A8.64), мы получим матрицу, обратную к их асимп-
асимптотической матрице рассеяния, если подставим во вторые про-
производные значения х = ц и 2 (* — цJ = «о2. Находим
откуда
0 \
п/2а*)'
0 \
Мы видим, что лг и s2 асимптотически независимы и имеют нор-
нормальные распределения с указанными дисперсиями. При этом,
как уже известно, свойство независимости, а также нормаль-
нормальность распределения х и выражение для ее дисперсии справед-
справедливы при любом п (примеры 11.3, 11.12). Что же касается s2,
то свойство нормальности и выражение для дисперсии этой
оценки являются чисто предельными, поскольку (пример 11.7)
ns2/a2 распределено, как %2 с п — 1 степенями свободы, и, следо-
следовательно, точная дисперсия s2 (см. A6.5)) равна
о /„ i\ 204(«—1)
18.29 Может случиться, что некоторые из k параметров, от
которых зависит распределение, известны и надо оценить ос-
остальные. При условиях регулярности МП-оценки нужных пара-
параметров получаются как решения соответствующей подсистемы
системы уравнений правдоподобия A8.47). Очевидно, не сле-
следует ожидать, что на МП-оценку отдельного параметра не по-
повлияет знание других параметров распределения. Вид МП-
оценки некоторого параметра зависит от того, какие параметры
оцениваются совместно с ним. Это хорошо видно на следующем
примере.
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
87
Пример 18.14
В случае двумерного нормального распределения
>; ои as > 0;
логарифм ФП равен
logL(x, z/1 M-i» H2. o\, erf, p)=.
= - л log Bя) -}n {log о2 + log а\ + log A — р2)} —
О2 IV
Следовательно, пять уравнений правдоподобия имеют вид
dlogL _ n f
dvL2 a2(l-p2) I
(-г-н,)
a,-
A8.68)
20,2A-р2)
+ P
— l^i) (У — Иг)
A8.69)
— Hi) (у —
0102
= 0,
= 0. A8.70)
(а) Предположим сначала, что надо оценить только р, а
остальные четыре параметра известны. В этом случае надо ре-
решить одно уравнение A8.70). В нормированном виде мы уже
имели дело с этой задачей в примере 18.3, где A8.70) приводит
к кубическому уравнению для МП-оценки р.
88
ГЛАВА 18
(б) Пусть теперь оцениваются а\, а\ и р, а ц, и ja2 изве-
известны. Мы должны решить три уравнения правдоподобия A8.69)
и A8.70). Вынося за фигурные скобки ненулевые сомножители,
получаем после небольших преобразований
010
1U2
п
A8.71)
и
П_ ач^
A8.72)
Если мы сложим уравнения A8.71) и вычтем из суммы уравне-
уравнение A8.72), то получим
или
— ^] U — Hi) (У
A8.73)
Подстановка A8.73) в A8.71) дает
6?
Следовательно, согласно A8.73)
Р =¦
_ >^ С- — I
— |д-2)
A8.75)
Таким образом, в этом случае МП-оценка р есть просто вы-
выборочный коэффициент корреляции, вычисленный относительно
известных генеральных средних.
(в) Предположим, наконец, что требуется оценить все пять
параметров распределения. Тогда надо решать совместно пять
уравнений A8.68), A8.69) и A8.70). A8.68) сводится к системе
(* —Hi) __ {y — \
1
(Р — На) _
<*-|
A8.76)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 89
которая имеет единственное решение
A8.77)
Вместе с A8.74) и A8.75), представляющими собой решения
уравнений A8.69) и A8.70), A8.77) дает систему из пяти МП-
оценок:
A8.78)
р=-
-2л(х-х)(у-!
0102
Таким образом, МП-оценками всех пяти параметров служат со-
соответствующие выборочные средние.
18.30 Поскольку МП-оценки некоторого параметра распре-
распределения будут различными функциями наблюдений в зависи-
зависимости от того, какие из других параметров этого распределения
известны, то асимптотические дисперсии оценок будут также
разными. Чтобы облегчить вычисление матриц рассеяния МП-
оценок в случае, когда распределение допускает систему из k
достаточных статистик для k параметров, можно воспользо-
воспользоваться представлением A8.64) для матрицы, обратной к асимп-
асимптотической матрице рассеяния МП-оценок.
Пример 18.15
Вычислим асимптотические матрицы рассеяния МП-оценок
для каждого из трех случаев, рассмотренных в примере 18.14.
(а) Когда мы оцениваем только р, 0 не будет достаточной
статистикой. Однако мы уже вычисляли асимптотическую дис-
дисперсию этой оценки в примере 18.6 и нашли, что
РР= 1\Г/!1 • A8-79)
Тот факт, что мы рассматривали нормированное генераль-
генеральное распределение, не имеет значения, поскольку коэффициент
корреляции р инвариантен по отношению к изменениям начала
отсчета и масштаба.
(б) В случае оценивания трех параметров а\, о\ и р три
МП-оценки, даваемые выражениями A8.74) и A8.75), сов-
совместно достаточны. Следовательно, мы можем использовать
ГЛАВА 18
A8.64). Записывая параметры в указанном выше порядке, на-
находим, что матрица 3X3, обратная к матрице рассеяния соот-
соответствующих оценок, имеет вид
' 0=0
1-р2
2-р*
40?
-Р2
40202
-Р
-Р2
Ао\а%
2-р*
-р
— р
2а]
-Р
202
1 + р2
20?
2ai
A8.80)
Обращение A8.80) дает асимптотическую матрицу рассеяния
20?
2р202022
РA-Р2H2
РA-р2)
а2 РA-р2)а1
A8.81)
(в) При оценивании всех пяти параметров достаточную
систему образуют МП-оценки A8.78). Кроме того, (ЗХЗ)-мат-
рица FrJ из A8.80) является частью E X 5)-матрицы Fi, об-
обратной к матрице рассеяния, которую мы ищем. Если записать
параметры в порядке \iv ц2, а2, ог|, р, то A8.80) будет нижним
главным минором 3X3 дляFiT!
производные по
щие выражения:
д2 log L — п
ОЦ| а\ A — р )
д2 log L
Для элементов, включающих
и ц2, согласно A8.68) получаются следую-
д2 logL ^
а,а, A-р2) '
A8.82)
О2Л\-Р2)'
При х — in и у
4 до\
ц2 имеем
^ d*\ogL
7-1
A8.83)
Обозначая теперь F2 ' матрицу, обратную к матрице рассеяния
МП-оценок для ц.1 и ц2, равную
1
-Р
0,02
—-
2 =¦
1-р2
A8.84)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
получаем
91
F5 =
о
A8.85)
Чтобы получить ненулевые элементы матрицы V5, можно обра-
обращать Fj~ и Vfl отдельно. Результатом обращения F3~' яв-
является A8.81). Обращение \
приводит к матрице
Таким образом,
A8.86)
A8.87)
где V2 и F3 определены равенствами A8.86) и A8.81).
Из полученного результата следует, что (ранее это было по-
показано (см. 16.25) для произвольных объемов выборок) выбо-
выборочные средние в двумерной нормальной выборке распределены
независимо от выборочных дисперсий и ковариаций и что коэф-
коэффициент корреляции между выборочными средними равен р, а
между выборочными дисперсиями равен р2 (пример 13.1).
Кейл A962) рассматривает различные итерационные методы решения
уравнений правдоподобия для нескольких параметров. 90 в A8.62) заме-
заменяется пробным вектором t (см. 18.21), так что 6= t + Vy может быть ите-
итерировано столько раз, сколько необходимо.
Неодинаковые исходные распределения
18.31 Мы уже довольно подробно изучили метод максимума
правдоподобия, но касались пока лишь задач оценивания для
наблюдений, полученных из одного и того же распределения.
Теперь мы кратко рассмотрим поведение МП-оценок в случае,
когда это условие не выполняется. Для этого мы должны за-
заменить A8.1) более общей ФП
L(x\Qlt ..., Qk) =
... fn{xa\Q), A8.88)
где различные сомножители /ч могут зависеть от различных
функций от системы параметров 9i,..., 6&.
В этой ситуации МП-оценки могут даже не быть состоятель-
состоятельными, а для одного класса случаев, когда число параметров
возрастает с ростом числа наблюдений (k зависит от п), метод
максимума правдоподобия может стать неэффективным. Сле-
Следующие два примера служат этому иллюстрацией.
92
ГЛАВА 18
Пример 18.16
Пусть Xi — нормальная варианта со средним 6* и дисперсией
а3 > 0 (i = 1,2 п). Функция правдоподобия A8.88) имеет
вид
\
log L = ~ n log Bя) - -j ft log (o2) -
а уравнение
2__j ^
(АГ| ~ е''J'
25*
дает МП-оценку
A8.89)
Поскольку, однако, мы имеем только по одному наблюдению
над каждым из различных нормальных распределений, то по-
получаем также
Q( = Xi. A8.90)
Таким образом, при совместном оценивании а2 и 9* (i = 1, 2,...
..., п) оценки A8.89) и A8.90) приводят к абсурдному резуль-
результату:
Мы не можем надеяться получить эффективной оценки для
а2, имея по одному наблюдению из каждого распределения:
A8.90)—совершенно бесполезная оценка.
Ситуация ненамного улучшится, если мы будем иметь по два
наблюдения из каждого нормального распределения. В этом
случае получим
A8.91)
Но так как
м \4г
— 49 I 1 О
(ср. пр-имер 17.3), то из A8.91) следует, что для всех п
2
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
93
т. е. а2 не состоятельна (ем. Неймвя и Скотт A948)). Дело в
том, что смещение МП-оценок при малых выборках A8.14) со-
сохраняется в этом примере при возрастании п в силу того, что
число распределений также растет с ростом п.
Другие. примеры подобного типа рассматривались в лите-
литературе в связи с приложениями, в которых они возникали. Нам
они также встретятся в более поздних главах, в частности в главе
29. Сейчас же необходимо лишь подчеркнуть, что в нестандарт-
нестандартных ситуациях требуется тщательное изучение свойств МП-оце-
МП-оценок. Не следует предполагать, что асимптотические оптималь-
оптимальные-свойства сохраняются во всех случаях. Например, МП-
оценка может даже не существовать (см. упражнение 18.34)
или может иметься несколько МП-оценок, некоторые из которых
будут несостоятельными (см. упражнение 18.35).
Использование функции правдоподобия
18.32 Как это рекомендует Фишер A956), всегда можно изу-
изучить поведение ФП во всей области изменения Э и построить
трафик ФП. Хотя это и дает общую информацию, по-видимому,
таким образом нельзя получить выводов, представляющих не-
непосредственную ценность для задачи оценивания. ФП содержит
всю информацию, имеющуюся в выборке, строго говоря, в том
смысле, что, как было замечено в 17.38, сами наблюдения яв-
являются системой совместно достаточных статистик для любой
задачи. Такой подход обладает тем достоинством, что обращает
внимание на необходимость выбора функциональной формы рас-
распределения (или распределений), порождающего наблюдения,
до того, как ФП вообще может быть использована для получе-
получения МП-оценок или для других целей. Другими словами, неко-
некоторая информация (в общем смысле) должна быть дана ста-
статистиком. Если же он не может или не хочет дать эту инфор-
информацию, то следует обратиться к непараметрическим гипотезам,
которые приводят к совершенно другим методам. Эти методы
будут рассмотрены позже.
В 23.37 мы рассмотрим некоторые недавние результаты, свя-
связывающие использование ФП с условными статистическими вы-
выводами.
Оценка параметров сдвига и масштаба
18.33 Следуя Фишеру (Ю21а), можно использовать метод
максимума правдоподобия для нахождения эффективных оце-
оценок параметров сдвига и масштаба для распределения любой
заданной формы.
94 ГЛАВА 18
Рассмотрим функцию плотности вида
р>о.
A8.92)
Параметр а называется параметром расположения (или пара-
параметром сдвига), а р— параметром масштаба. Перепишем
A8.92) в виде
где
dF = exp {g (у)} dy = exp {g (у)} dxft,
у = (х —о)/р, g(y)=bgf(y).
ФП для выборки объема п имеет вид
п
log L (х | а, р) = 2 g Ы — п log p.
Отсюда получаем уравнения правдоподобия
d log! _ 1
да — $
A8.93)
A8.94)
'»}-¦ р.
A8.95)
где g'(#) = dg(y)jdy. В условиях регулярности решение A8.95)
дает МП-оценки аир. Предположим теперь, что для всех до-
допустимых значений аир выполняются соотношения
м
a log/.
-¦jj-[M
= о.
A8.96)
Как и в случае A7.18), соотношения A8.96) выполняются, если
можно в левой части дифференцировать под знаком интеграла.
Можно переписать A8.96) следующим образом:
М [g'iy)} = О,
M{yg'(y)}=-1.
A8.97)
. A8.98)
Вычислим теперь элементы матрицы A8.60), обратной к мат-
матрице рассеяния, считая справедливым соотношение
d4ogL
dQr dQs
dQr
diogL
dQs
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Из A8.95) следует (аргумент у g(y) опущен)
М
d2logL
ар*
A8.99)
Отсюда, учитывая A8.98), получаем
Кроме того,
A8.100)
или, вследствие A8.97),
= jfM(g"y). A8.101)
Равенства A8.99) — A8.101) приводят к следующему выраже-
выражению для матрицы A8.60):
g"y g"y2 -
A8.102)
Дисперсии и ковариации получаются обращением этой мат-
матрицы. Конечно, если аир оценивается отдельно, то дисперсия
МП-оценки будет равна обратной величине соответствующего
элемента главной диагонали матрицы V~l.
18.34 Если g(y) является четной функцией своего аргумента,
т. е. распределение симметрично относительно а, то A8.102) уп-
упрощается. Действительно, в этом случае имеем
8(У) = ё (- У), ё' (У) = -§'(- У), Ш" (У) = ё" (- У), A8.103)
откуда следует, что
A8.102) равны нулю:
внедиагональные элементы матрицы
M{g"(y)y} =
A8.104)
Таким образом, для симметричных распределений матрица
A8.102) будет диагональной. Следовательно, МП-оценки пара-
параметров сдвига и масштаба любого симметричного распределе-
распределения, удовлетворяющего нашим условиям регулярности, будут
асимптотически некоррелированы и (поскольку они согласно
18.26 имеют асимптотически двумерное нормальное распределе-
распределение) асимптотически независимы. Это относится, в частности, к
нормальному распределению, для которого этот результат был
получен в примере 18.13»
96
ГЛАВА 18
18.35 В случае несимметричных распределений внедиаго-
нальные элементы в A8.102) можно обратить в нуль простым
изменением начала отсчета. Положим
Тогда
M (g"y) = М { g" [z
откуда
f^-. A8.105)
\=M(g"z) + M(g"y),
M(g"z) = 0. A8.106)
Таким образом, если начало отсчета определяется соотноше-
соотношением A8.105), то A8.102) становится диагональной матрицей и
дисперсии оценок определяются просто как обратные величины
диагональных элементов. Начало отсчета, при котором оценки
некоррелированы, называется центром расположения распреде-
распределения. Причиной выбора центра расположения в качестве на-
начала отсчета служит то, что в случае применения итерационной
процедуры оценки могут вычисляться отдельно.
Пример 18.17
Распределение
:<оо,
р>0, р>2,
имеет область определения, зависящую от а. Однако это рае*
пределение и его первая производная по а равны нулю при
х = а для р>2 (см. упражнение 17.23), поэтому наши усло-
условия регулярности выполнены. В данном случае имеем
g(y) = ~ log Г (р) + (р — 1) log у — у,
М
=- М {- (р - 1)} = - (р - 1).
Следовательно, центр расположения, определяемый соотноше-
соотношением A8.105), равен
М
Р
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
97
Матрица A8.102) имеет вид
A8.107)
откуда легко получить обратную ей матрицу рассеяния оценок
аир:
• (Р-2)Р2
~" 2я
—1
1
A8.108)
р-2
Если начало отсчета совпадает с центром расположения, то
для некоррелированных оценок а„ и ри получим
Ddu = (p-2)p2/n, Dp« = P2/Bn). A8.109)
Сравнивая A8.109) с A8.108) и A8.107), мы видим, что Dp
не изменяется при изменении начала отсчета, a Dctu совпадает
с Da, вычисленной для случая, когда оценивается один пара-
параметр а.
Эффективность метода моментов
18.36 В главе 6 были рассмотрены распределения Пирсона.
Однако в основном там изучались свойства самих генеральных
совокупностей и не ставилось никаких вопросов относительно
надежности оценок. Предположим теперь, что имеется выборка
из генеральной совокупности. Обеспечивает ли подгонка мо-
моментов наиболее эффективные оценки неизвестных параметров?
Сейчас мы увидим, что в общем случае это не так.
Пусть распределение зависит от четырех параметров. Для
того чтобы МП-оценки этих параметров выражались в виде ли-
линейных функций от моментов (как при подгонке кривых Пир-
Пирсона), мы должны иметь
. A8.П1)
г= 1, ..., 4,
откуда
/(*|е„ ..., e^expfo + M
где коэффициенты Ь зависят от параметров 0. Это наиболее
общее представление распределений, для которых метод момен-
моментов дает МП-оценки. Коэффициенты Ь, конечно, подчинены ус-
условию, что интеграл от функции плотности сходится и равен
единице.
Без потери общности можно положить Ь\ = 0. Если, кроме
того, Ьз и &4 равны нулю, то распределение нормально и метод
4 М. Кендал л, А. Стыоарт
98
ГЛАВА 18
моментов эффективен. В других случаях A8.111) приводит к
распределению Пирсона только приближенно. Пусть, напри-
например,
-^f-? = 2Ъ2х
При малых Ьз и 64 отсюда приближенно получается равенство
2Х 2Ь. . ¦ . A8.112)
дх
1 —
26,
являющееся одной из форм уравнения, определяющего распре-
распределения Пирсона (см. F.1)). На высокую эффективность ме-
метода моментов можно надеяться лишь при малых по сравнению
с &2 коэффициентах Ь3 и Ьь
18.37 Детальное исследование эффективности моментов при
оценке параметров распределения Пирсона было проведено Фи-
Фишером A921а). Мы приводим здесь лишь один результат в ка-
качестве иллюстрирующего примера.
Пример 18.18
Рассмотрим гамма-распределение с тремя параметрами а,
х-а\р-1
а и р:
dF =
1
<тГ(р)
ехр{ —
а > 0; р > 2.
Функция правдоподобия записывается в виде
log L — — пр log а — п log Г (р) +
откуда получаем три уравнения правдоподобия:
д log L , ,. V4 1 1 я „
_ " «Р ' , " '
= 0,
<т2
Матрица A8.60), обратная к матрице рассеяния'параметров а,
q я р, им,еет вид
1 1 1
V~l=n
t - 2) <т2
<т2
р
а2
1
(Т
<т
d2
(Р-
а
log Г
dp*
1)
(Р)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Определитель этой матрицы равен
|У~Ч
99
У~Ч _*_ ' f
«3 а (p-2)aM
Отсюда находим дисперсии оценок:
P-1 "•" (Р
-1J Г
Dd —
(Р-1JГ
2 _2/f
— «Д(р-2)а4 ~~ «/\
-2 dp2
2 /f 2d°logr(p) 2_ 1_1
dp2 p-1 "•" (р-1J Г
A8.113)
p-1 "г (p.
Используя при больших р разложение Стирлинга, получаем
^-logr(l + p) =
откуда
Следовательно, ввиду A8.113) имеем приближенно
°Р ~т{(Р~ DM- у (Р- 1) }• A8.114)
Если мы оцениваем параметры, приравнивая выборочные мо-
моменты и соответствующие моменты, выраженные через пара-
параметры, то получаем
а-\-ар — ти о2р = т2, 2о3р — т3,
. так что при любых а и a
A8.115)
где &i — выборочное значение коэффициента асимметрии pi.
Имеем (см. 10.15)
Dft, =-^-{4р4 - 24р2 + 36 + 9р,р2 - 12р3 + 35р,}.
Для рассматриваемого распределения это выражение прини-
принимает вид
р&1=_|в<р + 1)(р + 5) A8П6)
Следовательно, учитывая A8.115), получаем для оценки р,
100 ГЛАВА 18
полученной по методу моментов,
Для больших р эффективность этой оценки равна согласно
A8.114)
Dp />(/>+1)(Р +5)
что, очевидно, меньше 1. Когда р превосходит 39,1 (pt = 0,102),
эффективность превышает 80%. Для р = 20 (Pi = 0,20) она рав-
равна 65%. Для /7 = 5 более точное вычисление, основанное на
таблицах тригамма-функции og 2 , показывает, что
эффективность равна всего лишь 22%.
УПРАЖНЕНИЯ
18.1 В примере 18.7 показать, рассматривая случай п = 1, что МГД для
выборок малого объема не достигается. Показать, что для рассматриваемого
распределения эффективность выборочного среднего относительно МП-оцен-
МП-оценки равна 1/2.
18.2 Показать, что если МП-оценка 9 является корнем уравнения
д log LjdQ = 0, то наиболее общий вид дифференцируемого по 9 распреде-
распределения, для которого в = х (выборочное арифметическое среднее), есть
f (х |9) = ехр {А (9) + А' (9) (х-в)
(х)}
и, следовательно, статистика х достаточна для 9, а соответствующая МГД
равна {пА"(в)}'К Показать также, что если 0 — параметр расположения, то
f — нормальное распределение со средним 9 (результат, принадлежащий
Гауссу), тогда как если 9 — параметр масштаба, то / = (Иехр(—х/0).
(См. Кейнес, 1911, и Тейчер, 196.1.)
18.3 Показать, что наиболее общее выражение для плотности непрерыв-
непрерывного распределения, имеющего в качестве МП-оценкн для параметра 9 выбо-
выборочное геометрическое среднее, имеет вид
\6Л' (в)
7 ехр {Л (9) + В (л:)}.
Показать далее, что гармоническому среднему соответствует следующее об-
общее выражение для плотности распределения:
f {х | 0) = ехр [1 {9Л' (9) - А (9)} - А' (9) + В (*)].
(Кейнес, 1911.)
18.4 Показать, что в каждом из случаев упражнения 18.3 МП-оценка
достаточна для 9, но не является МГД-оценкой, в отличие от случая ариф-
арифметического среднего, рассмотренного в примере 18.2. Найти в каждом слу-
случае функцию от 9, оцениваемую с дисперсией, равной соответствующей МГД,
и вычислить эту МГД.
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
18.5 Показать, что для распределения
dF (х) ее ехр {— (х - а)/Р) dx,
x(i) и Х(П) являются соответственно МП-оценками для а н р, но не обра-
образуют достаточную пару для а и р.
18.6 Показать, что в случае выборок объема п из распределения край-
крайних значений (см. A4.66))
dF (х) = а ехр {— а (* — ц) — ехр [— а {х — ц)]} dx, — оо < х < оо,
МП-оценки й и р. даются системой уравнений
-—ft*
1
дев
-—ft* '
о-йх
*™ — Z-i
и что для больших выборок
cov (а, р.) = — A —
где у — константа Эйлера, равная 0,5772...
г (Б. Кимбелл, 1946.)
18.7 Если величина х распределена по нормальному закону
то логнормальное распределение величины у = ех имеет среднее
в, = ехр ((i + y <т2] и дисперсию 92 = ехр Bц + <тг){ехр(<т2) — 1} (см.
F.63)).
Показать, что МП-оценка для 9i равна
а /. , 1 Л
от — ехр I х "т" -tr* s |,
\ 2 / .
где х и s2 — выборочное среднее и выборочная дисперсия величины х, н что
М (§,) = М {ехр (Д?)} М | ехр A s2) } =
= 9,ехр<— -—^ [(' JT) >®ъ
т. е. оценка§1 смещена вверх. Показать также, что М (9i) -»-9i при и->оо
т. е. б, асимптотически несмещена.
18.8 Пусть f(t) определяется как сумма ряда
f(-t)==l+t + T+T~2T+ (п+1)(« + 3) "ЗТ+ "¦"
Показать, что модифицированная МП-оценка для параметра 9i в упражне-
упражнении 18.7
102
ГЛАВА 18
является несмещенной. Показать далее, что Gi > 8i для всех выборок, т. е.
9i равномерно смещена относительно 91.
1,8.9 Показать, что точная дисперсия оценки вь рассматриваемой в
упражнении 18.7, равна
D9, = М {ехр Bл:)} М {ехр (s2)} - {М (в,)}2 =
/ с2\Г ( a2 )/ 2o-2\~(n~I)/2 / a2\-(re-'n
что дает асимптотическую дисперсию
D9, ~ ехр Bц -fa2).- (о-2 -f — от4).
п \ z J
Показать, что такую же асимптотическую дисперсию имеет оценка 6i, вве-
введенная в упражнении 18.8. Вывести отсюда, что эффективность несмещенной
моментнвй оценки для 6i
равна
(Результаты упражнений 18.7—18.9
принадлежат Фннни A941) и Сиче-
лу A951, 1952).)
18.10 Пусть мультиноминальное распределение имеет л классов, причем
все классы имеют равную вероятность 1/л. Предположим, что в выборке
объема N появилось k классов. Показать, что ФП для оценивания п имеет
вид .-....-.
, ... '' N\ I\\N (n\ k\
L(k\n)-— (-) • А -^ ,
П
П (м
l
П («/О
/1
где Tj (>0)— число наблюдений t-ro класса и т.)—число классов, появив-
появившихся ¦/ (^) раз. Показать далее, что МП-оценка А для п определяется
соотношением
л
N__ у? 1
а ~ 2л 7'
которое приближенно эквивалентно соотношению
N ( А
и что статистика k достаточна для п. Показать, что для больших Л/
„. п
(Левонтин и Праут, 1956.)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
103
18.11 Проверить, что в примере 18.14 МП-оценки A8.78) совместно до-
достаточны для пяти параметров распределения, а МП-оценки A8.74), A8.75)
совместно достаточны для и,, ^ и р. - .
18.12 Показать, что в случае оценивания параметра корреляции, р дву-
двумерного нормального распределения при известных других четырех парамет-
параметрах (примеры 18.14 и 18.15, случай (а)) выборочный коэффициент корреля-
корреляции (который является МП-оценкой для р, если оцениваются все пять пара-
параметров,— см. A8.78)) имеет эффективность 1/A+ р2). Показать далее, что
если используется оценка
1
то эффективность становится еще меньше и дается выражением I ¦ г ) •
(Стыоарт, 1955а.)
18.13 Показать, что в упражнении 18.12 пара CS ** + S Уг» S ХУ)
является совместно достаточной для одного параметра р и что МП-оценка
р есть функция от этой пары. Для п — 1 показать, что эта достаточная
статистика является функцией от пары {х, у), которая сама достаточна, но
что обратное неверно.
18.14 В примерах 18.14 и 18.15 найти МП-оценки для щ при известных
других параметрах и для в\ также при известных других параметрах. По-
Показать, что асимптотические дисперсии этих оценок равны соответственно
(T?(l—р2)/« и :————JT~' Найти совместные МП-оценки для ц{ и а*
пB р )
при известных оставшихся трех параметрах и найти соответствующую, им
асимптотическую матрицу рассеяния.
18.15 В примере 18.17 вывести результаты A8.109) для некоррелирован-
некоррелированных оценок а-а и ($и, измеренных относительно центра расположения.
18.16 Показать, что центр расположения распределения Пирсона типа IV
¦'¦ ' • (х — а\)( I х — сс\2 )-<Р+2>/2
— varctgl—3—I j j 1 + I—g—j | dx< ' —'«><Jc<eo
(v и р предполагаются известными), находится слева от моды распределе-
кия на расстоянии —J_ ... Доказать также, что асимптотическая дисперсия
МП-оценки ct дается выражением
)(р + 2)(р+4)
и что, следовательнб, эффективность метода моментов при оценке располо-
расположения кривой равна
(Фишер, 1921k.)'
18.17 Для выборки объема й из распределения
, dF = dx, e-i-<
i,
104
ГЛАВА 18
показать, что пара (лгA), дг(п)) достаточна для 9, что одномерной достаточ-
достаточной статистики не существует и что ФП имеет максимум при любом значе-
значении из интервала (л:(п) —, д;A)+ —J. Показать также, что средняя точка
этого интервала является несмещенной оценкой для 9.
18.18 Пусть из бесконечной совокупности, содержащей долю л элемен-
элементов, обладающих данным признаком, элементы извлекаются до тех пор, пока
не появится а элементов с этим признаком. Пусть п обозначает соответ-
соответствующий объем выборки. Показать, что распределение п имеет вид
("I1,)*^1-*)""" n==a>а+и а+2
и что МП-оценкой для л является а/п. Показать также, что эта оценка сме-
смещена и имеет асимптотическую дисперсию
л2 A — л)/а.
18.19 Рассмотреть задачу оценивания дисперсии 9г логнормального рас-
распределения, введенного в упражнениях 18.7, 18.8. Показать, что МП-оценка
92 = ехр Bх + s2) {ехр (s2) — 1}
смещена, а модифицированная оценка
8.
2 = ехр BJE) { f Bs*) - } (?--? s*
несмещена.
18.20 Показать, что для оценки из упражнения 18.19 асимптотически
имеем
D92 ~ %?- ехр Dц + 2<т2) [2 {ехр (а2) — I}2 + <х2 {2 ехр (а2) - I}2]
и что, следовательно, эффективность несмещенной моментной оценки
равна
2а2 [2 {ехр (о2) - I}2 + а2 {2 ехр (а2) - I}2]
{ехр (а2) — I}2 {ехр D<т2) — 2 ехр (За2) + 3 ехр Bа2) — 4} '
(Финни, 1941.)
18.21 Для случая нормального распределения с известной дисперсией а2
и неизвестным средним ц, принимающим только целочисленные значения,
показать, что МП-оценка р. есть целое число, ближайшее к выборочному
среднему х, и что выборочное распределение этой оценки дается выражением
ПМ-
\/~Ш
¦dt.
Вывести отсюда, что ft является несмещенной и состоятельной оценкой для ц
с асимптотической дисперсией
Экспоненциально убывающей при возрастании п.
(Хаммерсли, 1950.)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
105
18.22 В предыдущем упражнении определим статистику Т соотношением
-s- Т = целое число, ближайшее к -g-ic.
Показать, что
D7"<D?., если ц четно,
D7"~l, если [i нечетно.
Вывести отсюда, что Т состоятельна или несостоятельна в соответствии с
тем, является ц четным числом или нечетным.
(Хаммерсли, 1950; дискуссия (Ч. Стейн).)
18.23 Пусть величина \og(t— у), y<t^°o, нормально распределена
со средним ц и дисперсией а2 и оцениваются все три параметра (у, ц, а2).
Определяя р,(у) яд 2(у) соотношениями
"~v) H
показать, что
L" (у) = sup L (х | у, ц, а2) сс{д (у)}"" ТТ (*, - у)
и что если /(к есть наименьшее наблюденное значение /, то
lim V* (у) = + оо,
Г1
так что МП-оценка для (у, ц, а2) в случае рассматриваемого трехпарамет-
рнческого логнормального распределения всегда равна Aщ, —оо, +оо).
(Хилл, 1963а.)
18.24 Пусть имеется выборка объема п из распределения f(x\Q), сгруп-
сгруппированного в интервалы шириной h. Обозначим
x+h/2
f(x\Q,h)= j f(y\Q)dy.
x—h/2
Используя разложение Тейлора, показать, что
d*f(x\9)
, И2 дх2
и что, следовательно, с точностью до первого порядка поправка для МП-
оценки, учитывающая группировку, равна
д ( d2f/dx2 \
(значение правой части берется в точке в).
(Линдлн, 1950.)
106
ГЛАВА 18
18.25 Используя последнее упражнение, показать, что в случае оценива-
оценивания среднего значения нормальной совокупности с известной дисперсией
А = 0, тогда как в случае оценивания дисперсии при известном среднем
А = —Л2/12.
Каждая из этих поправок есть в точности поправка Шеппарда на груп-
группировку для соответствующих генеральных моментов. Чтобы показать, что
поправка на группировку для МП-оценок в общем случае не совпадает с
поправкой Шеппарда, рассмотреть распределенне
dF = е~х/в dx/Q, в > 0, 0 < х < оо,
для которого в ===== Jc (выборочное среднее). Поправка здесь равна
д LA2
Л~ 12 ~Т'
тогда как поправка Шеппарда для генерального среднего равна нулю.
(Линдли, 1950.)
18.26 Записывая отрицательное биномиальное распределение E.33) в
виде
r_Ml,
показать, что в случае выборки, состоящей из п независимых наблюдений,
МП-оценка для т есть выборочное среднее
тогда как МП-оценка для k дается корнем уравнения
оо Г—1
1
k + i
{п, обозначает число наблюдений, принявших значение г; предполагается,
что по < п). Показать, что при уменьшающемся и стремящемся к нулю к
правая часть уравнения превосходит левую и что если выборочная диспер-
дисперсия s2r превосходит г, то левая часть превосходит правую при k -*¦ оо, т. е.
уравнение имеет по крайней мере один конечный положительный корень.
Показать, что, с другой стороны, если Sj. < г, то обе части уравнения стре-
стремятся к равенству при k -*¦ оо, так чтб k = оо и fT сводится к распределе-
распределению Пуассона с параметром т.
(Энскомб, 1950.)
18*27 Показать, что 8 предыдущем упражнении
D rh = (m + m2/k)/n.
2k{k+
I
/=2
-
-1
cov (A, k) ~ 0.
(Энскомб A950); Фишер A941) ис-
исследовал эффективность метода мот
ментов в этом случае.)
ОЦЕНИВАНИЕ: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
107
18.28 Показать, что для распределения Неймана типа А, рассмотренного
в упражнении 5.7. МП-оценки параметров A,i и Яг даются корнями системы
уравнений
*i=2»r(r+I)fr
где иг, Т имеют тот же смысл, что и в упражнении 18.26.
(Шентон A949) в этом случае ис-
исследовал эффективность метода мо-
моментов, которая оказалась относи-
относительно низкой (<70%) для малых
Я-1 (<3) и больших Я2 (>1). Он
изучил также вопрос об эффектив-
эффективности использования моментов в об-
общем случае и в частном случае ря-
рядов Грама — Шарлье типа А A950,
1951). См. 'также Кэтти и Гёрлэнд
A962).)
18.29 Показать, что МП-оценки параметров аир «логистического» рас-
распределения
F(*>Ml+exp{-(« + P*»' -°°<*<°°.
даются корнями системы уравнений
хг ехр (— р*?)
T+S-T
+ ехр{-(а + р*г)}
е == —
(Другие оценки для этого распреде-
распределения были рассмотрены Гуптой и
Гнанадесиканом A966), использовав-
использовавшими методы пунктов 19.18—20 (см.
упражнение 32.12 ниже), и Влемом
A958).)
18.30 Пусть имеются две независимые выборки объемов nt и щ из двух
нормальных распределений с одинаковыми средними р, и дисперсиями Хаг
и а2. Найти МП-оценку для fi и показать, что ее асимптотическая диспер-
дисперсия равна
Вывести отсюда, что несмещенная оценка
t = (niXi + n2x2)t(ni
имеет эффективность
Я. (и. + п2J
п2)
+ п2) (и, + п2Х) '
которая равна 1 тогда и только тогда, когда Я = 1
108
ГЛАВА 18
18.31 Показать, что для выборки объема п из нормального распреде-
распределения со средним в и дисперсией VF) МП-оценка 9 дается корнем урав-
уравнения
Вывести отсюда, что если V(9) = аг9*, где а2 известно, то 9 зависит как от
х, так и от 2 *2i кроме случая k = 0 (когда 9 равно выборочному сред-
среднему х, являющемуся одномерной достаточной статистикой) и случая k = 1
(когда 9 зависит только от 2 **)•
18.32 Пусть в качестве оценки параметра 6 берется 9*, корень уравнения
g(x, 9) = 0. Показать, что если выполнены условия регулярности пунктов
17.14—15, использованные при выводе выражения для МГД, и M{g(x, 9)}=0,
то справедливо неравенство
которое обращается в равенство только в случае, когда g(x, 9) отличается
от д log L/дв постоянным множителем. В этом случае 9* совпадает с МП-
оценкой 9. Рассмотренное обобщение сводится к A7.22), когда g(x, 9) =
= t~ т(9).
(Годэмб, 1960; Дёрбин, 1960.)
18.33 Показать, что для случайной выборки из распределения
{ A/3)ехр{—|х —0|}, *<9,
f(*|8)=J 1/3, 8<*<в+ t,
| A/3)ехр{—|*-(в+1)|}, 8 + 1<х,
МП-оценка для 9 всегда единственна. (Рассмотреть, в частности, случаи
п = 1, п = 2.) -
(Даниэле, 1961.)
18.34 Выборка, включающая п наблюдений, извлечена из нормальной со-
совокупности со средним ц и дисперсией, которая с равными вероятностями
может быть равна 1 или а2. Показать, что при л->- оо МП-оценки для (ц, а2)
не существует.
(Кнфер и Волфовиц, 1956)
18.35 Выборка объема п взята из распределения с непрерывной функ-
функцией плотности f(x), определенной на интервале 0 ^ jc ^ 1 и принимающей
значения, удовлетворяющие неравенству 0 ^ f(x) г? 2. Показать, что оцен-
оценка F(x) для F(x) является МП-оценкой тогда и только тогда, когда
1
Г f(x)dx=l, f (х) непрерывна Hf(x,)=2, i = 1, 2 п. Вывести от-
6
сюда, что существует много МП-оценок как состоятельных, так и несостоя-
несостоятельных.
(Бахадур, 1958.)
ГЛАВА 19
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ
КВАДРАТОВ И ДРУГИЕ МЕТОДЫ
19.1 В этой главе будут рассмотрены принципы оценивания,
отличные от принципа максимума правдоподобия (МП), кото-
которому была посвящена глава 18. Наиболее важным из них яв-
является принцип (или метод) наименьших квадратов (сокра-
(сокращенно: НК). Этот метод, отличаясь по подходу от метода МП
и обладая своими собственными оптимальными свойствами, в
то же время совпадает с методом МП в важном случае нор-
нормально распределенных наблюдений. Другие методы, рассмат-
рассматриваемые в этой главе, существенно отличаются от метода МП
и если оказываются эквивалентными ему, то только в асимпто-
асимптотическом смысле.
Метод наименьших квадратов
19.2 Мы знаем (примеры 18.2, 17.6), что МП-оценка для
среднего ц по выборке объема п из нормального распределения
<19Л>
получается максимизацией по ц функции правдоподобия
п
log L {у | ц) == - \ п log Bяа2) - -^ ]? (у, - fiJ. A9.2)
Из A9.2) видно, что эта функция максимальна, когда мини-
минимальна сумма
i(^-l^J- (I9.3)
Таким образом, принцип МП сводится к тому, чтобы выбирать
такое ji, которое обращало бы в минимум A9.3).
Предположим теперь, что генеральное среднее у. является
линейной функцией параметров 6* (i = 1, 2,. .., k):
к
и = -У xfii, A9.4)
108
ГЛАВА 18
18.31 Показать, что для выборки объема п из нормального распреде-
распределения со средним 9 я дисперсией V(9) МП-оценка 9 дается корнем урав-
уравнения
Вывести отсюда, что если V(9) = o2Qh, где а2 известно, то в зависит как от
х, так и от 2 *2> кроме случая k = 0 (когда 9 равно выборочному сред-
среднему х, являющемуся одномерной достаточной статистикой) и случая k = 1
(когда 9 зависит только от jyj **)•
18.32 Пусть в качестве оценки параметра 6 берется 9*, корень уравнения
g(x, 9) = 0. Показать, что если выполнены условия регулярности пунктов
17.14—15, использованные при выводе выражения для МГД, и M[g(x, 9)}=0,
то справедливо неравенство
M(g')
которое обращается в равенство только в случае, когда g(x, 9) отличается
от д log LjdQ постоянным множителем. В этом случае 9* совпадает с МП-
оценкой 9. Рассмотренное обобщение сводится к A7.22), когда g(x, 9) =
= * — т(9).
(Годэмб, 1960; Дёрбин, 1960.)
18.33 Показать, что для случайной выборки из распределения
Г A/3)ехр{-|*-в|}, *<9,
f(*|e) —] 1/з, e<*<e + i.
| A/3)ехр{—|дс-(в+1)|}, е+Кдс,
МП-оценка для 9 всегда единственна. (Рассмотреть, в частности, случаи
п= 1, и = 2.) -
(Даниэле, 1961.)
18.34 Выборка, включающая п наблюдений, извлечена из нормальной со-
совокупности со средним ц и дисперсией, которая с равными вероятностями
может быть равна 1 или а2. Показать, что при п -*¦ оо МП-оценки для (fi, a2)
не существует.
(Кнфер и Волфовиц, 1956)
18.35 Выборка объема п взята из распределения с непрерывной функ-
функцией плотности f(x), определенной иа интервале 0 ^ х г=: 1 и принимающей
значения, удовлетворяющие неравенству 0 < f(x) sg; 2. Показать, что оцен-
оценка F(x) для F(x) является МП-оценкой тогда и только тогда, когда
Г f (x) dx = 1, f (х) непрерывна и f (xi) =2, i = 1, 2 п. Вывести от-
о
сюда, что существует много МП-оценок как состоятельных, так и несостоя-
несостоятельных.
(Бахадур, 1958.)
ГЛАВА 19
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ
КВАДРАТОВ И ДРУГИЕ МЕТОДЫ
19.1 В этой главе будут рассмотрены принципы оценивания,
отличные от принципа максимума правдоподобия (МП), кото-
которому была посвящена глава 18. Наиболее важным из них яв-
является принцип (или метод) наименьших квадратов (сокра-
(сокращенно: НК). Этот метод, отличаясь по подходу от метода МП
и обладая своими собственными оптимальными свойствами, в
то же время совпадает с методом МП в важном случае нор-
нормально распределенных наблюдений. Другие методы, рассмат-
рассматриваемые в этой главе, существенно отличаются от метода МП
и если оказываются эквивалентными ему, то только в асимпто-
асимптотическом смысле.
Метод наименьших квадратов
19.2 Мы знаем (примеры 18.2, 17.6), что МП-оценка для
среднего р. по выборке объема п из нормального распределения
A9Л)
получается максимизацией по ц функции правдоподобия
A9.2)
Из A9.2) видно, что эта функция максимальна, когда мини-
минимальна сумма
S (У! ~ ИJ- A9.3)
/=i
Таким образом, принцип МП сводится к тому, чтобы выбирать
такое р,, которое обращало бы в минимум A9.3).
Предположим теперь, что генеральное среднее ц является
линейной функцией параметров 6* (i = 1,2 k):
к
2 A9.4)
по
ГЛАВА 19
где Хг обозначают не случайные величины, а известные постоян-
постоянные коэффициенты при неизвестных параметрах 6*. Для того
чтобы в этом случае оценить каждый из параметров 0*, надо
согласно A9.3) и A9.4) минимизировать по 0j сумму
2
/1
У1 — 2
A9.5)
Можно пойти еще дальше по пути обобщения. Предположим,
что п наблюдений получены не из одинаковых нормальных рас-
распределений, а из распределений с разными средними. Именно,
пусть
i=\
/=1,2,..., л.
В этом случае надо минимизировать по 6* сумму
A9.6)
A9.7)
19.3 Метод НК получил свое название из-за его связи с
минимизацией сумм квадратов вида A9.7). Как общий прин-
принцип он формулируется следующим образом: в качестве оценки
вектора 8 в некотором выражении р(х,в) = 0, где х обозначает
наблюдение, следует взять такое Ь, которое обращает в мини-
минимум сумму
%{p{xh §)}*.
Как и в случае любого другого систематического принципа
оценивания, вопрос о возможности использования метода НК
зависит от свойств оценок, к которым он приводит. В противо-
противоположность методу МП, этот метод в общем случае не обладает
даже асимптотическими оптимальными свойствами. Однако в
_одном очень важном классе ситуаций он даже при малых
выборках обладает свойством оптимальности, состоящим в том,
что он дает несмещенные оценки, являющиеся линейными функ-
функциями от наблюдений и имеющие минимальную дисперсию
(МД). Это случай так называемой линейной модели, когда на-
наблюдения имеют одинаковые дисперсии и (возможно, разные)
средние, являющиеся линейными функциями неизвестных пара-
параметров, и когда наблюдения попарно некоррелированы. Именно
таковы были; предположения в модели A9.6). Однако теперь мы
откажемся от предположения нормальности, на котором были
основаны рассуждения в 19.2, поскольку оно совершенно не
нужно для установления оптимальных свойств оценок, полу-
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
111
ченных по методу НК (НК-оценок). Перейдем к точной поста-
постановке задачи. При этом окажется удобным, как и в главе 15,
использовать обозначения и терминологию матричной и вектор-
векторной теории. -
Оценки по методу наименьших квадратов
для линейной модели
19.4 Мы запишем линейную модель в виде
A9.8)
где у — вектор-столбец наблюдений размерности п, X — мат-
матрица (лХ^) известных коэффициентов (n>k), в—вектор:
столбец параметров размерности k и s — вектор-столбец слу-
случайных «ошибок» размерности п с математическим ожиданием
М (е) = О
и матрицей рассеяния
A9.9)
A9.10)
(/ — единичная матрица порядка (лХ"))- Условия A9.9) и
A9.10) соответствуют предположению о том, что е* некоррели-
некоррелированы, имеют нулевые средние и одну и ту же дисперсию с2.
Эти условия играют существенную роль при получении следую-
следующих далее результатов. Линейную модель можно обобщить на
менее ограничительную ситуацию (см. 19.17 и упражнения
19.2 и 19.5), но результаты при этом соответственно изменятся.
Следует отметить, что ка элементы X не наложено никаких
ограничений. Поэтому, как мы увидим дальше в 33.43 и главе
35 (том 3), определяя соответствующим образом эти элементы,
можно использовать рассматриваемую линейную модель для
анализа категоризованных и классифицированных наблюдений.
Метод НК состоит в минимизации скалярной сум'мы квадра-
квадратов
s = (y-xe)'(y-xe) (i9.li)
по компонентам вектора в. Необходимым условием обращения
A9.11) в минимум является условие dS/dQ= 0. Выполняя диф-
дифференцирование, получаем 2Х'{у— Х8)=0, откуда находим
вектор НК-оценок:
§ = (Х'Х)~1 Х'у. A9.12)
Предполагается, что матрица (Х'Х) невырождена и, следова-
следовательно, может б_ыть обращена.
112 ГЛАВА 19
Пример 19.1
Рассмотрим простейший случай, когда 6 имеет только одну
компоненту. Тогда можно переписать A9.8) в виде
где х — вектор-столбец размерности п. НК-оценка согласно
A9.12) дается формулой
§ =
S
Пример 19.2
Предположим, что 6 имеет две компоненты. Матрица X со-
состоит в этом случае из двух векторов Х\ и дгг, и модель A9.8)
принимает вид
Пользуясь далее формулой A9.12), получаем следующее выра-
выражение для НК-оценки:
*1*1
i
*2*1
*1*2
i
Х2Х1
-1
2-
(все суммирования ведутся по / = 1, 2,... , п). Замечая, что
элементами матрицы (Х'Х) являются скалярные произведения
векторов-столбцов матрицы X друг на друга и самих на себя и
что элементами вектора Х'у являются скалярные произведения
вектора у на каждый из векторов х, легко обобщить этот при-
пример на случай произвольного числа компонент.
Пример 19.3
Пусть в примере 19.2 Х\ — 1, где 1 обозначает вектор, все
компоненты которого равны единице. Тогда
-1
л __
v л
Обращение первой матрицы дает
.2-
2*1 -2
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
113
Умножая полученное выражение на
Над]'
получаем
6 =
2*22^-2*2.
или
01 =¦
{«2*1-B*2J} 1-2**2г/ + «2**/
ьзм«i-^Il'ay д _«2*2У-2*22^
«2*1-B*2J
Упрощая, имеем
«2*1-B*2J
откуда
Ql=y — Q2x2.
Мы видим, что 62 имеет в точности такой же вид, как Q в при-
примере 19.1, с той лишь разницей, что отклонения от начала коор-
координат заменяются отклонениями от средних. Вообще такой эф-
эффект наблюдается всегда, когда вводится новый параметр, ко-
которому соответствует вектор х, состоящий из единиц (см. уп-
упражнение 19.1).
19.5 Мы можем теперь доказать несмещенность НК-оценок
A9.12). Используя A9.8), можно переписать A9.12) в виде
Х'г.
A9.13)
Поскольку матрица X постоянна, мы получаем в силу A9.9)
требуемый результат:
М(в) = е. A9.14)
Матрица рассеяния 8
после подстановки в нее A9.13) принимает вид
V (Ь) = М {[(Х'Х)'1 Х'г] [(Х'Х)~1 Х'г]} =
= (Х'ХУ1 Х'М(гг/)Х(Х'ХГ\ A9.15)
откуда, учитывая A9.10), получаем
V(b) = ^(X'X)~\ A9.16)
A9.12) и A9.16) показывают, что как вычисление НК-оценки,
так и вычисление ее матрицы рассеяния существенно зависят
114
ГЛАВА 19
от обращения матрицы (Х'Х). В простых случаях (см. пример
19.3) обратная матрица может быть получена алгебраическим
путем. Однако в более сложных случаях приходится применять
численные методы, подобные описанным Л. Фоксом A950) и
Л. Фоксом и Хейесом A951).
Пример 19.4
Дисперсия 6 в примере 19.1 согласно A9.16) равна
Пример 19.5
В примере 19.2 имеем
Х\Х
\Х2
2-
-1
Х2 ~
Х1Х
1Х<2
откуда согласно A9.16)
D(8i)= fv, , -ci ..2
2*5 »-
г2 V v2
Для получения D (вг) надо в последнем выражении поменять
местами индексы 1 и 2. Ковариация равна
она обращается в нуль в том и только в том случае, когда
= 0.
Пример 19.6
В примере 19.3 мы нашли, что
г'
откуда согласно A9.16)
COV F„ 63) =
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
115
Как и следовало ожидать, D (бг) равна D (б) в при-
примере 19.4 с заменой отклонений от начала отсчета на откло-
отклонения от среднего в знаменателе. 6i и 62 некоррелированы в
том и только в том случае, когда Jc2 = 0.
Свойства оптимальности
19.6 Теперь мы покажем, что несмещенные линейные МД-
оценки для любой системы линейных функций от параметров
бг даются методом НК*). Красивое доказательство этого факта
имеется в работе Плэкетта A949), посвященной истокам тео-
теории НК и вскрывающей основополагающую роль результатов
Гаусса в этой области.
Пусть t — любой вектор оценок, линейных относительно на-
наблюдений у, т. е. имеющий вид
t = Ty. A9.17)
Мы гребуем, чтобы оценка t была несмещенной для некоторой
системы линейных функций от параметров, скажем С6, т. е.
M(f) =: М (Ту) = С0 (С—известная матрица коэффициентов),
что ввиду A9.8) дает
М{Г(хе + е)} = ее. A9.18)
Отсюда, используя A9.9) и учитывая, что A9.18) должно вы-
выполняться при всех 6, получаем
ТХ = С. A9.19)
(9.19) является необходимым и достаточным условием того,
чтобы оценка Ту была несмещенной для Св.
Поскольку ввиду A9.17), A9.8) и A9.19) t — CQ = Те, то
матрицу рассеяния
V (t) = М {(* - СО) (t ~ Св)'}, A9.20)
учитывая A9.10), можно записать в виде
V (t) = М (Гее'Г) = о2ТГ. A9.21)
Нам надо минимизировать диагональные элементы в A9.21),
являющиеся дисперсиями нашей системы оценок.
Имеет место тождество
тг =. {с (Х'хг1 х'} [с (х'хг1 х'У +
+ {Т — С(Х'Х)*1 Х'}{Т — С(Х'ХГ1Х'}', A9.22)
которое легко проверить, производя умножение в правой части,
являющейся суммой двух слагаемых вида АА''. Каждое из этих
*) Барнард A963) приводит и другие свойства оптимальности мето-
метода НК.
116
ГЛАВА 19
двух слагаемых имеет, следовательно, неотрицательные диаго-
диагональные элементы. Однако только второе слагаемое в правой
части A9.22) зависит от Г. Поэтому диагональные элементы
суммы будут минимальными, когда диагональные элементы вто-
второго слагаемого будут равны нулю. Это будет иметь место, если
выполнено соотношение
• = c(x/xr1xf.
A9.23)
Таким образом, в силу A9.17) и A9.23) несмещенный вектор
МД-оценок для С8 дается выражением
t = C{X'X)~l X'y, A9.24)
которое получается просто заменой 0 на его НК-оценку
A9.12), т. е.
* = С§. A9.25)
В силу A9.21) и A9.23) матрица рассеяния этой оценки равна
V(t) = o2C{X'X)~l С A9.26)
Если С = I (единичная матрица), т. е. оценивается сам вектор
8, то A9.24) и A9.26) сводятся соответственно к A9.12) и
A9.16).
НК-оценки являются несмещенными МД-оценками в линей-
линейной модели в классе линейных функций от у, но могут не об-
обладать этим свойством, если в качестве оценок допускаются
также и нелинейные функции от у. Это зависит от распределе-
распределения 8г- Если последние распределены нормально (и, следова-
следовательно, независимы), то НК-оценки сохраняют свое свойство и
в классе всех оценок, поскольку они являются функциями от
минимальной системы из k -f- 1 достаточных статистик @, s2)
для k + 1 параметра (см. 17.39). Андерсон A962) показал, что
если рассматриваются все возможные распределения е*, то
НК-оценки очень редко являются МД-оценками в классе всех
оценок.
19.7 Поучительно, следуя Дёрбину и Кендаллу A951), рас-
рассмотреть геометрический подход к свойству МД. Здесь будет
рассмотрен лишь простейший случай, когда оценивается один
параметр 8 по выборке из п наблюдений с одинаковыми сред-
средними Э и дисперсиями а2. В этом случае у} = О + 8j, / = 1,2,...
.. ., п, что представляет собой равенство A9.8), в котором
k = 1, а X — вектор-столбец размерности п, состоящий из «ди-
ниц. Рассматриваются линейные оценки вида
* = 2с/У/ A9.27)
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
117
(простейший частный случай формы A9.17)). Условие несме-
несмещенности A9.19) здесь имеет вид
Sc/=1. A9.28)
Рассмотрим n-мерное евклидово пространство, в котором каж-
каждому Cj соответствует одна координата. Мы назовем это про-
пространство пространством оценок. A9.28) является уравнением
гиперплоскости в этом пространстве. Каждая точка Р этой гипер-
гиперплоскости однозначно соответствует некоторой несмещенной
оценке. Поскольку t/j некоррелированы, из A9.27) получаем
Dt = o2'2ic2, A9.29)
т. е. дисперсия t равна аЮР2, где О — начало координат про-
пространства оценок. Отсюда сразу следует, что t имеет МД, когда
Р есть основание перпендикуляра к гиперплоскости, проведен'
ного из, О. Из соображений симметрии тогда все с$ равны \]п
и /есть выборочное среднее у.
Рассмотрим теперь обычное n-мерное выборочное простран-
пространство, в котором каждому г/j соответствует одна координата. Би-
Билинейная форма A9.27) устанавливает двойственность между
этим пространством и пространством оценок. При любом фик-
фиксированном t точке в одном пространстве соответствует гипер-
гиперплоскость в другом, тогда как при переменном t точке в одном
пространстве соответствует семейство параллельных гипер-
гиперплоскостей в другом. Гиперплоскости A9.28) в пространстве
оценок отвечает точка (t,t, ..., t) в выборочном пространстве,
лежащая на векторе с равными компонентами. Если выходящий
из начала вектор ортогонален гиперплоскости в одном про-
пространстве, то соответствующие гиперплоскости и вектор ортого-
ортогональны в другом пространстве.
Из сказанного вытекает, что несмещенная МД-оценка дается
в выборочном пространстве гиперплоскостью, ортогональной к
вектору с равными компонентами в точке L=(y,y, ..., у).
Если Q — выборочная точка, то мы опускаем перпендикуляр из
Q на вектор с равными компонентами, чтобы найти L, т. е. мини-
минимизируем QL2 = 2 (yj — tJ. Тем самым мы минимизируем сум-
му квадратов в выборочном пространстве и, следовательно, ми-
минимизируем дисперсию (другую сумму квадратов) в простран-
пространстве оценок в силу двойственности, установленной между ними.
Крускал A961) развивает полностью геометрический подход к теории
НК.
19.8 Из результата, полученного в 19.6, сразу следует, что
НК-оценка в минимизирует значение обобщенной дисперсии
118
ГЛАВ Л 19
линейных оценок для в. Это утверждение, принадлежащее Эйт-
кину A948), справедливо при любом объеме выборки, в отличие
от эквивалентного асимптотического результата, доказанного в
18.28 для МП-оценок. Мы приводим здесь доказательство этого
факта, принадлежащее Даниэлсу A951, 1952).
Результат пункта 19.6 в случае оценивания одной линейной
функции с'9, где с'— вектор-строка размерности 1 Х^. состоит
в том, что
D(C0)<D(c'a), A9.30)
где в—НК-оценка, а и — любая другая линейная оценка для
0. Можно переписать A9.30) в виде
c'Vc^c'Dc, A9.31)
где V обозначает матрицу рассеяния 0, а D — матрицу рассея-
рассеяния и.
Совершая действительное невырожденное преобразование
с = АЬ, A9.32)
одновременно приводящее V и D к диагональному виду, можно
переписать A9.31) в виде
Ь' (A'VA) Ъ < V (A' DA) Ь,
A9.33)
где матрицы в скобках диагональны. Выбирая затем соответ-
соответствующим образом Ь, легко заметить, что ни один из элементов
{A'VA) не может быть больше, чем соответствующий элемент
(A'DA). Таким образом,
т. е.
или
\A'i\V\\A\*Z\A'l\D\\A\,
A9.34)
что и требовалось доказать.
Оценивание дисперсии
19.9 Результат пункта 19.6 является первой частью утверж-
утверждения, обычно называемого теоремой Гаусса о наименьших
квадратах. Вторая часть теоремы относится к оцениванию дис-
дисперсии по наблюдениям.
Рассмотрим «остатки»
у - XQ = [XQ + г] - X [(Х'ХГ1 X' (XQ + г)], A9.35)
ОЦЕНИВАНИЕ- МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
119
полученные при оценивании по методу НК A9.8) и A9.12),
Члены с 0 взаимно уничтожаются, и мы получаем
= {1п-Х(Х'ХГ1Х'}г,
A9.36)
где /„ — единичная матрица порядка п.
Матрица в фигурных скобках в правой части A9.36) сим-
симметрична и идемпотентна, что легко проверить транспонирова-
транспонированием и возведением ее в квадрат. Сумма квадратов остатков
равна
(у - XQ)'(y - *8) = «'(/„ - X {Х'ХГ1 X'} г. A9.37)
Далее,
i " 1Ф1
Таким образом, ввиду A9.10)
М(г'Ве) = оЧтВ. A9.38)
Используя A9.38), мы получаем из A9.37) . .
М {{у - ХЪ)' (у - ХЩ} = a2 tr {/„ - X (Х'ХГ1 X'} =
= o2[trIn-tt[X(X'Xrl Х% A9.39)
Меняя порядок матриц Х(Х'Х)'1 и X' под знаком оператора
следа и превращая тем самым произведение из матрицы
(п X л) в матрицу (ky^k), мы можем записать правую часть
A9.39) в виде
a2(tr Ia-\rX'-X(Х'ХГ'} =
-tr7*>>
откуда
М {{у - ХЩ' (у - ХЩ = аЦп- к).
A9.40)
Таким образом, несмещенная оценка для а2 согласно A9.40)
дается формулой
iP, A9.41)
т. е. равна сумме квадратов остатков, деленной на число на-
наблюдений минус число оцениваемых параметров.
Полученный результат позволяет строить несмещенные
оценки для матриц рассеяния A9.16) и A9.26), подставляя в
эти выражения вместо а2 статистику s2, определенную форму-
формулой (.19.41).
120
ГЛАВА 19
Пример 19.7
Несмещенная оценка для а2 в примерах 19.1 и 19.4 согласно
A9.41) имеет вид
Следовательно, несмещенной оценкой для D (б) будет
Пример 19.8
Несмещенная оценка для а2 в примерах 19.2 и 19.5 согласно
A9.41) равна
где
|=
ej {2*?2*i-B*,*2)?}
2
-2
*1 -
V *-2
2*!
2*1^-2*1*2
что сводится к случаю, рассмотренному в примерах 19.3 и 19.6,
если положить xtj == 1.
Предположение нормальности
19.10 До сих пор мы не делали никаких предположений от-
относительно распределений ошибок е,, кроме условий A9.9) и
A9.10), касающихся первых и вторых моментов. Замечательно,
что нам не понадобилось никаких предположений о виде распре-
распределений ошибок: мы получили несмещенные оценки параметров
и несмещенные оценки выборочных дисперсий и ковариаций
этих оценок без предположений о распределениях ошибок. Од-
Однако при проверке гипотез относительно параметров такие пред-
предположения необходимы. Вопросы проверки гипотез в линейной
модели будут рассмотрены в главе 24. Сейчас мы подчеркнем
лишь наиболее важные аспекты возникающей здесь ситуации.
19.11 Если предположить, что е* распределены нормально,
то из их некоррелированности будет следовать их независи-
независимость (см. 15.3), и тогда можно будет использовать утвержде-
утверждение пункта 15.11 о том, что идемпотентная квадратичная форма
от независимых нормированных нормальных вариант имеет
^-распределение с числом степеней свободы, равным рангу
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
121
квадратичной формы. Применяя этот результат к сумме квад-
квадратов остатков A9.37), получим (в обозначениях A9.41)), что
(п — k)s2/a2 имеет х2-распределение с п — k степенями свободы.
Далее, имеем тождество
у'у
- ХЩ' (у - ХЩ + (ХЩ'(ХЩ,
A9.42)
которое легко проверить, используя A9.12). Второе слагаемое
в правой части A9.42) можно представить в виде
| = у'Х (Х'ХГ Х'у = (г' + е'ЛГ) X (Х'Х)-1 X' (Х8 + в).
A9.43)
Из A9.43) следует, что если 8 = 0, то
Q'X'XQ = г'Х (Х'Х
A9.44)
и тогда A9.42) можно переписать, используя A9.37) и A9.44),
следующим образом:
г'г = в' {/„ - X (Х'Х)~Х X') г + г'{Х (Х'Х)-Х X') г. A9.45)
В 19.9 было показано, что ранг первой матрицы в фигурных
скобках в правой части A9.45) равен п — k; там же было ус-
установлено, что ранг второй матрицы в фигурных скобках в
A9.45) равен k. Таким образом, ранги в правой части дают в
сумме п, ранг левой части, и, следовательно, применима тео-
теорема Кокрэна A5.16), согласно которой две квадратичные
формы в правой части A9.54) независимы и имеют распределе-
распределения (после деления на а2 в каждом случае) %2 с п — k и k сте-
степенями свободы.
19.12 Отметим, что величина (у — ХЩ' (у— XQ) в 19.11 рас-
распределена по закону х2 при любом истинном значении 0, тогда
как второе слагаемое (ХЩ'(ХЩ в A9.42) имеет распределение
X2 только при 0=0. В любом случае из A9.43), учитывая
A9.9), получаем
М {(ХЪу (ХЩ} = М {г'Х (Х'ХГ1 Х'г} + Q'X'XQ. A9.46)
В 19.9 было показано, что первое слагаемое в правой части
равно ka2. Следовательно,
М {(ХЩ' (ХЩ = ко2 + (ХЩ' (ХЩ, A9.47)
что превосходит каг, если только не выполнено равенство XQ =
= 0, которое возможно лишь при 0 = 0, за исключением неко-
некоторых, специальных значений X. Таким образом, интуитивно
122
ГЛАВА 19
разумно использовать отношение (XQ)' (XQ)/(ks2) (где стати-
статистика s2, определенная формулой A9.41), всегда имеет матема-
математическое ожидание сг2) для проверки гипотезы 0 = 0. Мы вер-
вернемся к более строгому обоснованию этой и подобных процедур
в главе 24.
Случай вырождения
19.13 В 19.4 мы предполагали, что Х'Х невырождена, так что
A9.12) имело смысл. Предполагалось также, что п > k, так
что имело смысл A9.41). Если п = k, то A9.12) остается в силе,
если существует (Х'Х)'1-, но формула A9.41) становится беспо-
бесполезной, поскольку сумма квадратов остатков, как показывает
A9.37), тождественно обращается в нуль. Если п < k, то ранг
X (и ранг Х'Х, равный рангу Х\ меньше k, так что матрица
Х'Х не имеет обратной.
Пусть теперь X имеет ранг г < k, и пусть п ^ k. В этом
случае задачу оценивания по методу НК приходится решать
заново, так как Х'Х не имеет обратной матрицы, и поэтому
A9.12) недействительно. Далее мы следуем Плэкетту A950).
Условие A9.19) по-прежнему остается необходимым и до-
достаточным условием того, чтобы оценка Ту была несмещенной
для Св. В вырожденном случае оно, однако, не может быть вы1
полнено, если мы хотим оценить сам вектор 8, поскольку тогда
A9.19) принимает вид
ТХ = 1. A9.48)
Действительно, вспоминая, что матрица X имеет ранг г, произ-
произведем разбиение ее на блоки:
'*"' *'•*-' ). A9.49)
где индексы указывают число строк и столбцов в блоке. Не те-
теряя общности, можно предположить, что Xr< r невырождена и,
следовательно, имеет обратную матрицу Х7\. Так как последние
п — г строк матрицы X линейно зависят от первых г строк, то
Хп^т;г = СХГ\ г и Хп-.Т) h-r = CXr> fe_r для некоторой (п — г) X г-
матрицы С. Определим теперь новую матрицу порядка
-I
k-r
A9.50)
где lk-r—единичная матрица порядка k — г. Очевидно, что
ранг D равен k — г. Вычисляя произведение' XD, мы видим",
что
= 0. A9.51)
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
123
Умножая затем A9.48) справа на D, в силу A9.51) получаем
D = TXD = 0. A9.52)
Последнее равенство противоречит тому факту, что ранг D ра-
равен k — г. Следовательно, A9.48) не может выполняться.
19.14 Чтобы справиться с возникшей трудностью, мы введем
систему линейных ограничений
с = В0, A9.53)
где с—вектор констант размерности (k—г) и В — матрица по-
порядка (k — г)Х^ ранга (k — г). Мы будем искать оценку
вида / = Ly -(- Nc. Условие A9.48) теперь принимает вид
/ = LX + NB.
A9.54)
Чтобы избежать противоречия, подобного полученному в
A9.52), предположим выполненным следующее условие невы-
невырожденности: '
| BD |=5*0. A9.55)
19.15 Теперь мы можем приступить к нахождению решения
по методу НК. Матрица В ранга (k — г) устраняет неполноту
ранга матрицы X. Фактически мы оперируем с с, как с век-
вектором вспомогательных случайных величин, и решаем совме-
совместно A9.8) и A9.53) для модифицированной модели
A9.56)
Матрица ( „I [BJ = XX"-\- В'В положительно определена, так
как ненулевой вектор d обращает d'X'Xd = (Xd)' Xd в нуль
только тогда, когда Xd = 0, откуда следует, что d является
столбцом D. Но тогда A9.55) дает Bd ф 0, так что d'B'Bd > 0.
Таким образом,' X'X + В'В строго положительно определена и
поэтому может быть обращена.
A9.56) приводит к решению
(Х'у + В'с),
A9.57)
аналогичному A9.12) и являющемуся, как и прежде, несмещен-
несмещенной линейной МД-оценкой для 0 . Матрица рассеяния этой
оценки ввиду того, что с не является случайной величиной,
имеет вид
V (§) = аЦХ'Х + В'ВГ1Х'Х (Х'Х + В'В)~\ A9.58)
Матрица В в A9.53) есть произвольная матрица, удовлетворяю-
удовлетворяющая A9.55). В самом деле, если мы заменим В на UB, где U —
124
ГЛАВА 19
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
125
любая невырожденная матрица порядка (k — r)"X(k — г), то
значения A9.57) и A9.58) не изменятся. Поэтому в каждом
частном случае можно выбирать В из условий удобства вычис-
вычислений.
19.16 Упражнение 19.8 показывает, что ст2 несмещенно оце-
оценивается суммой квадратов остатков, деленной на (п — г),
если п> г.
Чипмэн A964) подробно рассматривает теорию НК в слу-
случае вырождения. См. также Т. Льюис и Оделл A966).
Пример 19.9
В качестве простого примера вырождения предположим, что
9=
в,
1
1
1
1
1
0
1
0
0
1
0
1
Здесь п = 4 и k = 3. Матрица X имеет ранг 2
нейной зависимости между ее столбцами:
k в силу ли-
х, — х2 — хя =
Прежде всего мы видим, что, как было установлено в 19.13, век-
вектор 8 не может быть оценен несмещенно.
Матрица A9.50) порядка 3x1, выражающая линейную за-
зависимость, имеет вид
Введем теперь матрицу порядка 1 X 3
В = A 0 0),
которая удовлетворяет A9.55), поскольку BD = 1 (в рассмат-
рассматриваемом случае одного линейного соотношения это скаляр).
Следовательно, A9.53) имеет вид
с = A о о) в, =е, .
(снова скаляр). Согласно A9.57) НК-оценка равна
«, w
ВзУ
h
Vo
1
0
1
1
1
0
1
0
I
1
1
1
1
I
0
1
0
0
1
0
1
о | A о 0)
о.
X
X
Поскольку мы выбрали В так, что с = 9i, то мы не можем по-
получить ничего лучшего для оценки самого 0. Однако в силу
A9.9) любая система линейных функций СО несмещенно оце-
оценивается статистикой Ту, если ТХ = С. В данном случае не-
/1 1 о\
смещенно оцениваются @1 + Э2) и (Qi + Э3), так какС = I} Q J
/1/2 0 1/2 о \
удовлетворяет A9.19) при Г = 1 0 ]/2 0 ]/2j- Оценками
для @1 + 0г) и @i + 63) служат, следовательно, A/2) (г/, + у3) и
( )
Из A9.58) получаем
/l-l-l
V (9) = a2 - 1 3/2 l
V — 1 1 3/2
4
2
2
2 2ч ,
0 2/'
I
— 1
.— 1
— 1
3/2
1
I
1
— 1 \
3/2/
/00
a i/2
\ 0 0
0
0
1/2 •¦
так что
D
02) = DQ2 =
= D03 = о2/2,
что, впрочем, непосредственно следует из того факта, что каж-
каждая из оценок равна среднему двух наблюдений с дисперсией
а2. Кроме того,
cov@, + G2, е, + е3) = 0.
Это полезное свойство следует из ортогональности второго и
третьего столбцов X. При обсуждении приложений теории НК к
дисперсионному анализу в 3-м томе мы снова вернемся к этой
теме.
1.26
ГЛАВА 19
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
127
Более общая линейная модель
19.17 В развитой нами теории НК всюду предполагалось,
что выполнено A9.10), т. е. что ошибки некоррелированы и
имеют постоянную дисперсию. Не представляет труда обоб-
обобщить эту линейную модель на более общий случай, когда мат-
матрица рассеяния ошибок равна ct2V, где V невырождена. В этом
случае (подробное рассмотрение предоставляется читателю —
см. упражнения 19.2 и 19.5) мы получаем, что A9.24) перехо-
переходит в
t = C{XfV~lX)~i X'V~xy A9.59)
и что A9.59) дает линейную несмещенную МД-оценку для СВ.
Кроме того, A9.26) принимает вид
(I) —— СТ It \Л. V Л.) %j . ^ly.OUJ
В частности, если V диагональна, но не равна /, т. е. е* некорре-
некоррелированы, но имеют различные дисперсии, то требуемая система
оценок дается формулой A9.59).
Конечно, чтобы использовать эти уравнения, мы должны
знать V. На практике, однако, V часто неизвестно, что делает
задачу оценивания гораздо более трудной.
Порядковые оценки наименьших квадратов
для параметров расположения и масштаба
19.18 Одной из ситуаций, в которой A9.59) и A9.60) ока-
оказываются полезными, является оценивание параметров распо-
расположения и масштаба, исходя из порядковых статистик, т. е. вы-
выборочных наблюдений, упорядоченных по величине. Излагаемые
ниже результаты принадлежат Ллойду A952) и Даунтону
A953).
Как и раньше (см. 14.1), yw, г/B), ..., У(П) обозначают по-
порядковые статистики, [л и ст, как обычно, — параметры распо-
расположения и масштаба, подлежащие оцениванию (ц и ст не обяза-
обязательно являются средним значением и стандартным отклоне-
отклонением распределения). Введем также обозначение
•г(Г) = (У(г) — МОЛ*. '"=!. 2, .... п. A9.61)
Пусть
M(z) = a, V(z) = V, A9.62)
где z — вектор-столбец размерности п с компонентами 2(г). По-
Поскольку z нормировано соотношением A9.61), то а и V не за-
зависят ОТ [Л И СТ.
Далее, из A9.61) и A9.62) получаем
М(у) = ц1 + са, A9.63)
где у— вектор с компонентами г/(Г> и 1 — вектор из единиц, и
кроме того,
V(y) = o2V.. A9.64)
Мы можем теперь, применяя A9.59) и A9.60),найти НК-оценки
для цист. Получаем
= {(l!a)'V-1 A!«)}-'(! ja/V-'
A9,65)
A9.66)
Далее,
1
A9.67)
где
д = Kl'V-lXa'V-'a) - (lV-'aJ}. A9.68)
Из A9.65) и A9.67) находим выражения для оценок ц и а%
и. = — aV~'(lci' — a\')V~ly/&, )
, \, , /ч . f A9.69)
а из A9.66) и A9.67) —дисперсии и ковариацию этих оценок!
Djx = ctVv~Va, Dct = ct2iV1/A,
coV (ji, б) = - aYv-'a/Д.
A9.70)
19.19 Поскольку V и V положительно определены, то
можно написать
A9.71)
так что для произвольного вектора Ь имеем
где h{ есть t-й элемент вектора Т'Ь.
Аналогично для вектора с получаем
128
ГЛАВА 19
где ki есть t-й элемент Т~1с. Пользуясь неравенством Коши, на-
находим
2 й 2 к\ = ь'уь • c'v-'c > (S h^Y = {(т'ь)' (г-'с)}2 = (&'сJ.
A9.72)
Полагая в A9.72)
ft = (V~1 —/I, с = а, A9.73)
получаем неравенство
V{V-1 - fiviV-1 -1I ¦ a'V-la^{l'(V~l - 1)а}\ A9.74)
Поскольку, как нетрудно проверить*),
n=l'l = l'Vl, l'a = 0, A9.75)
то A9.74) переписывается в виде
откуда, используя A9.70) и A9.68) и считая теперь а2 диспер-
дисперсией, получаем
DA<a2/rt=Dy. A9.76)
Соотношение A9.76) довольно очевидно: выборочное среднее у,
будучи линейной оценкой, не может иметь дисперсию меньшую,
чем МД-оценка jx. Приведенное выше доказательство, однако,
позволяет нам определить условия, при которых A9.76) пре-
превращается в равенство. Это происходит, когда неравенство
Коши A9.72) становится равенством, т. е. когда /и = Kki для
некоторого постоянного К, или
Вследствие A9.73) это условие записывается в виде
Г'(У1 — /I=ЛГ~1а
или
X — /)l=A,a.
A9.77)
Отсюда, используя A9.71), получаем окончательно следующее
условие выполнения равенства Dp. = Dy = o2ln:
(/ —УI-=Яа. A9.78)
Если A9.78) выполнено, то в силу единственности решения
уравнений метода НК получим
(х=?, A9.79)
что можно проверить, применяя A9.78) к jx в A9.69).
*) Равенство A9.75) получается в предположении, что ц и а2 — среднее
и дисперсия исходного распределения. {Прим. ред.)
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
129
19.20 В случае симметричного исходного распределения си-
ситуация упрощается, так как компоненты вектора математиче-
математических ожиданий
' "'- ч ч 'а,
а =
lM(z{n))J
удовлетворяют условию *)
о, = — <*„+,_, (Для всех 0,
непосредственно вытекающему из A4.2). Следовательно,
и A9.69) принимает вид
а A9.70) упрощается следующим образом:
A9-80>
A9-81)
A9.82)
A9.83)
cov (p., a) = 0.
Таким образом, порядковые НК-оценки р и д некоррелированы,
если исходное распределение симметрично, — результат, анало-
аналогичный полученному в 18.34 для МП-оценок.
Пример 19.10
Оценить средину размаха (или среднее) [х и размах а пря-
прямоугольного распределения
dF{x)=-~, ц — -^0<х<ц+ j-a.
Производя нормировку A9.61) и учитывая A4.2), легко пока-
показать, что
«=МB,Л=—W — ~ • A9.84)
и что элементы матрицы рассеяния V величин 2(г) равны
A9.85)
*) Предполагается, что jx — среднее значение исходного распределения.
(Прим. ред.)
5 М. Кендалл, А. Стьюарт
130
ГЛАВА 19
Обратная матрица для V имеет вид
2 —1
— 1
• -1
— 1 • 2
A9.86)
откуда получаем
и, учитывая A9.84),
о
о
1
—1
о
о
A9.87)
A9.88)
В силу A9.87) и A9.88) формулы A9.82) и A9.83) дают
^ - 1),
= 2o2/{(n-l)(n+2)}, A9.89)
cov(jx, a) = 0.
За исключением поправки на смещение для б, результаты сов-
совпадают с теми, которые были получены в примере 18.12 мето-
методом МП. Этого, однако, следовало ожидать, так как ут и у(п)
образуют пару совместно достаточных статистик для ц, и а (при-
(пример 17.21).
19.21 Из примера 19.10 видно, что для использования тео-
теории, развитой в 19.18—20, мы должны определить матрицу рас-
рассеяния V нормированных порядковых статистик, зависящую от
вида исходного распределения. Это является полной противо-
противоположностью теории НК, рассмотренной ранее в этой главе, в
ОЦЕНИВАНИЕ; МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
131
которой не предполагается знания вида исходного распределения.
В главе 32 мы возвратимся к рассмотрению свойств порядко-
порядковых статистик, используемых для оценивания параметров.
Общая теория НК, развитая в этой главе, играет основную
роль во многих разделах статистической теории, и мы будем не-
неоднократно использовать полученные результаты в последую-
последующих главах.
Другие методы оценивания
19.22 В предыдущей главе мы видели, что, кроме того факта,
что МП-оценки являются функциями от достаточных статистик
для оцениваемых параметров, все остальные свойства этих оце-
оценок носят асимптотический характер, именно:
(I) состоятельность;
(II) асимптотическая нормальность;
(III) несмещенность.
Очевидно, МП-оценка Э не может быть единственной оцен-
оценкой, обладающей этими свойствами. Например, добавление к
0 произвольной константы с/пг не изменяет ее свойств первого
порядка, если г достаточно велико. Поэтому естественно вслед
за Нейманом A949) исследовать класс оценок, обладающих
теми же асимптотическими свойствами, что и 0. Дополнитель-
Дополнительным стимулом к такому исследованию является еще то, что
иногда нахождение МП-оценок связано с большими вычисли-
вычислительными трудностями (см. примеры 18.3, 18.9, 18.10).
19.23 Предположим, что имеется s (^ 1) выборок с щ на-
наблюдениями в t-й выборке. Как и в 18.19, упростим задачу,
предполагая, что каждое наблюдение в t-й выборке относится
к одному из k{ взаимно исключающих классов. Если я^ обозна-
обозначает вероятность попадания в /-й класс наблюдения из t-й вы-
выборки, то
A9.90)
yi |
/=1
и задача сводится к рассмотрению системы из s мультиномиаль-
мультиномиальных распределений. Пусть n,j — число наблюдений из /-Й вы-
выборки, попавших в /-й класс, и рц = Пц\пх — соответствующая
относительная частота. Вероятности лц являются функциями от
неизвестных параметров @4,.. ., 0Г).
Функция Т от случайных величин называется наилучшей
асимптотически нормальной оценкой (сокращенно: НАН-оцен-
хой) для одного из неизвестных параметров 0i, если
(I) Т({рц}) состоятельна для 0ь
s
(II) Т асимптотически нормальна при ^=2^-*°°;
132
ГЛАВА 19
(III) T эффективна;
(IV) dT/dpij существует и непрерывна по рц для всех i, j.
Первые три условия в точности совпадают с теми, которые
мы уже доказали для МП-оценок в главе 18. Легко проверить,
что в рассматриваемой мультиномиальной ситуации для МП-
оценок выполнено также четвертое свойство. Таким образом,
класс НАН-оценок содержит МП-оценку как частный случай.
19.24 Нейманом было показано, что следующие три условия
являются необходимыми и достаточными для того, чтобы не-
некоторая оценка была НАН:
(I) Т({пц}) в 9i;
(II) выполнено условие (IV) пункта 19.23;
k
s i
(III) V — V
пц обращается в минимум по
дТ/дрц.
Условие (I) достаточно для состоятельности, и, вообще го-
говоря, оно является более сильным условием, чем состоятель-
состоятельность*). В нашем случае, поскольку статистика Т есть непре-
непрерывная функция от pij, a pij сходятся по вероятности к пц, Т
сходится по вероятности к Т({пц}), т. е. к 9i.
Условие (III) есть просто условие эффективности, так как
подлежащая минимизации функция является дисперсией Г, к
которой применено необходимое условие минимума
дТ
В том виде, как они здесь сформулированы, эти три условия не
имеют большой ценности. Однако Нейман показал, что можно
получить достаточную систему условий, если заменить (III) ус-
условием непосредственно на dT/dpij, которое мы здесь не при-
приводим. Из этих условий он выводит, что
(а) МП-оценка является НАН-оценкой, что мы уже ви-
видели;
(б) оценки, полученные по так называемому методу мини-
минимума хи-квадрат, также являются НАН-оценками.
Теперь мы приступаем к изучению этого второго класса оце-
оценок.
Оценивание по методу минимума хи-квадрат
19.25 Возвращаясь к ситуации, рассмотренной в 19.23, на-
назовем статистику Т оценкой по методу минимума хи-квадрат
*) В действительности первоначально определение состоятельности было
дано Фишером A921а) именно в форме A),
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
133
(МХК-оценкой), если она получена минимизацией по 9i выра-
выражения
к,
2
п.,
n, \Z*i n
u
, A9.91)
где пц— функции от 9Ь . . , 9Г. Минимизация A9.91) приводит
к уравнению
Корень A9.92), рассматриваемого как уравнение относительно
9i, будет МХК-оценкой для 9i. Очевидно, можно, обобщая
A9.92), получить систему из г уравнений, которые надо решить
совместно, чтобы найти МХК-оценки для 9ь . . ., 9Г.
Процедура нахождения МХК-оценок совершенно аналогична
процедуре нахождения МП-оценок, рассмотренной в главе 18.
Более того, (асимптотические) свойства МХК- и МП-оценок
очень похожи. Действительно, с вероятностью 1 имеется един-
единственный состоятельный корень уравнений МХК и этот корень
соответствует абсолютному минимуму (нижней грани) A9.91).
Для простейшего случая s = 1 доказательство этого факта
дано С. Р. Рао A957).
19.26 Видоизмененная форма МХК-оценок получается, если
минимизировать
вместо A9.91). В A9.93) предполагается, что Pij не обра-
обращаются в нуль. Чтобы минимизировать A9.93), надо решить от-
относительно 9i уравнение
Такая модификация МХК-оценок, как показал Нейман A949),
также является НАН-оценкой.
19.27 Поскольку методы МП, МХК и видоизмененный ме-
метод МХК имеют одинаковые асимптотические свойства, то при
выборе между ними в любом конкретном случае надо исходить
либо из удобства вычислений, либо из выборочных свойств при
малых выборках, либо из того и другого. Что касается вычис-
вычислительных удобств, то в общем случае об этом можно сказать
немногое. Иногда труднее решать уравнения МП, а иногда —
134
ГЛАВА 19
уравнения МХК. Но если мы имеем дело с непрерывным рас-
распределением, то для применения метода МХК необходимо
сгруппировать наблюдения. Кажется, однако, нежелательным
производить группировку, нужную лишь для оценивания и бес-
бесполезную в других отношениях. Кроме того, иногда трудно, осо-
особенно в случае непрерывных распределений, выразить пц в тер-
терминах оцениваемых параметров. Наше мнение, следовательно,
состоит в том, что имеющая в настоящее время место тенденция
к оцениванию по методу МП в достаточно широком классе
случаев оправдана с точки зрения вычислений. Следующий при-
пример иллюстрирует вычислительную процедуру метода МХК в
относительно простом случае. *
Пример 19.11
Рассмотрим оценивание параметра Э распределения Пуас-
Пуассона по одной выборке из п наблюдений. Мы знаем (примеры
17.8, 17.15), что выборочное среднее х есть достаточная МГД-
оценка для 9, а из 18.5 следует, что х есть также МП-оценка.
МХК-оценка для 9, однако, не равна х, что иллюстрирует тот
факт, что метод МХК не обязательно приводит к одномерной
достаточной статистике, если последняя существует.
Теоретические вероятности в данном случае равны
/ = 0, 1, 2,
откуда
dQ
Уравнения минимизации A9.92) можно, следовательно, опуская
множитель 1/п, записать в виде
e
A9.95)
Для решения этого уравнения относительно Э мы используем
итерационный метод, подобный тому, который был использован
для нахождения МП-оценки в 18.21. Разложим _ левую часть
A9.95) в ряд Тейлора, как функцию от Э в точке х (выборочное
среднее), рассматриваемой как начальное значение. С точ-
точностью до первого порядка получаем
-«S^+(<4ft
1 A9,96)
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
135
где использовано обозначение nij = е~яхЦ\\
A9.96) к нулю и учитывая A9.95), находим
(в — X) = X
!¦?<<-">
S5--
Приравнивая
A9.97)
Используя A9.97), мы получаем улучшенное значение 0 и затем
повторяем этот процесс столько раз, сколько нужно.
В качестве численного примера мы используем данные
Уайтекера A914) о числе смертей женщин в возрасте старше
85 лет. Эти данные составлены из ежедневных сообщений га-
газеты «Тайме» в 1910—1912 гг. и охватывают период в 1096 дней.
Соответствующее распределение приведено в первых двух
столбцах таблицы. Среднее число смертей равно х =
¦== 1295/1096 = 1,181569. Это и есть значение МП-оценки, кото-
которое мы возьмем в качестве начального приближения для МХК-
оценки. Третий столбец дает ожидаемые частоты пуассоновского
распределения с параметром х. В оставшихся пяти столбцах
приведены вычисления, относящиеся к A9.97).
Число
смер-
(У)
0
1
2
3
4
5
6
7
Всего
Частота
(«"/)
364
376
218
89
33
13
2
1
гс=1096
run.
336,25
397,30
234,72
92,45
27,31
6,45
1,27
0,25
1096,00
2
пт г ш j
394,1
355,8
202,5
85,69
39,87
26,20
3,15
4,00
(У—Я)
-1,1816
—0,1816
0,8184
1,8184
2,8184
3,8184
4,8184
5,8184
2
"р/ (i—x)
—465,7
—64,6
165,8
155,8
112,4
100,0
15,2
23,3
+42,2
{j + H-XJ}
1,396
1,033
2,670
6,307
11,943
19,580
29,217
40,854
2
пр,
т} {I + U Х) '
551,1
365,9
540,6
540,4
476,1
512,9
92,0
163,4
3242,4
В результате мы получаем из A9.97) улучшенное значение:
в=1,181б{1
К. Смит A916) получил значение 1,196903, используя большее
число итераций.
Смит приводит также детали вычислительной процедуры
для оценивания параметров непрерывного распределения, кото-
которая в этом случае значительно более трудоемка.
136
ГЛАВА 19
19.28 Вторым критерием для выбора между МП- и МХК-
оценками служат свойства, относящиеся к малым выборкам,
которые в большей степени пригодны для общего исследования,
чем вычислительные аспекты. С. Р. Рао A961, 1962а) ввел по-
понятие эффективности второго порядка и показал, что в мульти-
мультиномиальной модели пункта 18.19 при условиях регулярности
среди всех НАН-оценок только МП-оценки являются оптималь-
оптимальными в смысле эффективности второго порядка. Берксон A955,
1956) осуществил выборочные эксперименты, которые показали,
что в ситуациях, возникающих в биологических испытаниях,
использование МП-оценки иногда приводит к трудности, свя-
связанной с тем, что МП-оценка обращается в бесконечность, тог-
тогда как некоторая другая НАН-оценка имеет меньшую средне-
среднеквадратичную ошибку. При чтении этих статей следует, однако,
обратиться также к статье Силверстоуна A957), который ука-
указывает на содержащиеся в них ошибки.
УПРАЖНЕНИЯ
19.1 Предположим, что в линейной модели A9.8) введен еще один па-
параметр 9о, так что получается новая модель
{,=.?6+190 + 8,
где 1—вектор-столбец из единиц размерности п. Показать, что в новой мо-
модели НК-оценка для первоначального вектора 6 из k параметров имеет в
точности ту же форму A9.12), что и в первоначальной модели, с той лишь
разницей, что у г заменены на \yi— у) и хц — на (хц — xj) для i = 1, 2, ...
... , « и / = 1, 2 k.
19.2 В случае, когда в линейной модели A9.8) простая матрица рассея-
рассеяния A9.10) заменена невырожденной матрицей a2V, допускающей корреля-
корреляции и неравные дисперсии ег-, показать, полагая w = Т'у, где ТТ' — У,
что НК-оценка, являющаяся несмещенной для Св, имеет вид
се = с (x'v~lx)~1 x'irly.
(См. Эйткин, 1935; Плэкетт, 1949.)
19.3 Обобщая A9.38), показать, что если М (ее') = o2V, то М (е'Ве) =
= a2 tr (BV). Показать далее, что D (е'Ве) = 2о4 tr (BVBV), если е имеет
многомерное нормальное распределение. ^
19.4 Показать, что в 19.12 отношение (ЛГ9)' (XQ)/(ks2) имеет распреде-
распределение Фишера F с k и п — k степенями свободы, если 0=0.
19.5 В упражнении 19.2 показать, что обобщение A9.26) имеет вид
v (се) = 02с (x/v~lx)~l с',
а обобщением A9.40) в силу упражнения 19.3 является
М le'[v-' - У* U'V-'ХГ' X'V-'Ы = („ - k) а2.
19.6 Доказать утверждение пункта 19.15 о том, что 6 и VF) в случае
вырождения не изменяются при замене В на VB, где U невырождена.
ОЦЕНИВАНИЕ: МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
137
(Плэкетт, 1950.)
19.7 Используя A9.51), A9.54) и A9.55), показать, что
(Х'Х + В'В)'1 B'B=D{BD)~l В
и что, следовательно, A9.58) можно записать в виде
V(в) {Х'Х) = a2{h - D (BD)-1 В}.
19.8 Используя результат упражнения 19.7
(Х'Х+ В'ВГ1 В'В =D (BD)-1 В
и модифицируя доказательство пункта 19.9, показать, что несмещенная оцен-
оценка для о2 в случае вырождения имеет вид
-±-(у - Хву (у - Х%
(Плэкетт, 1950.)
19.9 Показать, используя 19.9, что в случае линейной модели A9.8) —
A9.10) статистика 6'Ав — s2 tr {(Х'Х)*1 А} является несмещенной оценкой
для квадратичной формы 9'А0.
19.10 Показать, что в случае симметричного исходного распределения
условие того, что порядковая НК-оценка ? в A9.82) равна выборочному
среднему у = l'y/1'l, имеет вид
VI =1,
т. е. сумма элементов каждой строки матрицы рассеяния должна быть равна
единице. Показать, что это свойство выполнено для одномерного нормаль-
нормального распределения.
(Ллойд, 1952.)
19.11 Для экспоненциального распределения
df (#) = ехр|-(¦?=-?)j<fy/a, a>0,
показать, что элементы а в A9.62) имеют вид
а элементы V равны
Vrs = 2j (n
\-2
где m = min(r, s).
На основе этого проверить, что обратная матрица равна
2 + (п-\J -(«-IJ
- (п - IJ
(п-\J + (я-2J -(гс-2J
22+12 — I2
138
ГЛАВА 19
19.12 В упражнении 19.11 показать, используя A9.69), что несмещенные
МД-оценки даются формулами
? = »@ —(.У — tf(i))/(«— !). о = п{у — yw)/(n— 1).
Сравнить эти оценки с МП-оценками тех же параметров.
(Сархан, 1954.)
19.13 Показать, что, когда все га* велики, минимизация выражения
A9.91) или A9.93) для %2 дает ту же оценку, что и метод МП.
19.14 Для случая s = 1 показать, что первые два момента статистики
A9.91) даются выражениями
пЫ (X2) ,
.*,-
и что для любого с > 0 обобщение A9.93) имеет математическое ожидание
М
/=I
— (ft-c+2) V- C — с) Л, + 1 + оЦД
Таким образом, по крайней мере с точностью до второго порядка, itij ис-
исчезают в математическом ожидании, если b = с — 2. Если Ь = 0, с = 2, то
оно равно (&i — 1) 11 1, и если b = 1, с = 3, то оно равно
> 2 даже ближе к математическому ожиданию
(Ф. Дэвид, 1950; Холдейн, 1955а.)
(kt — 1 ) Н , ЧТО . ДЛЯ
A9.91).
19.15 Для случая биномиального распределения с вероятностью успеха
я показать, что МХК-оценка для л, полученная из A9.91), совпадает с
МП-оценкой при любом га. Показать далее, что если число успехов не рав-
равно 0 или и, то видоизмененная МХК-оценка, найденная из A9.93), также
совпадает с МП-оценкой.
19.16 Пусть Уг — пуассоновская величина с параметром 0*;, где xt —
константа, наблюдаемая вместе с у г (i = 1, 2 га). Показать, что МП-
оценка для 9 равна 2W2-*JC асимптотической дисперсией в/^ *j и
что НК-оценка 2 ^//.S-*/ имеет точную дисперсию 0 2 *?/B xff'
Вывести отсюда, что если не все Xi равны между собой, то НК-оценка не-
неэффективна. Объяснить этот результат.
ГЛАВА 20
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ:
ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
20.1 В предыдущих трех главах мы имели дело с методами
получения оценок для одного или нескольких неизвестных па-
параметров; эти методы давали нам функции от выборочных зна-
значений, определявшие для любой заданной выборки единствен-
единственное значение оценки. Мы, конечно, отдавали себе отчет в том,
что значение оценки в каждом конкретном случае может отли-
отличаться от значения параметра и что, следовательно, при этом
остается еще известная доля неопределенности. Величина этой
неопределенности выражалась с помощью выборочной диспер-
дисперсии статистики. Из интуитивных соображений, которыми мы
пользовались до сих пор, можно было бы сказать, что, воз-
возможно, параметр 6 лежит в интервале t±YD{t); очень воз-
возможно, что он лежит в интервале t ± 2 \/D (t), и так далее.
Короче говоря, что мы, по существу, могли бы сделать — это
установить для Э интервал вместо отдельной точки, хотя одна
точка этого интервала, а именно t, и рассматривалась бы как
«наилучшая» оценка для 9.
20.2 В настоящей главе мы поближе изучим эту процедуру
и взглянем на проблему оценивания с другой точки зрения.
Оставим теперь попытки оценить 0 с помощью функции, кото-
которая для конкретной выборки давала бы единственное значение
оценки. Вместо этого мы рассмотрим, как задать промежуток,
в котором лежит 0. В дальнейшем будет изучаться три метода,
из которых два подобны, но не идентичны. Первый известен как
метод доверительных интервалов и основан только на частот-
частотной теории вероятностей, не выражая более никакого нового
принципа. Второй метод, который будем называть методом
фидуциальных интервалов, требует нечто не входящее в ча-
частотную теорию. Третий основан на теореме Байеса и на одной
из форм постулата Байеса (8.4). В настоящей главе мы поста-
постараемся изложить основные идеи и методы оценивания с по-
помощью доверительных интервалов, принадлежащие Нейману,
чей мемуар 1937 г. следует выделить особо (см. Нейман
(Г937Ь)). В 21-й главе мы будем иметь дело с соответствую-
соответствующими аспектами фидуциальных интервалов и байесовского оце-
оценивания.
138
ГЛАВА 19
19.12 В упражнении 19.11 показать, используя A9.69), что несмещенные
МД-оценки даются формулами
? = »(«) — (В — УA))/(п— 1). в = п(у — У(ц)/(п— 1).
Сравнить эти оценки с МП-оценками тех же параметров.
(Сархан, 1954.)
19.13 Показать, что, когда все га* велики, минимизация выражения
A9.91) или A9.93) для %2 дает ту же оценку, что и метод МП.
19.14 Для случая s = 1 показать, что первые два момента статистики
A9.91) даются выражениями
и что для любого с
ft,
0 обобщение A9.93) имеет математическое ожидание
М
if *' '
= ft, - 1 + — \{Ь - с + 2) У —
Я1 L S л<7
C-с)*
¦ + 1] + 0(?
Таким образом, по крайней мере с точностью до второго порядка, Лц ис-
исчезают в математическом ожидании, если 6 = с — 2. Если 6 = 0, с = 2, то
оно равно (k\— 1) (l ), и если 6 = 1, с = 3, то оно равно
i
> 2 даже ближе к математическому ожиданию
1
(?, — 1L , что. для
A9.91).
(Ф. Дэвид, 1950; Холдейн, 1955а.)
19.15 Для случая биномиального распределения с вероятностью успеха
я показать, что МХК-оценка для л, полученная из A9.91), совпадает с
МП-оценкой при любом га. Показать далее, что если число успехов не рав-
равно 0 или га, то видоизмененная МХК-оценка, найденная из A9.93), также
совпадает с МП-оцеикой.
19.16 Пусть у% — пуассоновская величина с параметром вх{, где Xi —
константа, наблюдаемая вместе с уг (i = 1, 2, ..., я). Показать, что МП-
оценка для 9 равна 2W2*tc асимптотической дисперсией в/2 xt и
что НК-оценка 2 #**//2** имеет точную дисперсию 0 2 *?/B xffl-
Вывести отсюда, что если не все Xi равны между собой, то НК-оценка не-
неэффективна. Объяснить этот результат.
ГЛАВА 20
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ:
ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
20.1 В предыдущих трех главах мы имели дело с методами
получения оценок для одного или нескольких неизвестных па-
параметров; эти методы давали нам функции от выборочных зна-
значений, определявшие для любой заданной выборки единствен-
единственное значение оценки. Мы, конечно, отдавали себе отчет в том,
что значение оценки в каждом конкретном случае может отли-
отличаться от значения параметра и что, следовательно, при этом
остается еще известная доля неопределенности. Величина этой
неопределенности выражалась с помощью выборочной диспер-
дисперсии статистики. Из интуитивных соображений, которыми мы
пользовались до сих пор, можно было бы сказать, что, воз-
возможно, параметр 6 лежит в интервале t±YQ{t); очень воз-
возможно, что он лежит в интервале t±2 YD{t), и так далее.
Короче говоря, что мы, по существу, могли бы сделать — это
установить для Э интервал вместо отдельной точки, хотя одна
точка этого интервала, а именно t, и рассматривалась бы как
«наилучшая» оценка для 6.
20.2 В настоящей главе мы поближе изучим эту процедуру
и взглянем на проблему оценивания с другой точки зрения.
Оставим теперь попытки оценить 0 с помощью функции, кото-
которая для конкретной выборки давала бы единственное значение
оценки. Вместо этого мы рассмотрим, как задать промежуток,
в котором лежит G. В дальнейшем будет изучаться три метода,
из которых два подобны, но не идентичны. Первый известен как
метод доверительных интервалов и основан только на частот-
частотной теории вероятностей, не выражая более никакого нового
принципа. Второй метод, который будем называть методом
фидуциальных интервалов, требует нечто не входящее в ча-
частотную теорию. Третий основан на теореме Байеса и на одной
из форм постулата Байеса (8.4). В настоящей главе мы поста-
постараемся изложить основные идеи и методы оценивания с по-
помощью доверительных интервалов, принадлежащие Нейману,
чей мемуар 1937 г. следует выделить особо (см. Нейман
A937b)). В 21-й главе мы будем иметь дело с соответствую-
соответствующими аспектами фидуциальных интервалов и байесовского оце-
оценивания.
140
ГЛАВА 20
Доверительные утверждения
20.3 Рассмотрим сначала распределение, зависящее от од-
одного неизвестного параметра 0, и предположим, что нам дана
случайная выборка xit. . ., хп объема п из этого распределения.
Пусть z — функция, зависящая от иксов и от 0, выборочное рас-
распределение которой не зависит от 6 (примеры, приводимые
ниже, покажут, что по крайней мере для некоторых случаев
такую функцию можно найти). Тогда по заданной вероятности
1—а можно найти такое значение z\, что
J dF(x) = l- a,
и это выполняется для любого значения 8. В вероятностных
обозначениях мы имеем тогда
P(z>z,)=l—а.
B0.1)
Может случиться, что неравенство z ^ zx можно записать в
форме 0 ^ i\ или 0 ^ ti7 где h — некоторая функция, завися-
зависящая от г\ и иксов, но не зависящая от 0. Например, если
z = х — 8, то мы имеем х — 8 j> zu и, следовательно, 6 <! х — гх.
Если можно переписать это неравенство таким образом, то со-
согласно B0.1)
PF<f,)=l—а. B0.2)
В более общем случае, когда распределение z может и зависеть
от 8, предположим, что можно найти статистику t\, зависящую
от 1 — а и от иксов и не зависящую от 0, такую, что B0.2) вы-
выполняется для всех 6. Тогда, пользуясь этим равенством, мы
можем делать определенные утверждения о параметре 8.
20.4 Заметим прежде всего, что мы не утверждаем, что 0 не
превосходит константы tx с вероятностью 1 — а. Это утвержде-
утверждение (в частотной теории вероятностей) можно связывать толь-
только с изменением параметра 6 в генеральной совокупности зна-
значений 0, но в общем случае мы не знаем, меняется ли 0 вообще.
Если параметр Э есть просто неизвестная константа, то ве-
вероятность того, что 6 ^ tu равна либо нулю, либо единице.
Мы не знаем, какое из этих значений правильное, а знаем
лишь, что одно из них верно.
По этой причине посмотрим на задачу иначе. Значение 0 не
случайно, но статистика tt является случайной величиной и из-
изменяется от выборки к выборке. Следовательно, если мы ут-
утверждаем, что 6 ^ t\ в каждом предложенном для решения
случае, то мы в конечном счете будем правы в A—а)-й части
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ- ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
141
случаев. Утверждение о вероятности того, что Э меньше или рав-
равно некоторого заданного значения, не имеет смысла, кроме три-
тривиального, упомянутого выше. Утверждение же о том, что ста-
статистика tx больше или равна 0 (при любом 0), оказывается вер-
верным с определенной вероятностью. Следовательно, приняв за
правило для любых выборочных значений утверждать, что вы-
выполнено неравенство 9 ^ tit мы гарантированы, что будем
правы «в среднем» в A — а)-и части случаев.
Эта идея является основной в теории доверительных интер-
интервалов, к изложению которой мы переходим, и читатель должен
убедиться в том, что он уловил ее. Подчеркнем, в частности, что
доверительное утверждение выполняется, каково бы ни было
значение параметра 8; нас интересует не повторный выбор из
одной и той же совокупности, а просто повторный выбор.
20.5 Для упрощения изложения мы рассматривали только
одну величину tx и утверждение о том, что 8 ^ U. На практике,
однако, разыскиваются обычно две величины t0 и U такие, что
для всех 0
P(fo<e<f,)=l — a*), B0.3)
и делается утверждение, что 0 лежит в интервале от U ДО tu
который называется доверительным интервалом для 8. Вели-
Величины U и ti называются нижней и верхней доверительными
границами соответственно. Они зависят только от 1 — аи выбо-
выборочных значений. Для любой фиксированной величины 1 — а.
совокупность доверительных интервалов для различных выбо-
выборок определяет область, внутри которой, по утверждению, лежит
значение параметра 0. Эта область называется доверительной
полосой. Ниже будет дано графическое представление этого по-
понятия. Величина 1 — а называется коэффициентом доверия.
Пример 20.1
Пусть нам дана выборка объема п. из нормальной совокуп-
совокупности с известной дисперсией (без потери общности положим
ее равной единице)
Распределение выборочного среднего х есть
-^ exp j — у (х — цJj d*, — оо
оо.
оо.
*) Почти всегда мы будем через 1 — а обозначать вероятность того,
что интервал накрывает неизвестный параметр. В литературе нет единой
практики и часто пишут а вместо 1 — а. Наше соглашение является в на-
настоящее время более распространенным.
142
ГЛАВА 20
Из таблиц нормального интеграла известно, что вероятность
положительного отклонения от среднего не более чем на два
стандартных отклонения равна 0,97725. Следовательно, имеем
Р (х — р. < 2/1/7Г) = 0,97725,
что эквивалентно соотношению
Р {х — 2/ ]/п< ц) = 0,97725.
Таким образом, если мы утверждаем, что \х больше или равно
х — 2/Уп, то мы будем правы в среднем примерно в 97,725%
случаев.
Аналогично имеем
Р 0 - ц > — 2/ V~n) — Р О* < х + 2/ УН) = 0,97725.
Отсюда, объединяя оба результата, получаем
Р{х — 2//n<n<;t + 2//n)=l —2A - 0,97725) = 0,9545.
B0.4)
Следовательно, если мы утверждаем, что \х лежит в интервале
х ± 2JYn, то будем правы в среднем примерно в 95,45% слу-
случаев.
Обратно, если задан коэффициент доверия, то мы можем
легко найти с помощью таблиц нормального интеграла отклоне-
отклонение d такое, что
Р (* — &\ Vn.< И < х + dlV~n) = 1 — а.
Например, если 1 — а = 0,8, то d = 1,28. Утверждая в этом слу-
случае, что \х лежит в интервале х± 1,28//я, мы имеем 4 шанса
против 1 быть правыми.
Читатель, для которого этот подход нов, возможно спросит,
не есть ли это окольный метод использования стандартной
ошибки для установления пределов изменения оценки среднего.
В некотором отношении это так. Действительно, приведенный
пример показывает, что использование стандартной ошибки для
среднего в нормальной выборке может быть логически оправ-
оправдано без привлечения новых методов, отличных от уже имею-
имеющихся в теории вероятностей. В частности, мы не использовали
постулат Байеса (8.4).
Отметим интересный момент в нашем примере,, заключаю-
заключающийся в том, что нижняя и верхняя доверительные границы, по-
полученные выше, равно отстоят от среднего х. Это не является
необходимым, и легко видеть, что мы можем получить любое
число альтернативных границ для того же коэффициента дове-
доверия 1 — а. Предположим, например, что 1 — а = 0,9545, и выбе-
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
143
рем два числа ао и аь подчиненных условию
ао + ai = а = 0,0455,
скажем, ао = 0,01 и ai = 0,0355. Из таблиц нормального инте-
интеграла имеем
Р (х - ц < 2,326//л) = 0,99,
Р(* — ц > — 1,80б//п) =0,9645,
и, следовательно,
уп
= 0,9545.
B0.5)
Таким образом, с тем же коэффициентом доверия можно утвер-
утверждать, что р, лежит в интервале от х — 2/Yn Д° х + 2/ Уп или
в интервале от л: —2,32б/)/п до х-\~ 1,80б/ \/^г- В каждом слу-
случае мы будем правы в среднем примерно в 95,45% случаев.
Заметим, что в первом случае интервал имеет длину 4/Уп,
в то время как во втором случае его длина равна 4,132//п.
При прочих равных условиях нам следует выбрать первые гра-
границы, так как они заключают параметр в более узкий интервал.
Ниже мы рассмотрим этот вопрос более детально. Не всегда
случается, что имеется бесконечное число возможных довери-
доверительных интервалов или что выбор между ними может быть сде-
сделан на столь же понятных основаниях, как в этом примере.
Графическое представление
20.6 В ряде простых случаев, включая пример 20.1, довери-
доверительные границы могут быть представлены в удобной графиче-
графической форме. Возьмем две ортогональные оси: ОХ, относящуюся
к наблюденному значению х, и OY, отвечающую \х (рис. 20.1).
Две изображенные прямые линии описываются уравнениями
р. = х ~\-2, \х~х — 2.
Следовательно, для любой точки между линиями имеем
Поэтому, если для любого наблюденного значения х мы найдем
соответствующие ему две ординаты на прямых, то получим две
доверительных границы. Вертикальный интервал между грани-
границами есть доверительный интервал (показан на рисунке для
х= 1), а вся зона между прямыми образует доверительную по-
полосу. Мы можем называть эти две прямые нижней и верхней
доверительными линиями соответственно.
Графическое изображение сделано для случая п = 1 примера
20.1. При разных значениях п будут получаться различные
144
ГЛАВА 20
линии, все параллельные прямой ц = х и приближающиеся одна
к другой с ростом п. Для всевозможных п их можно нанести на
один рисунок, и полученная диаграмма оказывается полезной
в практической работе для нахождения доверительных границ.
С. другой стороны, можно изменять коэффициент доверия
1 — а (в нашем примере он равен 0,9545). Тогда на одной и той
же диаграмме, относящейся
к некоторому фиксированно-
фиксированному значению п, мы можем
нанести ряд пар доверитель-
доверительных линий, каждая из кото-
которых соответствует некоторо-
некоторому выбранному значению
1 — а. В этом случае, конеч-
но, линии удаляются одна от
другой с ростом 1 — а. Во
многих практических ситуа-
ситуациях нас интересует измене-
изменение доверительного интер-
интервала в зависимости от
1 — а, и мы можем одновре-
одновременно для некоторого набо-
набора значений а сделать утвер-
утверждения вида B0.3), каждое
из которых в среднем будет
справедливо в соответствую-
соответствующей доле случаев. Эта процедура может быть доведена до своей
крайней формы, когда одновременно рассматривается вся сово-
совокупность значений 1 —а в промежутке @,1). Так порождается
«доверительное распределение» параметра — термин, принадле-
принадлежащий Д. Коксу (см., например, 1958b): одновременно мы имеем
бесконечную последовательность доверительных утверждений,
причем с ростом величины 1—а каждое последующее утвер-
утверждение содержится в предыдущем.
Центральные и нецентральные интервалы
20.7 В примере 20.1 выборочное распределение, на котором
основывались доверительные интервалы, было симметричным,
поэтому, беря одинаковые отклонения от среднего, мы получали
одинаковые значения для
1—ao = Pfto<8) и 1 — а,=Р(в<*,).
В общем случае, беря одинаковые отклонения, такого результата
получить нельзя, но а0 и ai можно выбирать произвольно при
условии, что ao + ai = a.
Р..'с. 20.1. Доверительные границы в при-
примере 20.1 для «= 1.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ 145
Если ао и ai взяты одинаковыми, то интервал будем называть
центральным. Тогда
Р(<о>в)=РF><1)==о/2. B0.6)
В противном случае интервалы будем называть нецентральными.
Следует заметить, что центральность в этом смысле не означает,
что доверительные границы равно отстоят от выборочной ста-
статистики, если только ее выборочное распределение не симмет-
симметрично *).
20.8 При отсутствии других соображений обычно используют
центральные интервалы, но при некоторых обстоятельствах не-
нецентральные интервалы оказываются более подходящими. Пред-
Предположим, например, что в медицинском препарате оценивается
содержание вещества, которое в больших дозах ядовито. Тогда
ошибаться мы можем только в безопасную сторону, а в данном
случае более опасным является превышение истинного значения
над оцененным. Поэтому было бы желательно взять ai равным
нулю:
Р(8</,)=1, Р(*0<е) = 1-о,
для того, чтобы быть уверенным в том, что 8 не превосходит t\.
Но если наша статистика распределена на бесконечном интер-
интервале, то Р (Э ^ tx) — 1 только при t\, равном бесконечности, и
поэтому мы должны довольствоваться величиной <х\, очень близ-
близкой к нулю.
Если же, например, оценивается доля жизнеспособных семян
в выборке из материала, поступающего на продажу, то важнее
точность нижней границы, чем верхней: с точки зрения фермера
недостаток всхожести более серьезен, чем избыток. При таких
обстоятельствах ао следует взять по возможности малым для
того, чтобы быть как можно более уверенным относительно наи-
наименьшего значения доли жизнеспособных семян. Ситуация та-
такого рода часто возникает при установлении качества изготов-
изготовленного продукта; продавец желает гарантировать минималь-
минимальный стандарт и значительно менее озабочен тем, чтобы его про-
продукт превосходил ожидание.
20.9 Следует заметить, что при определенных обстоятельствах
достаточно знать, что Р (t0 ^ 8 ^ *i) ^ 1 — а. Тогда, утверждая,
что 8 лежит в интервале от t0 до t\, мы не ошибемся по край-
крайней мере в A—а)-й части случаев. Например, математические
*) На самом деле из симметрии распределения выборочной статистики
ие следует, что доверительные границы будут равноотстоящими от нее.
Пусть, например, оценивается параметр В в нормальном распределении со
средним 9 и дисперсией 02. Тогда, пользуясь тем, что z = (х — 9)/ (9/Vra)
имеет нормальное @, 1) распределение, получаем для 9 доверительные гра-
границы вида x/(l ± d/y^n), не равноотстоящие от х. (Прим. ред.)
146
ГЛАВА 20
трудности при установлении точных доверительных границ для
заданного 1 — а или теоретические трудности при дискретном
распределении могут заставить нас довольствоваться этим не-
неравенством вместо равенства B0.3).
Пример 20.2
Найти доверительный интервал для вероятности «успеха» со
при выборке по качественному признаку.
В выборке объема п распределение числа успехов опреде-
определяется членами биномиального разложения (% + ©)", где % =
= 1 —со. Найдем доверительные границы для случая п = 20 и
при коэффициенте доверия 0,95.
Прежде всего нам нужна биномиальная функция распределе-
распределения. Данная ниже таблица содержит ее значения для определен-
определенных со вплоть до со — 0,5 (для больших со распределения полу-
получаются из симметрии). Для точного построения доверительной
полосы нам нужна более детальная информация, которую можно
получить из подробных таблиц биномиального распределения,
указанных в 5.7. Приводимая же здесь таблица будет служить
лишь для иллюстрации.
Окончательные цифры могут иметь ошибку в одну-две еди-
единицы последнего знака вследствие ошибок округления, но при
степени точности, рассматриваемой здесь, это не должно нас
беспокоить.
Доля
успехов р
0,00
0,05
0,Ю
0,15
0,20
0,25
0,30
0,35
0,40
0,45
0,50
0,55
0,60
0,65
0,70
0,75
0,80
0,85
0,90
0,95
и=0,1
0,1216
0,3918
0,6770
0,8671
0,9569
0,9888
0,9977
0,9997
1,0001
1,0002
—
_
—
—
—
—
—
—
—
<й=0,2
0,0115
0,0691
0,2060
0,4114
0,6296
0,8042
0,9133
0,9678
0,9900
0,9974
0,9994
0,9999
1,0000
—
—
—
—
—
0)=0,3
0,0008
0,0076
0,0354
0,1070
0,2374
0,4163
0,6079
0,7722
0,8866
0,9520
0,9828
0,9948
0,9987
0,9997
0,9999
—
—
—
—
0=0,4
0,0005
0,0036
0,0159 ¦
0,0509
0,1255
0,2499
0,4158
0,5955
0,7552
0,8723
0,9433
0,9788
0,9934
0,9983
0,9996
0,9999
—
—
<й=0,5
—
0,0002
0,0013
0,0059
0,0207
0,0577
0,1316
0,2517
0,4119
0,5881
0,7483
0,8684
0,9423
0,9793
0,9941
0,9987
0,9998
1,0000
~
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
147
Заметим вначале, что варианта р дискретна. С другой сто-
стороны, мы собираемся рассматривать любые значения со в интер-
интервале от 0 до 1. При заданном со нельзя в общем случае найти
границы для р такие, чтобы 1 — а было равно в точности 0,95,
но мы будем брать в качестве р относительную частоту, которая
дает коэффициент доверия, не меньший 0,95. Будем рассматри-
рассматривать только центральные интервалы. Таким образом, для задан-
заданного со нужно найти соо
и coi такие, чтобы
Р (Р > соо) > 0,975,
Р (р < со,) > 0,975
чтобы неравенства для
и
I
0,5
/
/
J/
/
О
0,5
Значения р
1,0
Рис. 20.2. Доверительные границы для би-
биномиального параметра.
вероятности Р были как
можно ближе к равен-
равенству.
Рассмотрим диаграм-
диаграмму, представленную на
рис. 20.2. Для любого за-
заданного со из таблицы
можно найти значения со
и со] такие, чтобы Р {р ^
> too) > 0,975 и Р(р<
<; coi) ^ 0,975. Заметим,
что при определении coi
функция распределения
дает вероятность получе-
получения доли-успехов, мень-
меньшей или равной р. Следо-
Следовательно, дополнение функции распределения до единицы дает ве-
вероятность получения доли успехов, строго большей, чем р. На-
Например, на горизонтали, проходящей через со = 0,1, мы имеем
соо=0 и coi=0,25, найденные из нашей таблицы; при со=0,4 имеем
соо = 0,15 и coi = 0,60. Полученные точки лежат на ступенчатых
линиях. Например, когда со = 0,3, наибольшее значение соо такое,
что Р (р ^ соо) ^0,975, есть 0,1. С возрастанием со до 0,4 вели-
величина соо возрастает до 0,20. Где-то между 0,3 и 0,4 находится зна-
значение со такое, что Р (р ^ 0,1) равна в точности 0,975. Если бы
мы табулировали вероятности при более мелких интервалах
между значениями со, то ступенчатые кривые несколько измени-
изменились бы, и в пределе, если вычислить значения со такие, что в
точности Р (р ^ соо) = 0,975, мы получили бы точки, лежащие
внутри приведенных ступенчатых кривых. Эти точки на рис. 20.2
соединены пунктирными линиями.
Зона между ступенчатыми линиями является доверительной
полосой. Для любого р вероятность ошибиться, утверждая, что со
148
ГЛАВА 20
лежит внутри полосы, не превосходит 0,05. Через наблюденное
значение р на оси абсцисс проведем вертикаль, точки ее пересе-
пересечения с соответствующими линиями, дающими соо, соь опреде-
определяют величины р0 и рх. Чуть ниже мы покажем, что они предста-
представляют собой искомые границы.
Ниже B0.22) мы рассмотрим более сложный метод обраще-
обращения с дискретностью.
Стоит заметить, что точки на кривых рис. 20.2 строились сле-
следующим образом: для выбранной ординаты со находились соот-
соответствующие абсциссы ©о и соь Диаграмма строилась, так ска-
сказать, по горизонтали. Однако при ее применении она читается по
вертикали, т.е. для наблюденной абсциссы р мы считываем с
нее две величины ро и р\ и утверждаем, что р0 ^ со ^ р\. Поучи-
Поучительно пронаблюдать, как это изменение точки зрения может
быть оправдано без обращения к постулату Байеса.
Рассматривая диаграмму по горизонтали, мы видим, что для
любого заданного со наблюдение попадает в доверительную по-
полосу с вероятностью ^1 — а. Тогда и только тогда, когда на-
наблюдение находится внутри полосы, истинное значение со будет
содержаться между ро и р\. Следовательно, последнее событие
имеет вероятность ^ 1 — а, каково бы ни было истинное значе-
значение со.
Доверительные интервалы для больших выборок
20.10 Мы видели в 18.16, что первая производная логарифма
функции правдоподобия, при условиях регулярности, распреде-
распределена асимптотически нормально со средним, равным нулю, и
dlogL\2\_ .
002 j- у^.ч
Используя этот факт, можно находить доверительные интер-
интервалы для 0 в случае больших выборок. Обозначим
B0.8)
так что i|) является, при больших выборках, стандартной нор-
нормальной случайной величиной. Если if — монотонная функция от
8, так что неравенство для одной величины можно преобразовать
в неравенство для другой, то из нормального интеграла можно
определить доверительные границы для 8. Следующий пример
иллюстрирует эту процедуру.
Пример 20.3
Рассмотрим вновь задачу из примера 20.1. Мы видели в при-
примере 17.6, что для этого случая
™SLL~n{X-v.), B0.9)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ 149
откуда
Из B0.7) и B0.8) находим, что при больших п величина
ф = (х — у) Уп~ B0.11)
имеет нормальное распределение с единичной дисперсией (ко-
(конечно, в нашем частном случае это верно для любых п). Довери-
Доверительные границы для \к могут быть затем найдены так же, как
в примере 20.1.
Пример 20.4
Рассмотрим распределение Пуассона, общий член которого
есть
х\
: = 0, 1, ...
В примере 17.8 мы видели, что
1 log L _ п ,- },
B0.12)
Следовательно,
2log? пх
дК2 ~ Я2
Таким образом, из B0.7) и B0.8) имеем
Ч> = (х — Я) Y~njk.
B0.14)
Например, при 1 —а — 0,95, что соответствует нормальному укло-
уклонению ±1,96, для центральных доверительных границ находим
(* —Я) УпД=± 1,96.
Отсюда для нахождения Я получаем уравнение
Я2 — {2х + i|i) Я + х2 = 0,
из которого
причем знаки плюс и минус перед квадратным корнем дают
верхнюю и нижнюю границы соответственно.
С точностью до членов порядка п~'/г это решение эквивалентно
1 Я = х ± 1,96
B0.15)
150
ГЛАВА 29
в этом случае, как и следовало ожидать, верхняя и нижняя гра-
границы равно отстоят от среднего х.
20.11 Процедура, использованная для получения B0.15), тре-
требует некоторых дальнейших исследований. Если мы имеем веро-
вероятности типа
РF<0 или Р(е~'<*), 9>0,
то их можно немедленно «обратить» и получить
Р(?>0) или Р(Г'<9).
Но может встретиться более сложная форма зависимости, такая,
как
P{g(t, эхо},
где g есть, например, полином относительно t либо 6 либо сразу
относительно обеих переменных, степени выше первой. Задача
преобразования такого выражения в выражение, имеющее вид
интервала для 0, может быть далеко не простой.
Рассмотрим еще раз B0.14) в форме
у = я (х — Я)/Я1/2. B0.16)
Возьмем коэффициент доверия 1—а, и пусть соответствующие
значения if равны ifo и ifi, т. е.
Р{Фо <*<*!> =! — <*. B0.17)
Уравнение B0.16) может быть переписано так:
Я2 — B-* + n-V)A + x2 = 0, B0.18)
и если интервалы для if являются центральными, т. е.
¦фо = — ifb то уравнение B0.18) будет иметь одни и те же корни
при if == if о и при if ¦— ifi. Кроме того, корни всегда действитель-
действительны. Пусть Хо, А,1 — корни уравнения с if = ifo (или ifi), и пусть
Я,1 — больший. Тогда при изменении if от —оо до if0, как видно
из B0.18), X изменяется от +оо до Х\\ когда if пробегает значе-
значения от if0 до ifi, то Я (убывая) пробегает значения от Я1 до Хо, и
когда if изменяется от ifi до + оо, Я изменяется от Яо до —оо. Та-
Таким образом, соотношение
эквивалентно соотношению
Р(Я0<Я<Я1)= 1 —а,
и наши доверительные интервалы имеют требуемый вид.
Полезно рассмотреть это графически, как показано на
рис. 20.3.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
151
Из B0.16) видно, что при заданных п и if кривая, связываю-
связывающая Я (ординату) и х (абсциссу), может быть представлена
в виде
(Я, — хJ = /гЯ, B0.19)
где k — положительная постоянная. При различных k это пара-
параболы, проходящие через начало координат и имеющие главную
ось X = х. Линия X = х соответствует k = 0 или п = оо, а две
другие кривые (без масшта-
масштаба) приведены для значений п\
и п2 («1<Пг). Из проведен-
проведенных выше рассуждений сле-
следует, что при заданном п зна-
значения X, соответствующие зна-
значениям г|з, лежащим внутри
интервала от if0 до ifi, лежат
внутри соответствующей пара-
параболы. Очевидно также, что па- [
рабола для п\ лежит целиком \
внутри параболы для любого
меньшего п.
Значения х
Итак, при любом Данном л: Рис. 20.3. Доверительные парабо-
МОЖНО определить ординаты лы B0.19) для различных k или га.
для двух соответствующих зна-
значений X и утверждать, что неизвестный параметр X лежит ме-
между ними. Доверительные линии на рис. 20.3 являются выпук-
выпуклыми и вложенными, как и доверительные линии для биноми-
биномиального распределения в примере 20.2.
20.12 Рассмотрим теперь более сложный случай. Предполо-
Предположим, что мы имеем статистику t, с помощью которой можем
найти границы t0 и t\, не зависящие от 0, при заданном коэффи-
коэффициенте доверия 1 — а. И пусть
t = аб3 + 602 + cQ + d, B0.20)
где а, Ь, с, d — константы*). Иногда, но не всегда, будут суще-
существовать три действительных значения G, соответствующих од-
одному значению t. Как ими пользоваться, чтобы определить гра-
границы для 6?
Обратимся к графическому представлению. На рис. 20.4
(вновь без масштаба) мы считаем А ординатой, а ? —абсциссой.
*) Формулировка непонятна: например, в левой части B0.20) стоит ста-
статистика, а в правой — функция от параметра. По-видимому, имеется в виду,
что распределение разности л|) = а93 + Ь92 + ев + d — t не зависит от 9.
Тогда соотношение типа B0.17) приводит к неравенству t0 ^ а93 + Ь№ +
+ с9 + d ^ ti, где to = tyo + ' и tt = л|I -(- t, и дальнейшее изложение пр-
священо обращению этого неравенства. (Прим. ред.)
152
ГЛАВА 20
Значения С
Пусть константы таковы, что кривая третьего порядка имеет
действительные максимум и минимум, как это показано на ри-
рисунке. Для различных значений t кривая B0.20) перемещается
вдоль оси t. Чтобы избежать путаницы, предположим, что приве-
приведены линии только для одного значения п. Пусть также а > 0.
При данном значении t, например t0, получим кривую треть-
третьего порядка, как показано на рисунке, такую, что в области
справа от нее а03 + Ь02+ сВ + d > t0, a слева <Ц0. Аналогично
при ?]. С соответствующим коэффициентом доверия можно те-
теперь сказать, что для наблюденного t границы для 0 получаются
путем чтения по вертикали
вдоль оси ординат в точке t.
Здесь начинаются трудно-
трудности. Если мы берем такое зна-
значение, как на рисунке вдоль
АВ, то должны утверждать,
что 0 лежит в разорванном ин-
интервале 0i ^ 0 ^ 02 и 0з <;
^ 0 ^ 04- С другой стороны,
на CD получается односвязный
промежуток 05 ^ 0 ^ 06-
Для любителя патологиче-
патологической математики не составит
Рис. 20.4. Доверительные кривые труда построение дальнейших
третьего порядка (см. текст). примеров, в которых интерва-
интервалы разбиты на еще большее
число частей или в которых мы должны утверждать, что пара-
параметр 0 лежит вне замкнутого интервала. (Некоторые важные
примеры см. в работах Филлера A954) и С. Дэвида A954).)
См. также упражнение 28.21 ниже.
20.13 Следует заметить, что в таких случаях утверждения
относительно интервалов могут быть сделаны с прежней точ-
точностью. Вопрос в том, есть ли от них польза и дают ли они ре-
решение задачи, с которой мы начали, состоящей в том, чтобы
установить окрестность для значения параметра. Можно ли счи-
считать их доверительными интервалами или они уже не могут так
называться?
Нельзя дать простого ответа на подобные вопросы, но мы
постараемся изложить наше собственное мнение на эту тему.
(а) Наиболее удовлетворительна та ситуация, при которой
доверительные линии монотонны, т. е. любая прямая, параллель-
параллельная оси ординат, пересекает каждую линию только в одной точке.
Тогда мы получаем утверждение, что параметр лежит внутри
односвязного интервала. Далее желательно, чтобы при фиксиро-
фиксированном а доверительная полоса для любого п лежала внутри
полосы для меньшего п и чтобы при фиксированном п полоса
интервальное оценивание: доверительные интервалы
153
для любого 1 — а лежала внутри полосы для большего 1 — а.
Эти условия выполнены в примерах 20.1—20.4.
(б) Случай, где эти условия не выполняются, должен быть
рассмотрен по существу дела. Могут быть примеры, в которых
появляются неодносвязные интервалы, такие, как на рис. 20.4, и
они оказываются приемлемыми. Там, где это возможно, довери-
доверительные области должны быть представлены графически. Нужно
избегать механического «обращения» вероятностных утвержде-
утверждений, не принимающего во внимание эти моменты.
20.14 Мы можем на данном этапе отметить трудности другого
сорта. Когда рассматривалось квадратное уравнение B0.18), то
было отмечено, что в условиях задачи корни всегда действитель-
действительные. Однако может случиться, что для некоторых коэффициентов
доверия невозможно построить действительные доверительные
интервалы. Продемонстрируем это на следующем примере.
Пример 20.5
Если Х\, ..., хп— выборка объема п из нормальной совокуп-
совокупности с единичной дисперсией и средним ц, то статистика %2 =
= 2j* — f-iJ имеет распределение хи-квадрат с п степенями
свободы. Для выбранного доверительного коэффициента 1 — а
можно определить %о и х2 (для упрощения изложения можно
строить центральный интервал) такие, что
B0.21)
==1 -а.
Если s2=
хJ/п, то имеем тождество % ==_.
= n{s2 -f- (x—цJ}, и, следовательно, границы для (х —[а J имеют
вид
2 2
^--s2<(*-nJ<-^--s2. B0.22)
Может случиться, что s2 больше, чем %2/п. Тогда (поскольку
X2, < X2) неравенство B0.22) утверждает, что (х — ц,J лежит
между двумя отрицательными величинами. Что можно сделать
с таким утверждением?
Дело станет яснее, если вновь обратиться к геометрической
интерпретации. Так как %2 теперь зависит от двух статистик, s и
х (которые независимы), то нам для изображения нужны три
измерения, соответствующие p., s и х. Рис. 20.5 дает геометриче-
геометрическое представление.
Величина х2 постоянна на поверхностях (х — |xJ + s2 —const.
Для фиксированного }д. (т. е. в плоскости, перпендикулярной оси
ц) эти поверхности пересекают плоскость ц, = const по окруж-
окружностям с центром в точке (ц, 0). Все эти центры лежат в пло-
154
ГЛАВА 20
скости (ц, х) на прямой с уравнением \х, = х, & поверхности с по-
постоянной величиной х2 являются цилиндрами, имеющими эту
прямую своей осью (они не являются круговыми цилиндрами;
только сечения, перпендикулярные к оси ц, являются кругами).
Кроме того, цилиндр для %\ полностью заключает в себе ци-
цилиндр для %о> как это представлено на рисунке. При данных
наблюденных значениях х, s "проведем прямую, параллельную
с\си и- Если она пересекает каждый цилиндр в двух точках: цоо,
И-OL для Хо и Нчо> Нч1 Для Х?> то мы
утверждаем, что цоо ^ ^ ^ Мао и цО1 ^
^ li ^ [in (эти два интервала соот-
соответствуют двум знакам при извлечении
квадратного корня в B0.22)).
Существенным моментом в настоя-
настоящем примере является то, что прове-
проведенная прямая может вообще не пере-
пересекать цилиндров. Тогда корни для ^
в B0.22) будут мнимыми. Такая си-
ситуация, не может возникнуть, к приме-
примеру, в биномиальном случае примера
20.2, где каждая прямая, параллель-
параллельная оси со в интервале 0 ^ р ^ 1,
должна пересечь доверительную поло-
полосу. Так обычно бывает, когда пара-
параметр 0 имеет единственную достаточную статистику t, с по-
помощью которой строятся интервалы (хотя при этом возможны
трудности с обращением неравенств типа рассмотренных в
20.11—13). Но этого уже может не произойти, когда мы исполь-
используем более чем одну статистику и имеем дело более чем с дву-
двумя измерениями, как это было в рассмотренном примере.
В таких случаях, как нам кажется, мы должны признать, что
перед нами неразрешимая задача*). Используя эти конкретные
статистики, мы хотим высказать с коэффициентом доверия 1 '¦— а
утверждение, которое имело бы силу для всех наблюденных х и
s. Этого сделать нельзя. Это возможно только для определенных
множеств значений х и s, а именно для таких, при которых гра-
границы в B0.22) положительны. При определенных значениях х и
s мы можем снизить наш доверительный уровень, увеличить
радиусы цилиндров и обеспечить, чтобы линия, проходящая че-
через х, s, пересекала цилиндры. Но, каким бы низким .мы ни
Рис. 20.5. Доверительные ци-
цилиндры B0.22) (см. текст).
*) На наш взгляд, Неймаи сказал бы, что такие интервалы не являются
доверительными интервалами в его смысле (нарушены условия 20.28, при-
приводимые ниже). Другие авторы использовали выражения для интервалов,
полученные обращением вероятностного утверждения, без учета этих
условии.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
155
брали уровень, всегда может появиться выборка, для которой
таким путем нельзя установить границы для ц.
В настоящем примере ясно, как поправить дело. Мы выбрали
неверный метод построения доверительных интервалов; в самом
деле, если воспользоваться методом из примера 20.1 и устано-
установить границы для х — ц с помощью нормального распределения,
то трудности не возникнет. В этом случае х есть достаточная ста-
статистика для ii. -В общем случае, когда не существует одномерной
достаточной статистики, может оказаться, что трудности избе-
избежать нельзя, и ее нужно принять открыто, если и не так, как мы
предлагаем, то любым другим столь же явным образом.
20.15 Мы возвращаемся к аппроксимации доверительных ин-
интервалов (для большой выборки), которую обсуждали в 20.10.
Если мы получаем недостаточную точность приближения, считая,
что гр распределена нормально для выборки объема п, с которой
мы имеем дело, то может быть получена более точная аппрокси-
аппроксимация. Для этого найдем высшие моменты величины гр и вос-
воспользуемся разложением типа Корниша — Фишера F.25—6).
Используя A7.19), запишем
a2 log i.
ae2
\
/==
dlogZ,
дВ
Из A7.18) при условиях регулярности получаем
«1 (/) = 0,
откуда
Теперь докажем, что
Действительно, дифференцируя /, имеем
ав ~^ml ae2
а дифференцируя равенство
дв
ав
А)".
B0.23)
B0.24)
B0.25)
B0.26)
B0.27)
B0.28)
B0.29)
получаем
B0.30)
156
ГЛАВА 20
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
157
Исключая М {(д2 log L/dQ2) (д logL/dQ)} из B0.29) и B0.30),
приходим к B0.27).
Дифференцируя дважды оба соотношения для /, данные в
B0.23), и исключая M{(d2 logL/dG2) (д log L/dQJ}, находим
mI) 8Mp—-щ-
' •
Используя соотношение
м
dMogZ.
М
d3logL dlogL\
. ъ.
д* log/.
~d'Q '" \~"д№ ) ~ '" I д~? W~)
и переходя к семиинвариантам, приходим к B0.28). Эти фор-
формулы принадлежат Бартлетту A953).
Беря первые четыре члена в F.54) с 1\ = 12 = 0, получаем
статистику
1 Г д log L 1 и3(/
~дО~ ~6 Р
-I -
которая распределена (в следующем порядке аппроксимации)
нормально со средним нуль и единичной дисперсией. Первый
член в этой формуле мы обозначили г|з. Поправочный член вклю-
включает в себя нормированные семиинварианты величины У или, что
эквивалентно, семиинварианты величины г|з.
Пример 20.6
Рассмотрим задачу построения доверительных границ для
дисперсии нормальной совокупности. Как известно, распределе-
распределение выборочной дисперсии асимметрично, и мы можем сравнить
точные результаты с даваемыми рассмотренной выше аппрокси-
аппроксимацией.
Если определить
4
то известно, что для выборки объема п величина s2/o2 имеет рас-
распределение типа III, иными словами, ns2la2 подчиняется %2-рас-
пределению с п — 1 степенями свободы.
Таким образом, для выборки объема 10 получаем (поскольку
верхняя и нижняя 5-процентные точки для %2 равны соответ-
соответственно 3,3251 и 16,9190)
16,9190 1 = 0,90,
Обращение этих неравенств дает
Р {0,59 11s2<ct2< 3,00 Is2} = 0,90. B0.32)
Например, при s2 = 1 доверительными границами служат 0,5911
и 3,001.
Беря 0 = ст2, находим
dlogL
да
n fl
„\2_
откуда убеждаемся, что, как и требовалось,
M(^S^)-<
Согласно примеру 17.10
и, следовательно,
/ =
262
д!
да
B0.33)
B0.34)
B0.35)
B0.36)
Дифференцируя B0.33) дважды и беря математическое ожида-
ожидание, находим
М
дв3
Таким образом, из B0.27), B0.36) и B0.37) имеем
*з (/) = -?-•
Беря разложение B0.31) только до хз, получаем
B0.38)
B0.39)
Заменим 2 (x — vJln на величину ns2/(n— 1), имеющую то же
самое среднее значение. Тогда
Первый член дает нам доверительные границы для 0, осно-»
ванные только на г|з. Два других являются поправочными чле-
членами более высокого порядка малости по п. Из B0.40) прибли-
приближенно имеем
158
откуда
ГЛАВА 20
"f+ ^"Тв —-57Г- B0-41)
Например, если п = 10, 1 — а = 0,90, s2 = 1 и Г = + 1,6449
E-процентные точки стандартного нормального распределения),
то мы находим для s2/0 границы 0,3403 и 1,6644, откуда для 0
получаем границы 0,6008 и 2,939. Истинные значения, как мы
знаем по B0.32), равны 0,5911 и 3,001. Для столь малого объема
выборки, как п = 10, приближение кажется очень хорошим.
Кратчайшие множества доверительных интервалов*)
20.16 В примере 20.1 мы видели, что при некоторых условиях
существует более одного множества доверительных интервалов.
Нам необходимо понять, можно ли некоторое частное множество
считать лучше других в каком-нибудь подходящем смысле. Ана-
Аналогичная проблема возникала при оценивании, где в общем слу-
случае имеется много различных оценок для параметра, но иногда
можно найти одну (как, например, с минимальной дисперсией),
которая лучше всех остальных.
В примере 20.1 проблема имела несколько специализирован-
специализированную форму. Мы нашли, что для интервалов, основанных на зна-
значении х, имеется бесконечное число множеств интервалов, каж-
каждое из которых соответствует способу выбора ссо и СЦ (подчинен-
(подчиненных условию cco + ai = cc). Среди них, очевидно, центральные
интервалы являются кратчайшими, так как интервал данной
длины содержит наибольшую долю нормального распределения,
если его середина совпадает со средним значением. Разумно
было бы сказать, что центральные интервалы являются наилуч-
наилучшими среди интервалов, определяемых с помощью х.
Но из этого не следует, что они являются кратчайшими среди
всех возможных интервалов или даже что кратчайшее множе-
множество существует. В общем случае для двух множеств интервалов
Ci и с2 интервалы из Ci могут быть короче, чем интервалы из с2,
для одних выборок и длиннее для других.
20.17 Поэтому мы будем рассматривать множества интерва-
интервалов, которые являются кратчайшими в среднем. Это значит, что
если
fi = *!-*„, B0.42)
•) Слово «множество» употребляется здесь с целью провести различие
между «доверительным интервалом», отвечающим конкретной выборке, и
правилом построения доверительных интервалов, дающим для всевозможных
выборок «множество доверительных интервалов». (Прим. ред.)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
159
то мы хотим минимизировать j 6 dF, где интеграл берется по
всем иксам и равен, следовательно,
J ... j LbdXi ... dxn.
B0.43)
—oo —oo
Докажем сейчас теорему, принадлежащую Уилксу A938b),
которая очень сходна с результатом из 18.16 о том, что оценки
максимального правдоподобия в пределе имеют минимальную
дисперсию. Теорема эта говорит, что для больших выборок в
определенном классе интервалов метод, приведенный в 20.10,
дает кратчайшие в среднем интервалы.
Пусть ft(x, 0)—статистика с нулевым средним значением/-и
пусть сумма таких статистик подчиняется центральной предель-
предельной теореме. Это значит, что
я . -'
2(*"в) B0-44)
имеет в пределе нормальное распределение со средним нуль и
единичной дисперсией. Величина ф из B0.8) является величиной
типа ?, с h = д logf (x, Q)/dQ. Покажем вначале, что абсолютная
величина средней скорости изменения ф относительно 0 при каж-
каждом фиксированном 0 больше, чем для любой ?, исключая три-
„ , , д log / г-т / n\ ^ log f
виальныи слулаи п = k —asM-. Полагая g (x, 0) =—~?—
ав
}•
ае
a da
ав
имеем
B0.45)
ае / /га Dg
Далее, согласно B0.25) М (g) = 0, а по B0.26)
Поэтому B0.46) преобразуется следующим образом:
M(-23L) = ^r^-V/^Dg. B0.47)
V аб / F га Dg
Аналогично, используя равенство М(/г) = 0, из B0.45) получаем
160
ГЛАВА 20
Поскольку 0 = М(А)= j hf dx, то, дифференцируя под знаком
интеграла, находим
откуда
Следовательно, из B0.47) —B0.49)
'г, g)\). B0.50)
Используя неравенство Коши—Буняковского, видим, что мно-
множитель в фигурных скобках в B0.50) положителен, если только
h не равно константе, умноженной на g (тогда он обращается
в нуль). Исключая этот случай, имеем
м(|§)|. B0.51)
Это наш предварительный результат. Если теперь определить Ха
из соотношения
а
-1/2 Г / 1
ехр —5"
Bл)
то доверительные границы для 0, скажем t0 и t\, полученные
с помощью^, удовлетворяют уравнению 2 § (х> 9)/ VnQh— ±^a>
которое можно записать в виде г|з(?).= ±Ха. Аналогично, гра-
границы, полученные с помощью ?, скажем и0 и «i, удовлетворяют
уравнению 2 ^ (*> 0)/ ]/"nDA = ± Ъа, которое перепишем в виде
?(ы) = ±^«- Из разложения в ряд Тейлора в окрестности истин-
истинного значения параметра 90 получаем
± К = ф @О) + (* - 0О)
= ? (во) + (и - в0) (||
B0.52)
где 9', 0" — значения в окрестности 0о, сходящиеся по вероятно-
вероятности к 0о при возрастании п. Полагая t = и = 0О в B0.52), нахо-
находим, что ф @О) = Z, @о) •
Следовательно,
Производные в B0.53) будут сходиться по вероятности к их ма-
математическим ожиданиям. Таким образом, из B0.51) и B0.53)
для больших п имеем
U - 0ОI < I и - 901,
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
161
так что доверительные границы t0 и ti ближе в среднем, чем лю-
любые другие границы ы0 и щ, получаемые с помощью статистик
вида B0.44). . _ . "'
20.18 Результат пункта 20.17 иллюстрирует тесную связь меж-
между теорией доверительных интервалов и теорией точечного оце-
оценивания, изложенной в главе 17. В 17.15—17 было показано, что
МГД для оценки параметра 0 равна 1/М {(d\ogL/dQJ} и может
быть достигнута лишь оценкой, являющейся линейной функцией
от д log L/dQ. Естественно ожидать, что интервальная оценка
параметра 0, основанная на д log LJdQ, будет обладать соответ-
соответствующим свойством, а именно будет в среднем кратчайшей.
Мы только что видели, что для больших выборок это действи-
действительно так.
20.19 Нейман A937b) предложил использовать термин «крат-
«кратчайшие доверительные интервалы» для множеств интервалов,
определенных совершенно иным путем. Поскольку понятно, что
такие интервалы не обязательно являются кратчайшими в смы-
смысле минимальной длины, даже в среднем, мы будем называть их
«наиболее селективными», чтобы избежать путаницы в термино-
терминологии.
Рассмотрим множество интервалов s0 с элементами бо, удо-
удовлетворяющими условию
Р{60с9 |0}=1 — а, B0.54)
где бос0 обозначает, что интервал бо «содержит» 0, т. е. что
^о ^ 9 ==S U- Пусть S\ — некоторое другое множество с элемен-
элементами 6i такими, что
Р{6,с0 |0}=1 — а. B0.55)
Для нас приемлемо каждое из этих множеств, так как в обоих
случаях интервал б содержит 0 с вероятностью 1 — а.
Если теперь для любого S\ мы при всяком значении 0', отлич-
отличном от истинного значения параметра, имеем
Р {60с9' 19} ^ Р {б,св' |в}, B0.56)
то множество интервалов s0 будем называть наиболее селектив-
селективным.
20.20 Идеи, лежащие в основе этого определения, будут разъ-
разъяснены в главах 22 и 23, где рассматривается теория проверки
гипотез. Забегая вперед, укажем, что смысл наиболее селектив-
селективных интервалов состоит в том, что они покрывают истинное зна-
значение параметра с фиксированной вероятностью 1 — а, другие
же значения параметра — с минимально возможной вероят-
вероятностью. Относительно s0 и Si можно сказать, что утверждение
бс0 верно для них в A—а)-й части случаев. Наиболее селек-
селективное множество So выделяется тем, что оно покрывает ложные
6 М. Кевдалл, А. Стьюарт
162
ГЛАВА 20
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
163
значения параметра менее часто, чем их покрывают другие мно-
множества.
Различие между этим подходом и подходом, ведущим к крат-
кратчайшим интервалам, состоит в том, что последний имеет дело
только с физической длиной доверительных интервалов, тогда
как при первом минимизируют частоту, с которой покрываются
альтернативные значения параметра 0. Один нацелен на локали-
локализацию истинного значения параметра 0 с наибольшей гарантией
от ошибки, другой принимает в расчет желание исключить из
интервала как можно больше ложных значений 0, так чтобы
ошибка принятия неверного значения была минимальной. Ока-
Оказывается, что «селективный» подход математически проще, по-
поэтому ему было уделено гораздо больше внимания. Относительно
связи между двумя подходами см. ниже упражнения 20.17, 20.18.
Мадански A962) приводит пример, который выясняет различие
между ними. Хартер A964) обсуждает другие критерии для ин-
интервалов, предпочитая критерий, основанный на среднеквадра-
тическом уклонении доверительных границ от истинного значе-
значения параметра.
Нейман показал, что наиболее селективные множества обычно
не существуют (например, если распределение непрерывно), и
предложил две альтернативные системы:
(а) наиболее селективные односторонние системы (по Ней-
Нейману «кратчайшие односторонние» множества), подчиняющиеся
B0.56) только для значений 0'—0, которые всегда положительны
или всегда отрицательны;
(б) селективные несмещенные системы (по Нейману «корот-
«короткие несмещенные» множества), удовлетворяющие условию
Р{6с9|0}=1 — а>Р{6с8|0'}. B0.57)
Эти определения также представляют собой перевод некото-
некоторых идей из теории проверки гипотез на язык доверительных
интервалов, и можно отложить их рассмотрение до главы 23. По-
Поэтому в настоящей главе мы не будем проводить систематиче-
систематического изучения «оптимальных» доверительных интервалов.
20.21 Таблицы и графики для доверительных интервалов
A) Биномиальное распределение. Клоппер и Пирсон A934)
опубликовали графики центральных доверительных интервалов
для параметра распределения при а = 0,01 и 0,05; каждый из-
них дает контуры для п = 8B) 12DJ4, 30, 40, 60, 100, 200, 400 и
1000. Эти графики воспроизведены в Biometrika Tables. Для
вдвое меньших значений а можно получить нижние или верхние
односторонние интервалы. Можно также использовать таблицы
неполной бета-функции (см. 5.7 и Biometrika Tables),
Пэчерс A960) приводит центральные границы для а = 0,01;
0,02; 0,05; 0,10 и п = 55E) 100 и ссылки на другие таблицы
(в том числе на таблицы Кларка A953)) для тех же значений а
ип= 10AM0*).
Стерн A954) предложил другой метод построения доверительных гра-
границ для вероятности успеха в случае биномиального распределения. Вместо
того, чтобы быть центральной, доверительная полоса содержит значения р
с наибольшими вероятностями их появления. Так как распределение р в об-
общем случае асимметрично, то ясно, что таким путем мы интервал укорачи-
укорачиваем. Кроу A956) показал, что эти интервалы образуют доверительную по-
полосу с минимальной общей площадью, и табулировал несколько измененное
множество интервалов для выборок объема до 30 и коэффициентов дове-
доверия 0,90; 0,95 и 0,99. См. также 20.23 ниже.
B) Распределение Пуассона, (а) В Biometrika Tables приве-
приведены центральные доверительные интервалы для параметра рас-
распределения, построенные с помощью работы Гарвуда A936) для
наблюденных значений х = 0AK0EM0 и а = 0,002; 0,01; 0,02;
0,05; 0,10. Как и в A), это дает односторонние интервалы для
а/2**), (б) Рикер A937) приводит аналогичные таблицы для
х = 0AM0 и а = 0,01; 0,05. (в) Пжиборовский и Виленский
A935) дают верхние доверительные границы только для ?=0AM0,
а = 0,001; 0,005; 0,01; 0,02; 0,05; 0,10. (г) Кроу и Гарднер A959)
табулировали модифицированные интервалы Стерна — Кроу би-
биномиального типа для х = 0AK00 и а=эО,ОО1; 0,01; 0,05; 0,10;
0,20. См. также 20.23.
C) Дисперсия нормального распределения. Тейт и Клетт
A959) приводят наиболее селективные несмещенные доверитель-
доверительные интервалы и физически кратчайшие интервалы, основанные
на достаточной статистике, для а = 0,001; 0,005; 0,01; 0,05; 0,10 и
/1 = 3AK0. Первые из вышеупомянутых интервалов приводит
также Пэчерс A961) для а = 0,01; 0,05; 0,10 и п — 1 = 1AJ0,
24, 30, 40, 60, 120 и Линдли и др. A960) для а = 0,001; 0,01; 0,05
и п— 1 = 1AI00.
D) Отношение нормальных дисперсий. Рамачандран A958)
приводит наиболее селективные несмещенные интервалы для
а = 0,05 и щ — 1, п2— 1 =2ALBI2DJ4, 30, 40, 60.
E) Коэффициент корреляции. Ф. Дэвид A938) приводит
четыре графика центральных доверительных интервалов для
*) Центральные доверительные интервалы для параметра биномиального
распределения даны в Таблицах математической статистики для а = 0,01;
0,05 и 0,1 и х, п — х = 0AJ0BK0EM0, 60, 80, 100, 200, 500, где х — наблю-
наблюденное число «успехов», и в Сборнике статистических таблиц для а = 0,01;
0,02; 0,05; 0,1; 0,2; 0,5 н х — 0A)9, п — х = 1 A) 12, 15EJ5, 50, 100, 500.
(Прим. ред.)
**) Для параметра распределения Пуассона в Таблицах математической
статистики даны расширенные по сравнению с Biometrika Tables таблицы
для х = 0AM0 и поправки к приближенным формулам для вычисления до-
доверительных границ при х р> 50. (Прим. ред.)
164
ГЛАВА 20
коэффициента корреляции р двумерной нормальной совокупности
для а = 0,01; 0,02; 0,05; 0,10; на каждом из графиков даны кон-
контуры для п = 3A)8, 10, 12, 15, 20, 25, 50, 100, 200 и 400. В Bio-
metrika Tables воспроизведены указанные графики для а. = 0,01
и а = 0,05 *). Односторонние интервалы могут быть получены,
как и в A).
Дискретность
20.22 При обсуждении биномиального распределения в при-
примере 20.2 мы обратили внимание на тот факт, что число успехов
(скажем, с) необходимо целое и доля успехов р ( = с/п), следо-
следовательно, дискретна. Полученная там доверительная полоса не
была точной и давала доверительные утверждения вида
Р ^ 1 — а вместо Р = 1 — а. Прибегнув к специальному приему,
можно всегда сделать утверждение типа Р = 1 —а, даже в ди-
дискретном случае. Этот метод предложил Стивене A950).
Действительно, после того, как мы извлекли случайную вы-
выборку и получили с успехов, возьмем откуда-нибудь случайное
число х, имеющее прямоугольное распределение dF = dx, 0^
<;*;?: 1, например, выбирая случайным образом четыре цифры
из обычных таблиц и принимая их за десятичные знаки. Тогда
величина
у = с + х - B0.58)
может принимать любое значение в интервале от 0 до п + 1
(предполагая, разумеется, что четырех десятичных знаков доста-
достаточно для того, чтобы задать значение непрерывной перемен-
переменной). Если уо = со-\-хо, то, обозначая через со оцениваемую ве-
вероятность, имеем
Р (У > У о) = Р (О с0) + Р (с = с0) Р (х > ха) =
= *> 2
/=со+1
'. B0.59)
Это определяет непрерывное распределение для у. Оно очевид-
очевидным образом непрерывно, когда х изменяется от 0-4- до 1—, так
как со тогда постоянно. В точках, где х0 = 0, вероятность также
стремится к одному и тому же значению как справа, так и слева.
Можно теперь использовать это распределение, чтобы получать
доверительные границы для со, и доверительные утверждения,
*) Эти графики воспроизведены в Таблицах математической статистики,
(Прим. ред.)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
165
О 5 10 15 Щ
Число успехов плюс случайный
элемент
Рис. 20.6. Рандомизоваиные довери-
доверительные интервалы для биномиаль-
биномиального параметра.
основанные на них, будут точными утверждениями типа Р =
= 1 —а.
Доверительные интервалы будут иметь вид, показанный на
рис. 20.6. Верхняя граница теперь сдвинулась вправо благодаря
тому, что разрывы соедини-
соединились последовательностью дуг.
Нижняя граница также содер-
содержит последовательность дуг,
но она не сдвинулась вправо;
поэтому на рисунке показана
(пунктиром) только прибли-
женная верхняя граница из
рис. 20.2. При нашем масшта-
бе нижняя приближенная гра-
ница почти совпала бы с ниж-
нижней последовательностью дуг.
Общий результат состоит в
том, что таким приемом дове-
доверительный интервал укорочен.
20.23 На первый взгляд
удивительно, что интервалы,
полученные таким путем, ле-
жат внутри приближенных сту-
ступенчатых интервалов из рис. 20.2 и, следовательно, дают не ме-
менее точные границы. Ведь беря дополнительную случайную вели-
величину х, мы вносили дополнительную неопределенность в ситуа-
ситуацию. Однако небольшое размышление покажет, что то, что мы
сделали, не бессмысленно. Мы устранили одну неопределенность,
связанную с неравенством Р> 1 — а, введением другой так, что-
чтобы делать утверждения вида Р = 1 — а, и потери от второй не-
неопределенности более чем возмещаются устранением первой.
Центральные интервалы для параметра биномиального рас-
распределения можно легко получить из соотношения B0.59), но
они не будут несмещенными наиболее селективными рандоми-
зованными интервалами. Последние табулированы Блитом и
Хатчинсоном A960) для а = 0,01; 0,05 и « = 2AJ4BM0. Те
же авторы A961) приводят интервалы с такими же свойствами
для параметра пуассоновского распределения при наблюдениях
х, не превосходящих 250, и а = 0,01; 0,05.
Обобщение на случай нескольких параметров
20.24 Теперь мы перейдем к обобщению предшествующей
теории на случай распределения, зависящего от нескольких па-
параметров. В дальнейшем, чтобы упростить изложение, мы будем
подробно рассматривать лишь случай одномерной варианты,
166
ГЛАВА 20
хотя теория совершенно общая. Мы начнем с обозначений и
с введения геометрической терминологии, которую можно рас-
рассматривать как обобщение понятий из рис. 20.1 и 20.2.
Предположим, что у нас есть плотность известного вида,
зависящая от / неизвестных параметров 9ь ..., 8;. Обозначим
ее f(x, 0Ь ..., 0(). Задача может состоять в оценке либо только
0i, либо одновременно нескольких параметров 0j. Вначале рас-
рассмотрим оценку лишь одного параметра. Для того чтобы опре-
определить доверительные границы, требуется найти две функции
«о и ии зависящие от выборочных значений и не зависящие от
параметров 0,-, такие, что
Р{мо<91<и1}=1-а, B0.60)
где 1—а есть заранее выбранный коэффициент доверия.
С выборкой Х\, ..., хп объема п можно связать точку
в /г-мерном евклидовом пространстве, а функция плотности бу-
будет определять плотность распределения для каждой такой
точки. Величины и0 и и\, являясь функциями от иксоз, опреде-
определены в этом пространстве и для любого заданного коэффи-
коэффициента доверия 1 — а лежат на двух гиперповерхностях (есте-
(естественное обобщение понятия доверительных линий из рис. 20.1).
Между ними заключена доверительная зона.
В общем случае мы должны рассматривать область априори
возможных значений 0. Таким образом, к п-мерному простран-
пространству присоединяется /-мерное пространство значений 9. Общая
область изменения имеет теперь размерность / + п. Но если мы
оцениваем только параметр 9i, то совокупное пространство ре-
редуцируется к (п + 1)-мерному пространству, остальные /—i
параметров отсутствуют.
Будем обозначать через W выборочное пространство, а че-
через Е — точку с координатами хь ..., хп. Будем писать ио(Е),
Ui(E), чтобы подчеркнуть, что доверительные функции зависят
от Е. Интервал U\{E) — ио(Е) обозначим д(Е) или б. Как и
выше, 6c9i означает, что uo-<0i-<Ui. Доверительную зону обо-
обозначим А и будем писать Е <= б или Е^А, чтобы показать, что
выборочная точка лежит в интервале б или в области А.
20.25 На рис. 20.7 показаны две оси Xi и х2 и третья ось,
соответствующая переменной 0i. Выборочное пространство W,
таким образом, двумерно. Для любого заданного 0Ь скажем
для 9]', пространство W есть гиперплоскость (или ее часть), как
показано на рисунке.
Возьмем любую заданную пару значений (хи х%) и проведем
через эту точку прямую, параллельную оси 9i (как PQ на ри-
рисунке) и пересекающую гиперплоскость в точке R. Соответствую-
Соответствующие значения функций и0 и «i будут давать две границы для
0j; им отвечают две точки на этой прямой, например U и V.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
167
Рассмотрим теперь прямые PQ, когда хх и х2 изменяются.
В некоторых случаях точки U, V находятся по разные стороны
от R и параметр 9i лежит внутри интервала UV. В других
случаях (как, например, для
интервала U'V, показанно- et
го на рисунке) получается
обратное. Совокупность
точек первой категории
определяет область А, за-
заштрихованную на рисунке.
Для любой точки из А
утверждение о том, что 6с0',
является справедливым;
для точек же, лежащих вне
А, оно будет ошибоч-
ошибочным.
20.26 Очевидно, если вы-
борочная точка Е попадает
в область А, то соответст-
соответствующее значение парамет-
параметра 9i лежит в доверитель-
доверительном интервале, и наоборот.
Из этого следует, что ве-
вероятность, с которой любое
фиксированное значение 0i будет накрыто доверительным интер-
интервалом, равна вероятности того, что точка Е лежит в A{QX), т. е.
Рис.
20.7. Доверительные интервалы
для п = 2 (см. текст).
Л@1)|91, .... 0/}. B0.61)
Отсюда следует, что если доверительные функции определены
так, что
P{uo<0i<"i}= I —a,
то для любого 9i
„ ..., 0Д=1-а.
B0.62)
Это показывает также, что ни при каком 9] область А не мо-
может быть пустой, так как вероятность в B0.62) была бы тогда
равна нулю.
20.27 Если функции и0 и Ui однозначны и определены для
всех Е, то любая выборочная точка попадает по крайней мере
в одну область А (9[). Действительно, если на прямой PQ, соот-
соответствующей данному Е, возьмем точку R между U и V, то
этим мы определим значение 0[, например 0i, такое, что
Л@[)
168
ГЛАВА 20
Более существенно то, что если выборочная точка попадает
в области A (9J) и А (в!'), соответствующие двум значениям
параметра 61( скажем 0[ и 0?, то она попадает и в область
А @Г')> где 0i" — любое значение между 9[ и 07. В самом деле,
имеем uo^0i<«i, uo^.Q'{^.ии и, следовательно,
если 07 — наибольшее из 0! и 07.
Далее, если выборочная точка попадает в каждую из обла-
областей A(Qi), отвечающих значениям параметра 9, для которых
8i<0i<07, то она должна также попадать в области Л @0
и Л @7).
20.28 Условия, указанные в двух предыдущих пунктах, яв-
являются необходимыми. Докажем сейчас, что они и достаточны,
а именно: пусть для любого значения 0[ существует определен-
определенная в выборочном пространстве W область А такая, что
A) Р {Ее А @0 |0i} = 1 — а, каковы бы ни были значения
параметров 0i, . .. , 0(;
B) для любого Е существует по меньшей мере одно Qu
например 0{, такое, что EeA{Q[);
C) если Ее А @[) и Ее А @7), то Ее А (в"') для любого вГ",
лежащего между 0[ и 07;
D) если ?<=Л@О для любого 0ь удовлетворяющего усло-
условию в{ < 0, < 0", то Ее А @0 и Ее А (97).
Тогда доверительные границы ы0 и щ для параметра 9
определяются как нижняя и верхняя грани значений 0i, для
которых фиксированная выборочная точка попадает внутрь
А @0- Они определены и однозначны для всех Е, ы0 ^ их и
Р {"о ^ 01 ^ «i|0i} = 1 — а при любом 0[.
Нижняя и верхняя грани существуют вследствие условия B),
и нижняя грань не превосходит верхней. Нам остается только
показать, что Р {ы0 ^ 9i ^ Hi|9i} = 1—а, а для этого, вслед-
вследствие условия A), достаточно показать, что
Р^о^О^Ы! |9[} = P{?<s A @0 |0,}. B0.63)
Мы уже знаем, что если ЕеА(в{), то ыо^01<ыь и наш ре-
результат будет установлен, если мы докажем обратное утвер-
утверждение.
Пусть то, что ?^Л(90, когда ы0 < 01 < «ь — неверно.
Пусть Е — точка вне Л (90, для которой ы0 ^ 0i ^ «i. Тогда
либо Ыо = 0i, либо Ы1 = 0ь либо выполнено то и другое, так как
в противном случае, поскольку «о и Ы\ — границы тех значений
8Ь для которых ? лежит в Л (90, существовали бы значения
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
91 и 07 такие, что ЕтА{Ь[), ?«=4(97). и
169
так что согласно условию C) ?еЛ@О, а это противоречит
предположению.
Итак, либо и0 = 0Ь либо Ы[ = 0[, либо выполнены оба ра-
равенства. В последнем случае точка Е должна попасть в область
Л(90, поскольку ыь и щ — нижняя и верхняя границы значений
9, для которых ?еЛ(90- Наконец, если ы0 = 0i < щ (анало-
(аналогично, если «o<0i = «i), то мы видим, что для любого щ <
< 01 < щ точка Е должна по условию C) попасть в A(Qi)
и, следовательно, по условию D) Е должна попасть в Л (90 и
А( 0"), где 0i = «о и Q'{ = ul. Таким образом," она попадает
в А @0.
Выбор статистики
20.29 Приведенная выше теорема дает формальное решение
задачи нахождения доверительных интервалов для одномер-
одномерного параметра в общем случае. Однако она не содержит ме-
метода, с помощью которого можно находить интервал в кон-
конкретных примерах. На практике применяются четыре подхода:
A) использовать одномерную достаточную статистику, если она
существует; B) принять процесс, называемый «стьюдентиза-
цией» (см. 20.31); C) «угадать» множество интервалов, исходя
из общих знаний и опыта, и проверить, что оно удовлетворяет
или не удовлетворяет требуемым условиям; D) использовать
аппроксимацию, основанную на обобщении метода из 20.15.
20.30 Рассмотрим, как в общем случае используется одно-
одномерная достаточная статистика. Если t\—достаточная стати-
статистика для параметра 0Ь то
L= g (f, 10i) L2 (*i, ..., xn, 02, ..., 0,). B0.64)
Уравнения t[ = const определяют семейство гиперповерхностей
в выборочном пространстве W. Если мы считаем, что этими ги-
гиперповерхностями задаются области в W, то, например, неравен-
неравенство t\ ^ k задает некоторую фиксированную область К. Ве-
Вероятность того, что Е попадает в К, тогда зависит только от t{
и 01. Соответствующим выбором k мы можем определить К
так, что
Р {Е е= К\ 9,} = 1 - а,
и, следовательно, получить области, основанные на значениях
статистики tx. Это можно сделать бесконечным числом спо-
способов, в зависимости от выбора значений ссо и оц. В 23.3 при
170
ГЛАВА 20
обсуждении данной задачи в терминах проверки гипотез мы
увидим, что наиболее селективные интервалы (эквивалентные
наиболее мощному критерию для 0i = 0?) всегда могут быть
построены с помощью достаточных статистик.
Стьюдентизаци я
20.31 В примере 20.1 мы рассматривали упрощенную задачу
оценки среднего по выборке из нормальной совокупности с из-
известной дисперсией. Предположим теперь, что нам требуется
определить доверительные границы для среднего ц по выборке
из совокупности
где параметр о неизвестен.
Рассмотрим величину г = (jc — [j.)/s, где s2 — выборочная
дисперсия. Как известно, она имеет распределение Стьюдента
dP = —к-^-^ B0.65)
(см. пример 11.8). При заданном а мы можем теперь найти z0
и Z\ такие, что
откуда получаем соотношение Р(— zx
рое эквивалентно соотношению
=^ z0) = 1 — а, кото-
кото-a. B0.66)
Следовательно, мы можем сказать, что ц. лежит в интервале
от х — sz0 до x-\-szi с коэффициентом доверия 1 —а, при этом
интервал не зависит ни от \к, ни от о. На самом деле, вследствие
симметрии распределения Стьюдента, Zo = zb но это побочное
обстоятельство, несущественное для рассуждений.
Заметим, что выражение B0.66) (как и B0.4)) линейно от-
относительно статистики х; доверительными линиями в этом слу-
случае, как на рис. 20.1, будут параллельные прямые. Различие
состоит в том, что при известном a расстояние по вертикали
между доверительными линиями является фиксированной функ-
функцией от а, при неизвестном же параметре это расстояние есть
случайная величина, поскольку оно зависит от s. Таким обра-
образом, здесь мы не можем фиксировать длину доверительного ин-
интервала заранее, до получения наблюдений.
20.32 Доверительные интервалы в данном случае удалось
построить благодаря тому, что мы нашли статистику z, зави-
зависящую только от оцениваемого параметра, распределение ко-
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
171
торой не содержит о. Таким путем часто можно устранить мас-
масштабный параметр, однако получаемое распределение не всегда
легко вычислимо. Если, например, мы имеем статистику t сте-
степени р относительно переменных, то величина tjsv имеет нуле-
нулевую степень и ее распределение не зависит от масштабного па-
параметра. Когда статистика таким путем преобразована к виду,
не зависящему от масштабного параметра, говорят о «стьюден-
тизации», поскольку «Стьюдент» (Госсет) первым понял значе-
значение этого процесса.
20.33 Интересно рассмотреть связь между стьюдентизован-
ной статистикой для среднего и доверительными зонами, осно-
основанными на достаточных статистиках, в случае нормального
распределения. Совместное распределение среднего и дисперсии
в выборке из нормальной совокупности есть (пример 11.7)
^-Т^Г^ехр!-^
B0.67)
и х, s совместно достаточны (пример 17.17). В выборочном
пространстве W области, где х постоянно, образуют гиперпло-
гиперплоскости, а области с постоянной
s — гиперсферы. Если мы фик-
фиксируем х и s, то выборочная
точка Е лежит на (п — ^-мер-
^-мерной гиперсфере (пример 11.7).
Выберем на этой гиперсфере
¦область, содержащую A — а)-
часть от площади гиперсферы.
Тогда доверительная зона А
будет получена объединением
таких областей при всех х
и s.
Одной из таких областей
является «ломтик» выборочно-
выборочного пространства, полученный
поворотом гиперплоскости,
проходящей через начало ко-
координат и точку A, 1, ..., 1),
на угол яA—а) (а не на
2яA—а), потому что полуоборот этой плоскости покрывает все
пространство).
На рис. 20,8 проиллюстрирован случай п = 2.
Для любого заданного \х.' ось вращения пересекает гипер-
гиперплоскость [I = \х,' в точке Xi—x2 = \xf, а гиперконусы
(х — ix.)Is = const в пространстве W представляют собой пло-
плоские области, заключенные между двумя прямыми (на рисунке
Рис. 20.8. Доверительные интервалы,
основанные на ^-статистике Стью-
Стьюдента для я = 2 (см. текст).
172
ГЛАВА 20
заштриховано). Множество областей А получается с помощью
такого поворота плоскости вокруг прямой Х\ = х2 = \i, при ко-
котором на любой плоскости ц = ц' образуется угол улA—а)
с каждой стороны от прямой Х\— \ir = х2— ц'-
Граничные плоскости задаются уравнениями
Xi — И = (х2 — ц) tg (тя — у Р),
Х\ — V- — (х2 — V-) tg (yj л + -j
где р = яа, или, после небольших преобразований,
V = -j(xl + x2) +~ (*i — х2) ctg |- Р,
у Р-
Тогда для ц мы получаем интервал
¦jixi-jr x2) — yUi — ^2|ctg-2-P<M'
Но это и есть границы, получаемые из распределения Стью-
дента для п = 2. Действительно, выборочное стандартное от-
отклонение равно у| #[ — х2\ и
dz
2я
откуда
20.34 Следующий пример иллюстрирует использование
«стыодентизации» при построении доверительных интервалов,
а также результаты, к которым она может привести.
Пример 20.7. Доверительные интервалы
для отношения средних двух нормальных величин
Пусть величины х, у имеют совместно нормальное распре-
распределение со средними |, т] и неизвестными дисперсиями и кова-
риацией. Предположим, что | достаточно велико для того,
чтобы область изменения х была существенно положительной.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
173
Найдем доверительный интервал для отношения 0 = т]/|, осно-
основанный на статистике у/х. Имеем
= Р (у — Qx < 0). B0.68)
Величина у — Qx сама распределена нормально, и в выборке
объема п среднее у — Qx распределено тоже нормально с дис-
дисперсией (Dy — 20 cov (л:, у) + Q2Dx)/n. Следовательно (см. 16.10),
отношение
t = u,-ox,rB-i B069)
{Dy - 29 cov (x, y) + 62D*}1/2
имеет ^-распределение Стьюдента с п — 1 степенями свободы,
если для членов в знаменателе используются оценки вида
Этот результат принадлежит Филлеру A940). По таблицам,
обычным путем, можно найти критические значения для вели-
величины t, и вопрос состоит лишь в том, можно ли, используя
B0.69), указать соответствующие границы для 9. В данном
случае не имеется одномерной достаточной статистики для па-
параметра 0. Наше уравнение содержит пять достаточных стати-
статистик (два средних, выборочные дисперсии и ковариация), ко-
которые в определенной степени являются зависимыми. Можно
ожидать, что некоторые трудности, с которыми мы сталкивались
в 20.12—14, возникнут и здесь. Так оно и есть.
Рассмотрим, как изменяются 0 и t2 при заданных значениях
пяти статистик. Имеем
t* _у2бх- 2ху ет (х, у) + я" Ъу
п ~ ' DxDy — {cov (x, у)}г
_ Ш cov (x, у) — х, 6у} — 6 [у Ьх — х cov (х, у)}]2
[Dx Qy — {от (х, у)}2} (Ьу — 29 cov (х, у) + 926х}
Уравнение B0.70) является уравнением третьего порядка отно-
относительно 0 и t2. Если откладывать 9 как ординату, a t2 как
абсциссу, то получим график, аналогичный приведенному на
рис. 20.9 (последний, как легко видеть, не изображает довери-
доверительных линий).
Максимальное значение t2 (скажем, ^ах) получится из
B0.70), когда
(х, у) — xQy /on vn
B0.70)
q = р ^^ B(Ш)
yDx — ?cov (х, у)
Обозначим это значение через А. Минимальное значение дости-
достигается при t2 = 0. Прямая t2/(n—l) — x2IDx является асимп-
асимптотой.
174
ГЛАВА 20
Для t2 = 0 или t2max оба значения 0 совпадают. Когда
t2 > imax> они являются мнимыми. Если 0 < ?2 ¦< Л, то они дей-
действительны и различны. При изменении t2 от 0 до imax боль-
больший корень 9 монотонно возрастает (или убывает) от наблю-
наблюденного значения у/х до А. Меньший корень убывает (или воз-
возрастает) от у/х, уходит в бесконечность в асимптоте, вновь по-
появляется с противоположным знаком с другой стороны асимп-
асимптоты и монотонно приближает-,
ся к А, снова сливаясь там с
другим корнем. Границы для
Э, соответствующие данному
критическому значению t2, ука-
указаны на рис. 20.9 (получено из
работы Филлера, 1954). Для
конкретных значений х, у, Dx,
cov(x,y) и Dy мы можем ут-
?4м верждать, что параметр 0 ле-
лежит внутри действительного
интервала при коэффициенте
доверия, определяющем вели-,
чину t2/(n—1), принадлежа-
Рис. 20.9. Доверительные интервалы, Щую интервалу ОТ 0 ДО Х2/Ох;
основанные на B0.71) (см. текст). что он лежит в интервале,
бесконечном в отрицательном
направлении, при x2/Dx ^ t2/(n— 1)< А, и можем утверждать
только, что он лежит где-то в интервале от —со до +°°, Для
Совместные доверительные интервалы
для нескольких параметров
20.35 Довольно часто возникают задачи, где нужно оценить
более чем один параметр, например среднее и дисперсию. Обоб-
Обобщение теории доверительных интервалов для одного параметра
на случай двух или большего числа параметров наталкивается
на существенные трудности. Пусть, скажем, даны два параметра
Oi и 02 и две статистики t и и. Хотелось бы получить совместное
интервальное утверждение типа
*1 и «о<02<а,}=1 — а. B0.72)
К сожалению, это редко удается. Иногда можно сделать утвер-
утверждение, определяющее доверительную область одновременно
для двух параметров, как, например,
(?|}=1 — а. B0.73)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
175
Но это не вполне удовлетворительно, так как мы не знаем,
так сказать, какая доля неопределенности этой области свя-
связана с каждым из параметров. Возможно, что без принятия ка-
какого-то нового подхода задача локализации параметров в от-
отдельные интервалы неразрешима.
Проблема остается сложной даже при больших выборках.
Можно определить интервалы типа
и подставить (при большой выборке) оценку для 02 в границы
М0г) И М^г)- Этот прием аналогичен хорошо известной про-
процедуре в теории стандартных ошибок, где мы заменяем пара-
параметры, входящие в дисперсии ошибок, их оценками, получен-
полученными по выборкам.
20.36 Мы не будем пытаться развить здесь далее теорию
совместных доверительных интервалов. Читатель, который ин-
интересуется теоретическим аспектом, может посмотреть работы
С. Роя и Бозе A953) и С. Роя A954). Бартлетт A953, 1955)
рассмотрел обобщение метода из 20.15 на случай двух или бо-
более неизвестных параметров. Гальперин и Мантел A963) и
Гальперин A964) рассмотрели интервалы для нелинейных
функций от параметров (в частности, при больших выборках).
Теорема из 20.17, касающаяся кратчайших интервалов, была
обобщена Уилксом и Дейли A939). При большой выборке в до-
довольно общих предположениях наименьшая в среднем область
для / параметров дается соотношением
4 дв( дв,-
B0.74)
где /~' — матрица, обратная к информационной матрице, общий
элемент которой имеет вид
— М (д logL dlogM
а %2а таково, что Р(%2^Х2а)— 1 — а, где вероятность вычис-
вычисляется с помощью ^-распределения с / степенями свободы. Это,
очевидно, имеет отношение к результату из 17.39, дающему ми-
минимальные достижимые дисперсии (а после простого обобще-
обобщения и ковариации) для множества несмещенных оценок не-
нескольких параметрических функций.
В третьем томе в разделе дисперсионного анализа нам встре-
встретится задача нахождения доверительных интервалов одновре-
одновременно для нескольких средних.
176 ГЛАВА 20
Толерантные интервалы
20.37 В этой главе мы занимались вопросом нахождения
доверительных интервалов для параметров, участвующих явно
в задании распределения. Но техника доверительных интерва-
интервалов может быть использована и для других задач. В следующих
главах мы увидим, что можно находить интервалы для кван-
квантилей исходных распределений (см. упражнение 20.17), а также
для самих функций распределения без каких-либо предположе-
предположений о типе распределения, только в предположении непрерыв-
непрерывности. Имеется и другой класс задач, часто встречающихся в
практике, которые можно решить этими методами. Пусть на
основе п независимых наблюдений из некоторого распределения
мы хотим найти две границы L\ и L2, о которых можно утвер-
утверждать, что доля распределения, содержащаяся между ними, не
меньше чем у. Понятно, что такие утверждения нужно делать
в вероятностной форме, а именно, с заданной вероятностью р
доля распределения, не меньшая у, лежит между L[ и L2. Ве-
Величины Lx и L2 называются толерантными границами для рас-
распределения; мы их будем называть (Р, у) -толерантными грани-
границами. Интервал (Lu L2) является толерантным интервалом.
В главе 32 мы увидим, что толерантные границы можно строить
без предположений (кроме непрерывности) о виде исходного
распределения. В настоящей главе, однако, мы рассмотрим вы-
вывод толерантных границ для нормального распределения, при-
принадлежащий Вальду и Волфовицу A946).
20.38 Так как выборочные среднее и дисперсия образуют
пару достаточных статистик для параметров нормального рас-
распределения (упражнение 17.17), то естественно на их основе
искать толерантные границы для исходного распределения. По
выборке объема п построим несмещенные оценки
и положим
А (Я, s', X)= J f(t)dt,
B0.75)
x-Xs'
где f(t) — плотность нормального распределения. Требуется най-
найти величину X, для которой
Р{А(х, s',
B0.76)
Тогда L1=x — ks' и L2 = к + Xs' образуют пару центральных
(р, у)-толерантных границ для исходного распределения. Так
как нас интересует лишь доля распределения, покрываемая ин-
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
177
тервалом {LUL2), то без потери общности можно считать, что
истинное среднее равно 0, а дисперсия 1. Тогда
f @ = Bn)
B0.77)
20.39 Рассмотрим условную вероятность того, что А (х, s', X)
превзойдет у, при заданном х. Обозначим ее Р{А>у\х}.
Функция А монотонно возрастает по s', и уравнение
А (Я, s', К) =
B0.78)
имеет в точности один корень, который обозначим s'(x, у, X).
Пусть
Xs'(x, у, Х) = г(х, у). B0.79)
При заданных х и у величину г = г(х, у) можно сразу найти по
таблицам нормального распределения, так как
Х+г
B0.80)
Из соотношения B0.80) видно, что г не зависит от К. Кроме
того, поскольку А монотонно возрастает относительно s', то не-
неравенство А > у эквивалентно неравенству
s'> s'(x, у, Х) = г(х
Таким образом, можно написать
Р{Л >yU} = p[s'>^|jc}. B0.81)
Так как х и s' независимы, то B0.81) переходит в соотношение
Р {А > у | х} = Р {(п - 1) s'2 >(п - 1) г2Д2}. B0.82)
Поскольку величина (п — \)s'2 = 2 (х — хJ имеет ^-распре-
^-распределение сп — 1 степенями свободы, то окончательно имеем
Р{А > у \х} = Р {,?_, >(л - 1) г*/Х2}. B0.83)
Используя таблицы ^-распределения, мы можем определить ве-
вероятность в соотношении B0.83).
20.40 Для того чтобы из B0.83) получить безусловную ве-
вероятность Р(А>у), мы должны это соотношение проинтегри-
проинтегрировать по распределению х, которое нормально со средним нуль
и дисперсией 1/га. Интегрирование является утомительной вы-
вычислительной операцией, но, к счастью, существует красивый
приближенный метод. Разложим функцию Р(А~>у\х) в ряд
178
ГЛАВА 20
Тейлора в окрестности точки х = ц = 0, и поскольку она яв-
является четной по х функцией, то нечетные степени в разложении
будут отсутствовать*). Получим
?2
2!
... B0.84)
Беря математическое ожидание, имеем
~Р"(А>у\0) + ... B0.85)
~
Но из B0.84) при х=1/У~п находим
Р /А > у -±=Л = Р (А > у 10) + -1- Р" {А > у 10)+О (п~2). B0.86)
\ У п I In
Соотношения B0.85) и B0.86) дают
Р(А>у) = Р А>у
+ О (п-2),
B0.87)
и мы можем использовать B0.87) для нахождения приближен-
приближенного значения величины Я, в B0.83). Вальд и Волфовиц A946)
показали (см. также Эллисон A964)), что это приближение очень
хорошее даже для таких малых значений п, как п = 2, если
только р и у ^ 0,95, каковыми они обычно бывают на практике.
Боукер A947) приводит таблицы значений К (у него k) для р
(у него у) = 0,75; 0,90; 0,95; 0,99 и у (у него Р) = 0,75; 0,90;
0,99 и 0,999, для объемов выборок п = 2A) 102B) 180EK00A0)
400B5O50E0I000**).
Легко видеть, что приведенные рассуждения остаются спра-
справедливыми, если х заменить любой оценкой р. для среднего,
a s'2 — любой независимой оценкой а2 для дисперсии нормаль-
нормальной совокупности (см. Уоллис A951)). Для случая, когда сред-
среднее оценено по п наблюдениям, а оценка дисперсии имеет v
степеней' свободы, у Тагути A958) приведены таблицы значе-
значений к (у него k) при р (у него 1 — а) и v (у него Р) = 0,90;
0,95 и 0,99 и « = 0,5@,5JAI0BJ0EK0A0N0B0I00, 200,
500, 1000, оо; v= 1 AJ0BK0E) 100A00) 1000, оо. Малые дроб-
дробные значения п полезны для некоторых приложений, которые
можно найти у Тагути. Вайсберг и Битти A960) приводят таб-
таблицы для К/г (у них и) при v (у них /) = 1AI50BJ50EM00
A0I000A000I0000, оо и р (У них y) = 0.90; 0,95, 0,99 и для г
*) Данный факт верен вследствие симметрии интервала относительно х.
В отсутствие симметрии этого не могло быть.
**) Сокращенный вариант этих таблиц приведен в Таблицах математи-
математической статистики. (Прим. ред.)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ; ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
179
при п= 1AI00EJ00A0K00B0M00A00I000A000I0000, оо и
у (у них Р) = 0,5; 0,75, 0,9; 0,95; 0,99; 0,999 *).
Фрэзер и Гаттмэн A956) и Гаттмэн A-957) рассмотрели толе-
толерантные интервалы, которые покрывают в среднем заданную
часть исходного нормального распределения.
УПРАЖНЕНИЯ
20.1 Мы видели (упражнение 17.1), что при выборке объема п из распре-
распределения
dF
г (р) е"
• dx, 0 < х < оо, р > 0,
когда р известно, достаточной статистикой для параметра 9 является х/р.
Построить доверительный интервал для 6.
20.2 Показать, что в случае прямоугольного распределения
dF = dx/Q, 0 < х < 9,
при коэффициенте доверия 1 — а доверительными границами для пара-
параметра 9 служат t и t/ip, где t — выборочный размах, а ф задается уравне-
уравнением
¦
i-i i
-(я- Ui|>}=a.
(Уилкс, 1938с.)
20.3 Показать, что в случае распределения из предыдущего упражнения
доверительные границы для 9 при выборке объема два, х% и хг, суть
(Нейман, 1937b.)
20.4 В условиях упражнения 20.2 показать, что если L — большее на-
наблюдение в мборке объема два, то доверительными границами для 9 слу-
служат L, LiYо., а если М — наибольшее наблюдение в выборке объема че-
четыре, то границами служат
М, М/ат.
(Нейман, 1937b.)
20.5 Используя асимптотическую многомерную нормальность оценок ма-
максимального правдоподобия A8.26) и %2"РаспРеДеление показателя степени
многомерного нормального распределения A5.10), показать, что соотношение
B0.74) дает, при большой выборке, доверительную область для совокупности
параметров. На основе этого получить доверительную область для среднего
и дисперсии одномерного нормального распределения.
20.6 При построении доверительных границ для дисперсии нормальной
совокупности с помощью распределения выборочной дисперсии (пример 20.6)
начертить доверительные полосы для какого-нибудь значения коэффициента
доверия и показать, что они всегда дают связный интервал, внутри которого
заключена дисперсия а2.
*) Эта таблица воспроизведена в Сборнике статистических таблиц.
(Прим. ред.)
180
ГЛАВА 20
20.7 Показать, как построить доверительные границы для отношения
дисперсий crj'<з:2 двух нормальных совокупностей, если даны п.\ независи-
независимых наблюдений из первой совокупности и Пг — из второй. (Использовать
распределение отношения выборочных дисперсий A6.24).)
20.8 Используя метод нз 20.10, показать, что при большой выборке
95-процентные доверительные границы для <о в биномиальном распределении
примера 20.2 имеют вид
1
p +
2«
± 1,96
20.9 Используя теорему Гири (упражнение 11.11), показать, что при
большой выборке 95-процентные доверительные границы для отношения
<»2/<»i параметров двух биномиальных распределений, основанные иа неза-
независимых выборках объемов Пг и п\ соответственно, имеют внд
-ЬA,96J/«2
+ 1,96
1-Pi
n\Pl
,
"I
-Pi , (U96J
V»M
4A -р,)
)\
(Нётер, 1957.)
20.10 В условиях примера 20.6 показать, что доверительный интервал,
основанный на
ns
¦| = 1 — а
(где Хо и У-\ — нижняя и верхняя -х- а- точки ^-распределения с я — 1 сте-
пенями свободы), не является физически кратчайшим интервалом для о2,
построенным на основе ^-распределения величины ns*/o2.
(см. Тейт и Клетт, 1959.)
20.11 Извлекаются независимые выборки объемов /и и Пг соответственно
из двух нормальных совокупностей со средними щ и р-а и дисперсиями
Показать, что величина
„;
1/2
и s\, s\
(где хи хг и Sj, s|— выборочные средние и дисперсии) имеет распределение
Стьюдента с Я1+Я2 — 2 ст. св., и построить доверительные границы для
1*1-1*»- ' .
20.12 Показать, что если в упражнении 20.11 а\
имеющей распределение Стьюдента, является ие t, a
„2 „2 х
то статистикой,
'1
—2)
1/2
20.13 Показать, что если /(^|8) = g(x)/h(Q), a(9) <ж<6(9), и 6F) —
монотонно убывающая функция от а(9), то экстремальные наблюдения X(i>
и *(„) образуют пару совместно достаточных статистик для 8 (см. 17.40—41).
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
181
Используя их совместное распределение, показать, что одномерная доста-
достаA }
точная статистика для параметра 9, 8
распределение
dF ="У(9)г"' <-
mln (а
), Ь
д
имеет
где 8* определяется из уравнения аF*)= 6(9*). .
20.14 В условиях упражнения 20.13 показать, что величина if=ft(9)/ft(e)
имеет распределение dF — ntyn~ dip, 0<^ if^ 1- Доказать, что
P{a1/n<if<l}=l -«.
и, пользуясь этим, построить доверительный интервал для 6. Доказать, что
он короче любого другого интервала, основанного иа распределении вели-
величины if-
(Хузурбазар, 1955.)
20.15 Используя результат упражнения 20.14, показать, что доверитель-
доверительный интервал для параметра 9 в случае распределения
dp==dx_
8 '
лолучается из соотношения
и что он короче интервала, полученного в упражнении 20.2.
20.16 Используя результат упражнения 20.14, показать, что доверитель-
доверительные интервалы для 9 в случае распределения
dF =
получаются из соотношения
dx,
(Хузурбазар, 1955.)
20.17 Пусть /(х)— доверительный интервал для параметра 8, f(x\Q) —
плотность распределения и 9о — истинное значение параметра 0. Показать,
что ожидаемая длина интервала 1(х) может быть записана как
</в| ^(«1 в0)
9s;w J
и что
M
(L)— J P {9 e= / (x) I 90} <f9
есть интеграл по всем ложным значениям 6 от вероятности того, что 9 по-
попадает в доверительный интервал.
(Прэтт, 1961, 1963.)
20.18 Пусть в упражнении 20.17 х<=Д(8) тогда и только тогда, когда
8 s [(х). Показать, что M(L) минимизируется при выборе такого ДF) при
каждом. 9, для которого Р{х еЛ (8) |80} минимальна. (Это эквивалентно вы-
выбору для каждого 8 наиболее мощного критерия против альтернативного зна-
значения 60 (см. 23Г26, ниже).)
(Прэтт, 1961, 1963.)
182
ГЛАВА 20
20.19 Пусть х н у имеют двумерное нормальное распределение с дис-
дисперсиями а{, а2 и коэффициентом корреляции р. Показать, что величины
х и х ц
и= V-2—, v = 2_
О] а2 0i 02
независимы и нормально распределены. Для выборки объема п с выбороч-
выборочными дисперсиями s| и s2y и коэффициентом корреляции гху показать, что
выборочный коэффициент корреляции между и н v может быть записан
в виде
где I — s\j^ н Я = o\jo\. Вывести отсюда, что, каково бы нн было значе-
значение р, доверительные границы для X дается выражениями l{K — (К2 — II'2}1
I {К + {К2 - \)ll\ где К = 1+ 2^ ~'Г*У' t2a и 4 есть ЮОа-процентная
(Питмэн, 1939а.)
точка ^-распределения Стьюдента.
20.20 Показать, что величина г(х,у), определенная в 20.39 соотношением
B0.80), асимптотически по п равна
(Боукер, 1946.)
20.21 Используя метод из примера 6.4, показать, что для %г-распределе-
ння с v степенями свободы значение, выше которого лежит 100|5 процентов
распределения, есть хр> где
20.22 Комбинируя результаты упражнений 20.20, 20.21, показать что
согласно B0.83)
X ~ г (О,
>> Y){
,
,
(Боукер, 1946.)
ГЛАВА 21
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ:
ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
21.1 В начале этой главы сделаем небольшое замечание
о терминологии. Задачи интервального оценивания (в его точ-
точном смысле) начали привлекать внимание статистиков примерно
в 1925—1930 гг. Подход, основанный на доверительных интер-
интервалах, которые были определены в предыдущей главе, и подход,
основанный на фидуциальных интервалах, к изложению которых
мы переходим, были предложены соответственно Дж. Нейманом
и Р. А. Фишером. Так как оба подхода давали, казалось, одина-
одинаковые результаты, то вначале было естественное убеждение, что
оба эти метода выражают одно и то же, но в разных терминах.
Как следствие этого, в ранней литературе часто употреблялось
название «фидуциальные» интервалы в смысле наших «довери-
«доверительных» и (менее часто) «доверительные» интервалы в некото-
некотором смысле, более близком к «фидуциальному» методу рассу-
рассуждений.
Хотя путаница с названиями никогда не была до конца про-
прояснена, сейчас общепризнано, что фидуциальные интервалы от-
отличаются по своей природе от доверительных. Но сторонники
этих подходов, как нам кажется, не всегда с полной ясностью
указывают, в чем состоит различие; также не всегда они исполь^
зуют термин «фидуциальный» в строгом соответствии с тем
значением, в котором его употреблял Фишер, первым предло-
предложивший его. Мы изложим основные, на наш взгляд, идеи фи-
дуциального подхода, но читатель, обращающийся к перво-
первоисточникам, должен иметь в виду, что он может встретить упо-
упомянутое несовпадение в терминологии.
21.2 Для того чтобы понять основные идеи, обратимся к при-
примеру. Рассмотрим выборку объема п из нормальной совокуп-
совокупности с неизвестным средним ц и единичной дисперсией. Доста-
Достаточной статистикой для (х является выборочное среднее х, ко-
которое имеет распределение
{-±n(x-nr}dx. B1.1
Выражение B1.1) есть распределение различных значений х
при фиксированном неизвестном |х. Теперь предположим, что
182
ГЛАВА 20
20.19 Пусть х и у имеют двумерное нормальное распределение с дис-
дисперсиями о^, о2 и коэффициентом корреляции р. Показать, что величины
и
х
»=
независимы и нормально распределены. Для выборки объема п с выбороч-
выборочными дисперсиями
sx и
sy и коэффициентом корреляции гху показать, что
y
выборочный коэффициент корреляции между и и v может быть записан
в виде
ХJ-4гху1Х
где / = Sj/s| и X — aJoz- Вывести отсюда, что, каково бы нн было значе-
значение р, доверительные границы для Я, дается выражениями l{K — (К2 — II'2}'
I {К + (К2 - II12}, где K = l+-
точка ^-распределения Стьюдента.
¦ta и ta есть ЮОа-процентная
(Питмэн, 1939а.)
20.20 Показать, что величина г (х, у), определенная в 20.39 соотношением
B0.80), асимптотически по п равна
(Боукер, 1946.)
20.21 Используя метод из примера 6.4, показать, что для х2"Распределе-
ния с v степенями свободы значение, выше которого лежит 100|5 процентов
распределения, есть Хр. где
а
J B*Г
^expl--!-
-¦а.
20.22 Комбинируя результаты упражнений 20.20, 20.21, показать, что
согласно B0.83)
f de 5 (dl + 2)
Я ~ г @, Y) | 1 + -^щ + -~ ~
(Боукер, 1946.)
ГЛАВА 21
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ:
ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
21.1 В начале этой главы сделаем небольшое замечание
о терминологии. Задачи интервального оценивания (в его точ-
точном смысле) начали привлекать внимание статистиков примерно
в 1925—1930 гг. Подход, основанный на доверительных интер-
интервалах, которые были определены в предыдущей главе, и подход,
основанный на фидуциальных интервалах, к изложению которых
мы переходим, были предложены соответственно Дж. Нейманом
и Р. А. Фишером. Так как оба подхода давали, казалось, одина-
одинаковые результаты, то вначале было естественное убеждение, что
оба эти метода выражают одно и то же, но в разных терминах.
Как следствие этого, в ранней литературе часто употреблялось
название «фидуциальные» интервалы в смысле наших «довери-
«доверительных» и (менее часто) «доверительные» интервалы в некото-
некотором смысле, более близком к «фидуциальному» методу рассу-
рассуждений.
Хотя путаница с названиями никогда не была до конца про-
прояснена, сейчас общепризнано, что фидуциальные интервалы от-
отличаются по своей природе от доверительных. Но сторонники
этих подходов, как нам кажется, не всегда с полной ясностью
указывают, в чем состоит различие; также не всегда они исполь-
используют термин «фидуциальный» в строгом соответствии с тем
значением, в котором его употреблял Фишер, первым предло-
предложивший его. Мы изложим основные, на наш взгляд, идеи фи-
дуциального подхода, но читатель, обращающийся к перво-
первоисточникам, должен иметь в виду, что он может встретить упо-
упомянутое несовпадение в терминологии.
21.2 Для того чтобы понять основные идеи, обратимся к при-
примеру. Рассмотрим выборку объема п из нормальной совокуп-
совокупности с неизвестным средним ц и единичной дисперсией. Доста-
Достаточной статистикой для jx является выборочное среднее х, ко-
которое имеет распределение
Выражение B1.1) есть распределение различных значений х
При фиксированном неизвестном |х. Теперь предположим, что
184
ГЛАВА 21
мы имеем единственную выборку объема п с выборочным сред-
средним к\. Согласно A7.68) функция правдоподобия этой выборки
L (хх |ц) будет зависеть от ц только через распределение к
B1.1) (так как х — достаточная статистика для ц), и поэтому
последнее может быть взято в качестве функции правдоподо-
правдоподобия. Итак, -
М*, | ц) ос-^?ехр{-In (*,-»*)*}. B1.2)
Если мы готовы, возможно несколько интуитивно, измерять
функцией правдоподобия B1.2) степень нашего доверия к кон-
конкретному значению ц, то окончательно можно написать
. B1,3)
Последнее распределение будем называть фидуциальным рас-
распределением параметра ц. Интеграл от выражения B1.3) по
прямой (—оо, оо) равен 1, так что нормирующей константы
здесь не требуется.
21.3 Фидуциальное распределение не является частотным
распределением в том смысле, в каком использовалось это вы-
выражение до сих пор. Это новое понятие, выражающее интенсив-
интенсивность нашей веры в различные возможные значения параметра.
Нередко бывает, что недифференциальные элементы, как в слу-
случае B1.3) и B1.1), совпадают, но это обстоятельство несуще-
несущественно.
Фидуциальное распределение не является также распреде-
распределением вероятностей в смысле частотной теории вероятностей.
Его можно рассматривать как распределение вероятностей в
смысле степеней убежденности; ниже будет рассмотрена связь
с интервальным оцениванием, основанным на использовании
теоремы Байеса. Фидуциальное распределение можно также
рассматривать как новое понятие, дающее формальное выраже-
выражение некоторым интуитивным идеям относительно величины на-
нашего доверия к различным значениям параметра ц.
21.4 Фидуциальное распределение может быть теперь исполь-
использовано для определения интервалов, внутри которых заклю-
заключено (х. Выберем числа, скажем 0,02275 и 0,97725, и будем рас-
рассматривать их как критические в том смысле, что при любом
приемлемом значении ц наблюденному значению х должна со-
соответствовать (кумулятивная) вероятность не меньшая, чем
0,02275, и не большая, чем 0,97725. Так как этим значениям со-
соответствуют уклонения ±2а от среднего значения нормальной
совокупности, и а= \\~\fn, то имеем
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
185
что эквивалентно
Xi—2/Vn
B1.4)
Случилось так, что мы получили то же самое неравенство, к ко-
которому нас привел в примере 20.1 центральный доверительный
интервал, основанный на распределении B1.1). Существенно
заметить, что этот вывод достигается другим ходом рассужде-
рассуждений. Доверительный подход говорит, что если мы утверждаем
B1.4), то будем правы в 95,45% случаев при многократных вы-
выборках. При фидуциальном подходе утверждение B1.4) экви-
эквивалентно тому, что (в некотором смысле, не имеющем точного
определения) мы на 95,45% уверены в том, что окажемся правы
в данном конкретном случае. Такое же смещение акцента нам
встречалось при рассмотрении самой функции правдоподобия:
функция L(x\Q) может рассматриваться или как элементарная
вероятность, когда параметр 0 фиксирован, а х меняется, или
как величина правдоподобия, когда х фиксировано, а 9 ме-
меняется.
Так же и здесь мы можем делать вывод о параметре 0, счи-
считая его константой и строя содержащие его интервалы, которые
являются случайными величинами, либо считая фиксирован-
фиксированными наблюдения и строя интервалы, основанные на некото-
некоторой неопределяемой степени доверия к значениям параметра,
порождающего эти наблюдения.
21.5 Существует еще одно существенное различие между
этими двумя методами. В предыдущей главе мы видели, что
в доверительной теории возможны различные множества дове-
доверительных интервалов для одного и того же параметра, осно-
основанные на различных статистиках (хотя мы, естественно, раз-
различаем эти множества и выбираем наиболее короткие или
наиболее селективные интервалы). Ничего подобного нет в фиду-
циальной теории (даже в смысле выбора центральных или не-
нецентральных интервалов для одного и того же распределения,
когда используются оба его хвоста). Мы должны использовать
всю информацию о параметре, которая содержится в функции
правдоподобия. Отсюда следует, что если пределы для пара-
параметра 0 определяются единственной статистикой t, то она дол-
должна быть достаточной для Э. (К этому же заключению мы при-
пришли с точки зрения наиболее селективных интервалов в 20.30.)
Как указывалось в 17.38, всегда существует система совмест-
совместно достаточных статистик для одного неизвестного параметра,
а именно сами п наблюдений. Но эта тавтология малоутеши-
малоутешительна, так как трудно использовать даже достаточные системы,
состоящие из двух статистик, а более широкие системы прак-
практически бесполезны. Вопрос о том, как строить интервал для
!86
ГЛАВА 21
одного параметра, когда не существует одномерной достаточ-
достаточной статистики, фидуциальная теория по большей части обходит
молчанием.
21.6 Пусть f(t, 0) — непрерывная плотность, a -F(^,6)—функ-
-F(^,6)—функция распределения статистики t, являющейся достаточной для
параметра 9. Рассмотрим поведение функции f при изменении 9,
когда фиксировано некоторое значение, t. Предположим, что нам
заранее известен интервал изменения параметра 9, в частности
это может быть интервал (—оо, оо). Выберем некоторую крити-
критическую вероятность 1—а (аналог коэффициента доверия), и
пусть 0а— значение параметра 9 такое, что F(t,Q) = 1 —а.
Предположим теперь, что при любом t{ функция /(^,0) яв-
является монотонно невозрастающей в интервале изменения пара-
параметра 0. Тогда при всех 0 <: 0а значение плотности вероятности
в точке t\ не меньше, чем f(ti,Qa), а при Э > 9а — меньше.
В этом случае мы выбираем интервал 9 ^ 9а в качестве фи-
дуциального интервала. Он содержит в себе все те значения
параметра, при которых плотность вероятности больше или
равна f(tuQa).
21.7 Если нам требуется фидуциальный интервал вида
ба, ^ Э ^ 9а2. то мы должны найти такие два значения пара-
параметра 9, что /(*,, 8«,) = /(*„ Ga2) и F(tu Qa2)-F(t]t 9a,)=l -a.
Ц если при 0, лежащем между этими значениями, /(^,9) боль-
больше, чем f(tu 9a,) или f (tu 9a,), а при 9, лежащем вне этого
интервала, /(^,9) меньше этой величины, то интервал вновь
содержит те значения параметра, при которых функция плот-
плотности не меньше, чем значения плотности в критических точках.
Если распределение статистики t симметрично, то по обе
стороны интервала остаются одинаковые по площади хвосты.
При несимметричном распределении эти хвосты должны в
сумме содержать вероятность а, но вероятности хвостов не
равны между собой. Равными должны быть значения плотно-
плотности в концах интервала. Подобные вопросы уже обсуждались
нами в связи с центральными доверительными интервалами
в 20.7.
21.8 При таком условии, если мы увеличим фидуциальный
интервал с каждой стороны на величину dQ, то значение функ-
функции распределения в концевой точке уменьшается на
(dF(th Q)/dQ)dQ. Следовательно, для фидуциального распреде-
распределения мы имеем
a
B1.5)
Эта формула, однако, требует, чтобы f(t]tQ) была неубываю-
неубывающей функцией от 9 в нижнем конце интервала и невозрастаю-
невозрастающей в верхнем.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
187
Пример 21.1
Рассмотрим вновь нормальное распределение из B1.1). Для
любого фиксированного Х\ при изменении \х от —оо через х\
до +оо плотность вероятности возрастает монотонно от нуля
до максимума в хх и затем убывает монотонно до нуля. Таким
образом, значение плотности для любого ц в интервале от
xi — k до x.\-\-k больше, чем ее значения в точках х\ — k или
X] + ?• Следовательно, в качестве фидуциального интервала мы
можем взять интервал х{ — & =%С ц ^*t + & для любого подходя-
подходящего значения k > 0. В B1.4) мы выбрали k равным 2/уп.
Пример 21.2
В качестве примера несимметричного выборочного распре-
распределения рассмотрим распределение
р-1--*/8
dF= ерг dx, p>0, 0<х<оо. B1.6)
Если р известно, то t s= х/р является достаточной статистикой
для 9 (см. упражнение 17.1), и легко видеть, что ее выборочное
распределение есть
Г(Р)
¦dt,
B1.7)
где р = пр. В данном случае параметр 9 может изменяться
только от 0 до оо. При этом функция в B1.7) при фиксирован-
фиксированном / монотонно возрастает от 0 до максимума и затем убы-
убывает вновь до 0, представляя собой в действительности обра-
обращенное распределение типа III. Таким образом, если мы опре-
определим 9а, и 9а2 так, чтобы значения функции в этих точках
совпадали, а интеграл от распределения B1.7) в этих преде-
пределах равнялся заданному значению 1—-а, то фидуциальным ин-
интервалом будет 9а, ^ б ^ 9а,.
Выражение B1.7) можно записать в виде
dF
= (тг) ?Twd(~
и, следовательно,
pi/D
B1.8)
B1.9)
Отсюда
dF
] Л(Ж\ (
Г (Р) J W9 <Э6 \ 0 ) \ 9
188 ГЛАВА 21
Таким образом, фидуциальное распределение для 0 есть
Интеграл от этого выражения в пределах от 0 = 0 до 0 = ос
равен единице.
Сравнивая B1.7) с B1.10), замечаем, что мы заменили dt
не на dQ, а на t dQ/Q. Можно сказать несколько иначе, что мы
заменили dtjt на с?0/8. Полезно рассмотреть, почему это так
происходит, и повторить в специфической форме рассуждения
из 21.8.
Мы определяем наш фидуциальный интервал, используя ве-
вероятность F(t,Q). Глядя на B1.9), мы видим, что это есть ин-
интеграл, верхний предел которого, с точностью до постоянной,
равен t/Q. Поэтому при дифференцировании по 0 подинтеграль-
ная функция умножается на de(t/Q) =—tdQ/Q2, в то время как
при дифференцировании по t она умножается на dt(t/Q) — dt/Q.
Таким образом, согласно B1.5) — CF/dQ)dQ = tdQ/Q2, тогда как
(dF/di)dt = dt/Q. Приравнивая левые и правые части этих вы-
выражений, получаем dQ/Q = dtjt.
21.9 Попытка обобщить нашу теорию на случай нескольких
параметров приводит к трудностям. Дело в том, что практи-
практических задач в этой области так мало, что любая общая теория
повисает в воздухе из-за недостатка иллюстрирующих ее при-
примеров. Поэтому мы рассмотрим лишь два важных стандартных
случая: оценку среднего в нормальной выборке при неизвестной
дисперсии и оценку разности двух средних по выборкам из двух
нормальных совокупностей с неравными дисперсиями.
Фидуциальные выводы для распределения Стьюдента
21.10 Известно, что в нормальных выборках выборочное
среднее х и выборочная дисперсия S2(=2(* — хJ/п) являются
совместно достаточными статистиками для среднего ц и диспер-
дисперсии о2. Их распределение имеет вид
n~\{-^}^. B1.11)
Если бы мы строили фидуциальные границы для ц при из-
известном о, то использовали бы первый множитель в правой
части B1.11); при построении же границ для о, когда ц из-
известно, нельзя использовать только второй множитель, так как о
входит и в первый множитель. На самом деле (см. пример
17.10) в этом случае достаточной статистикой является не s2,
а величина 2 (х — ц)Чп; чтобы получить ее распределение, тре-
требуются оба множителя в B1.11),
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
189
Для получения фидуциального распределения параметра (х
при известном а следует, как и в примере 21.1, заменить dx
на d\i. При известном же ц нужно воспользоваться тем, что
величина 2(* — цJ = з' распределена, как х в B1.6) с р = п
и 0 = о2, и поэтому, как в примере 21.2, заменить ds /s' на
do/o, В соотношении B1.11) статистика s распределена, как s',
но с р = п — 1. Возникает вопрос: можем ли мы заменить
dxds/s в B1.11) на dp do/a, чтобы получить совместное фиду-
фидуциальное распределение параметров ц и а?
Фидуциалисты считают, что это можно сделать. Нам этот
вопрос представляется очень спорным *). Однако сделаем та-
такое допущение и посмотрим, куда оно нас приведет. В этом
случае в качестве фидуциального распределения мы имеем
^-. B1.12)
Проинтегрировав его теперь по а для того, чтобы получить
фидуциальное распределение параметра ц, приходим к выра-
выражению
dF ос
B1.13)
Это есть распределение Стьюдента с
Уп— 1
вместо
I*-*
s
обычного t и с п—1 степенями свободы. Таким образом, при
заданном а мы можем найти два значения t, t0 и t\, для
которых
Последнее эквивалентно тому, что параметр ц заключен в ин-
интервале
{х — sto/yn — 1, x + stjyn — l}. B1.14)
Полученное соотношение может быть интерпретировано, как и
в 20.31, в терминах доверительных интервалов, а именно, если
мы утверждаем, что ц лежит в интервале B1.14), то будем
правы в 1—сс-й части случаев. Но, как мы увидим позже, это
отнюдь не существенно для фидуциального подхода.
*) Хотя х н s являются статистически независимыми, ц и о не являются
независимыми ии в каком фидуциальном смысле. Законы перехода от ча-
частотных распределений к фидуцнальным совершенно не выяснены в случае
многих параметров. В приведенном выше примере некоторое оправдание
этому переходу можно вывести a posteriori из того, что он приводит к рас-
распределению Стьюдента, но если фидуциальную теорию принимать самое по
себе, то нужно требовать что-то дополнительно.
190
ГЛАВА 2f
Задача о двух средних
21.11 Мы теперь переходим к задаче нахождения интерваль-
интервальной оценки для разности между средними двух нормальных со-
совокупностей. Эту задачу мы оставили без рассмотрения в пре-
предыдущей главе для того, чтобы иметь возможность дать здесь
единое изложение. Мы обсудим сначала различные подходы
к задаче с позиций доверительных интервалов и затем перей-
перейдем к ее решению с помощью фидуциальных интервалов. В за-
заключение рассмотрим задачу с точки зрения теоремы Байеса.
21.12 Предположим, что у нас есть два нормальных распре-
распределения с параметрами соответственно ц,, о] и ц2> сг2., из кото-
которых извлечены выборки объемов пи п2 соответственно, и вы-
выборочные средние и дисперсии равны хр s2 и х2, sj. Без по-
потери общности предположим, что щ ^ п2.
В случае, когда а2 = а\ = а2, задача нахождения интервала
для [Xi — м-2 = б проста. В этом случае величина d = х\—х2
имеет нормальное распределение с
B1.15)
и каждая из величин я^/а2, n2s22ja\ имеет х2'РаспРеДеление
о, щ — 1 и п2 — 1 степенями свободы соответственно. Поскольку
две выборки независимы, величина (ra,s2 + n^ja"- будет рас-
распределена как %2 с щ + п2 — 2 степенями свободы, и, полагая
имеем
Теперь статистика
n2s22)/(nl
М (s2) = а2.
d — b
п2-2),
B1.16)
B1.17)
B1.18)
есть отношение нормированной нормальной величины к корню
квадратному из несмещенной оценки для дисперсии. При этом
знаменатель не зависит от числителя (так как s2 и s\ не за-
зависят от х, и х2). Кроме того, величина {п\ + п2 — 2)s2/a2 рас-
распределена как у? с tii + «2 — 2 степенями свободы (ст.св.).
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЁ ИНТЕРВАЛЫ
191
Таким образом, у имеет такой же вид, как и отношение
(при одной выборке)
{*?/(*! "O
1/2
которое нам уже встречалось несколько раз (см. пример 11.8)
и которое имеет распределение Стьюдента с пх —1 ст. св. Сле-
Следовательно, статистика B1.18) имеет также распределение
Стьюдента, но с щ + пг — 2 ст. св. Этот результат можно было
доказать и непосредственно.
В этом случае построение доверительных или фидуциальных
интервалов не вызывает затруднений: мы просто используем
метод из 20.31 или из 21.10; конечно, как и в случае одной вы-
выборки, получатся одинаковые результаты.
21.13 Трудности возникают, когда мы переходим к случаю
а? ^ °2- Случайная величина, имеющая распределение Стью-
Стьюдента с П\-\-п2 — 2 ст. св. (аналогичная B1.17)), теперь имеет
вид
B1.19)
1
Числитель в B1.19) есть нормированная нормальная величина,,
а знаменатель является корнем квадратным из независимой от
числителя случайной величины, имеющей распределение %2, де-
деленной на число степеней свободы (как и в B1.17)). Слож-
Сложность состоит в том, что в B1.19) входит неизвестное отношение
дисперсий 9 = а2/а2. Если положить u = s2ls\., N = п1/п2, то
B1.19) можно переписать так:
J.
(d - б) (я, + п, - 2I'2
s2
{('+*)(
1 +
Nu
B1.20)
что ясно указывает на зависимость от неизвестного параметра
9. Конечно, при 9= 1 B1.20) переходит в B1.18).
21.14 Рассмотрим теперь методы, с помощью которых можно
устранить «мешающий параметр» 9 из интервальных утвер-
утверждений, касающихся б. Мы должны, естественно, найти неко-
некоторую статистику, отличную от t в B1.20). Одна возможность
192
ГЛАВА 21
напрашивается сама собой при рассмотрении второй записи,
B1.18), для выражения B1.17) при 0=1. Статистика
z =
d-b '•
/ ,2 2 vl/2
\ щ - l T «2 - l /
B1.21)
является, подобно B1.18), отношением нормальной величины
с нулевым средним к корню квадратному из независимой от нее
несмещенной оценки дисперсии числителя. Однако эта оценка
имеет не ^-распределение и, следовательно, z не есть величина
Стьюдента. Как мы увидим ниже, на статистике z основан фи-
дуциальный подход к этой задаче и один подход, дающий при-
приближенный доверительный интервал.
Другая возможность состоит в исследовании распределения
самой статистики B1.18) с тем, чтобы увидеть, до какой сте-
степени статистика, пригодная для случая 0 = 1, сохраняет свои
свойства при 0=7^=1. Это исследование было также проведено
с точки зрения доверительных интервалов.
Однако прежде чем перейти к обсуждению подходов, на-
намеченных в этом пункте, мы подробно рассмотрим точное до-
доверительно-интервальное решение задачи, основанное на рас-
распределении Стьюдента и его свойствах. Эти результаты при-
принадлежат Шеффе A943а, 1944).
Точные доверительные интервалы, основанные
на распределении Стьюдента
21.15 Если мы хотим построить для параметра 6 точный
доверительный интервал, основанный на распределении Стью-
Стьюдента, то достаточно найти линейную и квадратичную функции
от наблюдений L и Q, соответственно, такие, что для любых
значений а], о\
(I) L и Q независимы,
(II) M(L) = 6 и DL = V,
(III) Q/V имеет %2-распределение с k ст. св.
Тогда величина
6
(Q/kI12
B1.22)
подчиняется распределению Стьюдента с k ст. св. Сейчас мы
докажем замечательный результат, принадлежащий Шеффе
A944), о том, что не существует статистики вида B1.22), яв-
являющейся симметричной функцией от наблюдений каждой вы-
выборки. Иначе говоря, t не может быть инвариантной относи-
относительно перестановки элементов первой выборки хц
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ- ФИДУЦПАЛЬНЫЕ ИНТЕРВАЛЫ
193
(t = 1, 2, .... «О между собой и элементов второй выборки x2i
(i = 1, 2, .... п2) между собой.
21.16 Предположим, что статистика t симметрична в ука-
указанном смысле. Тогда мы должны иметь
Q = .
их
съ
jtS1- X2iX2/ + C7 f^. X\lX2p
B1.23)
где коэффициенты с{ являются постоянными, не зависящими от
параметров. Из B1.22) вытекает, что
(L) = о = Hi — ц2, B1.24)
М (L) = c^iHi + с2п^ц2. B1.25)
а из B1.23), что
Выражения B1.24) и B1.25) являются тождествами относи-
относительно (Xi и цг; следовательно,
поэтому
B1.26)
с, = 1/п„ с2=-1//г2.
Из B1.26) и B1.23) получаем
L = xl—x2 = d B1.27)
и, следовательно,
OL = V = o\ln, + o\lnr B1.28)
Поскольку отношение Q/V имеет ^-распределение с k ст. св., то
M(Q/V) = k,
откуда, используя B1.28), находим
M(Q) = ft(ff]/n, + o|/n2j, B1.29)
тогда как из B1.23) вытекает, что
М (Q) = с3«, (а] + ,12) + с4я, (л, - 1) ц? +
+ VzH + ^ + VjI"» - 1I*1 + VW^IV B1-3°)
Приравнивая B1.29) и B1.30), находим выражения для по-
постоянных й- Используя их в B1.23), получаем
Q =
. - 1 т л* - 1 J '
B1.31)
7 М. Кендалл, А. Стыоарт
194
ГЛАВА 2!
Соотношения B1.27) и B1.31) переводят B1.22) в B1.21).
Далее, nxs\jo\ и n2s\jo\— независимые х2-случайные величины,
а линейная функция двух таких случайных величин может сама
иметь х2-распределение лишь в том случае, если она является
их суммой. Таким образом, из B1.31) следует, что Q тогда
только будет иметь ^-распределение, когда
ka\
[ (Л| - 1)
или
е = 4
.(«2-0
л, in, —
___ 1
02 Л2 («2 -
B1.32)
При заданных пи п% последнее имеет место только для спе-
специальных значений о\, <з\. Так как мы требуем, чтобы наше
утверждение было справедливо для всех значений о], а\, то
мы пришли к противоречию. Итак, t не может быть симмет-
симметричной функцией в указанном смысле.
21.17 Поскольку мы не можем найти симметричную функ-
функцию желаемого вида, имеющую распределение Стьюдента, то
обратимся теперь к другим функциям. Рассмотрим B1.22) в
случае, когда
1=\
i__Ly /^. j\2
(=1
B1.33)
a di — одинаково распределенные нормальные величины с
M(rf,) = 6, Ddi = o2. B1.34)
Напомним, что мы считаем
щается в величину
L — 6
п2. Теперь B1.22) превра-
превраt — -
«1/2
которая имеет распределение Стыодента с щ — 1 ст. св.
Предположим, что в терминах исходных наблюдений
2
B1.36)
Величины di, являясь линейными функциями от нормальных
случайных величин (см. 15.4), имеют многомерное нормальное
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
195
распределение. Для выполнения соотношений B1.34) необхо-
необходимо и достаточно, чтобы
i = O, i
k.
B1.37)
Таким образом, из B1.36) и B1.37) следует
D (dt) = o2 = o2l+ с2о\. B1.38)
21.18 Центральный доверительный интервал, полученный на
основе статистики B1.35) при коэффициенте доверия 1—а,
есть
\L — б К/„,_!. a{Q/(/i| — 1)}'/2, B1.39)
где /»,—1. а является соответствующим критическим значением
при П\ — 1 ст. св. Согласно B1.39) средняя длина интервала
равна
:(/п*ОУ\ B1.40)
где последний множитель в правой части можно найти, поль-
пользуясь тем, что величина niQ/o2 имеет %2-распределение с щ— 1
ст. св., а именно:
Для получения наименьшей средней длины в B1.40) мы дол-
должны минимизировать о или, что эквивалентно, минимизировать
с2 в B1.38) при условии B1.37). Эту задачу можно предста-
представить геометрически следующим образом. Рассматривается про-
пространство размерности Пг, причем каждому индексу / у Сц соот-
соответствует координатная ось. Тогда уравнение 2 Сц = 1 опре-
деляет гиперплоскость, а
с1 ¦¦
6 «7
: с2 определяет я2-мерную ги-
гиперсферу, и они пересекаются по (п2—1)-мерной гиперсфере.
Требуется найти щ ^ п2 векторов, выходящих из начала коор-
координат, концы которых лежат на этой (лг—1)-мерной гипер-
гиперсфере и которые (чтобы удовлетворить последнему из условий
B1.37)) взаимно ортогональны, таким образом, чтобы миними-
минимизировать радиус Пг-мерной гиперсферы. Это можно сделать,
взяв искомые векторы совпадающими с п\ координатными
196
ГЛАВА 21
осями, и тогда с2 = 1. Но если п\ <С п2, то предложенную про-
процедуру можно улучшить. Ниже будет показано, что мы можем,
сохраняя ортогональность векторов, расположить ях симмет-
симметрично относительно прямой, составляющей равные углы с ко-
координатными осями, и тогда величина с2 уменьшается от 1 до
своего минимального значения, равного щ1п%.
21.19 Перепишем условия B1.37) в векторной форме:
с2, i = k,
Oj 1фК B1.42)
где Ci есть i-я вектор-строка матрицы {сц), а и — вектор-строка,
состоящая из единиц.
Если п\ векторов с* удовлетворяют соотношениям B1.42), то
можно присоединить к ним л2 — «i векторов, удовлетворяющих
второму условию B1.42) (нормировка и ортогональность), так,
чтобы получить базис Лг-мерного пространства. Выразим и как
линейную функцию от щ векторов ее
4=1
B1.43)
где gk — скалярные величины. Теперь, используя B1.42) и
B1.43), получаем
1 = с.и' = ct 2 gfe< = S gkctc'k = gtc2.
4=1
Таким образом,
gi = l/c2, 1=1, 2 л,. B1.44)
Поскольку и есть вектор-строка единиц, то
Отсюда, учитывая B1.42), имеем
Используя B1.44), из B1.45) находим
или
Следовательно,
B1.45)
п2
B1.46)
что и требовалось доказать.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
197
21.20 Знак равенства в B1.46) имеет место, когда gk = 0 для
k = /г, -f- I,..., п2. Тогда вектор и целиком лежит в пространстве,
натянутом на первые П\ с-векторов. Из B1.44) видно, что эти
векторы расположены симметрично вокруг него. Очевидно, су-
существует бесконечное число способов определения сц, получае-
получаемых вращением набора из щ векторов. Шеффе A943а) предло-
предложил особенно привлекательное решение:
B1.47)
Легко проверить, что коэффициенты в B1.47) удовлетворяют
условиям B1.37) ccz = n1/n2. Подстановка B1.47) в B1.36)
дает
di = хн - fa/ла) х21 + («!«2)/2 2 x2i + A/лг) 2 х2/. B1.48)
Учитывая это, из B1.33) имеем
с и = («I
сп =
с2, =
/П2) ^ — («!«2) ' +
-(«.«2Г'/2 +
1/Я2,
1/«2» /(
1/лг,
/ =
/==
1,
1,
л,
2,
2,
-f
1,
•', «1.
•, «1,
..., п2
где
u-i = Хц — (п-\1п2) x2i, й —
2j
B1.49)
B1.50)
Таким образом, из B1.35) и B1.48) — B1.50) получаем, что ста-
статистика
lfter BL5I)
имеет распределение Стьюдента с щ — 1 ст. св., и, используя ее,
можно найти доверительные границы для б = щ — ц%.
21.21 Замечательно, что нам удалось точно решить задачу
нахождения доверительного интервала, отказавшись только от
естественного на вид требования симметрии. Свойство B1.51)
имеет место для любого подмножества объема п.\, случайно вы-
выбранного из пц случайных величин, принадлежащих второй вы-
выборке. Подобно тому как в 20.22 мы прибегали к рандомизации
для того, чтобы преодолеть трудности при определении точных
доверительных интервалов для дискретной величины, так и здесь
мы нашли, что одной лишь рандомизации достаточно, чтобы
198
ГЛАВА 21
устранить мешающий параметр 0. Но роль рандомизации не сле-
следует преувеличивать. Числитель в B1.51) содержит полностью
выборочные средние обеих выборок, и только знаменатель изме-
изменяется в зависимости от случайного выбора подмножества по
второй выборке. Интуитивно оценить, как много эффективности
теряется при использовании этой процедуры, невозможно. По-
Поэтому мы исследуем длину получаемых доверительных интер-
интервалов.
21.22 Из B1.38) и B1.46) для оптимального решения B1.48)
имеем
Ddc = а2 = о? + (я, / д,) 4 B1.52)
Подставляя B1.52) в B1.40) и используя B1.41), находим для
средней длины доверительного интервала
м (Л =:
/.,(/.,-1)
Сравним теперь этот интервал I с интервалом L, полученным
из B1.19) при условии, что 9 = o^/of известно. Его средняя
длина равна
,
— 2
B,.54)
где последний множитель вычисляется с помощью ^-распреде-
^-распределения с щ + «2 — 2 ст. св. и равен
/2
B1.55)
Из B1.53) —B1.55) получаем отношение средних значений интер-
интервалов:
1 U
Н- /^ -
Когда tti —» оо при фиксированном /г?, каждый из трех сомножи-
сомножителей в B1.56) стремится к 1 и, следовательно, отношение сред-
средних длин интервалов тоже стремится к единице, что интуитивно
понятно. Если ti[ мало, то первые два сомножителя больше 1, а
последний — меньше. Следующая таблица дает точные значения
величины B1.56) для 1 — а — 0,95; 0,99 и нескольких объемов
выборок.
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
Значения M(/)/M(L) (из Ше?фе, 1943а)
199
^\. Itt— 1
5
10
20
40
оо
5
1,15
10
1,20
1,05
— а=0
20
1,23
1,07
1,03
95
40
1,25
1,09
1,03
1,01
1,28
1,11
1,05
1,02
1
1—а=0,99
5
1,27
10
1,36
1,10
20
1,42
1,13
1,05
40
1,47
1,16
1,06
1,02
ОО
1,52
1,20
1,09
1,04
1
Очевидно, что I является очень эффективным интервалом
даже для выборок умеренных объемов. Его средняя длина пре-
превосходит среднюю длину L не более чем на 11% при п\ — 1^10,
1 — а = 0,95 и не более чем на 9% при щ — 1 ^ 20, 1 — а = 0,99.
Заметим, что мы сравнивали его с интервалом, основанным на
знании 9. Принимая это во внимание, мы вполне можем сказать,
что I действительно обладает очень хорошими качествами: ран-
рандомизация не внесла больших потерь эффективности.
В дополнение к приведенному мы рассмотрим приближенные
доверительно-интервальные решения задачи о двух средних.
Приближенное нахождение доверительных интервалов
21.23 Уэлч A938) исследовал приближенной распределение
статистики B1.18), имеющей распределение Стьюдента при
(У2 = а^, в случае о\фо\щ В этом случае дисперсия числителя
равна
D(da) ?/+2/
и, полагая
п2 } I \ n\ ' n2 ) '
выражение B1.18) можно переписать в виде
у = u/w.
B1.57)
B1.58)
Трудность состоит в том, что, хотя wz и распределена незави-
независимо от и, она не является кратной х2 ПРИ 9^1- Однако, при-
приравнивая ее первые два момента моментам ^-величины, мы мо-
можем определить число степеней свободы v, при котором она.
200
ГЛАВА 21
имеет приближенно %2-распределение. Согласно B1.57) ее сред-
среднее и дисперсия равны
M(t»2) = 6(v,e + v2), D («;*)= 2ft2 (v,ez + v2), B1.59)
где обозначено
b = (n, + n2) a2/{(«, + n2 - 2) (n2o2 + «,<$
B1.60)
Приравнивая B1.59) к моментам случайной величины х2 с v
ст. св., умноженной на постоянную g,
n; = gv, p2 = 2g2v, B1.61)
находим
v = @v, + v2J/(e2v, + v2
v2), 1
'2>- I
B1.62)
При этих значениях g и v w2/g распределена приближенно как
X2 с v ст. св., и, следовательно, согласно B1.57) величина
f __ |
B1.63)
имеет распределение Стьюдента с v ст. св. Если 8 = 1, то v,=
= vi + V2 = п\ + «2 — 2, g = b — 1/v и, как и должно быть,
B1.63) сводится к B1.18), Но в общем случае guv зависят
от 0.
21.24 Уэлч A938) исследовал величину ошибки, к которой
приводит предположение о том, что в соотношении B1.63)
9 = 1 (когда в действительности параметр принимает другие
значения). Хотя его результаты сформулированы в терминах
проверки гипотез, а не в терминах интервальных оценок, о ко-
которых у нас идет речь, мы их кратко упомянем. Он нашел, что
при П\ = п2 нет большого вреда от незнания истинного значения
параметра 0, но если щ ф щ, то могут возникнуть серьезные
ошибки. Чтобы преодолеть эти трудности, он использовал в точ-
точности технику из 21.23 для аппроксимации распределения ста-
статистики z B1.21). Для этого случая им найдено, что, каковы бы
ни были значения п\ и п2, статистика z имеет приближенно рас-
распределение Стьюдента с
LV //__J^ + >_\ B1.64)
п) 1\п\{п-\) «^-о!
= (±
U
степенями свободы и что в этом случае влияние неверного пред-
предположения о параметре 0 значительно меньше. Этого естествен-
естественно было ожидать, поскольку знаменатель величины z в B1.21)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
201
содержит отдельные оценки дисперсий а2, о\, тогда как в B1.58)
входит совместная оценка s2, которая менее пригодна, когда
\ 2
о\
о
.
Лотон A965) обобщил работу Я. Гаека, получив близкие верхние гра-
границы для размера и мощности симметричного двустороннего критерия, осно-
основанного на z.
Когда 6-voo или 0, то B1.64)-*-л, — 1 или п2—1 соответственно. Мнк-
ки и Браун A966) показали, что распределение статистики г ограничено
распределениями Стьюдента с п\-\-пг — 2 и min(ni—1,л2 — 1) ст. св.
21.25 Уэлч A947) усовершенствовал аппроксимативный под-
подход предыдущего пункта. Его общие рассуждения в применении
к нашей задаче можно вкратце изложить следующим образом.
Определяя s2, s2 с делителями щ — 1, пг— 1 соответственно
(чтобы это были несмещенные оценки дисперсий), мы ищем ста-
статистику h (s\, s\, Я) такую, что
P{(d-6)<h(s2,s2,P)} = P, B1.65)
каково бы ни было значение параметра 9. Теперь из того, что
величина (d — б) распределена нормально со средним нуль и
дисперсией d\jпх-\-o\jn2 = D2 и не зависит от s\, s\, вытекает
соотношение
Р {(d - б)< h (s\, si Р) | s2, s2} = / (h/D), B1.66)
X
где/(*)= Г Bл)~1/2ехр (— -jtAdt. Таким образом, из B1.65)
— oo
и B1.66) получаем
P=\\l (h/D) f (s2) f (s2) ds\ ds\. B1.67)
Теперь можно разложить I(h/P), как функцию от s2, s|, в ряд
Тейлора в окрестности истинных значений о], о\. Мы запишем
это символически как
I h (s2 4 Р)\ ( Л | I A (si 4
Р)
2 j
B1.68)
2 = 52//г, + s\jn2, а оператор dt обозначает дифференцирова-
дифференцирование no s2, в точке s? — а2. Подставляя B1.68) в B1.67), имеем
BЬ69)
202
Далее,
поскольку
' '5'* Si
Г
(V
i/2)
ГЛАВА 21
/ 2\" vi—' / 2\ / 2
2 / ^лр1 п jal п
\ 2(TJ / \ 2О-/ \ Oj
то, интегрируя в каждом из сомножителей выражения B1.69),
находим
что при подстановке в B1.69) дает
\-V2
Для любого заданного Р мы можем решить уравнение B1.70) и
получить вид функции h, т. е. найти h (s\, s\, P).
Уэлч приводит разложение h в ряд, которое в нашем спе-
специальном случае имеет вид
_±yf ^4+...1
01.7.,
2 /2 2\~1
I I 1 2 1
где q =— 1—— I , vj==«, — 1 и | определяется из урав-
ni V "l ™2 /
нения /(|) = Я.
Согласно B1.21) (d — 6)/s = z, поэтому соотношение
B1.71) дает функцию распределения величины z.
Следуя работам Уэлча, Аспин A948, 1949) и Трикетт и др.
A956) составили таблицы для B1.71) как функции от vi, v2 и С\
при Р = 0,95; 0,975; 0,99 и 0,995. Эти таблицы позволяют
строить центральные доверительные границы для б при
1 — а = 0,90; 0,95; 0,98 и 0,99. Некоторые из этих таблиц вос-
воспроизведены в таблице 11 Blometrika Tables.
Асимптотические выражения типа B1.71) были обоснованы
Черновым A949) и Д Уоллесом A958). Разложение B1.71)
является асимптотическим в том смысле, что каждый после-
последующий член в правой части имеет более высокий порядок ма-
малости по Vi, чем предыдущий.
Вальд A955) значительно уточнил приближение Уэлча в слу-
случае П\ = П2.
Пресс A966) показал, что для 1—а = 0,90, п\ ^ пг ^ 30
интервалы Уэлча имеют меньшую среднюю длину, чем B1.53),
если 0 мало (т. е. когда B1.51) отбрасывает информацию о бо-
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
203
лее изменчивой популяции), но это неверно при больших 0. Эти
два множества интервалов асимптотически эквивалентны, и их
средние длины никогда не отличаются более чем на 10% при
rti > 10 и О,О1<0<1ОО.
Фидуциальное решение
21.26 Фидуциальное решение задачи о двух средних исходит
из совместного распределения выборочных средних и дисперсий,
которое можно представить в виде
dF ос
ехр | — -^2" (*i — PiJ — -% (х2 — Ц2J1 dxi dx2 X
( 2ar| 20j j
Согласно фидуциальному подходу заменяем dx\, dx2 на d\iu
d\iz, a dsi/si, ds2/s2 на dai/oi, do2lo2 (как в 21.10). Тогда для фи-
дуциального распределения (опуская степени S\ и s2, которые
теперь являются постоянными) получаем
Обозначая
, B1.73)
находим, как в B1.10), совместное распределение параметров
щ и ц2:
dF ос.
{!¦
B1.75)
где индекс ц у d^ti указывает на то, что дифференциальный эле-
элемент равен Vni — 1 diijsi (и аналогично в случае второй вы-
выборки) :
Мы не можем сразу перейти к нахождению интервала для
б = m — Ц2- Действительно, из B1.74) имеем
nT1"!—WV«2- 1, B1.76)
и, чтобы найти границы для б, нам нужно знагь фидуциальное
распределение правой части B1.76) или некоторой подходящей
204
ГЛАВА 21
функции от нее. Эта правая часть является линейной функцией
по t\ и t%, фидуциальное распределение которых дается соотно-
соотношением B1.75). В данном случае Фишер A935b, 1939), сле-
следуя Беренсу, выбрал в качестве наиболее удобной функции ста-
статистику B1.21):
4 У/2
Имеем
где
" D,4)
\ П\ — 1 П2 — 1 j
Z\ = tx cos г|з — t2 sin ¦
B1.77)
B1.78)
При известном i|) распределение величины г (обычно называе-
называемое распределением Фишера — Беренса) может быть найдено
из B1.76). Оно имеет не простой вид, но в Statistical Tables Фи-
Фишера и Иэйтса приводятся критические значения z, когда за-
заданы tii, п2, гр и вероятность 1 —а. Используя эти таблицы (и во-
вообще читая работы Фишера), нужно помнить, что наша вели-
величина s2/ (п— 1) обозначается у него как s'2.
21.27 В этом случае, наиболее важном из рассмотренных до
сих пор, фидуциальный подход не дает того же результата, как
подход с доверительньши интервалами. А именно, если мы оп-
определяем по вероятности 1 — а соответствующие точки для z,
скажем z0 и z\, и затем утверждаем, что
- - l/ s'
Xi — x2 z0 у rtj _ j
ni — l ¦ ra2— l v '
то мы не окажемся правы в 1 —а-й части случаев при большом
числе повторений. Это очевидно из того факта, что z предста-
вимо в виде
6//V)
ЛГи/в)
(".-') (-')
л, + п2 — 2
где t, определяемое соотношением B1.20), имеет точное рас-
распределение Стьюдента. Поскольку распределение величины t не
зависит от 6, этого не может быть для статистики z.
Приведенный факт послужил последователям доверитель-
доверительно-интервального подхода основанием для критики. Фидуциа-
листы отвечают, что нет особых причин для того, чтобы такие
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
205
утверждения были справедливыми в некоторой части случаев
при большом числе повторений, и что навязывать такое поже-
пожелание — значит упустить суть фидуциального подхода. Позднее
мы вернемся к этому моменту.
Байесовские интервалы
21.28 Перейдем теперь к рассмотрению связи между фиду-
циальной теорией и интервальным оцениванием, основанным на
теореме Байеса, следуя Джеффрейсу A948). Эта теорема
(8.2—3) утверждает, что вероятность события qr при данных р
и Н пропорциональна произведению вероятности события qr при
заданном Н на вероятность события р при фиксированных qT и
Н. Или символически:
P{qr\p, H}<kP(qr\H)P(p\qr, H). B1.80)
При байесовском подходе мы берем в качестве qr значение оце-
оцениваемого параметра 0, а в качестве P(qr\H) — его априорное
распределение вероятностей. Тогда P(qr\p, H) будет апосте-
апостериорным распределением вероятностей параметра 9, и мы мо-
можем использовать его для установления границ, внутри которых
лежит 8 с заданной в этом смысле вероятностью.
Основной проблемой, как уже отмечалось ранее, является
выбор априорного распределения P(qr\H). Для того чтобы
учесть различные ситуации, Джеффрейс расширил постулат
Байеса (который устанавливает, что если ничего не известно
о параметре 0 и он изменяется в конечном интервале, то априор-
априорное распределение следует взять пропорциональным d9). В част-
частности, A) если интервал изменения 9 бесконечен в обе стороны,
то априорное распределение берется по-прежнему пропорцио-
пропорциональным d9; B) если 0 изменяется от 0 до оо, то априорное рас-
распределение принимается пропорциональным d0/0.
Пример 21.3
В случае нормального распределения, рассмотренного в
21.2, статистика х достаточна для ц, и мы имеем
Р(х\ц, Я) = -^ехр{-|(х-^}. B1.81)
Если ц лежит в интервале (—оо, +оо), то в качестве априорного
распределения берем
Р {d\i | Н) = d\i. B1.82)
Следовательно, для апостериорного распределения параметра
получаем
1 Си 1
B1.83)
203
ГЛАВА 21
Интегрируя по ц от —оо до +оо, легко показать, что пропор-
пропорциональность есть на самом деле равенство. Таким образом,
мы можем при любом заданном уровне вероятности определить
интервал для р.. Он получается тем же самым, что и в довери-
доверительно-интервальной или фидуциальной теориях.
С другой стороны, для распределения B1.6) из примера
21.2 возьмем априорное распределение параметра Э, лежащего
в интервале @, оо), в виде
B1.84)
Здесь будет видно существенное сходство с фидуциальной про-
процедурой примера 21.2. Имеем, как и там,
P(dQ\t,
p-ie-p</e
•Г(Р)
e •
B1.85)
Вычисление, константы из условия, чтобы интеграл от 0 = 0
до оо равнялся единице, дает
Р {dQ \t,H) =
B1.86)
что совпадает с распределением, полученным при доверительно-
интервальном и фидуциальном подходах.
21.29 Рассмотрим теперь задачу нахождения границ для
среднего в нормальных выборках, когда дисперсия неизвестна.
Для распределения Стьюдента имеем
P(dt\ll,G, Я)^-
где k — некоторая постоянная, a v — n—1. Параметры ц и о
не входят в правую часть, и, следовательно, они несущественны
для P{dt\H) и могут быть опущены. Таким образом,
Пусть теперь мы принимаем, что
P(dt\x, s, Д) = ;
Как и выше, ihs могут быть опущены; поэтому
P(dt\H) = f(t)dt.
Сравнивая последнее соотношение с B1.88), получаем
P(dt\x,s,H) = - kdt
B1.89)
B1.90)
B1.91)
(l+/2/v)(V+D/2 •
Теперь обычным путем можно найти границы для t при задан-
заданных х и 5. Джеффрейс, однако, подчеркивает, что этот резуль-
результат опирается на новый постулат, выражаемый равенством
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ-. ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
207
B1.89), который хотя и является естественным, вовсе не три-
тривиален. Этот постулат равносилен следующему предположению:
если мы сравниваем различные распределения, выборки из ко-
которых дают разные значения х и s, то масштаб распределения
параметра ц должен быть взят пропорциональным s, а его сред-
среднее заменено разностью выборочных средних.
21.30 Аналогичным образом мы найдем, что для того, чтобы
прийти к распределению Фишера — Беренса, необходимо посту-
постулировать, что
P{dtu dt2\xu х2, su s2, H} = fi{ti)f2{t2)dtvdt2. B1.92)
Вывод Джеффрейса распределения Фишера — Беренса из тео-
теоремы Байеса проходил бы следующим образом.
Априорное распределение dpLtd^doidozlH есть
Р{ф, ф2dax da2 1Щ ос **.* **
Функция правдоподобия (наблюдения обозначены через D)
имеет вид
P{D | ц„ ц2, от,, о2, Н) ос -1^ ехр [ - А- ^ _ ^у + 52j _
СТ1 СТ2 L СТ1
СТ1 СТ
1 СТ2
-^ {(«*,-
Следовательно, по геореме Байеса
Р {d\i i d\i2 dai da21D, H} =
Интегрируя по Oi и ст2, находим для параметров ц4, ц2 апосте-
апостериорное распределение, которое легко привести к виду B1.75).
Обсуждение
21.31 Было так много полемики вокруг различных методов
оценивания, описанных выше, что в этом месте мы оставляем
обычную объективную точку зрения и сами вступаем в дискус-
дискуссию. В оставшейся части этой главы будут изложены личные
взгляды авторов. Мы думаем, что наша точка зрения правильна;
она представляет собой результат многолетнего размышления
над запутанным спорным вопросом и является серьезной попыт-
попыткой понять, что говорят сторонники этих методов, и даже более
серьезной попыткой догадаться, что они имеют в виду. Заслу-
Заслужит ли это их одобрение — мы не знаем.
21.32 Нам предстоит, таким образом, рассмотреть три под-
подхода: доверительные, фидуциальные и байесовские интервалы,
208
ГЛАВА 2f
Нас не должно вводить в заблуждение сходство результатов,
получаемых в простых случаях различыми методами, хотя в
этом и состоит некоторое утешение. Однако мы будем придер-
придерживаться тезиса, что там, где они не совпадают, основная при-
причина различия не в том, что тот или другой подход неверен, а
в том, что они, сознательно или несознательно, либо отвечают
на различные вопросы, либо основываются на разных посту-
постулатах.
21.33 Для простоты начнем с подхода Байеса — Джеф-
фрейса. Если допустить, что вероятность является мерой дове-
доверия или некоторым неопределяемым понятием, подчиняющимся
обычным постулатам, то теорема Байеса не вызывает возра-
возражений. Однако необходимо признать, что, оставляя попытку ос-
основывать теорию вероятностей на частотах событий, мы не-
несколько теряем в объективности.
Вторая трудность состоит в принятии правил, касающихся
априорных распределений вероятностей. Джеффрейс очень убе-
убедительно отстаивал правила, приведенные выше, и ничего луч-
лучшего предложено не было. Тем не менее кажется несколько про-
произвольным, например, требование, чтобы априорное распреде-
распределение параметра, изменяющегося от —се до +оо, было d\i, a
для параметра, лежащего в интервале от 0 до се, пропорцио-
пропорционально й?р./ц. Остается впечатление, что изощренные рассужде-
рассуждения относительно этого различия не затрагивают корня про-
проблемы.
21.34 Заметим гакже, что мы использовали байесовский под-
подход в случаях, где существуют достаточные статистики. Но это
несущественно. Если L — функция правдоподобия, то всегда
можно записать
Р{в|*„ .... хп, H)ocP(Q\H)L(xlt .... хп\в, Н) B1.93)
и, зная Р(9|Я), определить апостериорное распределение па-
параметра 6. С этой точки зрения единственное преимущество ма-
малого числа достаточных статистик состоит в том, что они сум-
суммируют всю необходимую информацию, содержащуюся в функ-
функции правдоподобия, в статистики, количество которых меньше,
чем п выборочных значений. Как было замечено ранее, сами вы-
выборочные значения всегда образуют множество достаточных
статистик, хотя на деле это может быть всего лишь утешитель-
утешительная тавтология.
21.35 Доверительно-интервальная теория также является об-
общей в том смысле, что существование единственной достаточной
статистики для неизвестного параметра есть удобство, а не
необходимость. Однако было уже замечено, что там, где не су-
существует одномерной достаточной статистики, могут возникнуть
мнимые или в каком-нибудь другом смысле бессодержательные
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
209
интервалы. В то же время мы не знаем случаев, когда эти труд-
трудности возникали бы при наличии одномерной достаточной ста-
статистики, так что доверительно-интервальная теория, возможно,
не так свободна от потребности в достаточности, как это может
показаться; но может быть лучше было бы сказать, что там, где
не удается получить вложенных и просто связанных между со-
собой интервалов, имеются специальные трудности интерпретации.
Принципиальный довод в пользу доверительных интервалов,
однако, состоит в том, что они могут быть выведены в терминах
частотной теории вероятностей без каких-либо предположений,
касающихся априорного распределения, которые так сущест-
существенны для байесовского подхода. Это, на наш взгляд, неоспо-
неоспоримо. Но справедливо будет спросить, достигают ли они указан-
указанной экономии основных предположений без потери чего-либо,
свойственного байесовской теории. Наше мнение таково, что
кое-что действительно иногда теряется и это кое-что может
быть важным для задач оценивания.
21.36 Рассмотрим пример, где оценивается среднее ц нор-
нормальной совокупности при известной дисперсии. Пусть нам из-
известно, что ц лежит между 0 и 1. Согласно постулату Байеса
имеем
exp
j — -j(n —
B1.94)
и задача определения границ для ц допускает решение, хотя и
остались математические трудности. Что в этом случае спо-
способна дать доверительно-интервальная теория? Она может лишь
повторить утверждения вида
Р[х— 1,
1,96//д} = 0,95.
Они по-прежнему справедливы в требуемой части случаев, но
эти утверждения не учитывают наших априорных знаний об ин-
интервале изменения ц и иногда оказываются бесполезными.
К примеру, возможно, верное утверждение —1 ^ ц ^ 2 будет
абсурдным, если мы уже знаем, что 0 ^ ц ^ 1. Конечно, полу-
полученный интервал можно урезать в соответствии с априорными
данными. В приведенном примере остается только утверждать,
что О^цг^М, и наблюдения ничего не прибавляют к нашим
знаниям.
В действительности, как нам кажется, доверительно-интер-
доверительно-интервальная теория имеет дефект в ее главном достоинстве: она
достигает общности ценой того, что оказывается неспособной
210
ГЛАВА 21
включать априорные знания в свои утверждения. Когда мы де-
делаем окончательный вывод о ц, то должны синтезировать ин-
информацию, полученную из наблюдений, с нашими априорными
сведениями. Теорема Байеса имеет целью достичь указанного
синтеза с самого начала. Доверительная теория оставляет это
на самый конец (а ее наиболее распространенные изложения
игнорируют этот момент полностью).
21.37 Фидуциальная теория, как мы уже заметили, была
предложена Фишером для случая, когда имеются достаточные
статистики, или, в общем виде, когда может быть использована
вся информация, входящая в функцию правдоподобия. Ника-
Никакого систематического изложения процедур, которым нужно сле-
следовать в задачах, где доступна априорная информация, не да-
давалось. Но, по-видимому, нет причин, чтобы нельзя было ис-
использовать метод, подобный тому, что проиллюстрирован урав-
уравнением B1.94). Иначе говоря, если мы получили фидуциальное
распределение /(ц), сосредоточенное на произвольном интер-
интервале, и имеется дополнительная информация о том, что пара-
параметр лежит в интервале от р.о до щ (внутри исходного интер-
интервала), то с помощью усечения мы модифицируем фидуциальное
распределение к виду
21.38 Одну из критикуемых трудностей фидуциальной теории
иллюстрирует вывод распределения Стьюдента в фидуциальной
форме, приведенный в 21.10. Нам кажется, что этот вопрос
был неверно понят всеми, кроме Джеффрейса. Поскольку рас-
распределение Стьюдента дает одинаковый результат как для фи-
фидуциальной, так и для доверительной теорий, тогда как разли-
различаются эти два подхода в задаче о двух средних, то обе сто-
стороны, кажется, искали свои основные различия во второй за-
задаче, а не в первой. На наш же взгляд, c'est le premier test qui
coute*). Если принять ход рассуждений, применяемый в пер-
первой задаче, то более общий результат Фишера — Беренса полу-
получается очень простым обобщением. Это также понятно из под-
подхода Байеса — Джеффрейса, при котором соотношение B1.92)
является очевидным обобщением B1.90) на случай двух неза-
независимых выборок.
Как отмечалось в 21.10, вопрос состоит в следующем. Можем
ли мы в совместном распределении величин х и s (которые не-
независимы в обычном смысле) заменить die ds на d^do/a? Нам
кажется, что последнее не очевидно и что для этого на самом
Именно первый критерий является ценным (фр.). (Прим. перев.)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
211
деле, точно так же как и для соотношения B1.90), требуется но-
новый постулат. Этот вопрос был отчетливо поставлен в работе
Иэйтса A939а). Глубокое общее обсуждение фидуциальной
теории дано Демпстером A964) и в работах Симпозиума, опуб-
опубликованных в Бюллетене Международного статистического ин-
института A964, 40B), стр. 833—939).
Парадоксы и ограиичеиия фидуциальной теории
21.39 Если (ti, t2) совместно достаточны для @ь 9г), то можно
написать альтернативные факторизации
^,0,, 02) g^lQ.. 62).
Если каждая из статистик t\ и t% зависит только от одного
из параметров, то никаких трудностей не возникает, поскольку
каждая из них является одномерной достаточной статистикой
для своего параметра.
В более общем случае мы можем различать две специальные
структуры достаточных статистик.
(а) Одна из статистик зависит только от одного параметра.
Тогда факторизация принимает вид
либо
е„
B1.95)
(б) Одно из условных рспределений зависит только от од-
одного параметра. Имеем
?ocg,(f, |f2, 6,)&(*s|elf в2) 1
либо B1.96)
l ос ga(t2\tt, e2)g4(f, |в„ е2). >
Если выполняется первое из соотношений B1.96), то t2 яв-
является одномерной достаточной статистикой для 9а при извест-
известном 0i; если же имеет место второе соотношение, то t\ есть од-
одномерная достаточная статистика для 9ь когда известно 02-
Любая строка в соотношениях B1.95) или B1.96) позволяет
строить совместное фидуциальное распределение следующим
образом. Вначале находим фидуциальное распределение од-
одного параметра из множителя, в который входит только этот
параметр, и затем получаем условное фидуциальное распреде-
распределение другого параметра (при фиксированном значении пер-
первого) из множителя, содержащего оба параметра. Произведение
этих распределений принимается за совместное фидуциальное
распределение, по аналогии с теоремой об умножении вероят-
вероятностей. Именно так Фишер A956) и Кэнуй A958) использовали
соотношения B1.95) и B1.96) соответственно.
212 ГЛАВА 21
Мы видели, что в 21.10 и 21.26 соотношения B1.95) и B1.96)
выполнялись. Это было возможно потому, что выборочное сред-
среднее (или разность средних) /i не зависело от выборочной диспер-
дисперсии (или дисперсий) /2- В общем случае, однако, даже эти спе-
специальные структуры достаточных статистик недостаточны для
того, чтобы гарантировать единственность совместного фиду-
циального распределения, как это показали контрпримерами
Тьюки A957) и Бриллинджер A962). Неединственность возни-
возникает в точности тогда, когда имеют место одновременно оба
соотношения в B1,95) (или в B1.96)), и, следовательно, совме-
совместное фидуциальное распределение зависит от того, какое из них
мы используем для его построения. См. также Молдон A955)
и Демпстер A963).
В 23.37—39 мы увидим, что при определенных условиях каж-
каждая из структур достаточности B1.95), B1.96) обеспечивает оп-
оптимальные свойства для условных критериев.
Фрэзер A961а, Ь) обсуждал связь между фидуциальными
выводами и некоторыми свойствами инвариантности. См.
также Хора и Бюлер A966).
21.40 Линдли A958а) получил простой, но имеющий боль-
большие последствия результат, который не только проливает свет
на связь между фидуциальным и байесовским подходами, но и
ограничивает претензии фидуциальной теории на то, что она
дает общий метод, не противоречащий байесовскому и сочетаю-
сочетающийся с ним. В действительности, как показал Линдли, фиду-
циальный подход не противоречит байесовским методам тогда
и только тогда, когда он применяется к случайной величине х
и параметру 0, которые могут быть (порознь) преобразованы в
и и т соответственно, так что т является параметром распо-
расположения для и. В этом случае фидуциальный подход эквивален-
эквивалентен байесовскому с равномерным априорным распределением
параметра т. Приведенная критика относится в равной мере и
к «доверительным распределениям», определенным выше, в кон-
конце 20.6, поскольку они совпадают с фидуциальными распределе-
распределениями.
21.41 Используя равенство B1.5), запишем фидуциальное
распределение параметра 0 в виде (не путать с обозначением
характеристической функции)
q>*(e) = --g§-f(*ie), B1.97)
в то время как апостериорное распределение величины 0, при
заданном априорном распределении р@), по теореме Байеса
есть
|G)d0, B1.98)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
213'
где f(дг|в) = dF{x\Q)/dx — функция плотности. Обозначим г(х)
знаменатель в правой части B1.98). Тогда
B1.99)
Если имеется некоторое априорное распределение р@), для ко-
которого фидуциальное распределение эквивалентно байесовскому
апостериорному распределению, то B1.97) и B1.99) будут
равны, т. е.
--Lf(x\B)
B1.100)
г(х)
Выражение B1.100) показывает, что отношение в его левой
части должно быть произведением функции от 0 на функцию
от х. Перепишем это так:
г(х) дх "г /5F) <Э9 ~"' v"
При заданных р(д) и г(х) определим F из уравнения B1.101).
Единственное решение, отличное от постоянной, имеет вид
F = G.{R(x)-P(Q)}, B1.102)
где G — произвольная функция, a R и Р являются соответст-
соответственно интегралами от г и р относительно их аргументов. Если
обозначим и = R{x), т = Р@), то B1.102) преобразуется к
виду
F = G{u — т}, B1.103)
так что т является параметром расположения для и. Обратно,
если выполняется соотношение B1.103), то выполнено B1.100)
с и и т вместо х и 0 и с равномерным распределением р(т). Та-
Таким образом, B1.103) есть необходимое и достаточное условие
для того, чтобы имело место равенство B1.100), т. е. для того,
чтобы фидуциальное распределение было эквивалентно некото-
некоторому байесовскому апостериорному распределению.
21.42 Рассмотрим теперь случай, когда имеются две неза-
независимые выборки, информация о которых заключена в достаточ-
достаточных статистиках х и у, на основе которых нужно сделать вы-
вывод о параметре 0. Для этого существует два пути:
(а) мы можем рассмотреть обе выборки одновременно и
получить фидуциальное распределение ф*, у@);
(б) можно получить фидуциальное распределение фж@) из
первой выборки и, используя его как априорное распределение
при байесовском подходе, на основе второй выборки найти
апостериорное распределение пх, а@).
214
ГЛАВА 21
Если фидуциальный подход не противоречит байесовскому,
то (а) и (б) логически эквивалентны, и мы должны получить
ф*, у@)= лж,2,@).
Возьмем простейший случай, когда х и у одинаково распре-
распределены. Поскольку их распределение допускает одномерную до-
достаточную статистику для 0, то исходная функция плотности
имеет вид A7.83). Поэтому можно считать (см. упражнение
17.14), что распределение величины х само пред ставимо в виде
f (x|0) = f (x) g(Q)exp(xQ), B1.104)
и аналогично для у во второй выборке. Более того, в объединен-
объединенной выборке величина х + у является, очевидно, достаточной
статистикой для 0, и тогда комбинированное фидуциальное рас-
распределение фж,г/@) есть функция только от * + у и 0. Найдем
теперь условия, при которых nXfV(Q) также будет функцией
только от х + У и 0. По теореме Байеса
х, у
J ф* (8) f (у | е)
и если пх, у@) есть функция только от х -\- у и 0, то тем же свой-
свойством обладает и отношение при двух различных значениях
параметра 0:
я*, у (б) Ф* (б) f (У I 6)
Таким образом, соотношение B1.105) должно быть инвариант-
инвариантным относительно перестановки х и у. Следовательно, подстав-
подставляя B1.104) в B1.105), получаем
в)г(в) Ф„<е)*<е)
о7(ёТехр {у (е ~ 90} = М^ШбТ ехр {х (е ~ е°}'
так что
или
Ф*(в) ФУ (б')
(в) =
= ехр {(* ~ у) (е ~ е)}'
Ф» F')
„-г/в'
B1.106)
Если считать 0' и г/ постоянными, то B1.106) можно пере-
переписать в виде
B1.107)
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ
215
где А и В — произвольные функции. Из B1.97), B1.104) и
B1.107) имеем
_J_f( im
<?6 ГКХ{ "> __ <рх F) _ А (х) В F)
д Ю/,ш1 Н*|в) ~ f(x)g{Q) •
B1.108)
Но B1.108) совпадает в точности с соотношением B1.100), для
которого B1.103) является необходимым и достаточным усло-
условием. Таким образом, q>x,v(Q) = яЖ)!/@) возможно тогда и только
тогда, когда х и 0 можно преобразовать в B1.103), причем т бу-
будет параметром расположения для и, а р(х) — равномерным рас-
распределением. Итак, фидуциальный подход совпадает с байесов-
байесовским тогда и только тогда, когда задачу можно свести к задаче
о параметре расположения с равномерным априорным распреде-
распределением. Пример, где это не так, дан в упражнении 21.11.
Линдли показал также, что в экспоненциальном семействе
распределений A7.83) только нормальное и гамма-распределе-
гамма-распределение удовлетворяют условию о возможности преобразования к
виду B1.103): этим объясняется идентичность результатов, по-
полученных фидуциальным и байесовским методами для указан-
указанных случаев (см. пример 21.3). Спротт A960, 1961) показал, что
этот результат остается в силе, когда х и у неодинаково распре-
распределены.
Уэлч и Пирс A963), Уэлч A965) и Пирс A965) изучали со-
соответствие между байесовскими и доверительными интервалами,
главным образом для асимптотических решений. Тэтчер A964)
рассмотрел это соответствие для биномиальных прогнозов. Гейс-
сер и Корнфилд A963) и Фрэзер A964) указали на дальней-,
шие трудности с фидуциальными распределениями в много-
многомерном случае. Смотри также Работы Симпозиума Между-
Международного статистического института, упоминавшиеся в кон-
конце 21.38.
Фрэзер A962) предложил модификацию фидуциального ме-
метода, которая расширяет область его непротиворечивости с
байесовскими методами.
21.43 Имеется еще одно возражение против фидуциальной
теории, которое уже упоминалось в связи с байесовским под-
подходом: она отказывается от строго частотного подхода в задаче
интервального оценивания. На самом деле возможно, как по-
показал Барнард A950), обосновать решение Фишера — Беренса
задачи о двух средних с некоторой иной частотной точки зре-
зрения, но, как он сам утверждает далее, идея фиксированного
пространства элементарных исходов, в терминах которого ин-
интерпретируются частоты, чужда фидуциальному подходу. Таким
образом, статистику предоставляется выбор между доверитель-
216
ГЛАВА 21
ными интервалами, дающими точные интерпретируемые в ча-
частотах утверждения, которые в исключительных случаях могут
оказаться тривиальными, и другими методами, отказывающи-
отказывающимися от частотной интерпретации в пользу выводов, которые
представляются, возможно интуитивно, более относящимися к
делу.
УПРАЖНЕНИЯ
21.1 Пусть х — среднее для выборки объема п из совокупности с рас-
распределением
¦ ехр
( (
I
dx.
а/2я " "г I 2а2
пусть s' = 2 (х — хJ/(п—1), а х — еще одно независимое выборочное
значение. Доказать, что
t
х —
-+Y-&
имеет распределение Стьюдента с п — 1 ст. св. Показать далее, что фиду-
циальные границы для х есть
где ti выбрано так, чтобы интеграл от распределения Стьюдента в интервале
от —tx до t\ был равен заданному значению 1 — а.
(Фишер, 1935b. Этот результат дает
оценку для следующего значения,
когда уже имеется п наблюдений, и
распространяет идею фидуциальных
границ с параметров на случайные
величины, зависящие от них.)
21.2 Аналогично предыдущему показать, что если выборка объема я(
дает среднее xi и оценку дисперсии s1 , то фидуциальное распределение
и оценки дисперсии s2 • полученных из второй выборки объема
среднего
п2, есть
/(л,—I) An2— I)
S s dx
dF ос-
/2 ,2
_1M; +{n2-l)s2 +(х1
Вывести отсюда, устремляя п2 к бесконечности, совместное фидуциальное
распределение для ц и а.
(Фишер, 1935b.)
21.3 Пусть кумулятивная биномиальная функция распределения дается
равенством
п
ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ: ФИДУЦИАЛЬНЫЕ ИНТЕРВАЛЫ 217
Доказать, что //« есть достаточная статистика для я и
является допустимым фидуциальным распределением для я. Показать, что
есть тоже допустимое распределение. Показать, как определить Яо из Ло
и Я1 из hi, чтобы фидуциальный интервал яо ^ я ^ я< имел вероятность,
не меньшую заданного 1 — а.
(Стивене, 1950. Использование двух
фидуциальных распределений необхо-
необходимо из-за дискретности наблюдений
величины f. Ср. 20.22 по поводу ана-
аналогичной трудности в доверительных
интервалах.)
21.4 Пусть 1ц, /i2 h, n-i представляют собой п—1 линейных функ-
функций от наблюдений, ортогональных к х1 и между собой, имеющих среднее
нуль и дисперсию а\. Аналогично определим hi, 1гг, ..., U, n-i.
Тогда при двух выборках объема п из нормальных популяций с оди-
одинаковыми средними и дисперсиями а\, а\ функция
B d/+ /*/)*/(«-i)}J/a
будет иметь распределение Стьюдента / с п—1 ст. св. Показать, как, ис-
используя этот результат, строить доверительные интервалы для разности двух
средних. Показать также, что B1.51) при /ii = «2 является статистикой та-
такого же вида.
21.5 Пусть даны две выборки объемов я( и п2 из нормальных совокуп-
совокупностей с неравными дисперсиями. Показать, что, выбирая случайным обра-
образом n,i элементов из п2 (где «i =s; «2) и случайным образом объединяя их
в пары с элементами первой выборки, можно получить доверительные ин-
интервалы для разности между средними на основе распределения Стьюдента
независимо от отношения дисперсий популяций. Показать, что это эквива-
эквивалентно тому, чтобы положить c<j = 0 (i Ф }); =1 (» =/) в B1.36), и,
следовательно, это неэффективное решение задачи о двух средних.
21.6 Используя метод из 21.23, показать, что статистика B1.21) имеет
приближенно распределение Стьюдента с числом степеней свободы, опреде-
определяемым соотношением B1.64).
21.7 Исходя из ^-распределения Фишера A6.24), иайти фидуциальное
распределение для 6 = 0^02. Показать, что если рассматривать распределе-
распределение Стьюдента статистики B1.20) как совместное фидуциальное распределе-
распределение для б и 6 и проинтегрировать его по фидуциальному распределению 9,
то мы получим результат пункта 21.26 о распределении статистики г.
(Фишер, 1939.)
21.8 Доказать утверждение из 21.16 о том, что если ах + by = z, где
х и у — независимые случайные величины и каждая из величии х, у, z имеет
^-распределение, то а = Ь = 1.
(Шеффе, 1944.)
218
ГЛАВА 21
21-9,оп°казать, что если взять пеРвые два члена в правой части разло-
жения_ B1.71), то соотношение B1.65) будет, с точностью до 1/я, аппрокси-
аппроксимацией, приведенной в 21.24, для распределения статистики B121) т е
^¦?eJ,vраСпределеннем Сты°Дента с числом степеней свободы, задаваемым
B1.64).
21Л0 й?о^ать> чт0 для "i = = п условное распределение статисти-
статистики z из (ZIM) при фиксированном отношении Si/s2 можно получить ис-
используя тот факт, что величина
1/2
имеет ^-распределение Стьюдента с 2(я— 1) ст. св.
(Бартлетт, 1936)
21.11 Показать, что если достаточная статистика х имеет распределение
то фидуциальное распределение параметра 6 для объединения выборок с
достаточными статистиками х, у имеет вид
Tj(-»1 ' (8+ IK
(где z = x -\- у), тогда как для одной выборки
<р* (fl)=(e*+*)«n + (> + в) A + *)].
(Заметим, что знак минус в соотношении B1.5) не является здесь необхо-
необходимым, поскольку F(x\Q) по 9 является возрастающей функцией.) Пока-
Показать далее, что байесовское апостериорное- распределение, полученное по
второй выборке при использовании фх(9) как априорного распределения
представимо в виде '
.„. _г9/ 6 \з
Kxy{Q)cce гв( е - \ х(\ +у)[1 +A +6)A +х)\,
так что пх,уф) Ф (pXi „F). Заметим также, что кх, U(Q) Фпу,х(д).
(Линдли, 1958а.)
ГЛАВА 22
ПРОВЕРКА ГИПОТЕЗ:
ПРОСТЫЕ ГИПОТЕЗЫ
22.1 Теперь мы переходим от задач оценивания параметров
к задачам проверки гипотез о параметрах. Наша цель будет
заключаться уже не в том, чтобы найти наилучшую (точечную
или интервальную) оценку неизвестного параметра, а в том,
чтобы решить, приемлема ли, в свете полученных наблюдений,
некоторая известная величина в качестве значения параметра.
В некотором смысле задача проверки гипотез логически
предшествует задаче оценивания. Например, при исследовании
разности между средними двух нормальных совокупностей нам
в первую очередь нужно решить, указывают ли наблюдения на
наличие какой бы то ни было отличной от нуля разности между
средними. Другими словами, мы должны сравнить наблюден-
наблюденные различия между выборками с тем, чего можно было бы
ожидать при гипотезе, что средние совокупностей совпадают и
что все различия объясняются выборочными флуктуациями.
Если эта гипотеза не подтвердится, тогда надо переходить к сле-
следующему этапу, имеющему целью оценивание величины раз-
разности между средними.
Ясно, что задачи проверки гипотез тесно связаны с задачами
оценивания. Однако полезно рассмотреть их отдельно, по край-
крайней мере ради упрощения изложения. Многие из идей, изложен-
изложенных в этой и следующей главе, принадлежат Нейману и Э. Пир-
Пирсону, авторам фундаментальной серии работ, посвященных тео-
теории проверки гипотез A928, 1933а, Ь, 1936а, 1938). См. также
монографию Лемана A959).
22.2 Понятие гипотезы, с которым имеет дело статистика, бо-
более узко, чем общее понятие научной гипотезы. Так, существует
научная гипотеза, что любая материальная частица во Вселен-
Вселенной притягивает любую другую или что существует жизнь на
Марсе. Однако эти гипотезы не относятся к числу тех, которые
проверяются в статистике. Статистические гипотезы касаются
поведения наблюдаемых случайных величин. Более точно, пусть
имеется набор случайных величин *,, ..., хп, Этот набор можно
представить в виде точки х в n-мерном выборочном простран-
пространстве, каждой из координатных осей которого сопоставлена одна
218
ГЛАВА 21
21-9 По,?азать' что если взять пеРвые два члена в правой части разло-
разложения B1.71), то соотношение B1.65) будет, с точностью до 1/я аппрокси-
аппроксимацией, приведенной в 21.24, для распределения статистики B121) т е
бУде7, Распределением Стьюдента с числом степеней свободы, задаваемым
B1.64).
21.10 Доказать, что для щ = п2 = п условное распределение статисти-
статистики z из B1.21) при фиксированном отношении si/s2 можно получить ис-
используя тот факт, что величина
1/2
i-(*?M) , t/4
имеет ^-распределение Стьюдента с 2(я— 1) ст. св.
(Бартлетт, 1936)
21.11 Показать, что если достаточная статистика х имеет распределение
6 +
¦(х+\)е
-хв
х>0, 6 > 0,
то фидуциальное распределение параметра 6 для объединения выборок с
достаточными статистиками х, у имеет вид
(где z
¦ х-\- у), тогда как для одной выборки
(н+ \у
8)
(Заметим, что знак минус в соотношении B1.5) не является здесь необхо-
необходимым, поскольку F(x\Q) по 9 является возрастающей функцией.) Пока-
Показать далее, что байесовское апостериорное- распределение, полученное но
второй выборке при использовании <рх(9) как априорного распределения
представимо в виде '
так что лх,у(в) Ф ф*, „F). Заметим также, что пх, уF)
^ ()
(Линдли, 1958а.)
ГЛАВА 22
ПРОВЕРКА ГИПОТЕЗ:
ПРОСТЫЕ ГИПОТЕЗЫ
22.1 Теперь мы переходим от задач оценивания параметров
к задачам проверки гипотез о параметрах. Наша цель будет
заключаться уже не в том, чтобы найти наилучшую (точечную
или интервальную) оценку неизвестного параметра, а в том,
чтобы решить, приемлема ли, в свете полученных наблюдений,
некоторая известная величина в качестве значения параметра.
В некотором смысле задача проверки гипотез логически
предшествует задаче оценивания. Например, при исследовании
разности между средними двух нормальных совокупностей нам
в первую очередь нужно решить, указывают ли наблюдения на
наличие какой бы то ни было отличной от нуля разности между
средними. Другими словами, мы должны сравнить наблюден-
наблюденные различия между выборками с тем, чего можно было бы
ожидать при гипотезе, что средние совокупностей совпадают и
что все различия объясняются выборочными флуктуациями.
Если эта гипотеза не подтвердится, тогда надо переходить к сле-
следующему этапу, имеющему целью оценивание величины раз-
разности между средними.
Ясно, что задачи проверки гипотез тесно связаны с задачами
оценивания. Однако полезно рассмотреть их отдельно, по край-
крайней мере ради упрощения изложения. Многие из идей, изложен-
изложенных в этой и следующей главе, принадлежат Нейману и Э. Пир-
Пирсону, авторам фундаментальной серии работ, посвященных тео-
теории проверки гипотез A928, 1933а, Ь, 1936а, 1938). См. также
монографию Лемана A959).
22.2 Понятие гипотезы, с которым имеет дело статистика, бо-
более узко, чем общее понятие научной гипотезы. Так, существует
научная гипотеза, что любая материальная частица во Вселен-
Вселенной притягивает любую другую или что существует жизнь на
Марсе. Однако эти гипотезы не относятся к числу тех, которые
проверяются в статистике. Статистические гипотезы касаются
поведения наблюдаемых случайных величин. Более точно, пусть
имеется набор случайных величин xi, ..., хп, Этот набор можно
представить в виде точки х в n-мерном выборочном простран-
пространстве, каждой из координатных осей которого сопоставлена одна
220
ГЛАВА 22
случайная величина. Случайной величине х соответствует не-
некоторое распределение вероятностей, и для любой области w
в выборочном пространстве W можно (по крайней мере в прин-
принципе) вычислить вероятность P(x^w) того, что выборочная
точка х попадет в w. Любая гипотеза, связанная с P(x^w),
будет называться статистической.
Примерами статистических гипотез могут служить следую-
следующие гипотезы: (а) нормальное распределение имеет заданные
среднее и дисперсию; (б) нормальное распределение имеет за-
заданное среднее (о дисперсии ничего не говорится); (в) распре-
распределение нормально (с какими-нибудь средним и дисперсией);
(г) два неизвестных непрерывных распределения одинаковы.
Каждой из приведенных четырех гипотез соответствуют опреде-
определенные свойства выборочного пространства. Поэтому каждая из
них может быть сформулирована в виде утверждения, относя-
относящегося к выборочному пространству, и проверена сравнением с
наблюдениями.
Параметрические и непараметрические гипотезы
22.3 Заметим, что в примерах (а) и (б) последнего пункта
распределение, порождающее наблюдения, имело известный вид
(было нормальным) и гипотезы касались только значений од-
одного или обоих параметров распределения. Такие гипотезы на-
называются параметрическими.
Гипотеза (в) имеет другую природу. Она эквивалентна гипо-
гипотезе о том, что все семиинварианты распределения конечны и что
семиинварианты порядка выше второго равны нулю (см. при-
пример 3.11). Термин «параметр» часто используется для обозначе-
обозначения семиинварианта или момента распределения, чтобы отличить
их от соответствующих выборочных величин. Такое употребление
понятно, однако оно неточно. Нормальное распределение
имеет два параметра, ц и о. (Иногда удобнее считать парамет-
параметрами ц, и а2 — это зависит от соглашения. Несущественные из-
изменения такого рода не меняют числа параметров.) Известно,
что среднее нормального распределения равно ц, а его диспер-
дисперсия равна а2. Однако среднее и дисперсия никак не могут счи-
считаться параметрами этого распределения с большим основа-
основанием, чем, скажем, медиана (также равная ц) и среднее от-
отклонение от среднего ( = аB/я)|/г) или любая другая интересую-
интересующая нас константа из бесконечного множества констант, вклю-
включающего все моменты и семиинварианты. Под «параметрами»,
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
-221
следовательно, мы понимаем конечное число констант, опре-
определяющих распределение.
При таком понимании термина «параметр» гипотезы (в) и
(г) пункта 22.2 следует считать непараметрическими. Непара-
Непараметрические гипотезы будут подробно рассмотрены в главах 30,
31, но значительная часть теории настоящей и следующей глав
одинаково применима как к параметрическому, так и к непа-
непараметрическому случаям. Однако все конкретные рассмотрения
будут большей частью относиться к параметрическим гипотезам.
Простые и сложные гипотезы
22.4 Есть разница между гипотезами (а) и (б) пункта 22.2.
Гипотеза (а) определяет значения всех параметров распреде-
распределения, тогда как гипотеза (б) определяет только некоторое под-
подмножество значений параметров. Для теории это различие су-
существенно. В общем случае оно формулируется следующим об-
образом. Если распределение имеет всего / параметров и гипотеза
утверждает, что k из них имеют заданные значения, то она на-
называется простой, когда k = I, и сложной, когда k < /. Геометри-
Геометрически можно представлять возможные значения параметров в
виде области в пространстве размерности I (одно измерение для
каждого параметра). Если гипотезой выделяется единственная
точка этого параметрического пространства, то это простая ги-
гипотеза; если же гипотеза выделяет область, содержащую более
одной точки, то это сложная гипотеза.
При этом I — k называется числом степеней свободы гипо-
гипотезы, a k — числом ограничений, налагаемых гипотезой. Эта тер-
терминология очевидным образом связана с рассмотренной гео-
геометрической иллюстрацией.
Критические области и альтернативные гипотезы
22.5 Чтобы проверить какую-либо гипотезу, исходя из (слу-
(случайной) выборки наблюдений, мы должны разделить выбо-
выборочное пространство (т. е. возможные наборы наблюдений) на
две области. Если наблюдаемая выборочная точка х попа-
попадает в одну из этих областей, скажем хю, то гипотеза отвер-
отвергается; если же х попадает в дополнительную область W — хю,
то гипотеза принимается. Область w называется критической
областью критерия, a W — w называется областью приня-
принятия.
Следует сказать, что довольно безапелляционные термины
«отвергнуть» и «принять», использованные выше, в настоящее
время общеприняты, и мы также будем ими пользоваться; но
они вовсе не означают, что какая бы то ни было гипотеза в науке
222
ГЛАВА 22
может быть окончательно принята или отвергнута. Читатель,
которому трудно принять эти, может быть, неподходящие тер-
термины, возможно, согласится рассматривать их как условные
сокращения: «отвергнуть» вместо «решить, что наблюдения го-
говорят не в пользу» и «принять» вместо противоположного ут-
утверждения. Далее мы будем изучать процедуры, приводящие
к тому или другому из этих решений с определенной вероят-
вероятностью ошибки.
22.6 Если известно распределение вероятностей наблюде-
наблюдений, соответствующее проверяемой гипотезе Яо, то можно опре-
определить w так, чтобы при выполнении гипотезы Яо вероятность
отвергнуть гипотезу (т. е. вероятность попадания х в w) была
равна заранее заданной величине а, т. е.
P{x<=w\H0} = a. B2.1)
В случае дискретного распределения выполнение B2.1) для
любого а из интервала @, 1) может оказаться невозможным.
Значение а называется размером критерия *). Начиная с этого
момента а будет считаться каким-то образом выбранным.. Во-
Вопрос об этом выборе мы обсудим позже.
Очевидно, мы можем в общем случае найти много (часто
даже бесконечно много) подобластей w выборочного простран-
пространства, для которых выполнено B2.1). Какая из них предпочти-
предпочтительней? Это основная проблема теории проверки гипотез. Дру-
Другими словами, нужно решить, какие совокупности наблюдений
говорят в пользу данной гипотезы, а какие — против.
22.7 Поставив вопрос таким образом, мы подошли к сути
проблемы. Действительно, совершенно бесполезно знать только
свойства критической области, соответствующие гипотезе Яо.
Что произойдет, когда выполнена какая-то другая гипотеза?
Иными словами, невозможно ответить на вопрос, говорят ли
полученные наблюдения в пользу данной гипотезы, если мы не
знаем, с какими альтернативными гипотезами она сравнивает-
сравнивается. Вполне может случиться, что выборка довольно «неправдо-
«неправдоподобна», если справедлива исходная гипотеза: однако она
может быть еще более «неправдоподобной», если выполнена
другая гипотеза. Если ситуация такова, что мы должны выбрать
либо одну гипотезу, либо другую, мы, очевидно, выберем пер-
первую, несмотря на «неправдоподобность» наблюдений. Задача
проверки гипотезы, в сущности, состоит в выборе между ней и
*) Проверяемая гипотеза часто называется «нулевой гипотезой», а раз-
размер критерия — «уровнем значимости». Мы не будем использовать эти тер-
термины, поскольку слова «нулевой» и «значимость» могут иногда вводить в
заблуждение.
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
223
другими гипотезами. Отсюда немедленно следует, что решение
о принятии или непринятии исходной гипотезы существенно за-
зависит от того, против каких альтернативных гипотез она про-
проверяется.
Мощность критерия
22.8 Рассуждения пункта 22.7 приводят нас к выводу, что
суждение о качестве критической области (или, что то же самое,
критерия) должно основываться на свойствах, которыми она
обладает как в случае выполнения проверяемой гипотезы, так и
в случае ее невыполнения. Из этого следует, что ошибки, воз-
возникающие при проверке статистической гипотезы, могут быть
двух типов:
(I) можно ошибочно отвергнуть гипотезу, когда она верна;
(II) можно ее ошибочно принять, когда она неверна.
Эти ошибки называются соответственно ошибками первого
и второго рода. Вероятность ошибки первого рода равна раз-
размеру используемой критической области. Вероятность ошибки
второго рода, обозначаемая обычно р, зависит, конечно, от рас-
рассматриваемой альтернативной гипотезы Я,. Таким образом,
или
#,}=!-p.
B2.2)
Вероятность 1 — C называется мощностью критерия для про-
проверки гипотезы #о против альтернативной гипотезы Н\. Указа-
Указание гипотезы Н\ в последней фразе существенно, так как мощ-
мощность зависит от Н\.
Пример 22.1
Рассмотрим задачу проверки гипотезы о среднем значении
нормального распределения с единичной дисперсией. Говоря
точнее, требуется проверить гипотезу
Но: ц = м-о
в случае распределения
dF (лс) = Bя)~1/2 ехр| — \ (х - цJ} dx, — о
оо.
Это простая гипотеза, так как она определяет F(x) полностью.
В качестве альтернативы мы возьмем также простую гипотезу
Я,: ц = ц, > ц.о.
224
ГЛАВА 22
Рис. 22.1. Критические области для
п = 2 (см. текст).
Таким образом, задача заключается в том, чтобы выбрать
в качестве среднего значения либо меньшее из двух заданных
значений (цо), либо большее (цО-
В случае выборки объема п = 2 ситуацию можно предста-
представить графически. На рис. 22.1 показаны возможные совокупно-
совокупности выборочных точек при большом числе повторений. Нижнее
скопление соответствует
х, ¦'•'¦•'. /С г выполнению гипотезы Яо, а
* верхнее — Я(.
*В ''рассматриваемом слу-
случае, конечно, выборочные
распределений непрерывны,
однако расположение точек
дает представление о том,
как выборочные плотности
сгущаются около истинных
средних.
Чтобы выбрать критиче-
критическую область, мы должны
в соответствии с B2.1) най-
найти область на плоскости, со-
содержащую долю а распре-
распределения Яо. Одна'из таких
областей представлена ча-
частью плоскости, лежащей выше прямой PQ, которая перпен-
перпендикулярна к прямой АВ, соединяющей гипотетические сред-
средние. (А изображает точку (ио, цо), а В— точку (ць p.i). Дру-
Другой возможной критической областью размера а будет об-
область CAD.
Из круговой симметрии скоплений сразу видно, что первая
из критических областей содержит гораздо большую часть скоп-
скопления Н\, чем область CAD. Поэтому при гипотезе Hi доля слу-
случаев, когда отвергается Яо, для первой области больше, чем для
второй. Следовательно, значение 1 — f$ для первой критической
области, т. е. ее мощность, будет больше.
22.9 Пример 22.1 указывает нам очевидный критерий для
выбора критической области среди всех областей, удовлетво-
удовлетворяющих B2.1). Надо взять такую критическую область w, ко-
которая имела бы максимальную мощность B2.2). В этом случае
при заданной вероятности ошибки первого рода а мы будем
иметь минимальную вероятность ошибки второго рода C. Эта
фундаментальная идея, впервые в явном виде сформулированная
Дж. Нейманом и Э. Пирсоном, лежит в основе теории этой и
следующих глав.
Критическая область, мощность которой не меньше мощно-
мощности любой другой области того же размера, предназначенной
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
225
для проверки гипотезы Но против альтернативной гипотезы #ь
называется наилучшей критической областью (сокращенно:
НКО), а критерий, основанный на НКО, называется наиболее
мощным (сокращенно: НМ) критерием.
Проверка простой гипотезы Но против простой альтернативы Н\
22.10 Если проверяется простая гипотеза против простой
альтернативной гипотезы, т. е. делается выбор между двумя
полностью определенными распределениями, то задача нахо-
нахождения НКО не вызывает особых трудностей. Ее решение дает-
дается леммой Неймана — Пирсона A933b), которую мы сейчас до-
докажем.
Как и в предыдущих главах, L(x\Hi) будет обозначать
функцию правдоподобия при гипотезе Hi (i = 0, 1) и будет ис-
использоваться только один знак интеграла для обозначения
п-кратного интегрирования по выборочному пространству. За-
Задача состоит в выборе критической области w, максимизирую-
максимизирующей выражение B2.2), которое в интегральной записи имеет
вид
1 _р= С i{x\ Hx)dx B2.3)
при условии B2.1), которое мы запишем теперь в виде
B2.4)
Эта критическая область, очевидно, должна включать все точ-
точки х, для которых L(x\H0) = 0, L(x\H{) > О, так как эти точки
не дают никакого вклада в интеграл B2.4). Для остальных то-
точек области w можно переписать B2.3) в виде
B2.5)
Таким образом, надо выбрать w так, чтобы максимизировать
1(х|Я,)
математическое ожидание отношения L\x\Hay вычисленное в
предположении, что справедлива гипотеза Яо. Ясно, что это
будет выполнено тогда и только тогда, когда w, удовлетворяя
условию B2.4), содержит точки, для которых отношение -^ •*\ н\'
принимает наибольшие значения. Таким образом, НКО состоит
из тех точек пространства W, для которых
L(x\H0) ^.
L(x\Hi) ^ а*
B2.6)
8 М. Кендалл, А. Стьюарт
226
ГЛАВА 22
Каждой константе ka в B2.6) соответствует размер а, опреде-
определяемый B2.4). Если иксы распределены непрерывно, то мы мо-
можем также найти для каждого а соответствующее ka.
22.11 Если распределение иксов не непрерывно, то можно
использовать прием рандомизации (см. 20.22). В этом случае
Цх\Н0)
L (х\Нх)
B2.7)
с некоторой ненулевой вероятностью р, и в общем случае из-за
дискретности можно выбрать в B2.6) лишь такое ka, которому
соответствует размер критерия а — q @ < q <. р). Чтобы полу-
получить критерий, размер которого точно равен а, надо поступить
следующим образом. Всякий раз, когда выполняется B2.7),
используется случайное устройство (например, таблица случай-
случайных чисел) с тем, чтобы с вероятностью q/p гипотеза Яо отвер-
отвергалась и с вероятностью 1 — (qlp) принималась. Полная ве-
вероятность отвергнуть Но будет тогда равна (а — q) + pq/p = a,
как это и требовалось. В этом случае, очевидно, НКО не един-
единственна, поскольку она подвержена случайным выборочным
флуктуациям *).
Пример 22.2
Вернемся снова к нормальному распределению примера 22.1
A:, — оо<х<оо, B2.8)
и будем проверять гипотезу Но: \х = \\0 против альтернативы
Ну. h = Hj
Имеем
L (х | Ht) = Bя)-"/2 ехр Г—4S <*' ~ ^J1 в
= BяГп/2 ехр [- i{s2 + (х - ц,J}] , i = 0, 1, B2.9)
*) При применении рандомизации не имеет смысла говорить о крити-
критической области. Критерий в этом случае задается критической функцией
<p(jc) @ ^ <p(*)s^ I), дающей вероятность отвергнуть Яо прн наблюдении х.
Например, критерию в тексте отвечает критическая функция <р(х)=1, qlp
или 0, когда L(x\Ho)/L(x\Hi) < ka, =ka или >ka соответственно. Отсут-
Отсутствию рандомизации отвечает критическая функция, принимающая два зна-
значения: 1 на w и 0 в остальных точках. (Прим. ред.)
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
22/
где х, s2 — выборочные среднее и дисперсия. Следовательно,
соотношение B2.6), определяющее НКО, записывается в виде
или
= ехр[? {(,*„ - ,*,J-х + (Ц? - М?)}] < К B2-10)
B2.11)
Таким образом, при заданных ц0, Hi и а НКО определяется
только значением выборочного среднего х. Этого следовало
ожидать, принимая во внимание тот факт (см. примеры 17.6,
17.15), что х является достаточной статистикой для ц., соответ-
соответствующей минимальной границе дисперсии. Далее, из B2.11)
следует, что если \х0 > \i\, то НКО имеет вид
х < у (но + Mr)
тогда как при цо < № мы получаем
n (м-о — (*i)>.
B2.12)
B2.13)
что вполне согласуется с интуицией: проверяя гипотетическое
значение ц0 против меньшего значения щ, мы отвергаем ц0,
если выборочное среднее оказывается меньше некоторого зна-
значения, зависящего от размера критерия а; проверяя цо против
большего значения ць мы отвергаем цо, если выборочное сред-
среднее превосходит некоторое определенное значение.
22.12 Следует отметить, что в примере 22.2 для определения
НКО требуется знание только одной статистики, а не всей сово-
совокупности наблюдений. Это характерно для многих задач. Такое
упрощение позволит нам вести изложение целиком в терминах
выборочного распределения такой статистики (называемой
«статистикой критерия») и избежать осложнений, связанных с
рассмотрением n-мерных распределений.
Пример 22.3
Известно (см. пример 11.12), что в примере 22.2 при любом
значении ^ выборочное среднее х само распределено нормаль-
нормально со средним, ц, и дисперсией \/п. Таким образом, чтобы полу-
получить критерий размера а для проверки цо против \i\ > \i0, мы
должны найти такое ха, чтобы выполнялось равенство
228 ГЛАВА 22
Обозначая
X
G(x)= jBn)-1/2exp(-±-y2)dy, B2.14)
получаем для hi > ц0
xa=\i0 + dJnW, B2.15)
где
G(—da) = a. B2.16)
Например, для ц0 = 2, п = 25 и а = 0,05 из таблицы нор-
нормального интеграла находим
dOlO5= 1,6449,
так что согласно B2.15)
ха = 2 + 1,6449/5 = 2,3290.
В этом простом примере мощность критерия может быть выпи-
выписана в явном виде. Она равна
Используя B2.15), можно представить этот интеграл в виде
1 - G{л'/г ([1о _ Ц1) + JJ = G {п[/2 (Ц, _ Цо) _ da}, B2.18)
поскольку ?(х) = 1 — G{—х) в силу симметрии. Из B2.18)
видно, что мощность является монотонно возрастающей функ-
функцией как по п (объем выборки), так и по уц — ц0 (разность ги-
гипотетических значений, между которыми делается выбор).
Пример 22.4
Для противопоставления рассмотрим распределение Коши
dx
оо,
и предположим, что мы хотим проверить гипотезу Но: 0 = 0
против альтернативы Н\\ 0=1. Для простоты ограничимся
случаем п = 1. Согласно B2.6) НКО определяется соотноше-
соотношением
Цх\Н0) ._.. \ + (х-\
L(x\Hl)~ l+х2
которое эквивалентно соотношению
х2 {К —Х)+2х + (ka - 2) > 0. B2.19)
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
229
Вид НКО зависит, таким образом, от выбранного значения а.
Если, например, ka = 1, то B2.19) сводится к неравенству
х ^ 1/2, т. е. мы должны отвергнуть 8 = 0 в пользу 0=1 ка-
каждый раз, когда наблюденная величина ближе к 1, чем к 0.
Если, с другой стороны, взять ka = 0,5, то B2.19) принимает
вид
х2 — 4х + 3 < 0 или (х— 2J<1.
Последнее неравенство выполнено, когда 1 г=С х :gC 3. Это и есть
критическая область.
Поскольку распределение Коши есть распределение Стью-
дента с одной степенью свободы и, следовательно, F(x) = -^-\-
-\ arctg х, то можно вычислить размер каждого из двух приве-
приведенных выше критериев.
Для ka = 1 размер равен Р(/^у| = 0,352, тогда как для
ka = 0,5 получаем
Использованная таблица может быть применена также для
нахождения мощности рассмотренных критериев. Это предла-
предлагается проделать читателю в упражнении 22.4 в конце этой
главы.
22.13 Приведенные нами примеры использования леммы
Неймана — Пирсона касались проверки гипотезы о значении
параметра некоторого распределения заданного вида. Однако,
как можно видеть из доказательства в 22.10—11, B2.6) дает
НКО для любой задачи проверки простой гипотезы против про-
простой альтернативы. Например, можно проверить гипотезу о
виде распределения, параметр расположения которого известен,
как это делается в следующем примере.
Пример 22.5
Пусть известно, что среднее значение распределения равно
нулю и нас интересует вид этого распределения. Предположим,
что мы хотим выбрать одну из альтернатив
Яо: ^ =
Я,: dF = jexp(—
— оо
Для простоты мы опять будем считать объем выборки п рав-
равным 1.
230
ГЛАВА 22
Согласно B2.6) НКО определяется соотношением
Таким образом, мы отвергаем Но, если
НКО состоит, следовательно, из больших по абсолютной вели-
величине значений наблюдения, дополненных, если ka > B/яI/2 (т. е.
с« > 0). значениями из окрестности х = 0. Читатель может лег-
легко убедиться в этом, построив график.
НКО и достаточные статистики
22.14 Если обе сравниваемые гипотезы относятся к значе-
значению параметра 8, для которого имеется достаточная статистика
t, то из факторизации функции правдоподобия, выражаемой
формулой A7.18), следует, что B2.6) имеет в этом случае вид
M*16q) g(/|90)
т. е., как этого и следовало ожидать, НКО зависит от значения
достаточной статистики t. Мы уже встречались с таким случаем
в примере 22.2. (Такой же результат, очевидно, имеет место,
если 6 представляет собой набор параметров, для которого t
служит достаточной системой статистик.) Упражнение 22.13 по-
показывает, что отношение правдоподобия в левой части B2.10)
само является достаточной статистикой, так что НКО есть
функция от этой достаточной статистики.
Однако не всегда получается так, что НКО имеет вид t ^ аа
или t ^ ba, как это было в примере 22.2 (контрпримером слу-
служит пример 22.4, в котором единственное наблюдение х являет-
является достаточной статистикой для 8). Исследование выражения
B2.20) показывает, что НКО будет иметь такой простой вид,
если g(t\Qo)/g(t\Qi) является монотонно неубывающей функ-
функцией от t для 8о > 8ь Это будет заведомо выполнено, если
(t\B)^sO, B2.21)
что справедливо почти для всех распределений, встречающихся
в статистике.
Пример 22.6
В случае распределения
ехр{—(х — Щйх, 6<х<^оо,
О в противном случае
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
231
наименьшее выборочное значение хA> достаточно для 8 (см. при-
пример 17.19). Проверяя гипотезу 80 против 8i > 80 для выборки
из л наблюдений, мы получим
L(*|90) _/ °°, если хО)<е„
M*|9i) I exp{n(80 — 0[)} в противном случае,
откуда следует, что для точек критической области должно быть
выполнено неравенство
ехр{пF0-е1)}</г„. B2.22)
Поскольку, однако, левая часть B2.22) вообще не зависит от
наблюдений и является константой, то B2.22) будет выполнено
для любой критической области размера а с X(i> ^ 8ь Таким
образом, все такие критические области имеют одинаковую
мощность и будут, следовательно, НКО.
Если допустить, что 8i может быть как больше, так и мень-
меньше во, то мы получим
L(x\Q0) _,
оо.
ехр{п(80 —
ехр{п(во-8,)}<1,
0,
если
если
если
если
Х(
Xt
0!
Таким образом, НКО определяется неравенствами
е0)<0, (ж») — в0) > с„.
> е0,
(D < Эо
Первое из этих событий имеет при гипотезе Но вероятность нуль.
Значение са выбирается так, чтобы вероятность осуществления
второго события при гипотезе Но была равна а.
Эффективность оценки и мощность
22.15 Если для проверки гипотезы используется статистика,
эффективная в задаче оценивания (см. 17.28—29), то из этого
не следует, что мощность полученного критерия будет больше
мощности критерия, основанного на менее эффективной оценке.
Этот результат принадлежит Сандруму A954).
Пусть (| и/j — две асимптотически нормально распределен-
распределенные оценки параметра 6, и пусть, по крайней мере асимптоти-
асимптотически,
М (*,) = М (*2) — 6,
D(f I Q — а \ _ -2
232
ГЛАВА 22
Пусть проверяется гипотеза Но: 6 = 60 против Нх: 6 = 6i > 6о.
Точно так же, как в B2.15) в примере 22.3, мы для каждой из
статистик получим критическую область
ti>Q0 + daaio, /=1,2, B2.23)
где da — нормальное отклонение, определяемое соотношениями
B2.14) и B2.16). Обобщая равенство B2.18), соответствующее
случаю Ом = аи, получаем мощности критериев
}
Г
B2.24)
Поскольку G (х) — монотонно возрастающая функция своего
аргумента, то в соответствии с B2.24) t\ приводит к более мощ-
мощному критерию, чем t2, тогда и только тогда, когда
(8i — 60) — ^gCTlo F] — 8р) — I
т. е. когда
Если положить Ej= а2,/оц (/ = 0, 1), то B2.25) примет вид
B2.26)
Величины Еа и Е\ представляют собой просто степени (обычно
квадратные корни) эффективности t\ относительно t2 при вы-
выполнении соответственно гипотез Но и Но. Если теперь
Е0 = Е1>1, B2.27)
то правая часть B2.25) обращается-в нуль и B2.26) всегда вы-
выполняется. Таким образом, если относительная эффективность
оценок t\ и t2 одна и та же при обеих гипотезах, то более эффек-
эффективная статистика t\ всегда приводит к более мощному крите-
критерию, независимо от значений а или 9i—6о. Однако если
?,>?„>.!. B2.28)
то всегда можно найти такое достаточно малое а, что для кри-
критерия этого размера B2.26) не будет выполнено. Следовательно,
критерий, основанный на менее эффективной оценке t2, будет
иметь большую мощность, если выполнено соотношение B2.28),
т. е. если относительная эффективность t2 при гипотезе Но боль-
больше, чем при Н\. Если же Ео > Е\ > 1, то можно найти такое
достаточно большое а, чтобы B2.26) было нарушено. Если
функция Е\ непрерывна по 6, то Ei^-E0 при 8i -> 60, так что
B2.26) выполняется в некоторой окрестности 8о.
Приведенный результат хотя и является довольно частным,
все же с достаточной ясностью показывает, что между эффек-
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
233
тивностью при оценивании и мощностью нет тесной связи.
В главе 25 мы снова вернемся к этому вопросу в связи с рас-
рассмотрением способов измерения эффективности критериев.
Пример 22.7
В примерах 18.3 и 18.6 было показано, что МП-оценка р
параметра р нормированного двумерного нормального распре-
распределения является корнем некоторого кубического уравнения
и что асимптотическая дисперсия этой оценки равна
A—р2J/{«A + Р2)}, тогда как выборочный коэффициент кор-
корреляции г имеет асимптотическую дисперсию A—р2J/п. Обе
оценки состоятельны и асимптотически нормальны, а МП-оцен-
МП-оценка, кроме того, эффективна. В обозначениях пункта 22.15 имеем
Если проверяется гипотеза Но: р = 0 против Hi: p = 0,l, то
?0=1 и B2.26) принимает вид
O,l>da0lo = da(l/«)'/2- . B2.29)
Если взять, скажем, п = 400, чтобы было справедливо нормаль-
нормальное приближение, то B2.29) будет неверно при da > 2. Это
соответствует a < 0,023, так что для критериев размера, мень-
меньшего 0,023, неэффективная оценка г дает в нашем случае кри-
критерий с большей асимптотической мощностью, чем эффектив-
эффективная оценка р. Поскольку критерии размера 0,01 и 0,05 исполь-
используются довольно часто, то этот пример представляет не только
теоретический интерес: на практике нельзя предполагать, что
«хорошие» оценки являются «хорошими» статистиками крите-
критериев.
Проверка простой гипотезы Но против класса альтернатив
22.16 До сих пор мы рассматривали наиболее элементарную
задачу, в которой требовалось сделать выбор между двумя пол-
полностью определенными конкурирующими гипотезами. В такой
задаче имеется очевидная симметрия: какая из гипотез считает-
считается «проверяемой» и какая «альтернативной», зависит только от
соглашения или от удобства. При переходе к более общей фор-
формулировке задачи проверки гипотез симметрия исчезает.
Мы будем рассматривать теперь случай, когда Но — простая
гипотеза, а #i — сложная гипотеза, представляющая собой
класс простых альтернатив. Наиболее часто встречается случай,
когда имеется класс Q простых параметрических гипотез, одна
из которых — гипотеза Но, а Яi включает все остальные. На-
Например, гипотеза Но может состоять в том, что среднее значение
234
ГЛАВА 22
некоторого распределения равно цо, а гипотеза #i — в том, что
среднее не равно \л.О-
Для каждой простой гипотезы Ht из #i можно применить
полученные выше результаты и найти для заданного а. соответ-
соответствующую ей НКО Wi. Однако, вообще говоря, эти области бу-
будут разными для разных Ht. Нас, конечно, не устраивает такая
ситуация, поэтому возникает вопрос о существовании одной
НКО, которая была бы наилучшей для всех Ht из Н\. Такая
область называется равномерно наиболее мощной (РНМ), а
критерий, основанный на этой области, — РНМ критерием.
22.17 К сожалению, как мы увидим в дальнейшем, РНМ
критерий обычно не существует, если только класс альтернатив
Q не удовлетворяет определенным ограничениям. Рассмотрим,
например, случай, с которым мы имели дело в примере 22.2. Мы
нашли, что при щ <С цо НКО для простой альтернативы опре-
определяется неравенством
< B2.30)
Мь| видим, что при hi < \us области, определяемые соотноше-
соотношением B2.30), не зависят от щ и могут быть найдены непосред-
непосредственно из выборочного распределения х, если задан размер
критерия а. Следовательно, критерий, основанный на B2.30),
будет РНМ критерием для класса гипотез Hi < Н-о.
Из примера 22.2 также следует, что для [i\ > \io НКО опре-
определяется неравенством х ^ Ьа. Так что если наш класс Q со-
состоит из значений ixi, больших цо, то этот критерий будет РНМ.
Однако если Hi может быть как больше, так и меньше цо, то
РНМ критерия не существует, так как всегда одна из двух толь-
только что найденных РНМ областей будет лучше любой компро-
компромиссной области.
22.18 Мы докажем теперь, что для простой гипотезы На: 8 =
= 80, относящейся к параметру 8, порождающему класс гипо-
гипотез, в общем случае нельзя найти РНМ критерия, если класс
альтернатив является интервалом, содержащим как положи-
положительные, так и отрицательные значения 8 — во. При этом пред-
предполагаются выполненными некоторые условия регулярности, в
частности, производная функции правдоподобия по 8 предпола-
предполагается непрерывной по 8.
Разложим функцию правдоподобия в ряд Тейлора в окрест-
окрестности во:
L (х\ в,) = L (х\ в0) + (9, - в0) U (х\ в*), B2.31)
где в* — некоторое значение из интервала Fi,8o). Тогда для
НКО, если она существует, мы должны иметь согласно B2.6)
и B2.31)
м*|е<>) ~ + —мтщ— > к F])- B2-32)
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
235
Таким образом, НКО определяется соотношениями
** I ' ~> я 0. ¦-> 0. @9 ЧЧЪ
L (л: | Но} v 7
Посмотрим теперь, что происходит, когда 8i приближается к 8о.
Очевидно, 8* тогда тоже будет приближаться к 9о, и для 9i,
очень близких к 9о, неравенства B2.33), B2.34) ввиду непре-
непрерывности U по 9 примут вид
L' (х 160) г aiogL]
Мх|в0) L dQ Je=e
L'(x\%)
е0) _[
в») L
dlogL
дв
B=e0
9>90,
e<e0.
B2.35)
B2.36)
Тем самым мы установили, между прочим, что в близкой
окрестности 8о односторонние критерии, основанные на
—g^— , будут РНМ. Это является аналогом результата из
теории доверительных интервалов, полученного в 20.17.
Наш основной результат получается теперь немедленно. Если
мы рассмотрим интервал альтернатив, включающий положи-
положительные и отрицательные значения (9i — 9о), то B2.35) и
B2.36) не смогут выполняться одновременно (и, следовательно,
не может существовать НКО), за исключением "случая, когда
log L1 ,
"л!— = const.
дд Je=e0
B2.37)
Условие B2.37) является существенным условием существова-
существования двусторонней НКО. Оно не может быть выполнено, если
выполнено условие A7.18) (т. е. область определения распреде-
распределения не зависит от 9), кроме случая, когда константа равна
нулю, так как условие М |—^—] = 0 вместе с B2.37) дает
дв ]9=е1
В примере 22.6 мы уже встречались со случаем существова-
существования двусторонней НКО. Читателю следует проверить, что в этом
примере —щ-— =п, так что B2.37) выполнено.
РНМ критерии в случае нескольких параметров
22.19 Если рассматриваемое распределение имеет более од-
одного параметра и проверяется простая гипотеза, то в этом слу-
случае также может существовать общая НКО для класса альтер-
альтернативных гипотез, получающихся при различных значениях
236
ГЛАВА 22
параметров. В следующих двух примерах рассматривается слу-
случай двухпараметрического нормального распределения, для ко-
которого НКО не существует, и случай двухпараметрического
экспоненциального распределения, для которого НКО суще-
существует.
Пример 22.8
Рассмотрим нормальное распределение со средним ц и дис-
дисперсией а2. Пусть проверяется гипотеза
Яо: n = ^o. о = <т0.
а от альтернативной гипотезы Н\ требуется лишь отличие от
Яо. Для любой простой гипотезы
НКО согласно B2.6) определяется неравенством
L(x\H0) _(Qi\n Г 1 f V / х — (х0 \а у / х — hi
L(x\Hi) ~\а01 6ХР L 2(^1 Сто / Zl\ о,
которое может быть переписано в виде
г-Hi)
где х и 52 — выборочные среднее и дисперсия. Если 0о Ф 01, то
можно привести это соотношение к еще более простому виду:
B2.38)
CToCTi
где са не зависит от наблюдений и
^ ,т2 „2
а, — а0
Со случаем 0о = О\ мы уже имели дело в примере 22.2, где
предполагалось, что ао = <Ti = 1.
Когда в B2.38) имеет место точное равенство, оно превра-
превращается в уравнение гиперсферы с центром в точке с координа-
координатами Х\ = ... = хп = р. Таким образом, НКО всегда ограни-
ограничена гиперсферой. При 0i > Сто B2.38) дает 2 (* — РJ > аа> так
что НКО лежит вне сферы, а при а{ < а0 из B2.38) находим
2 (х — рJ < Ьа, т. е. НКО лежит внутри сферы.
Поскольку р есть функция от Hi и G\, то ясно, что в общем
случае мы не получим одной и той же НКО для различных
гипотез из Hi, даже если предположим, что <7i <C <7о и щ < р,о
ПРОВЕРКА ГИПОТЕЗ- ПРОСТЫЕ ГИПОТЕЗЫ
237
или наложим другие подобные ограничения. Для иллюстрации
воспользуемся графиком на плоскости (х, s). Так как
(х - рJ = 2 (х - х? + п (х - рJ = п
(х- рJ}, B2.39)
то, когда B2.39) постоянно, мы получим на графике круг с цен-
центром (р, 0) и фиксированным радиусом, зависящим от а.
На рис. 22.2 (Нейман и Пирсон, 1933b) изображены некото-
некоторые кривые, соответствующие различным частным случаям.
В каждом случае изображена одна кривая, соответствующая не-
некоторому фиксированному значению k, константы в B2.37).
Случаи A) и B): а\ = 0о и р = ± оо. НКО лежит справа
от прямой A), если \х,\ > цо, и слева от прямой B), если
(Д.1 < цо- Этот случай рассмот-
рассмотрен в примере 22.2.
Случай C): 0t <C a0; пусть,
например, а1=-^о0. Тогда
P — Ho + yO-i.-Но) и НКО
лежит внутри полукруга C).
Случай D): CTi < 0О и ц.1=
= ^о- НКО лежит внутри по-
полукруга D).
Случай E): 0i > Сто И (Ц= рнс. 22.2. Линии постоянного отно-
= fio- НКО лежит вне полу- шения правдоподобия k (см. текст),
круга E).
Очевидно, для этих случаев не имеется общей НКО. Области
принятия гипотезы, однако, могут иметь общую часть, располо-
расположенную около точки (ц0, сто), и этого естественно было ожидать.
Найдем огибающую НКО, которая, конечно, совпадает с оги-
огибающей областей принятия. Продифференцируем отношение
правдоподобия по ц\ и 0i и приравняем полученные производ-
производные нулю. Это даст решения уравнений МП (см. пример 18.11)
р, = х, 0i = s. Подставляя их в отношение правдоподобия, мы
найдем уравнение огибающей
или
¦-logfee. B2.40)
п
Пунктирная кривая на рис. 22.2 изображает огибающую. Она
касается границ всех НКО, которые отвечают одному и тому же
k (и, следовательно, имеют разные размеры ее). Часть плоско-
плоскости, заключенная внутри кривой, может рассматриваться как
238
ГЛАВА 22
«хорошая» область принятия гипотезы, а внешняя часть — как
хорошая критическая область. В данном случае, не существует
НКО для всех альтернатив, однако области, определяемые оги-
огибающими областей отношения правдоподобия, дают компро-
компромиссное решение, выделяя и объединяя части критических об-
областей, являющиеся наилучшими для отдельных альтернатив.
Пример 22.9
Пусть требуется проверить простую гипотезу Яо: 6 = 6о,
с = ао, против альтернативы Я,: 6 = 6i ^ 6о, а = О\ < 0О, в
случае распределения
^)}^ 0>О. B2.41)
Согласно B2.6) НКО определяется неравенством
<т0
a,
так что для любых значений 8ь <7i из Я] НКО имеет вид
J М
о, а0 )
Когда выполнена гипотеза Яо, первое из этих событий имеет
вероятность нуль. Следовательно, для всего класса альтерна-
альтернатив #i существует одна и та же НКО, на которой может быть
основан РНМ критерий.
Со случаем 0i — ao мы фактически имели дело в приме-
примере 22.6.
РНМ критерии и достаточные статистики
22.20 В 22.14 было показано, что при проверке простой па-
параметрической гипотезы против простой альтернативы НКО
определяется (совместно) достаточной статистикой для пара-
параметра (параметров), если такая существует. Если же проверяет-
проверяется простая гипотеза Яо против сложной гипотезы Яь представ-
представляющей собой класс простых параметрических альтернатив, то,
как непосредственно вытекает из рассуждений пункта 22.14, если
существует общая НКО, дающая РНМ критерий, и t — доста-
достаточная статистика для параметра (параметров), то НКО будет
определяться статистикой t. Однако поскольку РНМ критерий
не всегда существует, то возникают новые вопросы. Следует ли
из существования РНМ критерия существование соответствую-
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
239
щей достаточной статистики? И наоборот, гарантирует ли суще-
существование достаточной статистики существование соответствую-
соответствующего РНМ критерия?
22.21 На первый из вопросов может быть дан утвердитель-
утвердительный ответ при одном дополнительном ограничении. Как пока-
показали Нейман и Пирсон A936а), если A) существует общая
НКО и, следовательно, существует РНМ критерий для Яо про-
против Н\ любого размера а в интервале О <С а ^ ао (где ао не
обязательно равно 1) и если B) каждая точка выборочного
пространства W (за исключением, возможно, точек множества
меры нуль) принадлежит границе НКО по крайней мере для
одного значения а и при этом соответствует значению
L(x\Ho) > 0, то существует одномерная достаточная статистика
для параметра (параметров), изменение которого (которых)
порождает класс допустимых альтернативных гипотез Я].
Чтобы установить этот результат, мы заметим сначала, что
если НКО, общая для всех альтернатив класса Яь существует
для двух размеров критериев aj и аг< аь то общая НКО раз-
размера а2 может быть всегда получена как подобласть размера
ai. Это следует из того факта, что любая общая НКО удовле-
удовлетворяет B2.6). Мы можем, следовательно, не теряя общности,
считать, что, когда а убывает, соответствующие НКО получают-
получаются просто исключением некоторых точек *).
Предположим теперь, что выполнены условия A) и B). Если
некоторая точка (скажем, х) области W принадлежит границе
НКО только при одном значении а, то мы определим статисти-
статистику t равенством
t (х) = а. B2.43)
Если точка х принадлежит границе НКО при более чем одном
значении а, то, обозначая ai и а2 наименьшее и наибольшее из
этих значений, положим
г(х)=1(а, + а2). B2.44)
Из замечания в предыдущем абзаце следует, что х будет при-
принадлежать границе НКО для всех а из интервала (ai, a2). Та-
Таким образом, для всех точек W (за исключением, возможно,
множества меры нуль) соотношениями B2.43) и B2.44) опре-
определена статистика t. Далее, если t принимает одно и то же зна-
значение в двух точках, то они должны принадлежать одной и той
же границе. Следовательно, из B2.6) мы получаем
И*1во) _ и и ел
*) Для критических областей в общем случае это неверно. См., напри-
например, Чернов A951).
240
ГЛАВА 22
где k зависит от наблюдений только через статистику t. Таким
образом, мы должны иметь
L{x\Q) = g(t\Q)h{x), B2.45)
так что одномерная статистика t достаточна для рассматривае-
рассматриваемого набора параметров 6.
22.22 Мы уже рассматривали в примере 22.2 случай, когда
существует одновременно одномерная достаточная статистика
и РНМ критерий. В упражнениях 22.1—22.3 содержатся даль-
дальнейшие примеры. Однако если условие B) пункта 22.21 не вы-
выполнено, то из существования РНМ критерия может не следо-
следовать существование одномерной достаточной статистики. Сле-
Следующий пример иллюстрирует это утверждение.
Пример 22.10
В примере 22.9 было показано, что распределение B2.41)
допускает РНМ критерий для описанных в этом примере Но и
Н\. Этот РНМ критерий основан на НКО B2.42), зависящей от
ХA) И X.
Ранее было показано (см. 17.36, пример 17.19 и упражнение
17.9), что наименьшее наблюдение х(к достаточно для 8 при из-
известном а и что х достаточно для а при известном 8. Пара ста-
статистик X(D и х совместно достаточна, однако одномерной доста-
достаточной статистики для 8 и 0 не существует.
22.23 С другой стороны, следующий пример показывает, что
может существовать одномерная статистика, в то время как
одностороннего РНМ критерия не существует, даже когда дело
касается одномерного параметра.
Пример 22.11
Рассмотрим п случайных величин xi, ..., хп, имеющих сов-
совместно многомерное нормальное распределение. Пусть
М(лг,) = я8, 8>0,
М(*,) = 0, г>1,
а матрица рассеяния имеет вид
-1 + е2 -1 -к
-1 1 \
F = l • -О I B2.46)
: . о ¦'. )
-1 1 /
Нетрудно найти, что определитель этой матрицы равен
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
а обратная матрица равна
V
1
1
241
B2.47)
1
1 1 + р2'
Таким образом, в силу 15.3 получаем совместное распределение
Рассмотрим теперь задачу проверки гипотезы #о: 8 = 80 > О
против Hi: 8 = 81 > 0 на основе одного наблюдения. Согласно
B2.6) НКО задается неравенством
м2 Г(-у-е0J (х-9,]
~ 2 [ eg е2
которое равносильно неравенству
ИЛИ
х2 F2 — в?) — 2жвов1 (во — в,)
в, •
Если во > вь то мы получаем
х2 (в0+8,)-
что дает
Ьа < х < са.
В случае 80 < 8i для НКО получаем
т. е.
.<а«, B2.49)
B2.50)
. i>d«, B2.51)
или x>fa. B2.52)
Как в B2.50), так и в B2.52) пределы, внутри или вне которых
должно находиться х, зависят от точного значения 8ь Это об-
обстоятельство, вызванное тем, что 8i входит в коэффициент при
х2 в B2.49) и B2.51), означает, что даже для класса односто-
односторонних альтернатив не существует НКО, а следовательно, и
РНМ критерия.
Легко проверить, что х является одномерной достаточной
статистикой для 8. Этот факт завершает доказательство того,
что одномерная достаточность не влечет существования РНМ
критерия.
242
ГЛАВА 22
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
243
Функция мощности
22.24 Рассмотрение задачи проверки простой гипотезы Но
против сложной гипотезы Hi приводит к обобщению понятия
мощности критерия, определенного в B2.2). Согласно этому
определению мощность является явной функцией от Н\. Если,
как это обычно бывает, Н\ образуется в результате изменения
значений набора параметров G, то мощность критерия для про-
проверки гипотезы Но: 8 = 8о, против простой альтернативы Не.
8 = 0i ф во, будет зависеть от значения 8ь Так, в примере 22.3
было показано, что мощность выборочного среднего х как кри-"
терия для проверки гипотезы о том, что среднее ц нормального
распределения равно цо, против альтернативного значения
Hi > М-о дается выражением B2.18), являющимся монотонно
возрастающей функцией от ць B2.18) называется функцией
мощности критерия х для проверки Но против класса альтерна-
альтернатив Н\: ц. > |хо. Последняя запись указывает на то, что Н\ —
сложная гипотеза, в противоположность записи Н\\ ц = щ > ц0,
используемой для обозначения простой гипотезы.
Функция мощности редко находится так просто, как в при-
примере 22.3, поскольку, даже если выборочное распределение точ-
точно известно как для Но, так и для класса альтернатив Н\
(а чаще известны только приближения, особенно для Н\),
остается еще задача вычисления B2.2) для каждого значения 8
из #t, которая обычно решается только с помощью численных
методов. Лишь в редких случаях функция мощности находится
с помощью табулированных интегралов, как это имело место
в B2.18). В асимптотическом случае, однако, на помощь при-
приходит центральная предельная теорема: распределения многих
статистик критериев с возрастанием объема выборки стремятся
к нормальному как при гипотезе Ни, так и при Ни и тогда
асимптотическая функция мощности, как мы увидим позже, бу-
будет иметь вид B2.18).
Пример 22.12
Общий вид функции мощности B2.18) в примере 22.3 пред-
представляет собой просто функцию нормального распределения.
Она возрастает от значения
при }х = {хо (в соответствии с требованием размера критерия)
до значения
G@) = 0,5
при ц = (io + djn112 с одновременным возрастанием производной
G'; при дальнейшем изменении ц G' убывает и стремится к нулю,
a G возрастает, приближаясь к },
f
22.25. Зная функцию мощности критерия, мы можем поста-
поставить вопрос о нахождении объема выборки, необходимого для
проверки гипотезы Но с заданным размером и мощностью. Эта
процедура иллюстрируется следующим примером.
Пример 22.13
Сколько наблюдений надо взять в примере 22.3, чтобы мож-
можно было проверить гипотезу Но: ц = 3 с а = 0,05 (т. е.
da = 1,6449) и мощностью, не меньшей 0,75, против альтерна-
альтернативы ц. ^ 3,5? Другими словами, как велико должно быть п,
чтобы обеспечить вероятность ошибки первого рода 0,05 и ве-
вероятность ошибки второго рода не более 0,25 для ц ^ 3,5?
Согласно B2.18) нам нужно найти такое п, чтобы было вы-
выполнено равенство
G {п1'2 C,5 - 3) - 1,6449} = 0,75 B2.53)
(очевидно, что для ц > 3,5 мощность будет больше). Из таблиц
нормального распределения находим
G {0,6745} = 0,75 B2.54)
и, следовательно,
0,5п-1,6449 = 0,6745,
откуда
п = D,6388J~21,5,
так что объем выборки п = 22 будет достаточным для того,
чтобы критерий обладал требуемой мощностью.
Односторонние и двусторонние критерии
22.26. В 22.18 было показано, что в общем случае не суще-
существует РНМ критерия, если проверяется параметрическая гипо-
гипотеза Но'. 8 = во против двусторонней альтернативной гипотезы,
т. е. гипотезы, при которой в — во меняет знак. Однако такая
альтернативная гипотеза оказывается подходящей во многих
ситуациях, например, когда нет никаких априорных сведений
относительно значений 8, которые могут иметь место. В таких
случаях кажется соблазнительным по-прежнему использовать
статистику, приводящую к РНМ критерию, против односторон-
односторонних альтернатив F > во или 6<во), но модифицировать при
этом критическую область в распределении статистики, прини-
принимая во внимание как НКО для 6 > во, так и НКО для в < во-
22.27. Так, в примере 22.2 и 22.17 было показано, что при
проверке гипотезы Но: \х = цо о среднем ц. нормального распре-
распределения среднее х дает РНМ критерий против щ < М^о с об-
общей для всех альтернатив НКО х ^ аа и РНМ критерий про-
244
ГЛАВА 22
тив hi > цо с общей для всех альтернатив НКО х"^ Ьа. Пред-
Предположим теперь, что для двусторонней альтернативы Нх: и^Ио
построена компромиссная критическая область
2. B2.55)
Другими словами, мы объединили две односторонние критиче-
критические области размера а/2, так что размер всей критической об-
области остался равным а.
Критическая область B2.55) всегда будет менее мощной,
чем какая-то одна из односторонних НКО; однако она всегда
будет более мощной, чем другая односторонняя НКО. Действи-
Действительно, мощность комбинированной критической области рав-
равна (см. пример 22.3)
G {п^2 (ц - цо) - da/2} + G {га1'2 (но - и) - dap], B2.56)
что представляет собой четную функцию от (и — Мю) с миниму-
минимумом в точке н = Мф- Она, следовательно, всегда заключена меж-
между G{nlP{\x, — Но) — dj и G {п1'2 ((i0 — н) — d<J- являющимися
функциями мощности односторонних НКО (за исключением
U fig — /JL
Рис. 22.3. Функции мощности трех критериев, основанных иа х.
критическая область, содержащая равные «хвосты». критическая
область, использующая правый «хвост». критическая область, ис-
использующая левый «хвост».
точки н = М^о. когда все три выражения равны). На рис. 22.3
для фиксированных значений п и а приведен соответствующий
график.
22.28 Далее мы увидим, что такому способу образования
критической области из областей, соответствующих «хвостам»
распределения статистики критерия, может быть дано другое,
менее интуитивное обоснование. Пока же эту процедуру сле-
следует рассматривать как естественный способ гарантировать
себя от чрезмерных потерь мощности, которые, как показывает
рис. 22.3, могут произойти при использовании любой из одно-
односторонних критических областей.
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
245
Выбор размера критерия
22.29 До сих пор в нашем изложении мы предполагали, что
размер критерия а каким-то образом выбран и фиксирован.
Все наши результаты сохраняют силу при любом выборе а. Те-
Теперь мы рассмотрим вопрос о том, как определять а.
Во-первых, естественно потребовать, чтобы а было «мало»,
в соответствии с некоторым приемлемым критерием, и, действи-
действительно, обычно используют одно из общепринятых значений а,
таких, как 0,05, 0,01 или 0,001. Однако не следует заходить
слишком далеко в этом направлении. Мы можем задать только
две из величин п, а и р даже при проверке простой гипотезы Яо
против простой альтернативы Нх. Если п фиксировано, то, во-
вообще говоря, мы можем уменьшить вероятность ошибки пер-
первого рода а, только увеличивая вероятность ошибки второго
рода р. Другими словами, уменьшение размера критерия вызы-
вызывает уменьшение мощности.
Выражение B2.18) для мощности НКО одностороннего кри-
критерия для среднего значения нормального распределения в при-
примере 22.3 хорошо иллюстрирует этот факт. Мы видим, что при
а->0 в силу B2.16) da -> оо и, следовательно, мощность B2.18)
также стремится к нулю.
Таким образом, при фиксированном объеме выборки мы
должны соизмерять размер и мощность критерия. Если практи-
практический риск, связанный с ошибкой первого рода, велик, в то
время как риск, связанный с ошибкой второго рода, мал, то
при фиксированном п следует уменьшить а за счет увеличе-
увеличения р.
Если, однако, объем выборки находится в нашем распоряже-
распоряжении, то мы можем, как в примере 22.13, взять такое достаточно
большое п, чтобы уменьшить а и р до заданных уровней. Эти
уровни еще надо определить, однако до тех пор, пока мы не
имеем дополнительной информации в форме стоимостей (в де-
денежных или других единицах) двух типов ошибок и стоимостей
проведения наблюдений, мы не сможем получить «оптимальной»
комбинации а, р и л для данной задачи. Можно лишь заметить,
что независимо от способа определения а полученные в этой
главе результаты остаются в силе.
22.30 Вопрос, рассмотренный в 22.29, связан с другим, кото-
который кладется иногда в основу критики теории проверки ги-
гипотез.
Предположим, что мы применяем критерии с фиксирован-
фиксированным а, а л очень велико. Любой разумный критерий будет
иметь мощность, близкую к единице, обнаруживая любые от-
отклонения от проверяемой гипотезы. Приведем теперь довод,
сформулированный Берксоном A938): «Никто в действитель-
246
ГЛАВА 22
ности не считает, что какая-либо гипотеза выполняется точно:
мы просто строим абстрактную модель реальных событий, ко-
которая в какой-то мере обязательно отклоняется от истины
Однако, как мы видим, огромная выборка почти наверняка
(т. е. с вероятностью, стремящейся к 1 при неограниченном воз-
возрастании п) отвергает гипотезу при любом заданном размере а.
Зачем тогда вообще пытаться проверять гипотезу при малых
выборках, которые приводят к еще менее надежному заключе-
заключению, чем большие выборки?»
Этот парадокс в действительности связан с двумя момен-
моментами. Прежде всего, если п фиксировано и нас интересует не
точное, а лишь приближенное выполнение проверяемой гипо-
гипотезы, то это обстоятельство можно было бы учесть, сделав
нашу альтернативную гипотезу достаточно удаленной'от про-
проверяемой гипотезы, чтобы отличие между ними представляло
практический интерес. Само по себе это увеличило бы мощность
критерия. Но если мы не желаем отвергать проверяемую гипо-
гипотезу на основании небольших отклонений от нее, то следует пред-
предпочесть критерий с низкой мощностью против малых отклоне-
отклонений, а это означает малое а при соответственно высоком 6,
т. е. малой мощности.
Однако основным моментом парадокса является рассужде-
рассуждение, связанное с увеличением объема выборки. Проверяемая ги-
гипотеза будет отвергнута с вероятностью, близкой к 1, только
если мы будем сохранять а фиксированным. Нет никаких при-
причин, чтобы поступать таким образом: мы можем определить а
любым способом, каким мы пожелаем, и в свете рассуждений
пункта 22.29 разумно использовать' выигрыш в чувствительно-
чувствительности, получающийся при увеличении п, для уменьшения как |3,
так и а. Лишь привычка фиксировать а на определенном при-
принятом уровне приводит к парадоксу. Если допустить уменьше-
уменьшение а при возрастании п, то уже нельзя быть уверенным, что
очень малые отклонения от Но приведут к тому, что Но будет
отвергнута: теперь это будет зависеть от того, с какой ско-
скоростью убывает а.
22.31 Парадокс, обратный парадоксу пункта 22.30, может
возникнуть при малых выборках. Так же как при больших п
негибкое использование общепринятых значений а может при-
привести к слишком высокой мощности, так и при малых фиксиро-
фиксированных п использование таких значений а может привести
к очень низкой мощности, возможно, слишком низкой. Положе-
Положение может быть исправлено с помощью увеличения а, которое
повлечет уменьшение р.
. Статистик всегда должен убедиться в том, что в условиях его
задачи он не слишком увеличил чувствительность в одном напра-
направлении за счет другого.
ПРОВЕРКА ГИПОТЕЗ: ПРОСТЫЕ ГИПОТЕЗЫ
247
Пример 22.14
Э. Пирсон (обсуждение работы Линдли A953а)) вычислил
несколько значений функции мощности B2.56) двустороннего
критерия для нормального среднего, которые мы воспроизво-
воспроизводим для иллюстрации наших рассуждений.
Таблица 22.1
Функция мощности, вычисленная по формуле B2.56).
Значения в первой строке таблицы дают размеры критериев
Значение
111 — Hoi
0
0,1
0,2
0,3
0,4
0,5
0,6
0,050
0,097
0,244
0,475
10
0,072
0,129
0,298
0,539
Объем выборки
0,Ш
0,181
0,373
0,619
20
0,050
0,073
0,145
0,269
0,432
0,609
0,765
(п)
0,050
0,170
0,516
0,851
0,979
0,999
100
0,019
0,088
0,362
0,741
0,950
0,996
0,0056
0,038
0.221
0,592
0,891
0,987
Из таблицы видно, что при объеме выборки 100 уменьшение а
от 0,050 до 0,019 и 0,0056 вызывает последовательное уменьше-
уменьшение мощности критерия для каждого значения | ц, — |хо| - Дей-
Действительно, для а = 0,0056 и |fx—(Ло1 = О,1 мощность падает
ниже значения, соответствующего п = 20 и а = 0,05. Наоборот,
при уменьшении объема выборки от 20 до 10 увеличение а до
0,072 и 0,111 увеличивает мощность, хотя только в случае
ее = 0,111 и |ц — цо| = 0,2 она превосходит мощность при п = 20
и а = 0,05.
УПРАЖНЕНИЯ
22.1 Непосредственно используя B2.6), показать, что ИКО для проверки
простой гипотезы Но: ц = Цо о среднем пуассоновского распределения про-
против простой альтернативы Н\: ц = Ц] имеет вид
*<<ха, если Цо >Hi,
х^Ьа> если Цо<Ць
где х — выборочное среднее, а ааи Ьа—константы.
22.2 Показать аналогичным образом, что НКО для параметра л бино-
биномиального распределения имеет вид
х^па, если jio>Jti,
если
где х — наблюденное число «успехов» в выборке.
248
ГЛАВА 22
22.3 Показать, что в случае нормального распределения с нулевым сред-
средним и дисперсией а2 НКО для Но: а = Go против альтернативы Н\: а = в\
имеет вид
п.
2*2<аа, если сто>а,,
Показать, что мощность НКО для or0 > Ci равна F { —j %%,
нижняя ЮОа-процентная точка, a F — функция распределения у? с п степе-
степенями свободы.
22.4 Показать, что в примере 22.4 мощность критерия равна 0,648 при
ka = 1 и 0,352 при ka= 0,5. Построить графики двух соответствующих рас-
распределений Коши для иллюстрации мощности и размера каждого из кри-
критериев.
22.5 Показать, что мощность в упражнении 22.3 является монотонно
возрастающей функцией от а0/оГ[. Проверить, используя таблицы распреде-
распределения х2. что эта мощность является, кроме того, монотонно возрастающей
функцией от п.
22.6 Показать что B2.21) выполняется для достаточных статистик, на
которых основаны НКО в примерах 22.1—22.3.
22.7 Показать, что в условиях пункта 22.15 более эффективная оценка
всегда дает более мощный критерий, если мощность соответствующего ей
критерия превосходит 0,5.
(Сандрум, 1954.)
22.8 Показать, что для проверки гипотезы Но: ц = Цо по выборке из
распределения dF = dx, ц ^ х ^ ц + 1, имеется пара РНМ односторонних
критериев и, следовательно, не существует РНМ критерия для всех альтер-
альтернатив.
22.9 Показать, что статистика х в примере 22.11 нормально распределена
со средним G и дисперсией 0г/я2 и достаточна для параметра 9.
22.10 Показать, что для распределения в примере 22.10 не выполняется
условие B) пункта 22.21.
22.11 Пусть а в примере 22.9—любая положительная возрастающая
функция от G. Показать, что для проверки гипотезы Яо: G = Go против
//,: G = 9i < 9o по прежнему имеется общая НКО.
(Нейман, Пирсон, 1936а.)
22.12 Обобщая результаты пункта 22.27, выписать выражение для функ-
функции мощности критерия, основанного иа распределения х и имеющего кри-
критическую область вида х^.аа^, х^Ьа„, где ai -f- аг = a (a,i и аг не обя-
обязательно равны). Показать, что функция мощности любого такого критерия
целиком лежит между функциями мощности, соответствующими ai = 0 и
ос2 = 0 и изображенными иа рис. 22.3.
22.13 В связи с результатами пункта 22.14 показать, записывая функ-
функцию правдоподобия в виде
-,(в-в,)/(в,-9,)
что отношение правдоподобия (для проверки простой гипотезы Яо: 9 = 60
против простой альтернативы #i: G = Gi) является достаточной статистикой
для параметра G при каждой из гипотез.
(Питмэн, 1957)
ГЛАВА 23
ПРОВЕРКА ГИПОТЕЗ:
СЛОЖНЫЕ ГИПОТЕЗЫ
23.1 В главе 22 мы видели, что если проверяемая гипотеза
проста (т. е. определяет распределение полностью), то всегда
имеется НКО, дающая наиболее мощный критерий против про-
простой альтернативной гипотезы, а в случае альтернативы, пред-
представляющей собой класс простых параметрических гипотез,
может существовать РНМ критерий, однако, вообще говоря,
РНМ критерия не существует, если значения параметра, порож-
порождающие альтернативную гипотезу, могут лежать по обе стороны
от значения, отвечающего проверяемой гипотезе.
Если же проверяется сложная гипотеза, оставляющая неоп-
неопределенным значение по крайней мере одного параметра, то
следует ожидать, что РНМ критерии будут существовать еще
реже, чем в случае проверки простой гипотезы. Однако мы уви-
увидим, что определенный прогресс может быть достигнут за счет
сужения тем или иным способом класса рассматриваемых кри-
критериев.
Сложные гипотезы
23.2 Прежде всего сформулируем точно нашу задачу. Пред-
Предполагается, что п наблюдений имеют распределение, зависящее
от I (^п) параметров, которое мы, как и прежде, будем обоз-
обозначать
Проверяемая гипотеза имеет вид
0. 0( = Ню. О2 —
B3.1)
где k ^ I, а второй индекс 0 указывает на значение, задаваемое
гипотезой. То, что гипотезой задаются значения первых k из t
параметров, не ограничивает общности. Говорят, что гипотеза
Но, определенная в B3.1), накладывает k ограничений или
имеет I — k степеней свободы, хотя при употреблении этого по-
последнего (более старого) термина следует быть осмотритель-
осмотрительным, поскольку мы уже используем термин «степени свободы»
в другом смысле.
248
ГЛАВА 22
22.3 Показать, что в случае нормального распределения с нулевым сред-
средним и дисперсией ст2 НКО для Но', ст = Сто против альтернативы Н\\ ст = CTi
имеет вид
п
Х2Г-
если сто>ст1%
если
Показать, что мощность НКО для Сто > G\ равна F { —5J- %„
I а? '
нижняя ЮОа-процентиая точка, a F — функция распределения х2 с п степе-
степенями свободы.
22.4 Показать, что в примере 22.4 мощность критерия равна 0,648 при
ka = 1 и 0,352 при ka= 0,5. Построить графики двух соответствующих рас-
распределений Коши для иллюстрации мощности и размера каждого из кри-
критериев.
22.5 Показать, что мощность в упражнении 22.3 является монотонно
возрастающей функцией от Стд/ст[. Проверить, используя таблицы распреде-
распределения х2. что эта мощность является, кроме того, монотонно возрастающей
функцией от п.
22.6 Показать что B2.21) выполняется для достаточных статистик, на
которых основаны НКО в примерах 22.1—22.3.
22.7 Показать, что в условиях пункта 22.15 более эффективная оценка
всегда дает более мощный критерий, если мощность соответствующего ей
критерия превосходит 0,5.
(Сандрум, 1954.)
22.8 Показать, что для проверки гипотезы На: [х = [i.o по выборке из
распределения dF = dx, \i ^ х ^ \х-\- 1, имеется пара РНМ односторонних
критериев и, следовательно, не существует РНМ критерия для всех альтер-
альтернатив.
22.9 Показать, что статистика х в примере 22.11 нормально распределена
со средним 9 и дисперсией 92/ге2 и достаточна для параметра 9.
22.10 Показать, что для распределения в примере 22.10 не выполняется
условие B) пункта 22.21.
22.11 Пусть а в примере 22.9 — любая положительная возрастающая
функция от 0. Показать, что для проверки гипотезы Но: 9 = 9о против
Hi: 9 = 0i < 0о по прежнему имеется общая НКО.
(Нейман, Пирсон, 1936а.)
22.12 Обобщая результаты пункта 22.27, выписать выражение для функ-
функции мощности критерия, основанного на распределении х и имеющего кри-
критическую область вида х ^ aOi, х ^ Ьап, где cxi + а.г = a («i и ссг не обя-
обязательно равны). Показать, что функция мощности любого такого критерия
целиком лежит между функциями мощности, соответствующими (ц = 0 и
сс2 = 0 и изображенными на рис. 22.3.
22.13 В связи с результатами пункта 22.14 показать, записывая функ-
функцию правдоподобия в виде
Л-ео
что отношение правдоподобия (для проверки простой гипотезы Но: 0 = 0о
против простой альтернативы Hi: 9 = 0i) является достаточной статистикой
для параметра 0 при каждой из гипотез.
(Питмэн, 1957)
ГЛАВА 23
ПРОВЕРКА ГИПОТЕЗ:
СЛОЖНЫЕ ГИПОТЕЗЫ
23.1 В главе 22 мы видели, что если проверяемая гипотеза
проста (т. е. определяет распределение полностью), то всегда
имеется НКО, дающая наиболее мощный критерий против про-
простой альтернативной гипотезы, а в случае альтернативы, пред-
представляющей собой класс простых параметрических гипотез,
может существовать РНМ критерий, однако, вообще говоря,
РНМ критерия не существует, если значения параметра, порож-
порождающие альтернативную гипотезу, могут лежать по обе стороны
от значения, отвечающего проверяемой гипотезе.
Если же проверяется сложная гипотеза, оставляющая неоп-
неопределенным значение по крайней мере одного параметра, то
следует ожидать, что РНМ критерии будут существовать еще
реже, чем в случае проверки простой гипотезы. Однако мы уви-
увидим, что определенный прогресс может быть достигнут за счет
сужения тем или иным способом класса рассматриваемых кри-
критериев.
Сложные гипотезы
23.2 Прежде всего сформулируем точно нашу задачу. Пред-
Предполагается, что п наблюдений имеют распределение, зависящее
от / (^п) параметров, которое мы, как и прежде, будем обоз-
обозначать
L(x\Qu ..., 9,).
Проверяемая гипотеза имеет вид
^о: 01=910; 92 = 920; ¦..; Э^ —9&0, B3.1)
где k ^ /, а второй индекс 0 указывает на значение, задаваемое
гипотезой. То, что гипотезой задаются значения первых k из /
параметров, не ограничивает общности. Говорят, что гипотеза
Но, определенная в B3.1), накладывает k ограничений или
имеет / — k степеней свободы, хотя при употреблении этого по-
последнего (более старого) термина следует быть осмотритель-
осмотрительным, поскольку мы уже используем термин «степени свободы»
в другом смысле.
250
ГЛАВА 23
Гипотеза вида
Но: 8, =
i — 84; .. .,
не определяющая значений параметров, равенство которых про-
проверяется, может быть преобразована к виду B3.1) с помощью
введения параметров 9t — 82, 9з — 94 и т. д. и проверки гипо-
гипотезы о равенстве нулю новых параметров. Таким образом, слож-
сложная гипотеза B3.1) обладает большей общностью, чем может
показаться на первый взгляд.
Чтобы упростить обозначения, мы будем писать L(x\Qr, 9S)
tf0: 8r = er0, B3.2)
где параметры 8r, 9S могут быть многомерными, причем 8S
обозначает «мешающий параметр», значение которого проверяе-
проверяемой гипотезой не определяется.
Оптимальное свойство достаточных статистик
23.3 Сейчас уместно доказать свойство оптимальности до-
достаточных статистик, аналогичное свойству, полученному в
17.35. Там было показано, что если ti — несмещенная оценка па-
параметра 6 и /— достаточная статистика для 9, то статистика
M(?i|0 является несмещенной оценкой для б с дисперсией,
не превосходящей дисперсии ti. Теперь мы докажем следующий
результат, принадлежащий Леману: если ад — критическая об-
область для гипотезы Но о параметре 9 распределения L(x\Q)
против некоторой альтернативы Hi и t—достаточная стати-
статистика для б как при Но, так и при Ни то существует критерий
такого же размера, основанный на некоторой функции от t и
имеющей мощность, равную мощности ад.
Определим функцию *)
с(ад) =
1, если выборочная точка принадлежит ад,
О в противном случае. * ' '
Тогда интеграл
* c(w)L(x\Q)dx=M{c(w)}
J
B3.4)
даст вероятность того, что выборочная точка попадет в ад, и,
следовательно, равен размеру критерия <%, когда верна гипо-
гипотеза #о, и равен мощности критерия, когда верна Hi. Используя
*) c(w) известна в теории меры как характеристическая функция мно-
множества точек w. Мы избегаем этого термина, поскольку имеется опасность
смешения с понятием «характеристическая функция», обозначающим преоб-
преобразование Фурье функции распределения (глава 4).
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
251
свойство факторизации функции правдоподобия A7.68), выпол-
выполняющееся при наличии достаточной статистики, можно запи-
записать B3.4) в виде
M{c(w)} = ^ c(w)h(x\t)g(t\Q)dx=M{M(c(w)\i)}, B3.5)
где математическое ожидание вне фигурных скобок берется по
распределению статистики t. Таким образом, функция от t
М (с(ад) |0 не зависит от 8, поскольку t—достаточная стати-
статистика, и имеет математическое ожидание, равное математиче-
математическому ожиданию c(w). Следовательно, существует основанный
на достаточной статистике / критерий, имеющий размер и мощ-
мощность исходной области ад*). Учитывая этот факт, при рас-
рассмотрении любой задачи о проверке гипотез можно ограни-
ограничиться функциями от достаточных статистик, не теряя при этом
мощности.
Это достаточно общий результат, охватывающий, в част-
частности, случай проверки простой гипотезы #о, изученный в гла-
главе 22.
Размер критерия для сложных гипотез: подобные области
23.4 Поскольку сложная гипотеза оставляет неопределен-
неопределенными значения некоторых параметров, то немедленно возни-
возникает новая проблема, связанная с тем, что размер критерия для
гипотезы #о будет, очевидно, в общем случае зависеть от зна-
значений мешающего параметра 8S.
Если мы хотим, чтобы ошибка первого рода была не выше
некоторого заданного уровня, то мы должны найти критиче-
критическую область, размер которой не превышал бы этого уровня
при любом возможном значении Qs. Таким образом, требуется,
чтобы было выполнено неравенство
a (9S) < а. B3.6)
Если для всех 8S имеет место точное равенство
а (9,) = а, * B3.7)
то мы получаем (критическую) область, подобную выборочному
пространству *) относительно 8S, или, короче, подобную (кри-
(критическую) область. Критерий, основанный на подобной крити-
критической области, называется подобным критерием.
*) Этот критерий состоит в том, что гипотеза отвергается с вероят-
вероятностью М (с(w) \t), зависящей от наблюденного значения t, и является, во-
вообще говоря, рандомизованиым критерием с критической функцией
M(c(w)\t) (см. примечание на стр. 226). (Прим. ред.)
**) Возникновение этого термина связано с тем, что все выборочное про-
пространство, тривиальным образом, является подобной областью с а = 1.
252
ГЛАВА 23
23.5 Совсем не очевидно, существуют ли в общем случае по-
подобные области вообще. Однако, как указал Феллер A938), они
существуют в случае выборки, состоящей из п одинаково рас-
распределенных независимых наблюдений непрерывной варианты
х. Действительно, независимо от вида распределения и значе-
значений его параметров всегда имеет место соотношение
Р {х1 < х2 < хг < ... < хп} = 1/я! B3.8)
(см. П.4), поскольку все п! перестановок величин хг одина-
одинаково вероятны. Таким образом, для любого <%, кратного 1/п\,
имеются подобные области, основанные на п! .гиперсимплексах
в выборочном пространстве, полученных с помощью перестано-
перестановок п индексов в B3.8).
23.6 Если ограничиться областями, определяемыми симмет-
симметричными функциями от наблюдений (так что подобные об-
области, основанные на B3.8), будут тогда исключены из рас-
рассмотрения), то нетрудно увидеть, что такие подобные области
могут существовать для одних объемов выборок и не существо-
существовать для других. Например, для выборки объема п из нормаль-
нормального распределения
{ - \ (х -
dF(x) = Bл)-112 ехр
не существует подобной области относительно б при п = 1.
п
Однако при «^2 из того факта, что ns'2 = 2 (xi —
имеет
2
распределение %2 с п — 1 степенями свободы при любом 9, сле-
следует, что подобные области любого размера могут быть най-
найдены с помощью распределения статистики s2. Это происходит
потому, что х служит одномерной достаточной статистикой для
9, и, чтобы найти подобную область, надо, согласно упражне-
упражнению 23.3, найти статистику, некоррелированную с
^2к = п(х-В).
Это невозможно сделать при /1=1, поскольку х = х совпадает
в этом случае со всей выборкой. Однако при п ^ 2 сумма
2 (х — хJ распределена независимо от х и дает, следовательно,
подобные области. Аналогичная ситуация наблюдается в уп-
упражнении 23.1, где имеется пара достаточных статистик для
двух параметров и требуется по меньшей мере три наблюдения,
чтобы иметь статистику, независимую от обеих достаточных
статистик.
23.7 Даже при большом п симметричные подобные области
могут не существовать, если добавление каждого наблюдения
связано с добавлением нового параметра, как это имеет место
в следующем примере, принадлежащем Феллеру A938).
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
253
Пример 23.1
Рассмотрим выборку из п наблюдений, в которой i-e наблю-
наблюдение имеет распределение
так что
dF (Xi)= BяГ1/2 ехр { - i (х, - в,J} dxit
L (х | 9) = Bя)-"/2 ехр { - -1- J (xt - 9гJ ].
{ - -1- J (xt - 9гJ ]
Для подобной области w размера а тождественно по 0 выпол-
выполняется равенство
j L{x\Q)dx = a.
Используя B3.3), можно переписать это условие в виде
{x\9)^-dx=\, B3.9)
где W — все выборочное пространство. Дифференцируя B3.9)
по 9г, находим
Второе дифференцирование по 9* дает
Jl(*| 9)-^
B3.10)
B3.11)
Далее, из определения c(w) следует, что
g(x\ Q) = L(x\ Q)^-~ B3.12)
является некоторой (совместной) плотностью распределения.
Соотношения B3.10) и B3.11) выражают тот факт, что марги-
маргинальные распределения хг в g(x\Q) имеют математические ожи-
ожидания и дисперсии
М (я,) = Qt, Dxt = 1
такие же, как сами величины Хи
Изучение распределения #(л:|9) приводит к выводу, что,
производя дальнейшие дифференцирования, мы бы нашли, что
все моменты g{x\Q) совпадают с моментами распределения
L(x\Q) (которое однозначно определяется своими моментами).
Таким образом, из B3.10) следует тождество c(w)/a=l. Но
поскольку функция с (до) может быть равна только 0 или 1,
254
ГЛАВА 23
мы приходим к заключению, что подобные области могут су-
существовать лишь для двух тривиальных значений а, равных О
или 1. Трудность в данном случае заключается в том, что для
образования достаточного набора статистик для п параметров
требуются все п наблюдений, так что найти независимую от
них статистику невозможно.
23.8 И все-таки для многих задач проверки сложных гипо-
гипотез подобные области существуют при любом размере крите-
критерия а и любом объеме выборки п. Мы рассмотрим теперь ме-
методы нахождения таких областей.
Пусть t—достаточная статистика для параметра Qs, значе-
значение которого не определяется гипотезой Но, и пусть имеется кри-
критическая область w такая, что для всех значений t при выпол-
выполнении гипотезы Но справедливо соотношение
М{с(аО1*} = <х. B3.13)
Беря математическое ожидание относительно /, мы, анало-
аналогично B3.5), получаем равенство
M{c(io)} = M{M(c(®)U)} = a, B3.14)
из которого следует, что исходная критическая область w яв-
является подобной областью размера а (Нейман A937b) и Барт-
летт A937)). Таким образом, w содержит долю а вероятностной
меры каждого контура, соответствующего постоянному значе-
значению t.
Следует заметить, что в. данном случае требуется, чтобы ста-
статистика t была достаточной только для мешающего параметра
88 и только когда верна Но. В 23.3 требования были более жест-
жесткими.
Из наших рассуждений вытекает, что B3.13) служит доста-
достаточным условием того, чтобы w была подобной. В 23.19 мы по-
покажем, что B3.13) при одном дополнительном требовании бу-
будет необходимым и достаточным условием. Чтобы сформулиро-
сформулировать это требование, мы введем, следуя Леману и Шеффе
A950), понятие полноты параметрического семейства распреде-
распределений. Это понятие позволит нам также продолжить изучение
достаточных статистик, начатое в главе 17.
Полные параметрические семейства и полные статистики
23.9 Рассмотрим параметрическое семейство (одномерных
или многомерных) распределений f(x\Q), зависящих от вектора
параметров 9. Пусть h(x) — любая статистика, не зависящая от
6. Если выполнение соотношения
М
(x)f (x\Q)dx =
B3.15)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ 255
при всех 9 влечет равенство
h (х) = 0, B3.16)
выполняющееся тождественно с точностью до множества меры
нуль, то семейство f(x\Q) называется полным. Если B3.15) вле-
влечет B3.16) только для ограниченных h(x), то семейство /(*|9)
называется ограниченно полным.
В статистических приложениях понятия полноты интересую-
интересующее нас семейство распределений g(t\Q) часто представляет
собой выборочное распределение некоторой статистики (воз-
(возможно, векторной) при различных значениях 9. В этом случае
статистика t называется полной (или ограниченно полной),
если выполнение соотношения M{h(t)} = 0 при всех 9 влечет
тождество h(t) = O для всех (или всех ограниченных) функций
h(t). Другими словами, полнота статистики t определяется как
полнота ее распределения.
Из полноты статистики t, очевидно, сразу следует, что
только одна функция от этой статистики может иметь заданное
математическое ожидание. Поэтому, если какая-то функция от
t служит несмещенной оценкой некоторой функции от 9, то
никакая другая функция от t не будет обладать этим свой-
свойством. Таким образом, полнота обеспечивает единственность
несмещенной оценки.
Гхош и Сингх A966), используя одну теорему. Винера, показали, что
если 0—параметр расположения, т. е. f — f(x — 6), то ограниченная пол-
полнота эквивалентна необращению в нуль при всех t характеристической функ-
функции <f(t). Таким образом, например, распределение Коши а- примере 17.7
ограниченно полно (х. ф. этого распределения дана в примере 4.2, том 1).
Полнота достаточных статистик
23.10 В частном случае экспоненциального семейства A7.83)
при А (9) = 9 и В (х) = х получаем
8)= ехр {9* +С (*) + ?> (9)}, r-co<*<co. B3.17)
Если
при всех 0, то
J А (*)/(*! в)Я* = 0
J [h (х) ехр {С (х)}} ехр (9л;) dx = 0.
B3.18)
256
ГЛАВА 23
Интеграл в B3.18) есть двустороннее преобразование Лап-
Лапласа *) функции, написанной под интегралом в квадратных
скобках. В силу единственности преобразования существует
только одна функция, имеющая в качестве преобразования
нуль, а именно функция, тождественно равная нулю. Таким об-
образом, тождественно по х
h (х) ехр {С (*)} — 0.
откуда следует, что тождественно по х
h (х) = 0,
т. е. семейство f(x\Q) полно.
Как показали Леман и Шеффе A955), этот результат обоб-
обобщается на многопараметрический случай: экспоненциальное се-
семейство с k параметрами и k переменными
B3.19)
f(x\ в) = ехр{ Ц Q,x,+ C{x) + D (в)
полно. В упражнении 17.14 мы нашли совместное распределе-
распределение статистик, совместно достаточных для k параметров од-
одномерного экспоненциального семейства A7.86). Формула
B3.19) получается как частный случай этого распределения
при Aj(Q) = Qj. (Величинам nD и h из упражнения 17.14 здесь
соответствуют D и ехр (С).) В соответствии с 23.3 при проверке
гипотез о параметрах мы можем ограничиться рассмотрением
только достаточных статистик.
Пример 23.2
Рассмотрим семейство нормальных распределений
lt 92) =
ехр { - ~ (х -
82>0.
*) Двустороннее преобразование Лапласа функции g{x) определяется
формулой
К F) = J ехр (дх) g (х) dx.
Интеграл сходится в полосе <z<9t(9)<p> комплексной плоскости. (Одна
из границ а или A или обе сразу могут быть бесконечными. Полоса может
также вырождаться в линию.) Между g(x) и X(Q) существует (с точностью
до множества меры нуль) взаимно однозначное соответствие. См., например,
D. V. Widder A941), The Laplace Transform, Princeton U. P. Ср. также с
теоремой обращения для х. ф. в 4.3.
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
257
(а) Если 92 известно (скажем, равно 1), то семейство полно
относительно 9ь так как тогда мы имеем дело с частным слу-
случаем семейства B3.17), где
9 = 6,,
' "о" "l
(б) Если, с другой стороны, известно 9i (скажем, равно 0),
то семейство не будет даже ограниченно полным относитель-
относительно 92, так как /(*|0, 92)—четная функция от х, и поэтому
любая нечетная функция h(x) будет иметь нулевое матема-
математическое ожидание, не являясь в то же время тождествен-
тождественным нулем.
23.11 В 23.10 мы интересовались полнотой характеристиче-
характеристической формы совместного распределения достаточных статистик
для выборок из распределения, сосредоточенного на множестве,
не зависящем от параметров. Хогг и Крэйг A956) доказали
полноту достаточной статистики для распределения, определен-
определенного на интервале, границы которого зависят от единственного
параметра 9, и обладающего одномерной достаточной стати-
статистикой. В 17.40—41 было доказано, что в этом случае исходное
распределение должно иметь вид *)
/ (х | 9) = q (x)/h (9) B3.20)
и что
(I) если только одна граница интервала, на котором за-
задана f(x\Q), является функцией от 9 (без потери общности
можно считать, что эта функция есть просто 9), то соответст-
соответствующая экстремальная статистика будет достаточной;
(II) если обе границы зависят от 9 и верхняя граница 6(9)
является монотонно убывающей функцией от нижней границы
9, то существует одномерная достаточная статистика, имеющая
вид
min {*A), & (*<!•))}• B3.21)
Мы рассмотрим отдельно каждый из случаев (I) и (II).
23.12 Пусть в случае (I) верхняя граница равна 9, а нижняя
постоянна и равна а. Тогда статистика Х(П) достаточна для 9, а
*) В английском оригинале числитель правой части в B3.20) обозначен,
как и в 17.40, через g(x). В переводе это обозначение, изменено иа q(x),
поскольку g(x) обозначает также плотность распределения достаточной ста-
статистики (см., например, B3.26)). (Прим. ред.)
9 М. Кендалл, А, Стьюарт
258
ГЛАВА 23
ее распределение согласно A1.34) и B3.20) имеет вид
dG (х(п)) = п
dx(n) =
J q (x) dx |
а '
Я {Х(п))
-dx,
B3.22)
Предположим теперь, что для некоторой статистики и(Х(П))
выполнено соотношение
которое, используя B3.22) и опуская множитель с А(9), можно
записать в виде
е ix(n) I"-1
J «(*(„)) | J q (x) dx\ q (x{n)) dx{n) = 0. B3.23)
a [a )
Дифференцируя B3.23) no 9, находим
u(9)l (q(x)dx\ <7(9) = O. B3.24)
u I
Поскольку интеграл в фигурных скобках равен /г@) и q(Q)=&
ф 0 Ф h{Q), то из B3.24) следует, что для любого 6
и (9) = 0.
Таким образом, функция и(Х(П)) тождественно равна нулю и
распределение B3.22) статистики Х(П\ полно. Приведенное до-
доказательство справедливо также в случае, когда от параметра
зависит нижняя граница.
23.13 В случае (II) функция распределения достаточной ста-
статистики B3.21) имеет вид
G (t) = 1 - Р {*A), й (Х(п)) >t} = l-P {x(l) > U х(п) < Ь (t)} =
Дифференцируя ее по t, находим плотность
О it) %«-i
q (x) dx J [q (t) -q{b (t)} V (*)], B3.26)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
259
Пусть теперь для некоторой статистики u(t) выполняется со-
соотношение
с F)
J u(t)g(t)dt = O. B3.27)
8
Дифференцируя B3.27) по 9 и повторяя рассуждения пункта
23.12, получаем, что ы(9)=0 для любого 9. Таким образом,
функция u(t) тождественно равна 0 и распределение g(t), оп-
определяемое формулой B3.26), полно.
23.14 Ниже приводится пример неполной одномерной до-
достаточной статистики.
Пример 23.3
Рассмотрим выборку, состоящую из одного наблюдения
случайной величины, имеющей прямоугольное распределение
dF = dx, 9 ^ х < 9 + 1.
Очевидно, х — достаточная статистика. (В случае п ^ 2 од-
одномерной достаточной статистики не существует, поскольку не
выполнено условие (II) пункта 23.11.)
Для любой периодической с периодом 1 функции h(x), удов-
удовлетворяющей соотношению
1 . .
получаем
e+i
о
e+i
J h (x) dF = J h{x)dx= J h {x) dx = 0.
Отсюда следует, что рассматриваемое распределение не яв-
является даже ограниченно полным, поскольку h(x) не равна
тождественно нулю.
Минимальная достаточность
23.15 В 17.38 указывалось, что, когда мы рассматриваем
достаточные статистики в общем случае (т. е. не ограничиваясь,
как это делалось ранее в главе 17, случаем одномерной доста-
достаточности), нам приходится выбирать между различными систе-
системами достаточных статистик. В случае выборки объема п всегда
имеется система из п достаточных статистик (а именно сами п
наблюдений) для k (^1) параметров распределения, из ко-
которого извлечена выборка. Иногда, хотя и не всегда, имеется
9*
260
ГЛАВА 23
достаточная система из s (<n) статистик. Часто s = k, напри-
например, это имеет место во всех случаях достаточности, рассмот-
рассмотренных в примерах 17.15, 17.16, где s — k = 1, и в примере
17.17, где s = k = 2. В противоположность этому, в следующем
примере рассматривается случай s < k *).
Пример 23.4
Рассмотрим снова задачу примера 22.11 с единственным из-
изменением, состоящим в том, что M(Xi)=nn, а не /гв, как
прежде. Точно так же, как раньше, находим совместное рас-
распределение
dF =
е Bя)п/2
exP — т
Ясно, что статистика х одна достаточна для параметров ц, 8.
23.16 Итак, возникает вопрос о том, каково наименьшее
число s статистик, образующих достаточную систему для не-
некоторой задачи. Леман и Шеффе A950) определяют минималь-
минимальный достаточный вектор статистик как вектор, являющийся
функцией от всех других векторов, достаточных для параметров
распределения **). Каким образом, однако, можно в любой кон-
конкретной задаче проверить, является ли некоторый достаточный
вектор минимальным? И можно ли указать способ построения
минимального достаточного вектора?
Частичный ответ на первый вопрос дает следующий резуль-
результат. Если вектор t является ограниченно полной достаточной
статистикой для 8, а вектор и есть минимальная достаточная
статистика для 6, то t и и эквивалентны, т. е. они могут отли-
отличаться лишь на множестве меры нуль.
Доказывается это просто. Пусть w — область в выборочном
пространстве, для которой
D = М (c(w)\t) — М (с (да) \и)Ф0,
B3.28)
где функция c(w) определена в B3.3). Беря в B3.28) матема-
математические ожидания по всему выборочному пространству, полу-
получаем
М (D) = 0. B3.29)
*) Фишер (например, 1956) называет достаточную систему статистик
«достаточной», только если s = k. Если s ~> k, то он называет достаточную
систему «исчерпывающей» (exhaustive).
**) Как показали Баранкин и Катц A959), в практических ситуациях
минимальный достаточный вектор есть достаточный вектор с минимальным
числом компонент. См. также раранкин A960а, 1960b, 1961) и Фрэзер A963).
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
261
Так как и — минимальная достаточная статистика, то она по
определению является функций от другой достаточной стати-
статистики t. Следовательно, B3.28) можно записать в виде
D = h (t) ф 0.
B3.30)
Однако поскольку D — ограниченная функция, то B3.29) и
B3.30) противоречат предположению об ограниченной пол-
полноте t. Таким образом, не существует области w, для которой
выполнялось бы B3.28), и, следовательно, t и и эквивалентны,
т. е. t — минимальная достаточная статистика.
Обратное неверно: в то время как ограниченная полнота
влечет минимальную достаточность, минимальная достаточность
может существовать без ограниченной полноты. В этом отно-
отношении поучителен пример 23.10, приводимый ниже.
Как следствие доказанного результата получаем, что не мо-
может быть более одной ограниченной полной достаточной ста-
статистики. В примере 23.2F) минимальная достаточная стати-
статистика х2 полна, тогда как х достаточна, но неполна.
Другая постановка задачи о минимальной достаточности
дана Дынкиным A951).
23.17 В силу результатов 23.10—13, относящихся к полноте
достаточных статистик, из 23.16 следует, что все достаточные
статистики, рассмотренные нами в предыдущих главах, яв-
являются, как и следовало ожидать из интуитивных соображений,
минимально достаточными.
23.18 Более прямым способом нахождения минимальной до-
достаточной статистики, чем метод пункта 23.16, служит следую-
следующая процедура, предложенная Леманом и Шеффе A950).
В 22.14 и 22.20 было показано, что при проверке простой ги-
гипотезы отношение правдоподобия является функцией достаточ-
достаточной статистики (системы достаточных статистик). Теперь мы
можем, так сказать, обратить этот результат и использовать
его для нахождения минимальной достаточной системы. Обоз-
Обозначая, как и прежде, функцию правдоподобия L(x\Q) (л; и б
могут быть векторами), рассмотрим некоторое значение х0 и
найдем все допустимые значения х, для которых 1(х\в)Ф0 и
отношение
rL,(f',n\ =*(*.*») B3-31)
не зависит от 8. Любая достаточная (возможно, векторная)
статистика ? удовлетворяет A7.68), поэтому
L (х | 6) _ g (t I 9) h(x) B3 32}
Цхо\в) ~ g(to\Q) h{xa) ' \ ¦ )
так что если t = t0, то B3.32) имеет вид B3.31). Обратно, если.
262
ГЛАВА 23
B3.31) выполняется для всех 8, то достаточная статистика t
постоянна и равна t0. Это свойство может быть использовано
для распознавания достаточных статистик и нахождения мини-
минимальной системы, как это сделано в следующих примерах.
Пример 23.5
В примере 17.17 было показано, что система статистик
(х, s2) совместно достаточна для параметров (ц, а2) нормаль-
нормального распределения. Для этого распределения L(*|8)=7^0 при
всех а2 > 0. Условие B3.31) после логарифмирования сводится
к требованию, чтобы выражение
- 2»п (х -
B3-33)
не зависело от (jx, а2), т. е. чтобы выражение в фигурных скоб-
скобках было равно нулю. Это будет выполнено, например, если
каждое я, равно соответствующему xOi, что лишний раз доказы-
доказывает совместную достаточность п наблюдений, которая, как мы
отмечали, имеет место всегда.
Условие B3.33) будет также выполнено, если xt образуют
некоторую перестановку значений х^\ таким образом, система
порядковых статистик достаточна, что, впрочем, также всегда
справедливо. Наконец, это условие будет выполнено, если
х = х0, S*? = S*5,. B3.34)
и ясно, что еще меньшей системы, для которой оно было бы вы-
выполнено, не существует. Таким образом, пара (х, 2 х2) обра-
образует минимальную достаточную систему. Поскольку res2 =
= 2 х2 — пх2, то пара (х, s2) будет также минимальной доста-
достаточной.
Пример 23.6
К другой ситуации мьГ приходим в случае распределения
Коши, рассмотренном в примере 17.7. Функция правдоподобия
L(x\Q) для распределения Коши всюду отлична от нуля, и
B3.31) соответствует требованию, чтобы отношение
П {1 + (*ы - 9J} /П {1 + (*i - еJ
B3.35)
не зависело от 9. Как и в предыдущем примере, система по-
порядковых статистик Достаточна, однако меньшей системы
яайти не удается. Действительно, поскольку B3.35) является
отношением двух многочленов степени 2л по в, то для незави-
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
263
симости от б каждый из них должен иметь (с точностью до
перестановки) один и тот же набор корней. Таким образом, мы
не можем найти ничего лучшего, чем порядковые статистики,
в качестве минимальной достаточной системы.
Полнота и подобные области
23.19 Мы заканчиваем наше длинное отступление, относя-
относящееся к полноте, и возвращаемся к изучению подобных об-
областей, начатому в 23.8. Мы можем теперь показать, что если
при гипотезе Но достаточная статистика t ограниченно полна,
то все подобные области размера <% будут удовлетворять со-
соотношению B3.13). Действительно, для любой такой области
выполняется соотношение B3.14), которое можно записать в
виде
М {М (с (да) U) — а} = 0. B3.36)
Выражение в фигурных скобках ограничено, так что если ста-
статистика t ограниченно полна, то из B3.36) следует, что выпол-
выполняется тождество
М(с(а>)|*) —а = 0,
т. е. имеет место B3.13).
Как показали Леман и Шеффе A950), справедливо и обрат-
обратное: если для всех подобных областей выполнено B3.13), то
статистика t будет ограниченно полной. Таким образом, огра-
ограниченная полнота достаточной статистики эквивалентна выпол-
выполнению условия B3.13) для всех подобных областей w.
Выбор наиболее мощной подобной области
23.20 Важное значение результата пункта 23.19 состоит в
том, что он позволяет свести задачу нахождения наиболее
мощной подобной области для сложной гипотезы к уже знако-
знакомой задаче нахождения НКО для простой гипотезы.
Согласно 23.19 из ораниченной полноты статистики t, доста-
достаточной для 8s при Но, следует, что для всех подобных областей
w выполняется B3.13), т. е. любая подобная область содержит
долю а вероятностной меры каждого контура, соответствую-
соответствующего постояному значению t. Мы, следовательно, можем счи-
считать в наших рассмотрениях статистику t постоянной. Из по-
постоянства статистики t, достаточной для Qs, в силу A7.68) сле-
следует, что условное распределение наблюдений в выборочном
пространстве не будет зависеть от 9S. Таким образом, сложная
гипотеза Яо сводится к простой гипотезе Но при постоянном
значении t. Если, кроме того, t достаточна для 8S при гипотезе
264
ГЛАВА 23
Hi, то сложная гипотеза Я4 также сводится к простой при по-
постоянном значении t (при этом мощность и размер любой кри-
критической области не будут зависеть от Qs). Если, однако, t не
является достаточной для 8S при гипотезе Ни то Я4 следует
рассматривать как класс простых альтернатив к гипотезе Яо,
точно так же, как это делалось в предыдущей главе.
Таким образом, сохраняя значение г постоянным, мы сво-
сводим нашу задачу к проверке простой гипотезы Яо, относящейся
к 8Г, против простой альтернативы Hi (или класса простых аль-
альтернатив, образующих Hi). Для нахождения НКО (или общей
НКО) для проверки Яо против Hi можно использовать методы
предыдущей главы, основанные на лемме Неймана — Пирсона
B2.6). Если такая НКО имеется для каждого фиксированного
значения t, то она, очевидно, будет безусловной НКО, дающей
наиболее мощный подобный критерий для Яо против Я4. Как и
раньше, если этот критерий остается наиболее мощным против
класса альтернативных значений 8Г, он называется РНМ по-
подобным критерием.
Пример 23.7
Проверить Яо: ji. =¦ jx0 против Не ц = рц в случае нормаль-
нормального распределения
) }dx> -°°<*<°о-
Но и Нх — сложные гипотезы с одной степенью свободы, так
как значение о2 не определено. Из примеров 17.10 и 17.15 сле-
следует, что статистика и = 2 (¦** — НоJ (вычисленная по выбор-
выборке из п независимых наблюдений) достаточна для а2 при гипо-
гипотезе Яо и только при этой гипотезе. Согласно 23.10 и — полная
статистика. Следовательно, любая подобная область для Яо
содержит долю а каждого контура, соответствующего постоян-
постоянному значению и.
При фиксированном значении и задача состоит в проверке
простой гипотезы Яо: и = но против простой альтернативы
Н\: и = Hi. o = d. НКО согласно B2.6) дается в этом случае
неравенством
Цх\н0) ^ ,
L(x\H{) ^*«'
которое сводится после упрощений к условию
* (И, - Но) >С (Но. Ир or2, o\, ka, и), B3.37)
где С — константа, зависящая от х только через и. Отсюда сле-
следует, что НКО состоит из больших значений х, если hi — Но > 0>
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
265
и из малых значений х, если щ — но < 0, причем это верно не-
независимо от значений а2, а] и |[ц — ji,0|. Таким образом, мы
имеем общую НКО для класса альтернатив Н±: ц = (xt в каж-
каждой ИЗ ОДНОСТОРОННИХ СИТуаЦИЙ JXi > ji,0 ИЛИ [XI < Цо.
Мы считали значение и фиксированным. Теперь
_У (х-хJ
:-ИоJ= B2.38)
B3.39)
Поскольку НКО для фиксированного значения и состоит из
крайних значений х, из B3.38) следует, что НКО состоит из
малых значений 2 С* — *J> что согласно B3.39) соответствует
большим значениям величины
1[* ~ *о)* , B3.40)
я-1 2>-*J
где t2 — квадрат ^-статистики Стьюдента, распределение кото-
которой было выведено в примере 11.8. Из упражнения 23.7 следует,
что статистика t, имея распределение, не зависящее от пара-
параметра о2, не зависит от полной достаточной статистики и для
а2. Вспоминая теперь о знаке х, мы получаем окончательно,
что безусловный РНМ подобный критерий для Яо против Ht
состоит в том, что надо отвергнуть наибольшие или наименьшие
100а процентов распределения t в зависимости от того, что
больше: \x,i или но-
Как мы уже видели, распределение t не зависит от а2. Од-
Однако мощность РНМ подобного критерия зависит от а2, так как
и не является достаточной статистикой для а2, когда Яо не вы-
выполняется. Поскольку любая подобная область для Яо состоит
из долей а каждого контура, соответствующего постоянному
значению и, и распределение на любом таком контуре зависит
от а2 при гипотезе Ни то не существует ни одной подобной об-
области для Яо, мощность которой не зависела бы от а2. Этот
результат был впервые получен Данцигом A940).
Пример 23.8
Для двух нормальных распределений со средними [in ц+9
и общей дисперсией а2 проверить гипотезу
против
: 9 = 8о (=0 без ограничения общности)
Я,: 6 = 9,
266
ГЛАВА 23
на основе независимых выборок объемов пх и п2 со средними Х\
и хг. Обозначим
л = «1 + п2, пх = пххх + п2х2,
2
2 __
i=i /=i
*2=2 2
B3.41)
Обе гипотезы являются сложными с двумя степенями сво-
свободы. Когда выполнена Но (но не в других случаях), пара ста-
статистик (х, s2) достаточна для мешающих параметров (ц, а2) и,
как следует из 23.10, полна. Таким образом, все подобные об-
области для Но удовлетворяют B3.13), и при фиксированых
(х, s2) мы должны проверить простую гипотезу Но: 8 = 0 про-
против гипотезы Н[: 8 = 9j, jj, = jj,,, o = or
Исходная гипотеза #i представляет собой класс гипотез Н'и
соответствующих всем рц и <7i.
НКО, полученная с помощью B2.6), после упрощений при-
принимает вид
где ga — постоянная, зависящая от всех параметров и от х и
s2, но не зависящая от наблюдений никаким другим способом.
Следовательно, при фиксированных х и s2 НКО определяется
крайними значениями хг, имеющими знак, противоположный
знаку 0], причем это справедливо при любых значениях других
параметров. Из B3.41) следует, что для любых фиксированных
(х, s2) НКО будет состоять из больших значений величины
~7г или, что эквивалентно, монотонно возрастающей функ-
функции от нее
2 (** -
B3.42)
B3.42) есть определение обычной /-статистики Стьюдента в
данной задаче, с которой мы уже имели дело в 21.12 как с за-
задачей интервального оценивания. В силу упражнения 23.7 ста-
статистика t2, распределение которой не зависит от параметров ц
и а2, распределена независимо от полной достаточной стати-
статистики (х, s2) для (ji,, а2). Таким образом, безусловный РНМ по-
подобный критерий для #о против Я4 заключается в том, чтобы
отвергнуть 100а процентов наибольших или наименьших зна-
значений в распределении t в соответствии с тем, положительно Э4
(или, в общем случае, 0i—0о) или отрицательно.
Здесь, как и в предыдущем примере, мощность НКО зависит
от (jj,,a2), поскольку статистики (х, s2) не образуют достаточной
системы, если Но не выполнена.
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
267
Пример 23.9
Проверить сложную гипотезу Но: а = <7о против #ь о —
случае распределения
л-. I / * — о \ I ax
в>0.
В примере 1.7.19 было показано, что наименьшее из п наблюде-
наблюдений Х(\) достаточно для мешающего параметра 0 как при гипо-
гипотезе Яо, так и при Н^ В силу 23.12 эта статистика полна. Сле-
Следовательно, любая подобная область содержит долю а каждого
контура, соответствующего постоянному значению Хщ. При фик-
фиксированном Х(ц гипотезы Но и Hi становятся простыми. НКО,
полученная из B2.6), состоит из точек, удовлетворяющих нера-
неравенству
гДе Sa. — константа, зависящая от его и а4. Таким образом, при
каждом фиксированном х^) мы получаем НКО вида
если
если
> сг0-
B3.43)
Распределение статистики 2 xi в B3.43) зависит от хт. Чтобы
преобразовать B3.43) к более удобной для использования
форме, заметим, что распределение статистики
z—
не зависит от хщ. (Это следует из полноты и достаточности
X(i) — см. упражнение 23.7 ниже.) Поэтому, если мы перепишем
B3.43) для фиксированного x(i> в виде
da.
СГо.
B3.44)
где
— nx(i), da=b
)
то мы получим в левой
а а ( щ у
части B3.43) статистику, крайние значения которой для каж-
каждого фиксированного х^ определяют НКО и распределение ко-
которой не зависит от х^у Таким образом, B3.44) дает безуслов-
безусловную НКО в каждой из односторонних ситуаций ai < а0 и
Oi > Оо, т. е. мы получаем обычную пару РНМ критериев.
268
ГЛАВА 23
Заметим, что в этом примере достаточность x(i) как при #0,
так и при #i делает мощность РНМ критерия не зависящей от
параметра расположения 8.
23.21 В примерах 23.7 и 23.8 было дано тщательное обосно-
обоснование двух стандартных процедур, относящихся к средним нор-
нормального распределения. В упражнениях 23.i3 и 23.14 с по-
помощью таких же рассуждений обосновываются две стандартные
процедуры, относящиеся к дисперсиям, причем в обоих слу-
случаях находится пара РНМ подобных односторонних критериев.
К сожалению, не все задачи проверки гипотез, связанных с нор-
нормальным распределением, решаются столь же успешно. Так,
наиболее трудная из этих задач, задача о двух средних, которая
детально рассматривалась в главе 21, как показывает следую-
следующий пример, не может быть решена с помощью использован-
использованных выше методов.
Пример 23.10
Для двух нормальных распределений со средними и диспер-
дисперсиями (9, О;) и (8 + (х, а|) проверить гипотезу Но: р. == 0 на
основании двух независимых выборок, состоящих из /it и л2 на-
наблюдений.
Если выполнена гипотеза #о, то выборочные средние и дис-
дисперсии (хх, xv s\, s|) = tf образуют систему из четырех совместно
достаточных статистик для трех параметров 8, а\, а\, значения
которых не определяются гипотезой Яо. Используя B3.21),
можно также показать, что они дают минимальную достаточную
систему (см. Леман и Шеффе A950)). Однако статистика t не
будет ограниченно полной, поскольку хи х% распределены нор-
нормально независимо от s\, s\ и друг от друга, так что любая ог-
ограниченная нечетная функция от (xi — х2) будет иметь нулевое
математическое ожидание. Мы, следовательно, не можем ис-
использовать B3.13) для нахождения всех подобных областей,
хотя согласно 23.8 области, удовлетворяющие B3.13), конечно,
будут подобными. Далее, из того факта, что функция правдо-
правдоподобия содержит четыре компоненты t и не содержит других
функций от наблюдений, немедленно следует, что любая об-
область, целиком состоящая из долей а каждой поверхности, со-
соответствующей постоянному значению t, будет иметь одну и ту
же вероятностную меру в выборочном пространстве при любых
значениях jx и будет, следовательно, неэффективной критиче-
критической областью с мощностью, в точности равной ее размеру.
Этот неприятный аспект хорошо знакомого и полезного свой-
свойства нормального распределения был отмечен Ватсоном
A957а).
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
269
Для приведенной задачи не существует никакой полезной
точной нерандомизованной подобной области (см. Линник
A964)). Если мы согласны использовать асимптотически по-
подобные области, можно применить метод Уэлча, изложенный в
21.25, в качестве одного из способов интервального оценивания;
если же допустить введение рандомизации, то можно прибегнуть
к методу Шеффе B1.15—22). Связь терминологии доверитель-
доверительных интервалов с терминологией теории критериев рассматри-
рассматривается в 23.26 ниже.
23.22 Из рассмотрений пункта 23.20 и примеров 23.8—23.10
становится ясно, что если имеется полная достаточная стати-
статистика для мешающего параметра, то задача выбора наиболее
мощного критерия для сложной гипотезы значительно упро-
упрощается, если мы ограничим наш выбор подобными областями.
Однако на этом можно и проиграть: для определенных альтер-
альтернатив может существовать неподобный критерий, удовлетворяю-
удовлетворяющий B3.6) и обладающий большей мощностью, чем наиболее
мощный подобный критерий.
Леман и Стейн A948) рассмотрели эту задачу для сложных
гипотез из примера 23.7 и упражнения 23.13. В первом случае,
где проверяется гипотеза о среднем нормального распределе-
распределения, они нашли, что при а ^1/2 не существует неподобного
критерия более мощного, чем ^-критерий "Стьюдента, каковы
бы ни были [i\ и сть однако при а < 1/2 (как всегда бывает на
практике) существует более мощная критическая область,
имеющая вид
2 {xt — са 0ч, <Ti)}2
l, a,).
B3.45)
Аналогично, в случае проверки гипотезы о дисперсии нормаль-
нормального распределения (упражнение 23.13 ниже) они нашли, что
при О] > сто не существует более мощного неподобного крите-
критерия, однако при cti < ао область
2(*г — И,J<&„ B3.46)
i
является более мощной, чем наилучшая подобная критическая
область.
Таким образом, если мы достаточно ограничим класс аль-
альтернатив Н\, то мы сможем иногда, снимая требование подо-
подобия, улучшить мощность критерия, делая в то же время ошибку
первого рода в среднем меньшей а. На практике, однако, это
не служит очень сильным аргументом против использования
подобных областей, и именно потому, что мы редко находимся
в ситуации, когда диапазон альтернатив к сложной гипотезе
ограничен. . ¦ . - >
270
ГЛАВА 23
Смещение критериев
23.23 В предыдущей главе B2.26—28) мы кратко рассмот-
рассмотрели задачу проверки простой гипотезы Но против двусторон-
двустороннего класса альтернатив, когда РНМ критерия, вообще говоря,
не существует. Теперь мы рассмотрим эту задачу с другой
точки зрения, хотя, как мы увидим, двусторонняя природа аль-
альтернативной гипотезы будет несущественной для наших рас-
рассуждений.
Пример 23.11
Рассмотрим снова задачу, с которой мы имели дело в при-
примерах 22.2, 22.3 и в 22.27, относящуюся к проверке гипотезы
о среднем у. нормального распределения с известной диспер-
дисперсией, которую мы для удобства полагаем равной единице.
Предположим, что мы ограничиваемся критериями, основан-
основанными на распределении выборочного среднего х; это можно
сделать согласно 23.3, поскольку статистиках достаточна. Обоб-
Обобщая B2.55), рассмотрим область размера ос, определенную не-
неравенствами
B3.47)
*<а
в1,
где oci + иг = а и oci теперь не обязательно равно осг. Значения
а и Ь определяются, как и в B2.15), формулами
Без ограничения общности мы будем считать da > 0.
Так же, как и в B2.56), находим мощность критической об'
ласти B3.47):
Р = G {nl'2A -da} + G {- л'/2Д — da}, B3.48)
где А = (ii — цо.
Будем рассматривать мощность B3.48) как функцию Д. Ее
первые две производные равны
р' = Шт [ехР{ - Т(л1/2Д - й°-? } ~ехР{ - 7<га1/2д + а°
B3.49)
и
Р" =
(лД +
B3.50)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
271
Согласно B3.49) Р' = 0, только если
А = (dai - daMZn1'2).
В случае выполнения B3.51) из B3.50) получаем
B3.51)
. B3.52)
Поскольку мы считаем da положительным, то Р" > 0 в стацио-
стационарной точке, которая, следовательно, дает минимум. Согласно
B3.51) он достигается при А = 0, только когда ai = осг. Этот
случай был рассмотрен в 22.27. В других случаях единственный
минимум находится в некоторой точке цт, где
Mw > Но» если а, > а2, (хт < (х0, если aj < a^
23.24 Из примера 23.11 вытекает, что (исключая случай
ai = осг) в классе альтернатив Н\ существуют значения (х, для
которых вероятность отвергнуть Но меньше, чем для \х, из Но.
(Заметим, что если бы мы рассматривали односторонний класс
альтернатив, скажем \i\ > цо, то такая ситуация возникла бы
в случае неправильного расположения критической области,
скажем х ^ аа.) Ясно, что критерий, отвергающий гипотезу
с большей вероятностью, когда она верна, чем когда она не-
неверна, нежелателен. В самом деле, мы могли бы улучшить та-
такой критерий, отвергая гипотезу с вероятностью а при помощи
таблицы случайных чисел. Мощность такой процедуры всегда
была бы равна ос.
Теперь можно сделать следующее обобщение. Будем гово-
говорить, что критическая область w размера ос для гипотезы Но:
8 = Во против простой альтернативы Ну. 8 = 8i дает несмещен-
несмещенный критерий для Но против Ни если ее мощность удовлетво-
удовлетворяет условию
Р{|0}>. B3.53)
В противном случае область w и соответствующий ей критерий
называются смещенными*). Если Нх — сложная гипотеза, а
B3.53) выполняется для каждого элемента Ни то w называется
несмещенной критической областью против Н\. Следует заме-
заметить, что для несмещенности не требуется, чтобы функция
мощности имела регулярный минимум в точке 9о, как это име-
имело место в примере 23.11 для ai = осг, хотя на практике часто
бывает именно так. Рис. 22.3 на странице 244 показывает вид
*) Данное использование термина «смещенный» никак не связано с его
употреблением в теории оценивания. К счастью, в контексте редко возни-
возникает возможность смешения двух указанных, значений этого слова.
272
ГЛАВА 23
функций мощности несмещенного критерия (сплошная линия)
и двух смещенных критериев.
Если не существует несмещенного критерия, то можно попытаться найти
«локально несмещенный типа М» критерий (Кришнан, 1966), средняя мощ-
мощность которого ^а в окрестности Но-
Свойство несмещенности настолько привлекательно с интуи-
интуитивной точки зрения, что естественно ограничиться только несме-
несмещенными критериями и искать РНМ несмещенные (РНМН) кри-
критерии, которые могут существовать даже при двусторонних
альтернативах, когда, вообще говоря, не существует РНМ кри-
критериев, если класс рассматриваемых критериев не ограничен.
Так, в примере 23.11 «симметричные» критерии, основанные на х,
являются, как легко видеть, РНМН в классе рассматриваемых
в этом примере критериев. В действительности, как будет пока-
показано в 23.33, они являются РНМН среди всех критериев для про-
проверки гипотезы Яо.
Пример 23.12
Мы перенесли в упражнение 23.13 доказательство того, что
для нормального распределения со средним {х и дисперсией- а2
п
статистика z — 2 (х« — хJ дает пару односторонних РНМ по-
добных критериев для проверки гипотезы Но: а = а2, причем
соответствующие НКО имеют вид
z > аа, если аг > а0, z ^ Ьа, если ог < а0.
Теперь мы рассмотрим двустороннюю альтернативную гипотезу
Я,: <
Согласно 22.18 в этом случае не существует РНМ критерия
для Яо против Яь однако интуитивно кажется разумным ис-
использовать статистику г, расщепляя критическую область на
две равные части, соответствующие «хвостам» ее распределе-
распределения, в надежде получить несмещенность, как в примере 23.11.
Таким образом, мы отвергаем Яо, если
* =*** "а/2 л л ^ "а/2-
Эта критическая область, конечно, подобна, так как распреде-
распределение z не зависит от мешающего параметра ц. Поскольку z/a2
имеет распределение х2 ел—1 степенями свободы как при Яо,
так и при Ни то мы получаем
2 2 , _
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
273
где Ха есть ЮОа-процентная точка распределения %2. Если вы-
выполнена гипотеза Н\, то указанному распределению подчиняется
величина z/арТак что Яо отвергается, когда
а2 ^ a2 Xl-°/2
ИЛИ
J° 2
Т2 Ла/2-
критерия против любого альтернативного значе-
значения а\ равна сумме вероятностей этих двух событий, т. е. ве-
вероятности того, что случайная величина, распределенная по за-
закону х2. примет значение вне интервала, определяемогоЮ0(-~- aj-
и 100 (l к aJ- процентными точками, умноженными каждая
на оЦо\. На рис. 23.1 приведена функция мощности, получен-
полученная с помощью описанных вычислений Нейманом и Пирсоном
A936b) для п— 3 и а =
=0,02. Мы видим, что 0,W
когда 0,5 <o\Jol<\,
мощность меньше ос, так
что критерий смещен.
Посмотрим теперь,
можно ли путем перерас-
перераспределения критической
области между «хвоста-
«хвостами» распределения z ус-
устранить смещение. Пусть
критическая область име-
имеет вид
С;
1
0,08
Щ.0,06
I
0,02
или
0,5
1,0
1,5
2,0
Рис. 23.1. Функция мощности критерия
для дисперсии нормального распределения
(см. текст).
где C6i + CC2 = ос. Как и
раньше, мощность крите-
критерия равна вероятности то-
того, что распределенная
по закону х2 с п — 1 .степенями свободы случайная величина
уп-х примет значение вне интервала, определяемого ЮОосг- и
100A—ai) -процентными точками, умноженными каждая на
константу д — оЦо2. Обозначая F функцию распределения уп-\,
находим
Рассматриваемое как функция от 6, выражение B3.54) дает
функцию мощности. Выберем теперь ом и а2 так, чтобы эта
функция мощности имела регулярный минимум в точке 8=1,
274
ГЛАВА 23
в которой она равна размеру критерия. Дифференцируя
B3.54), получаем
at> B3-55)
где / — плотность уп-и Требуя, чтобы производная была равна
нулю при 9=1, получаем
Подставляя в B3.56) функцию плотности
f(y)aze-yVy("-№, B3.57)
получаем окончательно следующее условие несмещенности:
г2 }(п-1)/2 г 1 1
Ы} B3-58)
Значения ai и ос2, удовлетворяющие B3.58), дают критерий,
функция мощности которого имеет при 9 = 1 нулевую произ-
производную. Чтобы проверить, является ли полученный критерий
строго несмещенным, запишем B3.55), используя B3.57) и
B3.58), в виде
-ехр{уХ?_в1О-в)}]. B3.59)
где с—положительная константа. Поскольку %2_а >Ха> из
B3.59) получаем
[
Р' = 0, 8=1,
B3.60)
откуда следует, что критерий с ai и, осг, определенными соотно-
соотношением B3.58), несмещен в строгом смысле, так как функция
мощности монотонно убывает при изменении 9 от 0 до 1 и мо-
монотонно возрастает при изменении 9 от 1 до оо.
Таблицы значений х„2 и X?_Ol, удовлетворяющих B3.58),
даны Рамачандраном A958) для a = 0,05 ил— 1 = 2A) 8B)
24, 30, 40, 60; другие таблицы описаны в 20.21 C) в терминах
доверительных интервалов (см. 23.26 относительно связи с кри-
критериями). В таблице 23.1 сравниваются некоторые значения,
полученные Рамачандраном, с полученными из Biometrika Tab-
Tables значениями для рассмотренного нами критерия с равными
«хвостами».
Мы видим, что разности между границами относительно ве-
велики при малых л. При возрастании п разность между ниж-
нижними границами растет, а между верхними убывает. При
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
275
Таблица 23.1
Границы для статистики ^(.х — хJ/с%, за пределами которых
отвергается гипотеза Но : a2 = erg (a = 0,05)
Число
степеней
свободы
(п-1>
2
5
10
20
30
40
60
Границы для
несмещенного критерия
@,08, 9,53)
@,99, 14,37)
C,52, 21,73)
(9,96, 35,23)
A7,21, 47,96)
B4,86, 60,32)
D0,93, 84,23)
Границы для критерия
с равными «хвостами»
@,05, 7,38)
@,83, 12,83)
C,25, 20,48)
(9,59, 34,17)
A6,79, 46,98)
B4,43, 59,34)
D0,48, 83,30)
Разности
@,03, 2,15)
@,16, 1,54)
@,27, 1,25)
@,37, 1,06)
@,42, 0,98)
@,43, 0,98)
@,45, 0,93)
п—1=60 обе разности составляют свыше 1% от значений
соответствующих границ.
Вопрос о том, является ли найденный критерий РНМН, мы
отложим до примера 23.14.
Несмещенные критерии и подобные критерии
23.25 Имеется тесная связь между несмещенностью и подо-
подобием, благодаря которой часто можно прийти к наилучшему
несмещенному критерию, исходя из анализа подобных областей.
Пусть рассматривается гипотеза более общего вида, чем
B3.2), а именно гипотеза
B3.61)
er<ert,
которая проверяется против альтернативы
Я,: 8, > 0ГО. B3.62)
Если мы найдем критическую область w, удовлетворяющую
B3.6) для всех 9Г из Н'о и для всех значений мешающих пара«
метров 0S, т. е. удовлетворяющую неравенству
P(Hf0,Qs)<a B3.63)
(где Р — функция мощности, дающая вероятность отверг^
нуть #о), то критерий, основанный на w, будет иметь, как и
раньше, размер ос. Если он, кроме того, несмещен, то из B3.53)
получим
P(HuQs)^a. B3.64)
Далее, если функция мощности Р непрерывна по 8Г, то из
B3.63) и B3.64) получаем, учитывая вид гипотез #6 и Ни со-
соотношение
P(Qro, e,) = a, B3.65)
276
ГЛАВА 23
означающее, что w является подобной критической областью
для «граничной» гипотезы
Яо: 0Г = 8^.
Все несмещенные критерии для Яо' суть подобные критерии
для #о. Поэтому, когда мы ограничиваемся рассмотрением
только подобных критериев для Но и, применяя изученные ра-
ранее методы, находим критерий с оптимальными свойствами,
например РНМ подобный критерий, нам достаточно убедиться,
что найденный критерий несмещен, чтобы сделать вывод о том,
что этот критерий оптимален в классе всех несмещенных кри-
критериев для Яо, т. е. является РНМН критерием.
Приведенные рассуждения сохраняют силу также в том
случае, когда Яо утверждает, что параметрическая точка 8Г ле-
лежит внутри некоторой области R (которая может состоять из
нескольких подобластей) в пространстве параметров, а гипо-
гипотеза Я} утверждает, что 0Г лежит в дополнении к R. Если функ-
функция мощности непрерывна по 0Г, то критическая область w,
несмещенная для Яо, будет подобной для гипотезы Яо, утверж-
утверждающей, что 8Г лежит на границе R. Если w дает несмещенный
критерий для Яо, то она сохранит в классе несмещенных кри-
критериев для Яо любые оптимальные свойства, которые она может
иметь, будучи подобным критерием для Яо. Однако в случае
двусторонних альтернатив РНМ подобный критерий для Яо не
всегда существует. В этом случае может существовать РНМН
критерий, но для его нахождения должны быть использованы
другие методы.
Пример 23.13
Вернемся к гипотезе примера 23.12. Односторонние критиче-
критические области z ^ аа, г ^ Ьа, основанные на статистике z, дают
РНМ подобные критерии против односторонних альтернатив.
Легко видеть, что каждый из них будет несмещенным при про-
проверке одной из гипотез
Н'[: о2 < а2.
Н'о: <.
соответственно против
Н\: о2 > о*, Н[: о < а.
Следовательно, они, согласно 23.25, будут РНМН критериями
для рассматриваемых односторонних ситуаций.
Однако в случае двусторонней альтернативы Нг: а2 Ф а\
этим методом уже нельзя показать, что несмещенный критерий,
основанный на B3.58), будет РНМН, так как не было показано,
что он является РНМ подобным.
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
277
Критерии и доверительные интервалы
23.26 Начальная разработка теории несмещенных критериев
была в основном проведена в упомянутой в 22.1 серии статей
Неймана и Пирсона, а также в статьях Неймана A935, 1938b),
Шеффе A942а) и Лемана A947). Многие второстепенные детали
этих работ теперь, конечно, устарели, однако их терминология
используется еще довольно часто, и поэтому желательно соста-
составить «словарь», связывающий ее с современной терминологией
в случаях, когда есть расхождения. При этом уместно будет,
кроме того, перевести идеи теории проверки гипотез на язык
теории доверительных интервалов, как было обещано в 20.20.
Получив выборку, мы можем задать вопрос: при каких зна-
значениях 8 выборочная точка х принадлежит области принятия А,
дополнительной к критической области размера а, соответствую-
соответствующей некоторому критерию для параметра б? Объединив эти
«приемлемые» значения 0, мы получим доверительный интер-
интервал С для 9 уровня 1 — а, соответствующий данному критерию,
так как 8 будет принадлежать С тогда и только тогда, когда х
принадлежит А, т. е. с вероятностью 1 — а. Мы использовали
этот метод построения доверительных интервалов в 20.3 и факти-
фактически во всей главе 20. Таким образом, нет необходимости выво-
выводить оптимальные свойства отдельно для критериев и интерва-
интервалов, поскольку между этими задачами существует взаимно одно-
однозначное соответствие.
Свойство критерия
Современная
терминология
РНМ
Несмещенный
РНМН «локально»
(т. е. вблизи Яо)
РНМН
Несмещенный по-
подобный
Старая терминология
Типа А *) (простая гипо-
гипотеза Но, одни параметр)
Типа В *) (сложная гипо-
гипотеза Яо)
Типа С *) (простая гипоте-
гипотеза Но, два или более пара-
параметров)
Типа А[ *) (простая гипо-
гипотеза Яо, одни параметр)
Типа В, *) (сложная гипо-
гипотеза Яо)
Bisimilar **)
Свойство соответствующего
доверительного интервала
«Кратчайший» ( = наи
более селективный)
Несмещенный
«Короткий» несмещен
ный
«Кратчайший» несме
щенный
*) При условиях регулярности.
**) Здесь, очевидно, представляет интерес именно английский термин.
(Прим. ред)
278
ГЛАВА 23
Так, в 20.31 при нахождении с помощью ^-распределения
Стьюдента доверительного интервала для среднего (х нормаль-
нормального распределения с неизвестной дисперсией было отмечено,
что длина этого интервала является случайной величиной, крат-
кратной выборочному стандартному отклонению. С другой стороны,
в примере 23.7 было показано, что мощность подобного крите-
критерия, основанного на ^-распределении Стьюдента, зависит от
неизвестной дисперсии. Заметим теперь, что мощность критерия
есть не что иное, как вероятность отвергнуть ложную гипотезу,
т. е. в терминах доверительных интервалов — вероятность не по-
покрыть значение jx, отличное от истинного среднего ц0- Если эта
вероятность зависит от неизвестной дисперсии для всех значе-
значений ц, то мы, очевидно, не можем заранее задать одновременно
и длину доверительного интервала и доверительный уровень. За-
Замеченный нами ранее факт есть, таким образом, следствие дру-
другого, полученного позднее.
РНМН критерии для экспоненциального семейства
23.27 Теперь мы приступим к изложению некоторых чрезвы-
чрезвычайно содержательных результатов, принадлежащих Леману и
Шеффе A955), которые доказали существование и дали метод
построения РНМН критериев для различных параметрических
гипотез, относящихся к распределениям экспоненциального се-
семейства A7.86). Мы будем записывать совместное распределе-
распределение п независимых наблюдений из такого распределения в виде
{r+1 -I
2*/(т)иу(*)|. B3.66)
где х — вектор-столбец (хи ..., хп) и т — вектор г -f- 1 парамет-
параметров (п, ..., Tr+i). В матричных обозначениях выражение под
знаком экспоненты в B3.66) может быть записано в виде и'Ъ,
где и и 6 — векторы-столбцы.
Предположим теперь, что нас интересует некоторая линейная
форма от параметров
г+1
8=g апЬ, (т), B3.67)
г+1
где
« =
= 1- Обозначим А ортогональную матрицу (auv), пер-
/ =i
вый столбец которой состоит из коэффициентов формы B3.67),
и перейдем к новому (г +1)-мерному вектору параметров
(8, if), где г|) — вектор-столбец (i|>i, ..., i|>r), с помощью урав-
уравнения
A) А'Ь. B3.68)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
279
Первая строка B3.68) совпадает с B3.67). Предположим теперь,
что существует вектор-столбец статистик Т = (s, t\, ..., ir),
определяемый соотношением
®) B3.69)
т. е. предположим, что экспонента в B3.66) может быть запи-
записана в виде
г
es (ж)+S+/*/(*)•
Учитывая B3.68), можно переписать B3.69) в виде
B3-70)
Это равенство выполняется тождественно по @, г|э), поэтому
Т = и'А или
Т = А'и. B3.71)
Сравнивая B3.71) с B3.68), мы видим, что каждая компонен-
компонента Т так же выражается через tij(x), как соответствующая ком-
компонента @, а|э) через 6.,(т). В частности, первая компонента
согласно B3.67) имеет вид
г+1
тогда как tj(x), / = 1, 2, ..., г, ортогональны к s(x).
Отметим, что условие 2 а2п = 1 не стесняет нас при про-
/=1
верке гипотезы о параметре 8, определенном формулой B3.67),
так как для его выполнения требуется лишь изменить постоян-
постоянный множитель и соответственно подправить гипотезу.
23.28 Таким образом, если мы можем с помощью приема пре-
предыдущего пункта свести задачу проверки гипотезы (обычно че-
через посредство достаточных статистик) к стандартной задаче
о параметре 0 в распределении
х) ехр {
f (ж 18, ¦) = С (9, ф) h (х) ехр { 8s (х) + S $ttt (ж) ] , B3.73)
то мы можем воспользоваться результатами, резюмированными
в 23.10: при фиксированном гипотетическом значении 0 г-компо-
нентный вектор t = (tu ..., tr) будет полной достаточной ста-
статистикой для r-компонентного параметра г|) = Офь .. ., фг), и мы
приходим к задаче использования s и t для проверки различных
сложных гипотез, касающихся 8, при мешающем параметре tf.
280
ГЛАВА 23
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
281
Простые гипотезы являются частным случаем этой ситуации,
соответствующим г = 0, т. е. отсутствию мешающих параметров.
23.29 Для решения поставленной задачи нам понадобится бо-
более общая формулировка леммы Неймана — Пирсона из 22.10.
Пусть f(x\ 0) — плотность, а 9г- — некоторое подмножество допу-
допустимых значений вектора параметров 0 (t = 1, 2, ..., k).
Пусть 6° обозначает отдельный элемент 6*, а 0 * — отдельное зна-
значение в. Вектор щ(х) достаточен для 0, когда 0 принадлежит 0,-,
и имеет распределение gi («г [О;)• Вследствие факторизации прав-
правдоподобия в случае достаточности условная плотность f(*| 6,)
при фиксированном и,- не зависит от 0;, и мы обозначим ее
f{x\ui). Пусть, кроме того, Ц(х) и тг(щ)—неотрицательные
функции от наблюдений и от Ui соответственно.
Пусть теперь имеется критическая область да, для которой
J {h(x)f{x\ut)}dx =
B3.74)
Поскольку произведение в фигурных скобках неотрицательно,
оно может рассматриваться как плотность некоторого распреде-
распределения, и мы можем сказать, что условный размер да при фикси-
фиксированном щ равен ccj относительно этого распределения. Поло-
Положим теперь
= { [l{ (x) mt («,.) / (x 190)} dx. B3.75)
Произведение в фигурных скобках снова будет плотностью, ко-
которую мы обозначим р (х |0,). Чтобы проверить простую гипо-
гипотезу о том, что имеет место p(x\Qi), против простой альтерна-
альтернативы f(x\Q*), мы можем использовать B2.6) и получить НКО w
размера р*, состоящую из точек, удовлетворяющих соотношению
/(*|в*)//7(*|6°)>Сг(р.), B3.76)
где Сг — неотрицательная константа. B3.76) выполняется при
каждом значении i, поэтому для проверки сложной гипотезы
о том, что имеет место какое-то из распределений p(x\Qi)
(i = 1,2, ..., k), нужно, чтобы для да были выполнены все к
неравенств B3.76). Если мы теперь напишем ктг(щ)!Сг(§г)
вместо m,(«i) в определении p(x\Q°i), что можно сделать, по-
поскольку функция тг{щ) произвольна, то мы получим, суммируя
неравенства B3.76) для i=\, 2, ..., к, необходимое и доста-
достаточное условие для НКО:
f(x\Q*)>Iull(x)mi(u.)f(x
B3.77)
Это и есть требуемое обобщение. B2.6) получается отсюда как
частный случай при k = 1, lx (х) = ka (константа), т\(щ)= 1.
При рассмотрении сложных гипотез B3.77) будет играть ту же
роль, что и B2.6) в случае простых гипотез.
Односторонние альтернативы
23.30 Возвращаясь к B3.73), мы рассмотрим задачу проверки
гипотезы
8 =
против
Мц: 8 > 0о,
которая уже обсуждалась в общей постановке в 23.25. Теперь,
когда мы имеем дело с экспоненциальным семейством B3.73),
мы сможем показать, что всегда имеется РНМН критерий
для #о°против Н{\\ Согласно 23.25, если имеется несмещенная
критическая область размера а для Но1' против н\*\ то она будет
подобной областью для проверки гипотезы 0 = Во.
Рассмотрим проверку простой гипотезы
Яо: е = 0о, -ф = -фо,
против простой альтернативы
я,: е = е*>е0, i|> = i|>\
Применим результат пункта 23.29. Полагая k=l, /,(:«:) = 1,
01 = 0, е = (е, -ф), е1 = (8о, -ф), е' = (е*. ч0. е? = (е0, V), «.=*,
получаем в силу B3.77) и B2.73), что НКО для проверки Яо
против Hi имеет вид
B3.78)
С (е0, V) exp j 6^ (х) + 2 i#, (*) J
или
s(*)@*-eo)>ca(f, 8*, 0o, V, 41P).
B3.79)
Мы видим, что са не зависит от -ф. Действительно, так как стати-
статистика t достаточна для параметра ф при гипотезе Яо, то значе-"
ние са при заданном t не зависит от о)H, -ф*. Далее, из B3.79) вы-
вытекает, что если знак F* — Во) не меняется, то НКО состоит из
282
ГЛАВА 23
верхних ЮОос процентов распределения s(x) при заданном 0о.
Таким образом, мы получаем НКО для 0 = 0О против 0 > 0О,
дающую РНМ критерий. Мощность этого РНМ критерия не
может быть меньше мощности рандомизованного критерия про-
против 8 > 0о, не учитывающего наблюдений. Последний же имеет
мощность, равную своему размеру ос. Отсюда следует, что наш
РНМ критерий несмещен для 0 > 0О> т. е. согласно 23.25 яв-
является РНМН. Его размер при 0 < 0о не превосходит размера
при 0о, так как критическая область B3.79) имеет минимальную
мощность против 8 < 0о, а следовательно, ее мощность (размер)
при 0 <С бо меньше ос. Таким образом, мы показали, что верх-
верхние ЮОос процентов условного распределения s(x) при фиксиро-
фиксированном t дают РНМН критерий размера ос для #о' против Н\1\
Двусторонние альтернативы
23.31 Рассмотрим теперь задачу проверки гипотезы
#о2): е = 8о
против
tff: 8=^00.
В предшествующих примерах нам не удалось найти РНМН кри-
критерия для двусторонних альтернатив этого типа (см. примеры
23.12 и 23.13). Тем не менее для линейной экспоненциальной
формы B3.73) РНМН критерий существует.
Из 23.25 следует, что если функция мощности некоторой кри-
критической области непрерывна по 0 и несмещена, то она подобна
для Я02). Далее, для любой области w функция мощности имеет
вид
Р {р 18) = J f (х |8, -ф) dx, B3.80)
где f определяется в B3.73). Функция B3.80) непрерывна и диф-
дифференцируема под знаком интеграла по 0. Таким образом, для
того чтобы критерий, основанный на критической области w, был
несмещенным, необходимо, чтобы при любом значении 1|з вы-
выполнялось условие
Р'(щ,|0о) = О. B3.81)
Дифференцируя B3.80) под знаком интеграла и учитывая
B3.73) и B3.81), получаем условие несмещенности
или
М {s (х) с (ю)} = - аС (во,
, Ч>).
B3.82)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ 283
Поскольку в силу B3.73)
1/С (8, ¦) — J Л (ж) exp j 8s (ж) + 2 ФЛ (*) 1 dx>
то мы получаем
с'/е,'?) =-М{д(*)}. B3.83)
Подставляя B3.83) в B3.82), находим
M{s(*)c(uy)} = aM{sfc)}. B3.84)
Беря сначала условное относительно f, а затем безусловное ма-
математическое ожидание в B3.84), получаем '
Mt[M{s (х) с (w) - as (х) | *}] = 0. B3.85)
В силу полноты t из B3.85) следует
Далее, любая подобная область для Яо удовлетворяет условию
M{c(w)\t} = a, B3.87)
объединяя которое с B3.86) мы получаем соотношение
М {s<-l (х) с (w) 11) = aM {s'-1 (*) I *} = а,, / = 1, 2, B3.88)
где все математические ожидания берутся в предположении, что
= оо.
Будем проверять теперь простую гипотезу
против простой альтернативы
применяя результат пункта 23.29 при щ из B3.88), k = 2,
в = @, -ф), 9, = 82 = (8о, Ч>), 9* = (8*, ф*), 9° = 0^ = (во, Ц»°), /г (л) =
= s'"-'(*), ul=u2 = t. Согласно B3.77) и B3.73) НКО w для
проверки Яо против Я] имеет вид
С (в*, V) ехр < 6*s (ж) +
(*)
или
f г 1
С (в0, г|H) exp { 90s (ж) + 2 W( (*) f
I i=i J
, (*, 8*, в0, ф*
), B3.89)
t, в*, 80,
или
B3.90)
284
ГЛАВА 23
Неравенство B3.90) означает, что s{x) лежит вне некоторого ин-
интервала, т. е.
s(*)<o(f), s(x)^w(t), B3.91)
где v.(t) и w(t) (v(t) <iw(t)) могут зависеть от параметров. Мы
покажем, однако, что,v(t) и w(t) зависят только от Во. Как и
раньше, достаточность t для -ф устраняет зависимость v и w
от -ф при заданном t, а их независимость от 0* непосредственно
следует из соотношения B3.86), в силу которого при гипотезе Яо
имеем
j J B3.92)
{s(x)\t}fdx = a J {s (x) 11)f dx.
Правая часть B3.92), где интегрирование ведется по всему вы-
выборочному пространству, очевидно, совсем не зависит от 0*. По-
Поэтому левая часть тоже не зависит от 0*, так что НКО w, опре-
определенная неравенствами B3.91), зависит, как это и должно быть,
только от 0о- Следовательно, эта НКО дает РНМ критерий для
#о21 против Я|2). Для доказательства его несмещенности доста-
достаточно повторить рассуждения, приведенные в конце пункта 23.30.
Таким образом, мы установили, что НКО B3.91) дает РНМН
критерий для #о2) против Я\2). Чтобы построить этот РНМН кри-
критерий, надо взять в качестве критической области дополнение
интервала, содержащего 100A — ос) процентов условного рас-
распределения s(x) при данном t, когда верна гипотеза Яо'; если
эта область несмещена, она дает РНМН критерий размера ос.
Гипотезы с конечными интервалами
23.32 Можно рассматривать также проверку гипотезы
Я03):
против
или, наоборот,
против
A3):
ЯA3): 8 < 0о или 0 > 0i
Я04); 8 < Go или 9
Я(,4): 8o<0<6i.
Рассмотрим проверку двух гипотез
Н'о: 0 = 0О, Ч» = Ч>°. -Щ: 8 = 1
, «hi
против
Я,: 8 = 8*, -ф = -ф', где 90 Ф 9* ф 9,.
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
285
Применяя снова результат пункта 23.29, на этот раз с k — 2,
6? = (во, Ч>°)> в2 = (в|, ф1), lt(x) = l, ui = U2 = t, мы получаем,
что НКО w для проверки Яо или Я" против Я1 определяется
неравенством
/ (X I о , яр ^ -s^ Ш] ^f) / (X J Од, яр j -p m,2\T) I (X\ Oj, яр J, ^Zo.yoj
или, после подстановки f(x) из B3.73),
Я (s) = с, ехр {@О - 8*) s (ж)} + с2 ехр {@, - 8*) s (ж)} < 1, B3.94)
где Сь Сг могут зависеть от всех параметров, и от t. Если 0о <С
< 0* <С бь то условие B3.94) эквивалентно требованию, чтобы
значение s(x) лежало в некотором интервале
v (f)< s (x) < w (t). B3.95)
С другой стороны, если 0* <С 0О или 0* > 0ь то B3.94) требует,
чтобы значение s(x) лежало вне интервала (v(t), w(t)). Дока-
Доказательство того, что границы интервала могут зависеть только
от значений параметров 0о и 0ь а также доказательство несме-
несмещенности аналогичны приведенным ранее. Таким образом, мы
имеем РНМН критерии для Яо3) и для Яо4). Как следует из
23.25, оба критерия подобны при 0 = 80 и 8 = 9ь Чтобы полу-
получить РНМН критерий для Яо3) (или Яо4)), надо найти интервал,
содержащий 100A — ос) (или 100а для Я04)) процентов услов-
условного распределения s(x) при данном t как при 0 = 80, так и при
8 = 01. Если область, представляющая собой дополнение интер-
интервала (или сам интервал), несмещена, то она дает РНМН крите-
критерий для проверки Яо3) (или Яо4)).
23.23 Теперь мы переходим к некоторым приложениям
фундаментальных результатов пунктов 23.30—32, касающихся
РНМН критериев для экспоненциального семейства распреде-
распределений. Отметим сначала, что в примере 23.11 и упражнениях
22.1—22.3, приведенных выше, РНМН критерии для всех четы-
четырех типов гипотез были получены непосредственно из распреде-
распределения одномерной достаточной статистики, без использования
условных распределений, поскольку мешающие параметры от-
отсутствовали.
Пример 23.14
В случае п независимых наблюдений из нормального рас-
распределения пара статистик (х, s2) совместно достаточна для
(\х, а2) и имеет совместное распределение (см. пример 17.17)
„п-З ( V. fr— ,Л2 1
B3.96)
g (x, s2 | (i, сг2) ос —д- ехр 1 —
2a2
¦}•
286
ГЛАВА 23
которое может быть записано в виде
«Г ос СО*, ^«р{(Ч2*)(тН + B *)(?")}• B3.97)
представляющем частный случай B3.73). Следуя рассужде-
рассуждениям пункта 23.27, рассмотрим линейную форму от параметров,
входящих в B3.97),
совпа-
Гипо-
где А и В — произвольные константы. Мы выберем А и В,
чтобы, пользуясь результатами 23.30—32, получить РНМН кри-
критерии для следующих гипотез.
A) Положим А = 1, В = 0 и будем проверять гипотезы
о параметре 8 = 1/сг2, считая мешающим параметром -ф = ц/а2.
В данном случае s(x) = — -=¦ У! х2 и t(x) = ^ х. Из B3.97)
видно, что существует РНМН критерий для гипотез Но, Но,
Н0Э) и #о4), касающихся 1/а2 (а следовательно, и а2), осно-
основанный на условном распределении 2*2 при фиксирован-
фиксированной 2*. т- е- на условном распределении 2(х— JcJ при фик-
фиксированной 2 *• Поскольку последние две статистики незави-
независимы, можно использовать безусловное распределение
2 (х — хJ или безусловное распределение 2 (х — хJ1а2,
дающее с распределением %2 с п — 1 степенями свободы,
теза #о2) была рассмотрена в примерах 23.12, 23.13, где были
получены РНМ подобный критерий для гипотезы 8 = 0О про-
против односторонних альтернатив и несмещенный критерий для
#о2), основанный на 2(* — хJ. Теперь мы получили, что пос-
последний критерий является РНМН для Н@2), тогда как односто-
односторонний критерий будет РНМН для #oU.
Гентер и Уиткомб A966) дают графики для нахождения критических
значений РНМН критериев для проверки #q3) и #о4) при а = 0,05 и 0,10.
B) Чтобы проверять гипотезы, касающиеся jx, запишем
B3.98) в виде \i = @а2— А)/В. Зафиксировав значение ц0
для {х, мы все же не сможем найти значения Л и В, при кото-
которых этому значению соответствовало бы единственное значение
9 = Во (при неизвестном а2), если 0О Ф 0. Однако, если 8о = 0,
мы получаем fxo = —А/В. Таким образом, имея РНМН крите-
критерии для Яо1': 6<0 и #о2>: 8 = 0, можно получить РНМН кри-
критерии для [I ^ [io и (х = \io- Используя B3.71), можно пока-
показать, что статистика критерия s(x)\t имеет здесь вид
— -n-Tj xl
пРи Условии> что фиксирована неко-
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
287
торая ортогональная функция, например ( -^
что сводится к условному распределению 2* при фикси-
фиксированной 2 х2. Ясно, что в этом случае мы не можем получить
критерии для гипотез #о3> или #о",относящихся к ц.
Критерий для проверки гипотезы jx = цо против односторон-
односторонних альтернатив был рассмотрен в примере 23.7, где было по-
показано, что /-критерий Стьюдента, к которому он сводится, яв-
является РНМ подобным критерием для fx = jxo против односто-
односторонних альтернатив. Теперь мы видим, что этот критерий
является также РНМН для Hq\ Мы видим также, что двусто-
двусторонний /-критерий Стьюдента с равными «хвостами», несме-
несмещенный для #о} против Н\', будет РНМН критерием для Но2К
Пример 23.15
Рассмотрим k независимых выборок объема щ (г = 1,2,..., k)
из нормальных распределений со средними jx* и общей диспер-
сией а2. Обозначим л = 2 "ч- Легко показать, что k выбором-*
ных средних Xi и объединенная сумма квадратов52 = 2 2(*гу—
— XiJ совместно достаточны для k -f- 1 параметров. Эти до-
достаточные статистики имеют совместное распределение
8(*и .... -«*, S^cx^-^expj-^-^S^—^2}- B3>99)
представляющее собой простое обобщение B3.96). При вы-
выводе B3.99) использована независимость х,\ друг от друга и
от S2 и тот факт, что величина S2/o2 распределена по закону х2
ел — k степенями свободы. B3.99) можно также записать в
форме B3.73):
8 ос C0ilp a2)expj(- Щ ? хЦ {-^) + Щ% Х«) {%}} • B3Л0°)
Рассмотрим теперь линейную функцию
9==лЙ+5Вг&)- B3Л01)
A) Положим А = 1, Вг-== 0 (для всех i). Тогда 8= 1/а2,
а ¦ф/ = [1г/а2 (i=l, ..., k)— мешающие параметры. Для каж«
дой из рассмотренных в 23.30—32 четырех гипотез Ну, относя-
относящихся к параметру I/a2 (а следовательно, и к а2), существует
288
ГЛАВА 23
РНМН критерий. Эти критерии основаны на условном распре-
распределении 22^!/ при фиксированном векторе B хц, 2 х2!, ...
. .., ^EiXk/\ ,т. е. на условном распределении S2=2 2 (ха — *д2
II ' it
(при том же условии). Точно так же, как в примере 23.14, это
приводит к использованию безусловного распределения S2 для
получения РНМН критериев.
B) Рассмотрения, полностью аналогичные приведенным в
примере 23.14 B), показывают, что, полагая 90 = 0, мы полу-
РНМН
чим
критерии для
где со — произвольная константа (см. упражнение 23.19). Как
и раньше, использование этого метода, связанного с линейной
формой 2 Cjjii,-, не позволяет проверять «интервальные» гипо-
гипотезы.
C) При k = 2, ci = 1, с2 = —1, с0 = 0 случай B) сводится
к проверке гипотез Я*,1': ц, — [х2^0, ЯО2): ц,—-ц2 = 0. Критерий
для проверки гипотезы щ — \х2 = 0 был рассмотрен в примере
23.8, где было показано, что он сводится к ^-критерию Стьюден-
та и является РНМ подобным критерием. Теперь можно пока-
показать, что он также является РНМН для Н{0[). Мы видим также,
что двусторонний несмещенный ^-критерий Стьюдента является
РНМН для Яо2).
Пример 23.16
Обобщим ситуацию примера 23.15, допуская, что дис-
дисперсии k нормальных распределений могут быть различными.
В этом случае имеется 2k достаточных статистик для 2k пара-
параметров. Этими статистиками будут суммы и суммы квадратов
2) Xi>' 2 я*,-, г=1, 2, ..., k. Положим
Bзло2)
A) Будем считать В{ = 0 (для всех t). Для всех четырех
гипотез, относящихся к взвешенной сумме величин, обратных
генеральным дисперсиям,
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
289
можно получить РНМН критерии. В случае k = 2 имеем
a At . А2
а2 4
Если мы хотим проверять гипотезы, касающиеся отношения
дисперсий а|/а2, то так же, как в случае B) примеров 23.14,
23.15, мы должны положить 0 = 0. После этого РНМН крите-
критерии для 0 = 0, =ST 0 сводятся к РНМН критериям для
и мы, следовательно, получаем РНМН критерии для гипотез
Яо* и Яо2> об отношении дисперсий. Совместное распределение
четырех достаточных статистик может быть записано в виде
„¦
¦• 2
х
B3.103)
Согласно 23.27 коэффициент s(x) при 0 в распределении
B3.103), преобразованном так, чтобы 0 стал одним из его
параметров, является точно такой же функцией от —^S
— -jS *2/> какой является 0 от 1/а2, 1/а|, т. е.
j 21
а РНМН критерии основаны на условном распределении s(x)
при фиксированных трех функциях от достаточных статистик,
ортогональных к s(x) и друг к другу, например:
Это эквивалентно тому, что фиксированы
Xi, Х2 И t = ^(xll — Х{J — -
так что статистика s(x) эквивалентна
при фиксированном t, что, в свою очередь, эквивалентно рас-
рассмотрению распределения отношения
/
М. Кендалл, А. Стьюарт
290
ГЛАВА 23
Таким образом, РНМН критерии для #о , Но основываются на
распределении выборочного отношения дисперсий (см. упраж-
упражнения 23.14 и 23.17).
B) Как следует из B3.102), мы не можем получить РНМН
критериев для функций от ц,-, не зависящих от а]. В случае
k = 2 это обстоятельство не позволяет решить данным способом
задачу о двух средних.
23.34 Для лучшего понимания результатов пунктов 23.2.7—33
будет полезна их геометрическая интерпретация. В соответствии
с B3.73) характеристическая функция s(x) имеет вид
Ф (и) = М {exp (ius)} =
и, следовательно, производящая функция семиинвариантов равна
Ч> («) = log ф (и) = log С (9) - log С (9 + ш). B3.104)
Из B3.104) следует, что r-й семиинвариант s(x) равен
* = ЫйГ ¦(W)] u=o= " W"l0g C F)' B3Л °5)
откуда
B3.106)
B3.107)
яг-1
г>2.
Рассмотрим теперь производную
Dqf^~f
В силу B3.73) и B3.106)
B3.108)
Применяя правило Лейбница, из B3.108) получаем
q— 1
= {s - М (s)} D"-V + 2; (? . *) [Z>; {s - М (s)}] [D'"V], B3.109)
что в соответствии с B3.107) можно переписать в виде
D"f^{s - М (s)}D'-'/-S ( l)^ + iD4-Mf. B3.110)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
291
23.35 Рассмотрим теперь любую критическую область до
размера а. Ее функция мощности определяется формулой
B3.80), и мы можем иначе записать ее в виде интеграла по вы-
выборочному пространству достаточных статистик (s,t):
B3.111)
Р (а, 19) = J f ds dt,
где / обозначает совместную плотность (s, t), имеющую, как
было показано, вид B3.73). Производные функции мощности
B3.111) выражаются следующим образом:
р(*> (W | 0) = J Dqf ds dt, B3.112)
w
так как в B3.111) можно дифференцировать под знаком интег-
интеграла. Используя B3.108) и B3.110), получаем из B3.111)
р'(Ш| 9)= j{s — M{s)}fdsdt = сом{s, c(w)} B3.113)
q-\
<t>2. B3.114)
Полученное рекуррентное соотношение позволяет нам выразить
значение любой производной через низшие производные. В част-
частности, из B3.114) получаем
Р" (ш| 9) = cov{[s - М (s)]2, c(w)}, B3.115)
Р'" (w | 6) = cov {[s — M (s)]3, с (w)} — 3x2P' (w 16), |
piv(u,|0)==cov{[s-M(s)]4, c(w)}~ B3.116)
- 6x2P" (w | 9) - 4x3P' (ш 16). )
Из B3.113) и B3.115) следует, что первые две производные
представляют собой просто ковариации между c(w) и s и ме-
между c(w) и квадратом отклонения s от своего среднего. Третья
и четвертая производные, даваемые формулами B3.116), а так-
также высшие производные являются более сложными функциями
от ковариации и семиинвариантов s.
23.36 Теперь мы можем перейти к геометрической интерпре-
интерпретации некоторых результатов, полученных в 23.27—33. Чтобы
максимизировать мощность, мы должны в соответствии с
B3.113) и B3.114) выбрать w так, чтобы максимизировать (для
всех допустимых альтернатив) ковариавдда между c(w) и s или
292
ГЛАВА 23
некоторой функцией от s — М (s). Очевидно, что в (г'+ 1)-мер-
1)-мерном пространстве достаточных статистик (s, t) это можно сде-
сделать, ограничившись подпространством, ортогональным к г ко-
координатам, соответствующим компонентам t, т. е. ограничив-
ограничившись условным распределением s при фиксированном t
В случае проверки гипотезы 0 = 0О против 0 > 0О мы полу-
чаем максимум P(w\Q) для всех 9 > 9о, максимизируя Р'(ш|0),
г. е. максимизируя cov(s, c(w)) для всех 0 > 0О. Легко видеть,
что эта цель достигается, если w состоит из 100а процентов
наибольших значений распределения s при фиксированном t.
Аналогично, в случае проверки 9 = 90 против 0 <С 0о мы макси-
максимизируем Р, минимизируя Р', что может быть достигнуто, если
w состоит из 100а процентов наименьших значений распределе-
распределения s при фиксированном t. Поскольку P'(w\Q) не меняет зна-
знака, односторонние критерии несмещены.
В случае двусторонней гипотезы Я® из 23.31 мы должны со-
согласно B3.81) и B3.115) максимизировать P"(w\Q), т. е.
cov {[s— M(s)]2, c(w)}. Те же рассуждения, что и в односторон-
одностороннем случае, показывают, что нужно выбрать область w так,
чтобы она содержала 100а процентов наибольших значений
{s— M(s)}2, так что мы получим двустороннюю критическую
область, которая будет симметричной только в том случае, если
распределение s при фиксированном t симметрично. Отсюда
следует, что границы РНМН критической области находятся на
равном расстоянии от М (s\t).
Вспомогательные статистики: принцип условности
23.37 Мы знаем, что всегда существует минимальная доста-
достаточная система (Tr,Ts) из r + s (r^\, s ^ 0) статистик для
k-\-l (k^sl, / ^ 0) параметров (9Й, 9<). Предположим теперь,
что распределение подсистемы Ts не зависит от 0д. (Это воз-
возможно только в том случае, если распределение (Tr, Ts) непол-
неполно, — см. упражнение 23.7.) Тогда функция правдоподобия фак*
торизуется следующим образом:
L(x\Qk, 0;) = gGV, Ts\Qk,
= gl(Tr\Ts, G4, Ql)g2(Ts\ в,) Л (ж).
. B3.117)
Это есть соотношение B1.95), записанное в других обозначе-
обозначениях.
Фишер (например, 1956) называет Тв вспомогательной ста-
статистикой*), а Бартлетт (например, 1939) называет условную
статистику (Tr\Ts) квазидостаточной для 0ь из-за сходства
*) Английский термин: ancillary statistic. (Прим. ред.)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
293
B3.117) при известном 0; с факторизацией A7.84), характери-
характеризующей достаточную статистику.
Фишер предложил использовать для статистических выво-
выводов вообще и для проверки гипотез в частности принцип услов-
условности, заключающийся в следующем: если распределение Ts не
зависит от 0ft, как в B3.117), то для получения выводов о 9ft
нам нужно только условное распределение Tr\Ts. Если Ts до-
статочна для 0* при известном 0ft, то из B3.117) сразу получаем
представление
L(x\Qk, e,) = g1BV|2',, ek)g2(Ts\Qt)h(x), B3.118)
показывающее, что распределения G'Г|Г8) и Ts зависят каждое
от своего параметра и каждое достаточно для своего параметра.
В этом случае, без сомнения, в соответствии с общим принци-
принципом пункта 23.3 при проверке гипотез о 9ft можно ограничиться
только функциями от (Tr\Ts).
Однако основной вопрос заключается в том, можем ли мы
ограничиться условной статистикой, когда Ts не достаточна для
0;. В самом деле, Уэлч A939) привел пример простой гипотезы
о среднем значении прямоугольного распределения с известным
размахом, показывающий, что условный критерий, основанный
на (Tr\Ts), может оказаться равномерно менее мощным, чем
другой (безусловный) критерий.
С ответом на этот вопрос связаны далеко идущие выводы,
так как А. Бирнбаум A962) показал, что принцип условности
влечет принцип правдоподобия (и, конечно, следует из послед-
последнего), который утверждает (см. 18.32), что любой статистиче-
статистический вывод из наблюдений требует только знания ФП. В част-
частности, из этого принципа следует, что знание деталей выбороч-
выборочной процедуры, с помощью которой получаются наблюдения
(и ФП), ничего не дает для последующего статистического вы-
вывода.
Многие (возможно, большинство) из статистиков сочтут ин-
интуитивно неприемлемым исключать выборочное пространство из
рассмотрения при осуществлении статистических выводов. При-
Придерживаясь этой точки зрения, они должны отказаться от прин-
принципа правдоподобия, а вместе с ним, автоматически, и от прин-
принципа условности.
Пример 23.17
В примере 17.17 было показано, что пара статистик (x,s2)
совместно достаточна для параметров (\i, а2) нормального рас-
распределения и что распределение s2 не зависит от ц. Таким об-
образом, мы имеем соотношение
ц, а2) = §1 W з2)\ц, e2]g2(s*\ o*)h(x),
294
ГЛАВА 23
являющееся частным случаем B3.117) при k = t=r = s=l.
Принцип условности утверждает, что для проверки гипотез о ц
следует пользоваться условной статистикой x\s2 (так получи-
получилось, что х в данном случае не зависит от s2, но это упрощение
никак не связано с аргументацией в общем случае). Однако s2
не является достаточной статистикой для мешающего параметра
а2, так что распределение x\s2 зависит от а2. Если априорное
распределение а2 неизвестно, то достичь какого-то успеха мож-
можно, лишь более или менее произвольно усредняя по а2. Если мы
согласны использовать фидуциальное распределение а2 и интег-
интегрировать по нему, то мы возвратимся к ситуации пункта 21.10,
где мы получили результат, совпадающий с результатом, полу-
полученным при максимизации мощности в примерах 23.7 и 23.14 и
состоящим в использовании /-распределения Стьюдента.
Другой принцип условного критерия
23.38 Другой принцип построения критериев (см. Д. Кокс
A958а)) заключается в использовании (Tr\Ts) всегда, когда
статистика Ts достаточна для 9; при известном 9/4, независимо от
того, зависит ее распределение от 9& или нет. В этом случае мы
имеем
L(x\Qk, Qd^g^TrlTs, Qk)g2(Ts\Qk> QL)h{x), B3.119)
так что распределение условной статистики не зависит от ме-
мешающего параметра 9^. При таком подходе мы также не можем
предполагать, что полученный критерий будет в каком-то смыс-
смысле оптимальным. Соотношение B3.119) есть просто B1.96) в
других обозначениях.
Обоснование условных критериев
23.39 Из 23.30—32 вытекает, что если распределение доста-
достаточных статистик (Г,., Ts) имеет экспоненциальную форму
B3.73), то использование условного распределения Тг при фи-
фиксированном Ts приводит к РНМН критериям GV и Ts являются
просто новыми обозначениями для s(x) и t(x)). Если же рас-
распределение достаточных статистик не принадлежит к типу
B3.73) (например, если оно сосредоточено на интервале, концы
которого зависят от параметра), то приведенное обоснование
становится недействительным. Однако Линдли A958b) показал,
что можно обосновать использование условной статистики Tr\Ts,
предполагая только, что распределение g2(Ts | 9л, 0;) статистики
Ts ограниченно полно при гипотезе Яо и что Ts достаточна для
6{. Действительно, тогда в силу 23.19 любая критическая об-
область размера а, подобная относительно 9(, содержит долю а
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
295
каждой поверхности, соответствующей постоянному значению
Ts. Таким образом, любой подобный критерий для Но будет ус-
условным критерием, основанным на Tr\Ts, а любой оптимальный
условный критерий будет оптимальным подобным критерием.
Контрпример Уэлча A939), приводимый в упражнении 23.23,
не попадает ни под одно из наших обоснований использования
условных статистик критериев, так как имеющаяся в этом при-
примере двухкомпонентная минимальная достаточная статистика
для единственного параметра неполна, и поэтому результат
упражнения 23.7 не противоречит существованию вспомогатель-
вспомогательной статистики (выборочного размаха R).
УПРАЖНЕНИЯ
23.1 Показать, что для случая выборок объема п из нормального рас-
распределения со средним 8 и дисперсией а2 ие существует симметричной обла-
области, подобной относительно 9 и а2 при п ^ 2, ио что такая область суще-
существует при п ^ 3.
(Феллер, 1938.)
23.2 Аналогично тому, как было сделано в примере 23.1, показать, что
в случае выборки из п наблюдений, i-e из которых имеет распределение
е.>о,
не существует подобной области размера а при 0 < а < 1.
(Феллер, 1938.)
23.3 Пусть L(x\Q)—функция правдоподобия и М
распределение статистики z не зависит от
щ—
) = 0.
Пока-
Э, то
зать, что если р
cov (z> °f ) = 0. Вывести отсюда, что если не существует статистики
некоррелированной с —'-Ш—
то не существует областей, подобных отно-
относительно 9.
(Нейман, 1938а.)
23.4 Используя х. ф. z, показать, что верны также утверждения, обрат-
обратные утверждению упражнения 23.3 и его следствию.
Таким образом, это и предыдущее упражнение вместе устанавливают,
что условие cov(z, —^Ц—) = 0 необходимо и достаточно для выполнения
соотношения cov I e'
log/-
дв
0, где и — произвольная переменная,
(Нейман, 1938а.)
23.5 Показать, что семейство распределений Коши
dx
dF =
+ (*2/е))}'
неполно.
(Леман и Шеффе, 1950.)
296
ГЛАВА 23
23.6 Показать, что если статистика г не зависит от достаточной для 9
статистики t, то распределение z ие зависит от 8.
23.7 Пусть в упражнении 23.6 #i(z) обозначает ф. p. z, H2(z\t)— услов-
условную ф. р. при фиксированном t и g(t\Q)—плотность t Показать, что
J {Я, (г) - Я2 (г |0)г «|-в) Л = О
для всех 8. Вывести отсюда, что если t — полная достаточная статистика
для 8, то справедлив результат, обратный к полученному в упражнении 23.6,
именно, если распределение z не зависит от 8, то z не зависит от t.
(Д. Басу, 1955.)
23.8 Использовать результат упражнения 23.7 для прямого доказатель-
доказательства того, что в случае выборок из одномерного нормального распределения
(а) любой выборочный момент относительно выборочного среднего х не
зависит от х;
(б) квадратичная форма х'Ах не зависит от х тогда и только тогда,
когда сумма элементов каждой строки матрицы А равна нулю (см. 15.15);
(в) выборочный размах не зависит от х;
(г) (*(„) — хI(х(п) — *(i)) не зависит как от х, так и от выборочной
дисперсии s2.
(Хогг и Крэйг, 1956.)
23.9 Используя упражнеиие 23.7, показать, что
(а) в случае выборок из двумерного нормального распределения с р = О
выборочный коэффициент корреляции не зависит от выборочных среднего и
дисперсии (см. 16.28);
(б) в случае независимых выборок из двух одномерных нормальных
совокупностей с одной "и той же дисперсией or2 статистика
не зависит от системы из трех совместно достаточных статистик
Aj| «2» ^^J \^*l/ "\l "i / i \^*2/ "~*~ **2/
/ /
и, следовательно, от статистики
L^2)
/i (*l/ ~ -?l) 4" J^j (-*2/ ~"
+П2
являющейся функцией от достаточных статистик. Это утверждение верно
независимо от того, равны или нет генеральные средние.
(Хогг и Крэйг, 1956.)
23.10 Показать, что в случае выборки объема п из распределения
распределение Хщ не зависит от
г
(Эпстейн и Собел, 1954.)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ
297
23.11 Показать, что в случае биномиального" распределения с парамет-
параметром я выборочная частота р служит минимальной достаточной статистикой
ДЛЯ Я' (Леман и Шеффе, 1950.)
23.12 Показать, что в случае прямоугольного распределения
2'
пара статистик (xw, Х(П)) служит минимальной достаточной системой для 9.
(Леман и Шеффе, 1950.)
23.13 Методом пункта 23.20 показать, что в случае нормального распре-
распределения с дисперсией or2 и неизвестным средним ц РНМ подобный крите-
рий для Яо: ог2
р ц
CT против Я,: (Т2 = (Т? принимает вид
(х - хJ > аа,
(х - хJ < Ьа,
если
если
23.14 Два нормальных распределения имеют неизвестные средние и дис-
дисперсии а2, 8а2. Для двух независимых выборок объемов пи п2 нз этих рас-
распределений методом пункта 23.20 показать, что РНМ подобный критерий для
Яо: 9 = 1 против Н%: 8 = 84 принимает вид
s\fs\>aa, если 9,>1,
если
где s\, s| — выборочные дисперсии.
(Хартер СШ63) показал, что крите-
критерий, основанный на отношении выбо-
выборочных размахов, имеет почти такую
же мощность, как и РНМ подобный
критерий.)
23.15 Две независимые выборки, каждая объема п, взяты из распреде-
распределений
8Ь 82>0,
Показать, что* = B*> 2^) = ^>^ есть минимальная достаточная си-
система для (8i, 82), остающаяся таковой также при выполнении гипотезы
fit,: 9i = 82 = 8. Рассматривая функцию XY — М (XY), показать, что рас-
распределение t ие является ограниченно полным при гипотезе Яо, так что не
все подобные области удовлетворяют B3.13). Показать, что статистика XY
в этом случае распределена независимо от 8, так что подобные критические
области для проверки На можно строить с помощью распределения XY.
(Ватсон, 1957а.)
23.16 Используя B3.98), показать, что в примере 23.14 имеется РНМН
критерий для гипотезы о том, что параметрическая точка (\i, а) лежит ме-
между двумя параболами
(X = Цо + CjO*2, A = Цо + CzG2,
касательными одна к другой в точке (Цо, 0).
(Лемаи и Шеффе, 1955.)
298
ГЛАВА 23
23.17 Показать, что в упражнении 23.14 критическая область
„2/„2-^. — .-
аа/2'
"а/2
для двусторонней альтернативы Я4: 9 ф 1 смещена, если п4 Ф п%- Поль-
Пользуясь методом примера 23.12, показать, что несмещенная критическая об-
область
определяется условием (см. B3.56))
где f — плотность отношения дисперсий t, a Va — ее ЮОа-процентная точка.
Показать также, что функция мощности несмещенного критерия монотонно
возрастает при 9 > 1 и монотонно убывает при 9 < 1.
(Рамачаидран A958) приводит зна-
значения Vl_ai, Fa2 для а=0,05, щ — 1
и п2—1 = 2ALBI2DJ4, 30, 40,
60.)
23.18 Показать, что в упражнении 23.17 несмещенный доверительный ин-
интервал l^z—, -rrz 1 для 9 минимизирует математическое ожидание
(log U—log 2.) в классе доверительных интервалов (L, U), основанных иа
«хвостах» распределения t.
(Шеффе, 1942b.)
23.19 Используя 23.27, показать, что в примере 23:15 РНМН критерии
для 2J ctV-i основаны иа распределении статистики
имеющей ^-распределение Стьюдента ел — k степенями свободы.
23.20 Показать, что в примере 23.16 существует РНМН критерий для
гипотезы
• = а-
I Ф I, ц;- ф 0.
23.21 Для случая независимых выборок из двух пуассоновских распре-
распределений с параметрами \i±, \iz показать, что для всех четырех гипотез пунк-
пунктов 23.30—32, касающихся щ/М*. существуют РНМН критерии и что крите-
критерий для fii/(i2 = 1 состоит в проверке того, что сумма наблюдений распре-
распределена между двумя выборками по биномиальному закону с равными ве-
вероятностями.
(Леман и Шеффе, 1955.)
23.22 Для случая независимых биномиальных распределений с парамет-
параметрами 9i, 92 найти РНМН критерии для всех четырех гипотез пунктов
¦;—'~п~ )/[—,—^7Г"|| а также
1 — 9j it \ 1 — 92;
РНМН критерии для 61 = 92, 9i ^ %%.
(Леман и Шеффе, 1955.)
ПРОВЕРКА ГИПОТЕЗ: СЛОЖНЫЕ ГИПОТЕЗЫ 299
23.23 Для прямоугольного распределения
1
условное распределение средины размаха М при фиксированном размахе R
и маргинальное распределение М получены в упражнениях 14.12, 14.13 и
4.16. Показать, что при проверке гипотезы Но: 9 = 9о против двусторонней
альтернативы Н\\ 9 Ф 6о критерий с равными «хвостами», основанный на
распределении М при фиксированном R, после интегрирования по R дает
критерий равномерно менее мощный, чем критерий с равными «хвостами»,
основанный иа маргинальном распределении М. Для удобства использовать
а = 0,08.
(Уэлч, 1939.)
23.24 Показать, что в примере 23.9 РНМН критерий для проверки
Но: 0 = 0о против Яг. о ф Оо имеет вид
. (Леман, 1947.)
23.25 Показать, что в случае распределения примера 23.9 РНМ подоб-
подобный критерий для проверки Но'- 9 = 9о против Я4: 9 Ф во имеет вид
>аа.
(Лемаи, 1947.)
23.26 Показать, что в случае прямоугольного распределения
dF = dx/в, (х < х < и + 9,
РНМ подобный критерий для проверки На: Ц = цо против Ht: ц ф \хо имеет
вид
Г— < 0, > са.
Ср. со случаем простой гипотезы при 9 = 1, когда, как было показано
в упражнении 22.8, РНМ критерия не существует.
(Лемаи, 1947.)
23.27 Пусть х±, ..., хп — независимые наблюдения из распределения
dF--
1
ет
•ехр(— x/Q)x"~l dx, р>0,
Используя упражнения 23.6 и 23.7, показать, что для того, чтобы статистика
п
h(xi Хп) че зависела от S = ^ xt, необходимо и достаточно, чтобы
i=i
h(xi, ..., хп) была однородной функцией от х степени 0 (см. ссылки к
упражнению 15.22).
23.28 Используя B3.113) и B3.114), показать, что если первая отличная
от нуля производная функции мощности имеет порядок т, то
Р(т) (ш | в) = cov {[s — М (s)]m, с (ш)}
J
4 '
ЗСКУ ГЛАВА 23
где цг есть r-й центральный момент s. В частности,
23.29 Используя 23.35, показать, что w является подобной областью для
некоторой гипотезы с мешающим параметром 8 тогда и только тогда, когда
cov{s, с (ш)} = 0
тождественно по 9. См. упражнения 23.3, 23.4.
23.30 Обобщая доказательство, приведенное в конце примера 23.7, пока-
показать, что для любого распределения вида
обладающего полной достаточной статистикой для а при известном ц, не
может существовать подобной области для На: ц = [л0 против Н\-. \i = ц4,
мощность которой не зависит от а.
23.31 Для случая нормального распределения со средним и дисперсией,
равными 9, показать, что при объеме выборки п = 1 обе статистики х и х2
являются достаточными для 9, причем только х2 будет минимальной. Отсюда
следует, что одномерная достаточность ие влечет минимальной достаточно-
достаточности. Упражнение 18.13 иллюстрирует этот же факт в двумерном случае.
Г Л А В А 24
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
И ОБЩАЯ ЛИНЕЙНАЯ ГИПОТЕЗА
24.1 Разобранный в главе 18 метод МП является конструк-
конструктивным методом для получения оценок, которые (при опреде-
определенных условиях) обладают желаемыми свойствами. К нему
близок предложенный Нейманом и Пирсоном A928) метод от-
отношения правдоподобия (ОП), используемый для проверки ги-
гипотез. Он играет такую же роль в теории проверки гипотез, как
метод МП в теории оценивания.
Как и прежде, у нас имеется ФП
где 0 = @r, 6S) — вектор r + s=k параметров (г > 1, s>\0),
а х также может быть вектором. Мы хотим проверить гипотезу
#0:ег = ег0, B4.1)
которая при s Ф 0 является сложной, против
Я^ 0Г =5^=9г0.
Известно, что в этой задаче, вообще говоря, нет РНМ критерия,
но может существовать РНМН критерий (см. 23.31).
По методу ОП вначале требуется найти МП-оценки вектора
@r, 0S), дающие безусловный максимум ФП
L (х\ 6Г, 9S),
B4.2)
и, кроме того, МП-оценки для 0S в предположении, что имеет
место Но*), при которых достигается условный максимум ФП
L(x\Qr0, 6S).
B4.3)
В B4.3) использовано обозначение 0S, указывающее на то,
что в общем случае эти оценки не совпадают с 03 из B4.2).
*) Когда s = О, Но является простой гипотезой, и не нужно искать
максимум, так как тогда значение L определено однозначно.
ЗСКУ ГЛАВА 23
где цг есть r-й центральный момент s. В частности,
23.29 Используй 23.35, показать, что w является подобной областью для
некоторой гипотезы с мешающим параметром 9 тогда и только тогда, когда
cov{s, с (ш)} = О
тождественно по 9. См. упражнения 23.3, 23.4.
23.30 Обобщая доказательство, приведенное в конце примера 23.7, пока-
показать, что для любого распределения вида
обладающего полной достаточной статистикой для or при известном ц, не
может существовать подобной области для На: ц = ц0 против Hi: ц = ц4,
мощность которой не зависит от а.
23.31 Для случая нормального распределения со средним и дисперсией,
равными 8, показать, что при объеме выборки п = 1 обе статистики х и х2
являются достаточными для 9, причем только х2 будет минимальной. Отсюда
следует, что одномерная достаточность не влечет минимальной достаточно-
достаточности. Упражнение 18.13 иллюстрирует этот же факт в двумерном случае.
Г Л А В А 24
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
И ОБЩАЯ ЛИНЕЙНАЯ ГИПОТЕЗА
24.1 Разобранный в главе 18 метод МП является конструк-
конструктивным методом для получения оценок, которые (при опреде-
определенных условиях) обладают желаемыми свойствами. К нему
близок предложенный Нейманом и Пирсоном A928) метод от-
отношения правдоподобия (ОП), используемый для проверки ги-
гипотез. Он играет такую же роль в теории проверки гипотез, как
метод МП в теории оценивания.
Как и прежде, у нас имеется ФП
Ш
где 6 = @Г, 8S) — вектор r + s = k параметров (г >¦ 1, s>0),
а х также может быть вектором. Мы хотим проверить гипотезу
Я0:ег = 8г0) B4.1)
которая при s =?ь 0 является сложной, против
Известно, что в этой задаче, вообще говоря, нет РНМ критерия,
но может существовать РНМН критерий (см. 23.31).
По методу ОП вначале требуется найти МП-оценки вектора
Fr, 9S), дающие безусловный максимум ФП
L (х\ 8Г, 6,),
B4.2)
и, кроме того, МП-оценки для 0S в предположении, что имеет
место Но*), при которых достигается условный максимум ФП
L{x\Qr0, в.).
B4.3)
В B4.3) использовано обозначение Qs, указывающее на то,
что в общем случае эти оценки не совпадают с 0S из B4.2).
*) Когда s = 0, Но является простой гипотезой, и не нужно искать
максимум, так как тогда значение L определено однозначно.
302
ГЛАВА 24
Рассмотрим теперь отношение правдоподобия*)
1_ Ь(х\9ГО, It)
Цх\йг,
B4.4)
Поскольку B4.4) является отношением условного максимума
ФП к безусловному, то, очевидно,
0</<1. B4.5)
Интуитивно понятно, что / является разумной статистикой кри-
критерия для проверки Но. Действительно, она представляет собой
максимум правдоподобия при гипотезе Яо, отнесенный к своей
наибольшей возможной величине, и большое значение / указы-
указывает на то, что разумно принять Яо. Критическая область этого
критерия имеет, следовательно, вид
/<св, B4.6)
где са определяется по распределению g(l) статистики / так,
чтобы получить критерий размера ос, а именно:
B4.7)
24.2 Для того чтобы метод ОП мог быть полезным при по-
построений подобных критериев, т. е. критериев, основанных на
подобных критических областях, распределение статистики / не
должно зависеть от мешающих параметров. Именно так об-
обстоит дело в большинстве статистических задач. Следующие два
примера иллюстрируют предложенный метод. В одном из них он
приводит к подобному критерию, а в другом нет.
Пример 24.1
Для нормального распределения
проверяется гипотеза
Здесь
L (х\ ц, а2) =
Яо: ц = ц,0.
*) Это отношение обычно обозначают X, а статистику ОП иногда на-
называют «лямбда статистикой». Здесь мы используем латинскую букву, так
как греческими буквами, как ранее было условлено, обозначаются пара-
параметры.
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
303
Используя пример 18.11, получаем безусловные МП-оценки
,й = х, а2 = — ^ (л; — хJ = s2,
так что
L (х\ ?, а2) = Bns2rnl2 exp (- л/2).
B4.8)
Когда справедлива гипотеза #0, МП-оценкой служит (см. при-
пример 18.8)
и поэтому
L (л; t (lo, а2) = [2я {s2 + (х —
Из B4.4), B4.8) и B4.9) находим
или
ехр (- /г/2).
B4.9)
1 +
t2
rt-1
где t имеет ^-распределение Стьюдента с п — 1 степенями сво-
свободы. Отсюда видно, что / является монотонно убывающей
функцией от t2. Следовательно, вместо распределения величи-
величины / можно использовать известное распределение статистики
Р, отвергая 100а процентов наибольших значений Р, что соот-
соответствует 100а процентам наименьших значений /. Таким, обра-
образом, получен критерий, основанный на распределении кстати-
стики Стьюдента, у которого половина критической области
состоит из крайних положительных, а половина — из крайних
отрицательных значений величины t. Это вполне разумный кри-
критерий, и в примере 23.14 мы видели, что он является РНМН
критерием для гипотезы Яо.
Пример 24.2
Рассмотрим снова проблему двух средних, подробно обсу-
обсуждавшуюся в главах 21 и 23. По выборкам объемов пи п2 из
нормальных совокупностей с параметрами (ц,, а2), (ц2, of) нуж-
нужно проверить гипотезу Но: \х\ = Цг, которую можно представить
(см. 23.2) в виде Яо: 9 = щ — ц2 = 0. Обозначим ц общее не-
неизвестное значение среднего. Имеем
304 ГЛАВА 24
Безусловными МП-оценками служат
так что
1(*|А,, А2, Ь\, dl) = Bnrin'
Когда выполняется гипотеза Но, то МП-оценки находятся из
системы уравнений
|
""
а2
«1
B4.10)
Подставляя решение системы B4.10) в ФП, получаем
of) =
ехр{ - 1 (n, + л,)
и отношение правдоподобия равно
/=|4М Ы =
or
or,
4
S2
B4.11)
Чтобы использовать B4.11), нужно определить fi. Из B4.10V
видно, что \i является решением кубического по ц уравнения,
коэффициенты которого зависят от щ, от сумм наблюдений и
от сумм их квадратов по каждой выборке. Мы не можем выпи-
выписать \х в виде явной функции, хотя в каждой конкретной задаче
уравнение можно решить численно. Во всяком случае распре-
распределение получаемого решения зависит от отношения о\1а\, по-
потому что ц есть функция от s\ и s\. Следовательно, статистика /
имеет вид
Таким образом, метод ОП не дает в этом случае подобного кри-
критерия.
24.3 Если (как в примере 24.1) оказывается, что статисти-
статистика ОП является взаимно однозначной функцией некоторой ста-
статистики, распределение которой либо известно точно (как в
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
305
упомянутом примере), либо может быть найдено, то нетрудно
построить критерий для проверки гипотезы Но, хотя вопрос о
том, какими желательными свойствами обладают критерии ОП,
еще ожидает решения. Однако часто оказывается, что метод ОП
не так удобен. Это происходит тогда, когда статистика ОП
представляет собой более или менее сложную функцию от на-
наблюдений, точное распределение которой не может быть полу-
получено (как в примере 24.2). В таком случае приходится аппро-
аппроксимировать ее распределение.
Поскольку статистика / распределена на интервале @, 1), то
для любой фиксированной константы с > 0 величина w =
= —2с log/ принимает значения на интервале @, оо). Есте-
Естественно поэтому аппроксимировать распределение последней
распределением %2, сосредоточенным также на интервале @, оо),
подбирая константу так, чтобы сделать приближение как можно
более точным. Причина использования такой аппроксимации со-
состоит в том, что с ростом п распределение величины —2 log /
при гипотезе Яо (как будет доказано в 24.7) стремится к рас-
распределению х2 с г степенями свободы. На самом деле мы смо-
сможем найти асимптотическое распределение для —2log/ и при
гипотезе Н\, но для этого нам необходимо ввести некоторое
обобщение ^-распределения.
Нецентральное ^-распределение
24.4 В 16.2—3 мы видели, что сумма квадратов п независи-
независимых нормированных нормальных величин имеет распределение
%2 с п степенями свободы A6.1), а ее х. ф. дается формулой
A6.3). Рассмотрим теперь распределение статистики
где Хг — по-прежнему независимые нормальные величины с еди-
единичной дисперсией, но их средние значения отличны от нуля и
М (*,) = !*?. 2Х = Я. B4.12)
Запишем совместное распределение для Xi в виде
dF ос ехр{ - у (х - ц)' (х - ц) Щ dxt.
С помощью ортогонального преобразования перейдем к новой
системе независимых нормальных величин с единичными дис-
дисперсиями;
V = Вх.
306
ГЛАВА 24
Поскольку
то
в'в = ц> = X
B4.13)
вследствие равенства В'В = I. Сделаем теперь первые п—1
компонент вектора 9 равными нулю. Тогда из B4.13)
Таким образом, величина
z = х'х = у'у
есть сумма квадратов п независимых нормальных величин, пер-
первые п — 1 из которых нормированы, а последняя имеет среднее
X1'2 и дисперсию 1. Обозначим
п-1
где и распределена как %2 с п — 1 степенями свободы. Величина
уп имеет распределение
. dp ос ехр j — -^{уп — кт) |dyn,
откуда получаем распределение для v:
fx{v)dvcc—jTj- ехр j —-40 — л ) \ + exp — — {—v —X ) ,
или
оо
fi(v)dv oc y-exp| — -j(v + A,)|2j {^)Г B4.14)
Величины о и и имеют совместное распределение
dG ос /, (w) /2 (") dv du, B4.15)
где /г есть х2-распределение с п— 1 степенями свободы,
f2 (и) du ос е-»'2ы(«-з>/2 du. B4.16)
Подставим B4.14) и B4.16) в B4.15) и сделаем преобразование
и
= u + v, ay =
и + v
с якобианом, равным z. Для совместного распределения z и да
находим
оо
dG B, да) ос е-(г+Я)/22(п-2)/2щ,(п-з)/2 ^ _ ш)-1/2 V -^j- A — да)г йда t/г.
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
307
Ин-Гегрируя теперь по да от 0 до 1, получаем маргинальное рас-
распределение величины z:
оо
dH (z) ос е-<*+*>я2<я-2>/2 2 j^ В {1 (п - 1), 4 + г } dz. B4.17)
г=0
Для того чтобы определить константу в B4.17), напомним, что
она не зависит от л, и положим Я, = 0. Распределение B4.17)
должно тогда перейти в обычное %2-распределение с п степеня-
степенями свободы, даваемое равенством A6.1). Непостоянные множи-
множители при этом совпадают, но константа в B4.17) равна
в{1(п-1),|}=Г^-г;^)ГA/2)- ™гда как в A6.1) она
равна 1/[2п/2Г(/г/2)]. Мы должны, следовательно, разделить
B4.17) на 2"/2Г{(л— 1)/2}ГA/2) и, заменяя п на v, для любого
X окончательно имеем
dH(z) —
B4.18)
24.5 Распределение B4.18) называется нецентральным
Х2-распределением с v степенями свободы и параметром нецен-
нецентральности X и обозначается иногда %' (v, X). Оно впервые вве-
введено Фишером A928а) и изучалось Уишартом A932), Патнай-
ком A949) и Тайкью A965а). Поскольку его первые два семи-
семиинварианта равны (см. упражнение 24.1)
щ = у + Х, x2 = 2(v + 2X), B4.19)
то оно следующим образом может быть приближено (централь-
(центральным) х2"РаспРеДелением- Полагая X = 0, v = v* (в 24.19), на-
находим первые два семиинварианта %2 с v* степенями свободы:
xi = v*, x2 = 2v*. B4.20)
Если мы приравняем между собой первые два семиинварианта
величин %' и р%2, где константу р предстоит определить, то из
B4.19) и B4.20) получим
v + X = pv', 2 (v + 2Я.) = 2p2v',
так что %' /р имеет приближенно центральное %2"РаспРеДеле-
ние при
v + 2Я "г" v + 2Я " j
Заметим, что v* принимает в общем случае дробные значения^
308
ГЛАВА 24
Патнайк A949) показал, что это приближение для ф. р. %'2
удовлетворительно для многих целей, но он дал и лучшие при-
приближения, полученные из разложений в ряды Эджворта.
Если v* велико, то можно сделать более простое приближе-
приближение, используя вместо %2 ее собственное приближенное распре-
распределение. Действительно, величина B%' /р) (см. 16.6) асимпто-
асимптотически нормальна со средним Bv* — 1I/2и дисперсией 1. Кроме
того, %' /р также асимптотически нормальна с параметрами
(v*, 2v*), но сходимость в этом случае медленнее.
Если V—*оо, то р—»-1 и v* ~ v, но если А,—*оо, то р—>2 и
v* ~ V2.
24.6 Обобщим теперь результат из 24.4. Предположим, что
х есть я-мерный нормальный вектор со средним ц и невырожден-
невырожденной матрицей рассеяния V. Можно найти ортогональное пре-
преобразование х = By, которое приводит квадратичную форму
x'V~lx к диагональному виду yB'V~lBy=y'Cy, при этом диа-
диагональные элементы матрицы С будут характеристическими
числами матрицы V~K Применим далее к у'Су масштабное пре-
преобразование у = Dz, где элементы диагональной матрицы
D обратны квадратным корням из соответствующих элементов
С, так что D2 — С~1. Таким образом, x'V~1x = yCy = z'z
и г есть вектор, состоящий из п независимых нормальных
величин, имеющих единичную дисперсию. Среднее значение
этого вектора равно в и удовлетворяет уравнению fi — BDQ.
Итак, Я, = 6 6 = fi/V~ ц. Мы свели теперь задачу к случаю, рас-
рассмотренному в 24.4. Отсюда видно, что квадратичная форма
x'V-'x, где х — нормальный вектор с матрицей рассеяния V и
средним значением ц, имеет нецентральное ^-распределение
с п степенями свободы и параметром нецентральности fi'V~lfi.
Это обобщает результат, полученный в 15.10 для многомерных
нормальных величин с нулевым средним.
Грейбилл и Марсалья A957) обобщили теоремы о распределении квадра-
квадратичных форм от нормальных величин, рассматривавшиеся в 15.10—21 и в
упражнениях 15.13, 15.17, на случай, когда х имеет среднее ц Ф 0. Идемпо-
Идемпотентность матрицы является тогда необходимым и достаточным условием
того, чтобы соответствующая ей квадратичная форма имела нецентральное
^-распределение. При такой модификации выполняются все теоремы из
главы 15.
Асимптотическое распределение статистики ОП
24.7 В 18.6 было показано, что при условиях регулярности
МП-оценка (которую временно обозначим t) одномерного пара-
параметра 6 асимптотически достигает МГД. Согласно 17.7 ФП
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
309
имеет асимптотическое представление
д
или
B4.22)
B4.23)
Отсюда видно, что ФП сводится к нормальному распределению
«асимптотически достаточной» статистики t.
В случае й-мерного вектора параметров в матричный аналог
B4.22) имеет вид
±M^ (t-QYv-1, B4.24)
где V — матрица с элементами (см. 18.26)
I/-' = _ м
V" m
Интегрируя B4.24), получаем аналог соотношения B4.23):
B4.25)
В 18.26 мы видели, что при условиях регулярности вектор
МП-оценок t асимптотически имеет многомерное нормальное
распределение с матрицей рассеяния V. Таким образом, ФП сво-
сводится к многомерному нормальному распределению вектора t.
Этот результат был строго доказан Вальдом A943а).
Теперь можно легко установить асимптотическое распреде-
распределение статистики ОП /, определенной в B4.4). В силу B4.25)
задача сводится к рассмотрению отношения максимума правой
части B4.25) при гипотезе Яо к ее максимуму при Яь Когда
выполняется Я], максимум B4.25) достигается в точке в =
= в = t. Тогда каждая компонента вектора (t— в) равна нулю,
и мы получаем
L(x\Qr, в,)ос1. B4.26)
Если же имеет место гипотеза Яо, то s компонент вектора
(t— в), соответствующих Qs, будут по-прежнему нулями, потому
что максимум B4.25) достигается при QS = QS =ts. При этом
B4.25) имеет вид
L {х| ег0, \) ее ехр{ - у (tr - 6*,)' V71 (tr - вго) }, B4.27)
где индекс г указывает на то, что мы имеем дело с г-мерным
распределением. Таким образом, из B4.26) и B4.27)
310
Отсюда
ГЛАВА 24
- 2 log i = (tr - er0)' vr1 {tr - er0).
Мы знаем, что tr подчиняется многомерному нормальному рас-
распределению с матрицей рассеяния Vr и вектором средних вг.
Итак, согласно результату из 24.6 статистика —2 log/ в случае
проверки гипотезы, налагающей г ограничений, имеет асимпто-
асимптотически нецентральное %2-распределение с г степенями свободы
и параметром нецентральности
X = (иг — uroj Vr ("г — "rOj- (z4:.zo)
Приведенный результат принадлежит Вальду A943а). Когда
выполняется гипотеза Яо, то X = 0 и указанное распределение
сводится к центральному %2"РаспРеДелению с /• степенями сво-
свободы. Последний факт впервые был доказан Уилксом A938а).
Простое и строгое доказательство результата, относящегося к
гипотезе Но, дал К. Рой A957). Следует подчеркнуть, что ука-
указанные результаты имеют место только тогда, когда выполнены
условия, гарантирующие асимптотическую нормальность и эф-
эффективность МП-оценок.
Асимптотическая мощность критериев ОП
24.8 Результат пункта 24.7 делает возможным вычисление
асимптотической функции мощности критерия ОП в тех случаях,
когда выполнены условия, при которых он справедлив. Для
этого мы должны сначала найти матрицу V71, а затем интеграл
ОО
Р= J dx'\v, X), B4.29)
где %^2(v, 0) есть 100A—а)-процентная точка центрального
Х2-распределения. Величина Р представляет собой мощность
критерия, а при Я, = 0 — его размер.
Патнайк A949) приводит таблицу значений Р для а — 0,05, числа сте-
степеней свободы 2AI2BJ0 и X = 2BJ0. Прн 1 степени свободы можно оце-
оценить Р, используя нормальную ф. р., как показано ниже, в примере 24.3.
Фикс A949b) приводит таблицы обратной зависимости, в которых даны
значения Я для числа степеней свободы 1AJ0BL0EN0A0I00; а = 0,05,
а = 0,01 и Р (у нее 0) = 0,1@,1H,9 *).
Если прибегнуть к аппроксимации нецентрального рас-
распределения, приведенной в 24.5, то, согласно B4.21) с v = г,
*) Таблицы Фнкс воспроизведены в книге Таблицы математической ста-
статистики. (Прим. ред.)
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
соотношение B4.29) перепишется в виде
ОО
311
B4.30)
где х2(г) —центральное х2-распределение с г степенями свобо-
свободы, а %2а(г)—его 100A—а)-процентная точка. Подстановка
Я, = 0 в B4.30) дает размер критерия.
Число степеней свободы в B4.30) обычно дробное, и поэтому
необходима интерполяция при использовании таблиц %2-распре-
деления.
Параметр нецентральности А,, определенный в B4.28), пред-
представляет собой (в предположении условий регулярности) квад-
квадратичную форму, коэффициентами которой служат элементы
матрицы V^1. Из этого вытекает, что (поскольку дисперсии и
ковариации имеют порядок п~1) X будет содержать множитель п,
и, следовательно, мощность B4.29) будет стремиться к 1, ко-
когда п возрастает.
Пример 24.3
Проверить гипотезу Яо: в2 = а1 для нормального распреде-
распределения из примера 24.1. Безусловные МП-оценки остаются теми
же, так что B4.8) по-прежнему является безусловным макси-
максимумом ФП. Пусть, справедлива гипотеза Но, тогда \х = х есть
МП-оценка параметра ц (пример 18.2). Таким образом,
Z.(*||T, сф = |
ч-п/2 ,
exp — - ¦
B4.31)
Отношение B4.31) к B4.8) дает
поэтому
.2\rt/2
ехр
-t*D-i
±e-t
п
B4.32)
где t = ns2/ol. Величина z является монотонной функцией от /,
но она не монотонна относительно tin. Ее производная равна
¦2Г—Ml-1)'-"--
at п \ п)
Следовательно, z возрастает при t < n до максимума в точке
t = п и затем убывает. Неравенство / ^ са эквивалентно тому,
312
ГЛАВА 24
что t sg; aa, t ^ ba, где аа, ba, согласно B4.32), определяются из
соотношений
u-ac — Vgy • J
B4.33)
Поскольку при гипотезе Яо статистика t имеет х2-распределение
сп — 1 степенями свободы, то с помощью таблиц этого распре-
распределения можно решить систему уравнений B4.33).
Рассмотрим теперь приближенное распределение величины
Так какМ* = п— 1, Dt = 2(n~ 1), то
- 2 log / = (* -/г) - «log (l +-^-) =
= (t-n)-n
¦t-n (t- nY
~H 2P~
+ o(n~2)} ={t 2^J + о (n~l). B4.34)
Мы видели в 16.6, что %2-величина en—1 степенями свободы
при я->-оо асимптотически нормальна со средним (п—1) и
дисперсией 2{п— 1) или, что эквивалентно, величина
(t — n)/BnI/2 стремится к стандартной нормальной величине.
Следовательно, первое слагаемое в B4.34), представляющее со-
собой ее квадрат, имеет %2-распределение с одной степенью сво-
свободы. Именно это распределение величины — 2 log / дает общий
результат из 24.7 в случае, когда выполняется Яо. Этот резуль-
результат говорит также, что, когда гипотеза Яо неверна, —2 log l под-
подчиняется нецентральному ^-распределению с одной степенью
свободы и параметром нецентральности, равным согласно
B4.28)
«Э2
— "'
Таким образом, в данном случае, когда г=1, выражение
B4.30) для приближенной мощности критерия ОП имеет вид
=- J
( '» У
J
1 + 2А,
)¦
B4.35)
Для иллюстрации оценим Р для одного значения А, и удобным
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
313
образом выбранного п. Задавая з^A) = 3,84, получаем крите-
критерий уровня 0,05. Пусть сг2 = erf = 1,25<т^— альтернативная ги-
гипотеза. Тогда имеем А, = 0,02 я и, полагая п = 50, находим
Х= 1. Из соотношения B4.35) вытекает, что
2,56
Используя Biometrika Tables, с помощью простой интерполяции
между 1 и 2 степенями свободы определяем, что приближенно
Р = 0,166. Точное значение мощности может быть получено из
нормальной ф. р. Это есть мощность критерия размера а с рав-
равными «хвостами» против альтернативной гипотезы, состоящей
1/2
в смещении среднего на X =1 среднеквадратичное отклонение
от среднего при Яо, т. е. доля альтернативного распределения,
лежащая вне интервала (—2,96, +0.96) среднеквадратичных
отклонений от его среднего. Таблицы нормального распределе-
распределения дают значение Р = 0,170; Аппроксимация для функции мощ-
мощности получилась, таким образом, вполне хорошей.
Более точные аппроксимации для распределения статистики О П
24.9 Ограничиваясь теперь распределением статистики / при
гипотезе Яо, можно искать более точные приближения, чем
асимптотический результат из 24.7. В 24.3 было указано, что
если мы хотим найти х2-приближение для распределения функ-
функции от /, то полезно рассмотреть величину w = —2с log I и по-
подобрать константу с так, чтобы улучшить аппроксимацию.
Для этого проще всего было бы найти математическое ожи-
ожидание w и подобрать такое с, при котором оно равно математи-
математическому ожиданию величины х2 с г степенями свободы, т. е.
М (ш;) = г. Аппроксимация такого сорта впервые была получе-
получена Бартлеттом A937). Общий способ определения константы с
предложил Лоли A956), который для исследования моментов
величины —2 l@g / существенно использует методы из 20.15.
Если
B4.36)
B4.37)
то, как показал Лоли, полагая
Либо ХЮч = —S
мы не только получаем, что
314
ГЛАВА 24
как это сразу следует из B4.36) и B4.37), но и что все семи-
семиинварианты статистики w совпадают, с точностью до п~\ с семи-
семиинвариантами величины %2, имеющей г степеней свободы. Про-
Простая масштабная поправка, которая согласует среднее w с пра-
правильным значением, является, таким образом, несомненным
улучшением.
Если требуются более точные приближения, то их можно получить с
помощью метода, принадлежащего Боксу A949). Бокс приводит улучшенные
Х2-аппроксимации (см. 42.11, т. 3) и показывает, как найти функцию от
—2 log /, имеющую распределение дисперсионного отношения, а также вы-
выводит асимптотическое разложение для ее распределения в терминах непол-
неполных гамма-функций.
Пример 24.4
Пусть имеется k независимых выборок объемов пг (i=l,
2, . .., k; tii ^ 2), извлеченных из нормальных совокупностей со
средними |1д.г- и дисперсиями а\. Нужно проверить гипотезу
это сложная гипотеза, налагающая r = k—1 ограничений
_2 „2 _2
°2 ^3^kj
и имеющая s — k-\-l степеней свободы. Обозначим а2 общее
неизвестное значение дисперсии.
Безусловный максимум ФП получается, как и в примере
24.1, если положить
= х
-i Л1>
ст2 =
—
(х — х У =
Он равен
где
2. B4.38)
При гипотезе Но МП-оценки средних и общей дисперсии имеют
вид
ло 1 V^ о о
= xt, а\ = - 2| "А = s .
i—i
откуда
B4.39)
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
Из B4.4), B4.38) и B4.39) имеем
I
так что
А / о \ Я • /9
=п(#)
1=1
315
B4.40)
B4.41)
— 2 log / = п log (s2) — 2 пг
Когда выполняется гипотеза Яо, каждая из статистик
имеет гамма-распределение с параметром -j (пг — 1), а их сум-
к
:— такое же распределение уже с параметром Угл^Щ—1) =
= — (п — k). Для величины ^имеющей гамма-распределение
с параметром р, имеем
М
оо
{log (ах)} = т^у- J log (ax) e~xx^ dx = log a + -^ log Г (/>),
откуда, используя ряд Стерлинга C.63), получаем
М {log (ax)} = log a + log р - -1- - -^г + О (-^-). B4.42)
Пользуясь B4.42), получаем из B4.41)
M{-21og/} =
316
ГЛАВА 24
где N обозначает любую из величин гц или п. Мы можем теперь
улучшить х2-приближение, полагая, в соответствии с B4.36),
выражение в квадратных скобках B4.43) равным (k — 1) —.
Рассмотрим теперь модификацию Бартлетта A937) для ста-
статистики ОП B4.40), в которой nt повсюду заменяется на «число
степеней свободы» щ — 1 =\и так что п заменяется на \ —
= 2
— О = п — k- Мы обозначим ее
Г
=пШь
где теперь
Таким образом,
— 2log/* = vlogs2— 2 v.log.
B4.44)
В примере 24.6 мы увидим, что статистика /* обладает тем пре-
преимуществом перед-/, что соответствующий ей критерий несме-
щен при любых значениях щ. Если мы повторим переход от
B4.42) к B4.43), то найдем, что
M(-21ogO =
&)- B4-45)
Из B4.37) и B4.45) следует, что величину —2 log/*, определен-
определенную в B4.44), нужно разделить на
1 (V ¦ 1 А
-I) [A vf vj'
чтобы получить более точное приближение к ^-распределению
с k — 1 степенями свободы.
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ 317
Критерии ОП в случае, когда область зависит от параметра
24.10 Асимптотическое распределение статистики ОП, дан-
данное в 24.7, существенно опирается на условия регулярности, не-
необходимые для того, чтобы установить асимптотическую нор-
нормальность МП-оценок. Эти условия нарушаются (как мы ви-
видели в примере 18.5), если область определения исходного рас-
распределения зависит от параметра 6. Что же в таком случае
можно сказать о распределении ОП-статистики? Замечательный
факт, доказанный Хоггом A956), состоит в том, что для опре-
определенных гипотез, касающихся указанных распределений, ста-
статистика —2 log / имеет в точности %2-распределение, Но с 1т
степенями свободы, т. е. число степеней свободы вдвое больше
количества ограничений, налагаемых гипотезой.
24.11 Выведем сначала некоторые предварительные резуль-
результаты, касающиеся прямоугольных распределений. Пусть k не-
независимых величин Zi распределены по закону
dF = dzi, 0 < Zi < 1. B4.46)
Величина
— — 2 log z,
имеет, как легко видеть, распределение
являющееся х2-распределением с двумя степенями свободы. По-
Поэтому сумма k таких величин
k к к
t = 2 U = - 2 2 log zi = - 2 log Ц г,
подчиняется %2-распределению с 2k степенями свободы.
Из A4.1) следует, что наибольшее наблюдение У(п\ среди
Пх независимых наблюдений из прямоугольного распределения
на @, 1) имеет распределение
,<1, B4.47)
и, следовательно, величина У(п) = 21 распределена равномерно
по закону B4.46). Таким образом, в случае k независимых вы-
борок объемов П{ статистика t=—2 1ogJI«/^, имеет ^-рас-
^-распределение с 2k степенями свободы.
Рассмотрим теперь распределение наибольшего среди k наи-
наибольших значений У,п.у Поскольку все наблюдения независимы,
318
ГЛАВА 24
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
319
k
то это попросту есть наибольшее среди п=^гц наблюдений,
взятых из исходного прямоугольного распределения. Если обо-
обозначим указанное наибольшее значение через ?/(П), то величина
— 2 log у* , согласно сказанному выше, будет иметь х2-распре-
деление с двумя степенями свободы. Докажем теперь незави-
независимость статистик г/(п) и и — Д У\п.\1^1пу Пусть исходное пря-
прямоугольное распределение сосредоточено на интервале @,9).
Тогда согласно B4.47) совместная плотность величинУ,пл равна
il
Как показано в 17.40, у{п) — достаточная статистика для 9, а в
силу 23.12 ее распределение полно. Таким образом, согласно
упражнению 23.7, для того чтобы установить независимость ве-
величины и от полной достаточной статистики г/(П) нам нужно толь:
ко заметить, что распределение и не зависит от параметра 0.
Величины у,п) и и, а следовательно, и у?п) и и независимы.
Обозначим ф, (/) х. ф. величины — 2 log г/"п), ф2 (/) — х. ф.
— 2 log 2 У%л и Ч>(*) ~~х- Ф- — 2Iog«. Из предыдущего имеем
(- 2 lag и) + (- 2 log у»,) = - 2 log Д У^у
Используя предыдущие результаты о х2-распределениях и тот
факт, что х. ф. суммы независимых величин равна произведению
их х. ф. (см. 7.18) получаем
1
откуда
ф@-A
Следовательно, статистика —2 log и имеет х2-распределение с
2(k— 1) степенями свободы.
Итак, мы установили, что если имеется k независимых
величин у.а у распределенных по закону B4.47), то величина
k
— 2 log Д упЛ , имеет ^-распределение с 2k степенями свободы.
Далее, если у — наибольшее среди у,п у то статистика
— 2 log | S УПAп.\1у1п\ | подчиняется х2-РаспРеДелению с 2\k — 1)
степенями свободы.
24.12 Рассмотрим теперь два типа ситуаций, в которых су-
существует одномерная достаточная статистика для 0, когда об-
область определения зависит от параметра 0. Возьмем случай,
где только один конец (например, верхний) зависит от 9. Со-
Согласно результатам 17.40 плотность имеет вид
f(x\e) = g(x)lh(Q), а<*<0. B4.48)
Предположим теперь, что имеется k(^ 1) генеральных совокуп-
совокупностей с плотностями /(*i|0i), и мы хотим, основываясь на вы-
выборках объемов rii (i = I, 2, ..., k), проверить простую гипо-
гипотезу
Hq' 01 = 02 = • ¦ • = 6ft = 0О,
налагающую k ограничений. Построим критерий ОП для Но.
Наибольшее наблюдение Х(„.) (см. упражнение 18.1) является
безусловной МП-оценкой параметра 0,. Таким образом,
к п^
L (х | 9„ ..., 0ft) = Д Д {g (Xl/)/[h (*К.))]Ч B4.49)
t^—X J 1
Поскольку Но — простая гипотеза, то, когда она выполняется,
значение ФП определено однозначно и не нужно искать услов-
условную МП-оценку. Имеем
L (х 10o, 0O, . .., во) = Л Л {g (xt,Mh (во)]".
t=i /=i
Следовательно, статистика ОП равна
|ео,...,ео)
I ___ _
L(x\Qu ...,
<24.50)
Если Но выполнена, то величина yl = h^x^ni))lh(QQ^ представляет
собой вероятность того, что наблюдение меньше или равно Х/пл.
Она сама является случайной величиной, распределение которой
находится по распределению*^:
и имеет вид B4.47). Таким образом, согласно результату предьь
дущего пункта статистика
к
подчиняется х2-распределению с 2k степенями свободы.
320
ГЛАВА 24
2 генеральных совокуп-
24.13 Рассмотрим теперь для k
ностей сложную гипотезу
Яо: 9( = 62 = ••• = 6й,
которая налагает k — 1 ограничений, поскольку общее значение
параметра 6 не фиксировано. Как и прежде, безусловный ма-
максимум ФП дается соотношением B4.49). Максимум при гипо-
гипотезе Яо равен L(x\Q, 6, ..., 6), где 9— МП-оценка для 9 по
объединенной выборке, равная х(П). Таким образом, находим
статистику ОП
B4.51)
L(x\Qu...,dk)
Перепишем ее в виде
где 9 — общее неизвестное значение параметра 6,-. Отсюда вид-
но, что в обозначениях предыдущего пункта
[к-
Пий
1=1 V
и согласно 24.11 статистика —2 log l в данном случае подчи-
подчиняется %2-распределению с 2(k — 1) степенями свободы.
24.14 Если оба конца интервала зависят от параметра 9 и
для 6 существует одномерная достаточная статистика, то со-
согласно 17.41
" " ¦" п " ~^и")), B4.52)
где b(Q) должна быть монотонно убывающей функцией от 6.
Пусть имеется k таких совокупностей, f(Xi\Qi), и на основе вы-
выборок объемов tii снова проверяется простая гипотеза
Но: 8( = 02 = • • • = 6ft = 60.
Безусловной МП-оценкой параметра 6* является достаточная
статистика
i{ b~l{x)}
где AT(ii) и x^ni) — соответственно наименьшее и наибольшее на-
наблюдения в t-й выборке. При гипотезе Яо ФП равна L(x\%, ...
.,,, 9о). Отсюда получаем статистику ОП
В„) ТТ rhUt) р ,„4 ,оч
lll5J ' B4<53)
Критерии отношения правдоподобия
321
Точно так же, как в случае соотношения B4.50), убеждаемся,
что
где t/i подчиняются распределению B4.47), и, следовательно,
величина —2 logl снова имеет х2-распределение с 2k степенями
свободы.
Аналогичным образом, в случае сложной гипотезы с k—1
ограничениями (k ^ 2)
Яо: 6( = 62 = ... = 0А
так же, как в 24.13, находим, что статистика ОП равна
где t = min {ti}—МП-оценка 6 по объединенной выборке. За-
Записывая
11 La (в) J / L а (в) J •
мы вновь приводим / к требуемому в 24.11 виду. Отсюда выте-
вытекает, что статистика —2 log/ имеет ^-распределение с 2(й — 1)
степенями свободы.
24.15 Таким образом, мы получили точные %2"РаспРеДеле"
ния для двух классов проверяемых гипотез, касающихся рас-
распределений, у которых концы интервалов зависят от параметра.
Упражнения 24.8 и 24.9 содержат дальнейшие примеры крите-
критериев ОП, одного точного и одного асимптотического, в которых
статистика —2 log / имеет %2~распределение с удвоенным, по
сравнению с количеством ограничений в проверяемой гипотезе,
числом степеней свободы. Заметим, что указанные %2-распреде-
ления возникают не из-за сходимости МП-оценок к многомерной
нормальности, как это было с асимптотическими результатами
для «регулярных» ситуаций в 24.7, а вследствие выявленной в
24.11 тесной связи между прямоугольным и ^-распределениями.
Одно из следствий этого различия состоит в том, что функции
мощности рассматриваемых критериев совершенно отличаются
от полученных в 24.8 с помощью нецентрального %2-РаспРеДе-
ления.
Для простой гипотезы Барр A966) нашел функцию мощно-
мощности критерия, основанного на статистике ОП B4.50), и доказал
его несмещенность. Он показал, что при k = 1 этот критерий
является РНМ (см. пример 22.6 и условие B2.37)); если же
11 М. Кендалл, А. Стыоарт
322
ГЛАВА 24
k > 1, то РНМ критерия не существует, а критерий ОП не яв-
является даже РНМН. В случае сложной гипотезы, приведенной
в 24.13, при k = 2 с помощью функции мощности критерия ОП
со статистикой B4.51) доказывается, что этот критерий ОП яв-
является РНМН.
Свойства критериев ОП
24.16 До сих пор мы всецело занимались нахождением рас-
распределения статистики ОП или некоторой функции от нее. Те-
Теперь нас будут интересовать свойства критериев ОП, в част-
частности их несмещенность и, свойства оптимальности. Однако вна-
вначале рассмотрим более слабое свойство, а именно свойство со-
состоятельности, которое будет сейчас определено.
Состоятельность критерия
24.17 Критерий для проверки гипотезы Яо против класса
альтернатив Н{ называется состоятельным, если при любой
альтернативе из Я] вероятность отвергнуть Яо стремится к 1,
когда объем выборки (выборок) стремится к бесконечности.
Пусть w есть критическая область, ах — выборочная точка.
Тогда определение можно записать так:
lim Р {х е= да | Я,} = 1. B4.54)
Простая и естественная идея состоятельности критерия была
впервые введена Вальдом и Волфовицем A940). Когда возрас-
возрастает число наблюдений, кажется совершенно разумным требо-
требовать, чтобы любой критерий, заслуживающий рассмотрения,
отклонял ложную гипотезу с возрастающей, а в пределе с пол-
полной достоверностью. Состоятельность критерия является столь же
естественным свойством, как и состоятельность оценки A7.7),
и представляет собой в некотором смысле обобщение послед-
последней. Действительно, если критерий, касающийся параметра 6,
основан на статистике, которая является состоятельной оценкой
для 6, то совершенно очевидно, что критерий также будет со*
стоятельным. Однако состоятельный критерий можно получить
и с помощью несостоятельной оценки. Например, если t стре-
стремится по вероятности к а0, то t дает состоятельный критерий
для гипотезы о параметре G. Вообще, для состоятельности кри-
критерия достаточно, чтобы статистика критерия, рассматриваемая
как оценка, стремилась по вероятности к некоторой взаимно
однозначной функции от 0.
Поскольку условием несмещенности критерия размера а (см.
B3.53)) является неравенство
, B4.55)
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
323
то из B4.54) и B4.55) понятно, что состоятельный критерий
будет терять смещение (если оно было) при п-+оо. Однако не-
несмещенный критерий не обязан быть состоятельным*).
Состоятельность и несмещенность критериев ОП
24.18 В 18.10 и 18.22 мы видели, что при некоторых очень
слабых ограничениях МП-оценка 6 вектора 6 состоятельна, хотя
в общем случае она может не быть таковой Если мы имеем
дело с ситуацией, в которой все МП-оценки состоятельны, то из
определения статистики ОП B4.4) видно, что с ростом объема
выборки
l~* L(x\QnQs) ' <24-56)
где 9r, 6S — истинные значения этих параметров, а 9го — зада-
задаваемое гипотезой значение параметра 6Г. Таким образом, когда
выполняется Яо, 1-+-1 по вероятности и, следовательно, граница
са критической области B4.6) будет приближаться к 1. При не-
невыполнении Яо предельным значением / в B4.56) будет неко-
некоторая константа k, удовлетворяющая (см. A8.20)) неравенству
0 <; k < 1, и тогда имеем
Р{/<Са}->1, B4.57)
т. е. критерий ОП состоятелен.
В 24.8, исходя из приближенного вида функции мощности,
мы получили, что при условиях регулярности критерии ОП со-
состоятельны. В 24.15 была выведена состоятельность для другого
случая, не содержащегося в 24.8. Оба этих примера представ-
представляют собой частные случаи полученного сейчас результата.
24.19 Обращаясь к вопросу о несмещенности, вспомним пред-
предпоследнее предложение из 24.17, которое в совокупности с ре-
результатом из 24.18 обеспечивает асимптотическую несмещен-,
ность большинства критериев ОП. Само по себе это не очень
утешительно (хотя это было бы так, если бы при разумных
ограничениях можно было показать, что максимальное смеще-
смещение всегда мало), потому что интуитивно кажется разумным
требовать, чтобы условие несмещенности критерия выполнялось
для выборок всех объемов. Пример 24.5 показывает, что один
важный критерий ОП является смещенным.
Пример 24.5
Рассмотрим снова гипотезу Яо из примера 24.3. Критиче-
Критической областью критерия ОП служат «хвосты» %^_,-распреде-
%^_,-распределения величины t — ns2/ol, определяемые уравнениями B4.33).
*) См. замечание в 17.9 о состоятельных и асимптотически несмещен-
несмещенных оценках.
11*.
324
ГЛАВА 24
В примерах 23.12 и 23.14 мы видели, что несмещенный (в дей-
действительности РНМН) критерий для Яо определяется из соот-
соотношений
ехр (- ао12) =
1
- &«/2). I
ехр (- &«/2)
K ]
Из сравнения B4.58) и B4.33) вытекает, что они дают одина-
одинаковый результат только при условии аа = Ьа, которое выпол-
выполняется лишь в тривиальном случае аа — Ьа = 0, а = 1. Во всех
других случаях эти критерии имеют разные критические области,
причем у критерия ОП значения аа и Ьа больше, чем у несмещен-
несмещенного критерия, т. е. у него большая доля величины а сконцентри-
сконцентрирована на нижнем «хвосте». Рассмотрим альтернативные значе-
значения а2 большие, чем сг2, для которых распределение статистики t
немного смещается в сторону больших значений t по сравнению
с распределением при гипотезе Яо. Нетрудно проверить, что при
таких о2 уменьшение вероятности, соответствующей критической
области критерия ОП, вызванное увеличением Ьа, будет превос-
превосходить ее прирост вследствие большего значения аа. Таким обра-
образом, критерий ОП является смещенным.
На примере 23.12 можно увидеть, что рассмотренный там
критерий с равными «хвостами» имеет значения аа, Ьа, слиш-
слишком малые для несмещенности, тогда как значения аа, Ьа,
соответствующие критерию ОП, для этого слишком велики.
Таким образом, две более или менее интуитивно приемлемые
критические области как бы «ограничивают» с двух сторон кри-
критическую область несмещенного критерия.
Если в B4.33) заменить п на п— 1, то получим в точности
соотношения B4.58) , соответствующие несмещенному крите-
критерию, что подтверждает общее утверждение о том, что критерий
ОП асимптотически теряет свое смещение. Это наводит на
мысль найти причину смещения. Если при построении стати-
статистики ОП в примере 24.3 мы подправим безусловную МП-оценку
параметра о2 так, чтобы она была несмещенной, то s2 заме-
заменится на (—цт) s2 и подправленный критерий ОП будет не-
несмещенным. Итак, смещенность МП-оценки лежит в основе сме-
смещенности критерия ОП.
Несмещенные критерии для параметров сдвига и масштаба
24.20 Пример 24.5 подсказывает, что при построении крите-
критерия ОП полезно подправить используемые МП-оценки с тем,
чтобы они были несмещенными. Подтверждением сказанному
служит пример 24.4, где было установлено, что подправленная
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
325
статистика ОП /* порождает несмещенный критерий. Сейчас
мы докажем это утверждение, используя метод, принадлежа*
щий Питмэну A939b).
Если проверяемая гипотеза касается k параметров сдвига 0*
(t = 1, 2, ..., k), то совместное распределение случайных вели-
величин запишется в виде
dF = /(*,- е„ *2 - е2, ...,** — в») dxx ... dxk. B4.59)
Мы хотим проверить гипотезу
я0: е1 = е2= ... =е*. B4.60)
Любая интуитивно подходящая для построения критерия стати-
статистика t должна удовлетворять условию инвариантности
t(xu х2, .... xk) = t (*, — X, х2 — Х, ..., xk — X). B4.61)
Следовательно, без потери общности можно положить об-
общее значение 6* в B4.60) равным нулю. Предположим, что
t > 0 и что критическая область дао размера а, основанная на
распределении статистики t, определяется неравенством
t<ca. B4.62)
Если бы какие-нибудь из этих предположений не выполнялись,
то мы могли бы перейти к некоторой функции от t, для кото-
которой они имели бы место.
Вследствие свойства инвариантности B4.61) статистика t
должна быть постоянной (в й-мерном пространстве W) на лю-
любой прямой L, параллельной вектору V, определяемому уравне-
уравнениями Х\ — Х2 = ... = хк. Таким образом, область wQ будет
лежать вне гиперцилиндра с осью, параллельной V. При гипо-
гипотезе Но вероятность области дао равна размеру критерия
а= J dF(xu x2,
xk).
B4.63)
Если же Яо неверна, то вероятность области Wo равна мощно-
мощности критерия
i_p= j dF(*, —е„ х2-в2, .... xk — eh)=«
w
= \dF(xx, xs, .... x*), B4.64)
где область W\ получена из дао параллельным переносом в про-
пространстве W. Определим интеграл по любой прямой L, парал-
параллельной V,
P(L)=jf fa, x2, ..., хк) dx. B4.65)
L
326
ГЛАВА 24
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
Поскольку х пробегает произвольную прямую L, а совокупи
ность всех прямых L совпадает с пространством W, то
J P(L)dL = J j J fd*\dl = J ... J f dx,"... <***= 1. B4.66)
Определим теперь область w0 как объединение всех прямых L,
для которых статистика P(L)'*ne превосходит некоторой по-
постоянной h. Тогда P(L) будет больше h на- любой прямой L,
принадлежащей w\ и не принадлежащей доо- Следовательно, из
B4.63), B4.64) и B4.66) вытекает
а=
поэтому данный критерий является несмещенным. Нам оста-
осталось определить статистику критерия t так, чтобы в любой
точке прямой L, параллельной V, она равнялась P(L) *). Ис-
Используя свойство инвариантности B4.61) с X = х, имеем при
условии L
\L= J f(*i — х, х2 — х, .... xk — x)dx.
t
Освобождаясь от условия, в качестве статистики критерия на
ходим
, д;л — х)dx\dL,
t(х) = J | J /(л, — х, х2 — Jc, ...
откуда, заменяя х на и, т. е. интегрируя по L, получаем
оо
t{x)= J f{xl — u, X2 — u xk — u) du. B4.67)
—oo
Критическая область размера а для этого несмещенного крите-
критерия определяется соотношением B4.62). Нетрудно видеть, что
так полученный несмещенный критерий является единственным.
Пример применения B4.67) дается в упражнении 24.15.
*) Следующий далее вывод формулы B4.67) неточен. Нетрудно видеть,
что интеграл P(L) по прямой L, параллельной вектору V и проходящей
через точку {x^, ..., хъ), равен
оо
P(L)=Vk J f (*i-«. *2 -«,.... xk-u)du.
— оо
Поскольку для статистики t постоянный множитель не играет роли, в B4.67)
.за статистику t принимается Р (L)/Y~k вместо P(L). {Прим. ред.)
327
24.21 Обращаясь теперь к критериям, касающимся масштаб-
масштабных параметров, предположим, что совместное распределение k
случайных величин имеет вид
где все масштабные параметры ф* положительны. Сделаем пре-
преобразование
*/ = log! yt\, 9,- =
и найдем распределение Х{-.
dF = g {exp (*i - в,), ехр (*2 — 62), .... ехр (хк — 6fe)} X
X ехр { IS (xt — 6t) } dxx ... dxk. B4.69)
Распределение B4.69) имеет вид B4.59), рассмотренный выше.
Проверка гипотезы
н'о- <(Pi = Ф2 = • • • =
B4.70)
равносильна проверке Яо из B4.60). Статистика B4.67) превра-
превращается здесь в
оо
= J
— и), ехр(х2 — и), ..., exp{xk — u)}X
Хехр{ 2** — ku\du,
которая в терминах г/,- переписывается как
24.22 Рассмотрим теперь специальный случай к независимых
случайных величин г/;/ф,-, имеющих гамма-распределения с пара-
параметрами trii. Их совместное распределение есть
--B4J2)
Для проверки гипотезы Н'о из B4.70) воспользуемся статисти-
статистикой B4.71). Получаем
B4-73)
328
ГЛАВА 24
где т— 2 я^. Подставляя в B4.73) и= 2 Уг/о. находим
i i=i
к
= 2
B4.74)
Отбросим постоянный множитель в квадратных скобках соот-
соотношения B4.74). Оставшаяся часть t достигает своего макси-
максимального значения Г, когда i/il^it/i — mi/m, при этом
B4-75)
Обозначим теперь
е = - log (f) = i» log
?*, log (A.). B4.76)
Статистика tf* дает несмещенный критерий для гипотезы H'Q. Она
изменяется от 0 до оо, и ее большие значения являются критиче-
критическими.
Пример 24.6
Мы можем теперь применить B4.76) к задаче проверки гипо-
гипотезы о равенстве дисперсий в k нормальных совокупностях, рас-
рассмотренной в примере 24.4. Действительно, при гипотезе Но каж-
каждая из величин 2 (•**/ — *«J/Bст2) имеет гамма-распределение с
параметром -к(пг — 1). Подставляя, следовательно, в B4.76)
m =
= у (п — А) = у v,
B4.77)
находим в качестве статистики несмещенного критерия
2Г = v log
Соотношение B4.78) идентично B4.44), так что It* есть попро-
попросту статистика .—2 log/*, которую мы там рассматривали. Таким
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
329
образом, как утверждалось в примере 24.4, критерий, основан-
основанный на /*, является несмещенным. Отсюда видно, что неподправ-
ленная статистика ОП / из B4.40), в которой использовались
другие веса, не может быть в общем случае несмещенной. Когда
все выборки имеют одинаковые объемы, то, как показывает
упражнение 24.7, эти два критерия эквивалентны. Даже в случае
k = 2 при п\ ф щ неподправленный критерий ОП смещен (дока-
(доказательство этого утверждения предоставлено читателю в упраж-
упражнении 24.14).
24.23 Прежде чем закончить рассмотрение несмещенности критериев ОП,
нужно упомянуть, что Полсон A941) исследовал смещение некоторых кри-
критериев ОП для экспоненциальных распределений (некоторые из его резуль-
результатов приведены в упражнениях 24.16 и 24.18). Кроме того, Дейли A940) и
Нарайн A950) доказали несмещенность ряда критериев ОП для проверки
независимости в многомерных нормальных совокупностях (к их результа-
результатам мы обратимся, когда встретимся с этими критериями в томе 3).
Другие свойства критериев ОП
24.24 Кроме состоятельности и несмещенности, что еще, в об-
общем случае, можно сказать о свойствах критериев ОП? Прежде
всего, мы знаем, что МП-оценки являются функциями от доста-
достаточных статистик (см. 18.4) и, следовательно, статистика ОП
B4.4) может быть переписана в виде
, L(x\Bra,ts)
L(x\Tr+s) '
B4.79)
где ts — минимальный достаточный вектор для 0„, когда выпол-
выполняется гипотеза Яо, a TT+S — достаточная статистика для всех
параметров, когда Яо не выполняется. Как мы видели в 17.38,
вообще говоря, неверно утверждать, что компоненты вектора
Тг+я включают в себя компоненты ts: достаточная статистика для
9s при гипотезе Но может уже не составлять часть достаточной
системы статистик, построенной, когда Но не выполняется, и-
даже если эта статистика входит в указанную систему, то она
в отдельности может не быть достаточной для 0s, будучи лишь
частью вектора Tr+S, достаточного для (бг, 8S). Таким образом,
о статистике / можно лишь сказать, что она есть некоторая
функция от двух систем достаточных статистик. В общем случае
нет оснований предполагать, что она будет наиболее подходящей
функцией.
Легко видеть, что метод ОП не обязательно порождает РНМ
критерий, когда последний существует, так как даже в случае
проверки простой гипотезы Но против простой альтернативы Hi
он не даетНКО B2.6).
Для отыскания РНМН критерия метод ОП непосредственно
непригоден, поскольку он, вообще говоря, является смещенным.
330
ГЛАВА 24
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
331
но, как мы уже видели, с помощью простой поправки эта труд-
трудность может быть преодолена. Указанная поправка выражается,
в «перераспределении весов» в статистике критерия, что дости-
достигается заменой обычных МП-оценок несмещенными оценками
(примеры 24.4—24.6). Иногда это эквивалентно исправлению
критической области статистики, к которой приводит метод ОП
(упражнение 24.14). Упражнение 24.16 показывает, что два РНМ
критерия, выведенные в упражнениях 23.25, 23.26 для экспонен-
экспоненциального и прямоугольного распределений, получаются с по-
помощью метода ОП, тогда как РНМН критерий для экспонен-
экспоненциального распределения, приведенный в упражнении 23.24, не
эквивалентен критерию ОП, который является смещенным.
Вальд A943а) доказал, что при условиях регулярности мощ-
мощность критерия ОП имеет асимптотически некоторые оптималь-
оптимальные свойства (см., однако, 25.4 и пример 25.1). Гёфдинг A965)
получил оптимальное свойство критериев ОП для мультиноми-
мультиномиальных распределений, когда размер ее—*0 при возрастании
объема выборки.
Принцип ОП является интуитивно привлекательным, когда
нет «оптимального» критерия. Он имеет особенную ценность при
проверке линейных гипотез (их мы будем рассматривать во вто-
второй части данной главы), где в общем случае не существует
РНМН критерия. Но необходимо также напомнить, что в исклю-
исключительных ситуациях метод ОП подвержен ошибкам. Следую-
Следующий пример, принадлежащий Стейну и приведенный Леманом
A950), служит целебным предостережением против использова-
использования этого метода без исследования его свойств в каждом кон-
конкретном случае.
Пример 24.7
Дискретная случайная величина х принимает значения 0, ±1,
'±2 со следующими вероятностями при гипотезе Нх:
х:
0
±1
+2—2
9i92 e,(i-e2)
B4.80)
Параметры 6ь 62 удовлетворяют неравенствам
0<6,<a<-i-, 0<92<l,
где а—известная константа. Мы хотим на основе единственного
наблюдения проверить простую гипотезу
Ил. 8[ = a, Q2 == —
против общей альтернативы #i B4.80); при гипотезе Но вероят-
вероятности имеют вид
х: 0 ±1 +2 —2 }
Р|Я0:
1
1
1
а т-о та т
B4.81)
Если х = 0, ±1, то ФП не зависит от 02 и ее безусловный макси-
максимум достигается, когда 0i принимает минимально возможное
значение, т. е. при 8, = 0. Следовательно, статистика ОП равна
L (х | Но)
I =.
= 1 — а, х = 0, ±1.
B4.82)
Если х = + 2 или —2, то ФП достигает безусловного максимума
при выборе 62 соответственно максимально или минимально воз-
возможным, т. е. 62 = 1 или 0 соответственно, и при выборе 9i мак-
максимально возможным, т.е. б\ = а. Максимальное значение ФП
равно, следовательно, а, и статистика ОП имеет вид
= ¦5-. х=±2.
B4.83)
Так как a < 1/2, то из соотношений B4.82) и B4.83) следует,
что критерий ОП заключается в отклонении гипотезы Но, когда
х = ± 2. Из B4.81) видно, что размер данного критерия равен
а. Но из B4.80) получаем, что его мощность равна в точности 0i.
Таким образом, для любого значения 9ь удовлетворяющего не-
неравенству
0<е,<а, B4.84)
критерий ОП будет смещенным при всех 02, тогда как для 8i = a
при любых 9г он имеет мощность, равную его размеру а. В по-
последнем случае приведенный критерий бесполезен, а в случае
0-<9i <a он хуже, чем бесполезный, потому что критерий раз-
размера и мощности а для проверки гипотезы Но мы можем полу-
получить с помощью таблицы случайных чисел. Кроме того, суще-
существует полезный критерий, отвергающий #о, когда х = 0. При
этом по B4.81) его размер равен а, а мощность согласно B4.80)
равна a ( ~ ' ), что превосходит ее, когда выполняется B4.84),
и равно а, когда бг = а.
Помимо дискретности случайной величины, примечательной
особенностью этого предостерегающего примера является то, что
интервал изменения одного из параметров определяется разме-
размером критерия а.
Д. Кокс A961, 1962) рассматривал распределения статистик ОП, когда
На и Hi образуют совершенно отдельные семейства сложных гипотез (так
что B4.5) не выполняется), и получил некоторые результаты в случае боль-
больших выборок.
332
ГЛАВА 24
Общая линейная гипотеза и ее каноническая форма
24.25 Теперь мы в состоянии рассмотреть задачу проверки
гипотез для общей линейной модели из главы 19. Как и в A9.8),
положим
у = XQ + е, B4.85)
где ег- некоррелированы, имеют нулевые средние и одинаковые
дисперсии а2. Не будем пока делать дальнейших предположений
о виде их распределений.
Предположим, что матрица Х'Х невырождена (если это не
так, то, как и в 19.13—16, ее можно сделать невырожденный
с помощью пополнения).
Пусть мы хотим проверить гипотезу
Яо: Ав = с0, B4.86)
где Л и с0 — известные (г X k) -матрица и (г X 1)-вектор. Гипо-
Гипотеза B4.86) накладывает г(^ к) ограничений, которые будем
считать функционально независимыми, так что ранг матрицы А
равен г. Гипотеза Н\ будет просто отрицанием Яо. Когда г = k,
матрица А'А невырождена и гипотеза B4.86) эквивалентна
Но: в = (А'Л)-' А'с0. Если А состоит из первых г строк (п X k)-
матрицы X, то гипотеза Яо имеет особенно простой смысл: это
гипотеза о средних значениях первых г из величин г/,.
Рассмотрим (п X 1)-вектор
се,
B4.87)
где С — матрица (гсХ&), а в—оценка наименьших квадратов
(НК-оценка) для в, полученная в A9.12). Тогда из B4.87) и
B4.85) имеем
l
так что
а матрица рассеяния вектора z, как и в 19.6, равна
V = о2С (Х'ХГ1 С.
B4.88)
B4.89)
Выберем теперь С так, чтобы компоненты вектора z были некор-
некоррелированы, т. е. чтобы
V = аЧ.
В силу B4.89) для этого нужно, чтобы
С {X'Xf1 С = 1
или, в случае невырожденной матрицы С'С, чтобы
СС = Х'Х. B4.90)
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
333
Равенство B4.90) является условием некоррелированности вели-
величин Zu из B4.90), B4.87) и B4.88) следует, что
B - |i)' B - ц) = г'Х (Х'Х)~1 Х'г = {*(§- в)}' {X (в - в)}. B4.91)
24.26 Положим теперь
'А
'=1 D
F
где Л есть (г Х&)-матрица из B4.86), D — некоторая ((& — г) X
X к)-матрица и F есть ((/г — к) X &)-матрица, удовлетворяющая
уравнению
FQ = 0. B4.92)
Поскольку ранг матрицы Л равен г, то можно D выбрать так,
/ А\
чтобы (k X к) -матрица I D J была невырожденной и, таким обра-
образом, матрица С имела бы ранг к. Тогда ранг матрицы С'С тоже
равен к и, следовательно, она невырождена, как это требовалось
выше, в B4.90).
Из B4.88) находим
B4.93)
Следовательно, средние значения первых г величин Zi совпадают
с левой частью B4.86); поэтому проверка гипотезы Яо эквива-
эквивалентна проверке
Яо: ц, = М (zt) = с01, /=1,2 , г, B4.94)
— сложной гипотезы, накладывающей г ограничений на параме-
параметры. Так как согласно B4.92) последние п — k значений уц
равны нулю, то к параметров \х,г отличны от нуля, так что всего
вместе с ст2 имеется k + 1 параметров.
24.27 Таким образом, мы привели задачу к следующему виду.
Дано множество из п взаимно некоррелированных величин zt
с равными дисперсиями а2, причем п — k величин Z\ имеют нуле-
нулевые средние, а у остальных k средние отличны от нуля. Гипотеза
состоит в том, что г из этих к величин имеют заданные сред-
средние. Это так называемая каноническая форма общей линейной
гипотезы.
Чтобы двигаться дальше, нам нужно сделать предположения
о распределении ошибок в линейной модели B4.85). Будем счи-
считать, что каждая из величин &% распределена нормально, а вслед-
вследствие их некоррелированности они независимы. Величины zt,
334
ГЛАВА 24
являясь линейными функциями от них и будучи некоррелирован-
некоррелированными, также независимы и нормально распределены. Следова-
Следовательно, из их совместного распределения находим ФП
L B | ц, а2) = BлаТп12 ехр{ - ^г (г - ц)' (г - р.)} =
. = BпаТп12 ехр [- -^ {(гг - цг)' (zr - цг) +
+ {zk_r - H_r)' (zk_r - nk_r) + <_,г„_,}] , B4.95)
где индексы у векторов указывают их размерность. Наша гипо-
гипотеза есть
Яо: fV = c0, B4.96)
а Н\ представляет собой ее отрицание.
В примере 23.14 мы видели, что если имеется только одно
ограничение (г = 1), то существует РНМН критерий для гипо-
гипотезы #о против Н\. Это очевидно также из того факта, то в дан-
данном случае проверяется гипотеза о среднем одномерной нор-
нормальной совокупности с неизвестной дисперсией: РНМН крите-
критерием для этой гипотезы (как видно из примера 23.14) служит
обычный /-критерий Стьюдента с равными «хвостами».
Колоджейчик A935), которому принадлежат первые общие
результаты о линейных гипотезах, доказал отсутствие РНМ кри-
критерия в ситуации с более чем одним ограничением и показал, что
имеется пара подобных односторонних РНМ критериев, когда
г=1: это односторонние ^-критерии Стьюдента (см. упражне-
упражнение 23.7). Только что было указано на существование двусторон-
двустороннего /-критерия Стьюдента, являющегося РНМН в случае г= 1,
но критическая область этого критерия зависит от того, о каком
из \ii проверяется гипотеза. Таким образом, при г > 1 нет общей
РНМН критической области.
Так как нельзя найти «оптимального» в каком-либо смысле
критерия, то мы обратимся к методу ОП, позволяющему полу-
получить интуитивно разумный критерий.
24.28 Вывод статистики ОП достаточно прост. Безусловный
¦максимум выражения B4.95) определяется с помощью решения
системы уравнений
Это дает МП-оценки
Й, = г,, i=l, 2, .
откуда
., k,
62
= - У г2
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
Итак, находим безусловный максимум ФП
335
B4.97)
Когда выполняется гипотеза B4.96), имеем МП-оценки для ме-
мешающих параметров
Vn = zt, i = r+\, r + 2 k,
откуда
i—l
B - Ц)' B - Ц) = Па2,
так что условный максимум ФП равен
Цг\с0, ц, а2)=Bяа%Г"/2 =
i=k+\
Из соотношений B4.97) и B4.98) находим статистику ОП /:
12/п _ ®!_
1 — »2
W
где
ст2- а2
-у
22
. B4.100)
Заметим, что значения /га2 и па2 являются минимумами по
(i функции (г — (i)'(z — ji) при гипотезах Но и Нх соответственно.
Согласно B4.91) это то же самое, что минимумы функции
относительно 0. Тождество по 8
S = е'е = {у - XQ)' (у - XS) = (у - Хв)' (у - Х%) + R
легко проверить непосредственно. При этом слагаемое справа
{у - Х$У (у - ХЩ
336
ГЛАВА 24
не зависит от в. Минимизация функции R по 6 эквивалентна,
таким образом, минимизации функции S. Но процесс минимиза-
минимизации 5 относительно в есть в точности способ, с помощью кото-
которого мы пришли к оценкам наименьших квадратов в 19.4. Сле-
Следовательно, для получения (? и о2 в соотношении B4.100) мы
минимизируем функцию 5 в исходной модели при гипотезах Яо
и Я] соответственно.
Поскольку / есть монотонно убывающая функция от W, то
критерий ОП эквивалентен тому, чтобы отвергать гипотезу Яо,
когда значение W велико. Если разделить числитель и знамена-
знаменатель величины W на а2, то при гипотезе Яо W превращается в от-
отношение суммы квадратов г независимых нормальных величин
к независимой сумме квадратов п — k таких же величин, т. е. яв-
является отношением двух независимых х2-величин с г и п — k сте-
степенями свободы. Итак, когда выполняется гипотеза Яо, стати-
статистика F = - W распределена, как дисперсионное отношение
с (г, п — k) степенями свободы (см. 16.15), и критерий ОП фор-
формулируется в терминах величины F, причем критическая область
образована ее большими значениями.
Многие стандартные статистические критерии могут быть
сведены к критериям для линейных гипотез, и мы часто будем
встречаться с ними в последующих главах.
Пример 24.8
Как специальный, особенно важный, случай рассмотрим ги-
гипотезу
я0: ег = о,
где 9Г есть (г X 1)-подвектор вектора 6 в B4.85). Мы можем,
следовательно, переписать соотношение B4.85) в виде
где Xi и^2 — матрицы порядка (яХО и (пХ(& —О) соответ-
соответственно. Тогда гипотеза Яо эквивалентна предположению, что
Согласно 24.28 мы ищем минимумы функции S = е'е. Так как и
при Яо и при Hi оцениваются все параметры некоторой линейной
модели, то можно воспользоваться результатом из 19.9. Мы по-
получаем, что минимум при гипотезе Яо равен
да2 == у'
- Х2
Х'2}
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
тогда как при Н\ он равен
337
где X = (Х\Х2). Статистика
р
_
распределена, как дисперсионное отношение с (г, п~ k) степе-
степенями свободы, и критическая область для Яо образована 100а
процентами наибольших значений величины F.
24.29 В 24.28 мы видели, что критерий ОП основан на стати-
статистике B4.100), которую можно переписать в виде
2 «i/-8
Независимо от того, верна гипотеза Яо или нет, знаменатель
величины W имеет %2-Распределение с п — k степенями свободы.
Когда Яо выполняется, то, как мы видели, числитель является
также х2"величиной с г степенями свободы. Если же Яо не вы-
выполняется, то последнее утверждение неверно. В действитель-
действительности числитель будет всегда нецентральной %2'величин°и
(см. 24.4) с г степенями свободы и параметром нецентральности
B4.101)
где \ii — истинное среднее величины Zi. Только когда имеет место
гипотеза Яо, К равно нулю, и получается центральное ^-распре-
^-распределение, как в 24.28. Так как для нахождения мощности крите-
критерия ОП нам требуется распределение величины W (или эквива-
эквивалентной ей величины F), когда Яо не выполнена, то мы приходим
к необходимости изучения отношения нецентральной %2-величины
к центральной.
Нецентральное F-распределеиие
24.30 Рассмотрим вначале отношение двух независимых вели-
величин Z\, 22, имеющих нецентральные ^-распределения B4.18) со
степенями свободы vi, v2 и параметрами нецентральности \\, ~к2
соответственно. Используя A1.74), находим распределение
338
для и = zx]z2:
ГЛАВА 24
X
П 1
1т )>т
Обозначая X = А,, + Х2, v = v, + v2, после упрощений получим
Г т.
/-=0
х fe~0A+u)^v+^-'(
B4.102)
Интеграл в B4.102) равен Г(|v + г + s)/(±+!L f+r+\ Таким
образом, . '
X
ч. 4-v,+r-l/ l \-g
Поскольку
B01Bs)({r(i-)}2
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
339
то B4.103) окончательно приводится к виду
1
r==0 s=0
Г \tv+/+s
B4.104)
Этот результат получил Тэнг A938) и изучал Прайс A964).
24.31 Для того чтобы найти распределение отношения нецен-
нецентральной х2-величины, деленной на число ее степеней свободы,
к независимой от нее центральной х2-величине, тоже поделенной
на чцсло степеней свободы, положим в B4.104)
Тогда
dG(F')
т (v,/v2)!
(f)
2 Vl ^ ' 2
7. B4.105)
Выражение B4.105) является обобщением распределения дис-
дисперсионного отношения A6.24) (^-распределения), к которому
оно сводится, когда X = 0. Это так называемое нецентральное
^-распределение со степенями свободы vlt v2 и параметром не-
нецентральности X. Мы будем иногда обозначать его Fr(vi,v%X).
Подобно распределению B4.18), оно впервые рассматривалось
Фишером A928а) и было изучено Уишартом A932), Тэнгом
A938), Патнайком A949), Прайсом A964) и Тайкью A965а).
Функция мощности критерия ОП для линейной гипотезы
24.32 Из 24.28—29 и 24.31 сразу следует, что функция мощ-
мощности критерия ОП для общей линейной гипотезы имеет вид
J
v2> Я.)},
B4.106)
где Fa есть 100A — a)-процентная точка распределения, vi = г,
v2 = п — k, а параметр X определен в B4.101).
340
ГЛАВА 24
Для Р были построены различные таблицы и графики:
A) Тэнг A938) приводит дополнение к величине Я (т. е. ошибку II ро-
рода) для размеров критерия а = 0,01, 0,05; Vi (у него /i) = 1A)8, V2 (у него
/2)= 2BNAK0, 60, оо и <p = {X/(vI+ 1)}1/2 = 1@,5KA)8. Эти таблицы
воспроизведены Манном A949) и Кемпториом A952).
B) Лемер A944) приводит обратные таблицы для ср при а = 0,01, 0,05;
v, = 1AI0, 12, 15, 20, 24, 30, 40, 60, 80, 120, ос; v2 = 2BJ0, 24, 30, 40, 60,
80, 120, 240, оо и Р (у нее Э) = 0,7, 0,8.
C) Э. Пирсон и Хартли A951) приводят восемь графиков функции мощ-
мощности, соответствующих значениям vi от 1 до 8. Каждый график показывает
значения мощности для v2 == 6A) 10, 12, 15, 20, 30, 60, оо; а = 0,01, 0,05 и
для ср, изменяющейся от 1 (за исключением случая vi = 1, когда ср изме-
изменяется от 2 для о = 0,01 и от 1,2 для 0,05) до значения, достаточного для
того, чтобы мощность равнялась по крайней мере 0,98. Для vi = 1 этот
график воспроизведен в Biometrika Tables*).
4) М. Фокс A956) приводит обратные графики для каждой из комби-
комбинаций а == 0,01, 0,05 с мощностью Р (у него f$) = 0,5, 0,7, 0,8, 0,9. Каждый
график дает линии уровня функции ср для Vi = 3AI0BJ0B0I00, 200, оо;
V2 — 4A) 10BJ0B0) 100, 200, оо. Приводится также номограмма для каж-
каждого а, облегчающая интерполяцию по р\
E) Дуикан A957) приводит графики для а = 0,01 и а — 0,05, показы-
показывающие для v2 = 6AI0, 12, 15, 20A0L0, 60, оо значения Vi (изменяю-
(изменяющиеся от 1 до 8) и ср, требуемые для того, чтобы получить мощность
Р = 1 — р = 0,50 и 0,90.
Аппроксимация функции мощности критерия ОП
24.33 Как видно из формы распределения B4.105), вычисле-
вычисление точной функции мощности B4.106) является трудоемким
делом, и даже теперь она табулирована далеко не полностью.
Однако можно получить простую аппроксимацию функции мощ-
мощности, пользуясь методом и результатами нашей аппроксимации
нецентрального ^-распределения в 24.5. Если zx есть нецентраль-
нецентральная х2-величина с vi степенями свободы и параметром нецен-
нецентральности К, то из соотношения B4.21) получаем, что
zJ( v' ~_T .-] является приближенно центральной %2-величиной,
имеющей v* = (v, + AJ/Cvi + 2Я,) степеней свободы. Таким обра-
образом,
есть приближенно центральная %2-величина, деленная на число
ее степеней свободы v*. Следовательно, zjvi равна приближенно
этой величине, умноженной на (vi + A,)/vi.
Если определим теперь нецентральную F'-величину, полагая
Fr =
*) Графики C) воспроизведены в книге Таблицы математической стати-
статистики; графики D) — в книге Сборник статистических таблиц. (Прим. ред.)
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
341
где z2 — центральная х2-величина с v% степенями свободы, то из
предыдущего сразу следует, что приближенно
pts=vi±±Pt B4.107)
где F — центральная F-величина со степенями свободы v* = (Vi+
+ a.J/(v, + 2А,) и v2.
Простая аппроксимация B4.107) оказывается удивительно
эффективной. Патнайк, сравнивая значения функции мощности,
взятые из точных таблиц Тэнга A938), с вычисленными по при-
приближению B4.107), показал, что у них совпадают первые две
значащие цифры. В практических задачах этого достаточно.
Таким образом, чтобы вычислить мощность критерия ОП для
линейной гипотезы, можно аппроксимировать B4.106) централь-
центральным F-интегралом
р-
<24Л08>
причем размер критерия определяется, если положить А, = 0. Ве-
Величина (vi + XJ/(vi + 2А,) является в общем случае дробной, и
поэтому необходима интерполяция. Однако даже центральное
F-распределение еще не столь хорошо табулировано, чтобы мо-
можно было легко найти точное значение интеграла B4.108) (см.
список таблиц в 16.19).
Принадлежащая Тайкью A965а, 1966) аппроксимация центральным F
распределением по трем моментам является еще более точной.
Дар A962) дает простую нормальную аппроксимацию для распределе-
распределения отношения двух независимых одинаково распределенных нецентральных
F-величин.
Нецентральное ^-распределение
. 24.34 При vi = i нецентральное ^-распределение B4.105) сво-
сводится к нецентральному ^-распределению, в точности как для
центральных распределений (см. 16.15). Если мы перейдем от
t1 к t, то получим нецентральное ^-распределение, которое будем
называть ^'-распределением. Структура нецентральной %2-вели-
чины, как суммы квадратов нецентральных нормальных величин,
показывает, что можно записать
B4.109)
тде z — нормальная величина со средним нуль, a w — независи-
независимая от нее х^-величина с f степенями свободы (в данном случае
мы пишем f вместо V2 в B4.105) и б2 = Я.).
342
ГЛАВА 24
Все сказанное о F'-распределении относится и к /^-распре-
/^-распределению. Однако распределение f привлекло к себе особое вни-
внимание вследствие его важности в приложениях.
Джоисои и Уэлч A939) изучали ^'-распределение и вычислили таблицы
для его 100A—а)-процентиых точек при а или 1 — а = 0,005, 0,01, 0,025,
0,05, 0,1@,1H,5; / = 4A)9, 16, 36, 144, оо и любых б и, наоборот, для на-
нахождения 6 при заданных значениях f. Резников A962) приводит дополни-
дополнительные таблицы.
Резников и Либерман A957) дают таблицы плотности и функции рас-
распределения величины С с 4 десятичными знаками с шагом но t/f , равным
0,05, при / = 2AJ4EL9 и для значений б, определяемых из уравнения
оо
J
Bп) ~ '/2 ехр
(— -1 A
dx = a,
с а = 0,001, 0,0025, 0,004, 0,01, 0,025, 0,04, 0,065,. 0,10, 0,15, 0,25. Они, а также
Шойер и Спёрджен A963) вычислили некоторые процентные точки этих
распределений. Локс и др. A963) приводят аналогичные таблицы с шагом
по f, равным 0,2, для / == 1A) 20EL0 и 6, определяемых из уравнения
*(/+ 1)~~1/2 или б (/ + 2)~1/2 = 0 @,25) З.Обширные таблицы процентных то-
точек приводит Оуэи A963)*). Хогбен и др. A961) дали метод получения мо-
моментов и "таблицы для- первых четырех моментов. Эймос A964) изучал
аппроксимации этого распределения с помощью рядов.
Кришнан A967) изучал моменты величины B4.109), полученной из
B4.104), а не из B4.105) (так что w являлась нецентральной х2-величииой),
и аппроксимировал ее распределение.
24.35 Особенно важным приложением f-распределения является нахож-
нахождение мощности f-критерия Стьюдеита, критическая область которого состоит
только из одного «хвоста» (случай равных «хвостов» соответствует, разу-
разумеется, ^-распределению). Критерий служит для проверки гипотезы, что в
B4.109) 6 = 0, его критическая область определяется с помощью централь-
центрального ^-распределения. Его мощность, очевидно, равна интегралу от нецен-
нецентрального ^-распределения по критической области. Она была специально
табулирована Нейманом н др. A935), которые для а = 0,05, 0,01; / (у них
п) = 1AK0, оо и S (у них р) = 1AI0 приводят таблицы и графики для
дополнения мощности 1 — Р, а также значения б, для которых Р — 1 — а.
Неймаи и Токарска A936) вычислили обратные таблицы величины 6 для тех
же значений а, / и 1— Р = 0,05, 0,10@,10H,90. Оуэн A965) приводит таб-
таблицы для S с 5 десятичными знаками при а = 0,05, 0,025, 0,01 и 0,005;
(ге—1)= 1AK0EI00A0J00. оо и 1 — Я = 0,01, 0,05, 0,10@,10H,90.
Оптимальные свойства критерия ОП
для общей линейной гипотезы
24.36 В 24.27 мы видели, что (кроме случая г = 1) для общей
линейной гипотезы не существует РНМН критерия. Тем не менее
критерий ОП для этой гипотезы обладает определенными опти-
оптимальными свойствами, к изложению которых мы сейчас перехо-
') См, Сборник статистических таблиц. (Прим. ред.)
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
343
дим. При- этом будут использованы упрощенные доказательства,
принадлежащие Волфовицу A949) и Леману A950).
В 24.28 были получены МП-оценки для k — г + 1 мешающих
параметров при гипотезе Яо. Они являются компонентами век-
вектора
определенного перед B4.98).. Когда выполнена гипотеза Но, ком-
компоненты вектора t образуют систему из k — г + 1 достаточных
статистик для мешающих параметров. Согласно 23.10 их распре-
распределение полно. Таким образом, как показано в 23.19, каждая
подобная критическая область w размера а для Но будет содер-
содержать долю а каждой поверхности t = const. На этой поверхно-
поверхности каждая компонента вектора t, в частности и а2, постоянна.
Положим
2
B4.110)
2=1
где а — константа.
Рассмотрим теперь фиксированное значение величины X,
определенной в B4,101), например X = d? > 0. Мощность любой
подобной области на этой поверхности будет складываться из
мощностей на B4.110) при всех а. Для фиксированного а мощ-
мощность на поверхности X = d2 равна
Р (ш | X, а) = \Hz |ц, a2) dz, B4.111)
где L есть ФП, определенная в B4.95). Это можно переписать
подробно в виде
P(w\X,a) =
= Bла2)-п/2 J ехр {- -±? [{(zr-c0) - (lir-c0)Y{(zr-c0) -
-(»r-co)} + K_r - H-r)'D-r - H-r) + <-А-*] }dz- B4-112)
Используя B4.110) и B4.101), из B4.112) находим
P(w\X,a) =
= Brta2)-("-fe+r)/2 exp{-1 (d2 + -g-)} J exp {(zr-c0)' (ц-с0)} dzT.
^d! B4.113)
Вектор Zk-т исключен в результате интегрирования по всей обла-
области его изменения, так как его распределение не зависит от X и
п. В соотношении B4.1ГЗ) непостоянным, множителем является
344
ГЛАВА 24
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
345
только интеграл. Его нужно сделать максимальным для того,
чтобы получить критическую область w с максимальным Р. Ин-
Интеграл берется по поверхности X = d2 или (цг — Co)'(fir — Со) =
= const. Он, очевидно, представляет собой монотонно возрастаю-
возрастающую функцию от \гг — с01, т.е. от
(zr - с0У (zr - cQ) = S (zt - с0<J.
г
Если при фиксированном а в B4.110) 2 (^ — согJ является
максимальной, то величина W, определенная в B4.100), тоже
максимальна. Таким образом, при фиксированных Хна макси-
максимальное значение величины P(w\X,а) достигается, когда w со-
состоит из больших значений W. Поскольку приведенное утверж-
утверждение выполняется для каждого а, то оно будет иметь место и
без предположения, что а фиксировано. Следовательно, мы уста-
установили, что на любой поверхности X = d2 > 0 критерий ОП, от-
отвергающий гипотезу при больших значениях W, имеет макси-
максимальную мощность. Полученный результат принадлежит Вальду
A942).
В качестве непосредственного следствия получается резуль-
результат Сюя A941), утверждающий, что критерий ОП является
РНМ среди всех критериев, функции мощности которых зави-
зависят только от X.
Инвариантные критерии
24.37 Рассматривая несмещенные критерии для параметров
сдвига в 24.20, мы нашли совершенно естественным ввести усло-
условие инвариантности B4.61), как необходимое условие, которому
должен удовлетворять любой приемлемый критерий. Аналогично,
для масштабного параметра в 24.21, переходя с помощью лога-
логарифмического преобразования от B4.68) к B4.69), мы неявно
предполагали, что статистика t должна удовлетворять условию
t(yu У2, •••> yn) = t(cyu cy2 суп), с>0. B4.114)
Часто бывает разумным ограничить класс рассматриваемых кри-
критериев теми критериями, которые инвариантны относительно
преобразований, оставляющих инвариантной проверяемую гипо-
гипотезу. Если этого не сделать, например, при проверке равенства
параметров сдвига (или масштаба), то изменение начала коор-
координат (или единицы измерения) будет влиять на заключения,
к которым приводит критерий. Связь между принципами инва-
инвариантности и достаточности в общем случае обсуждалась Хол-
Холлом и др. A965). Они приводят теорему, принадлежащую Стейну
и дающую условия, при которых не имеет значения порядок при-
применения этих принципов.
Если рассмотреть с этой точки зрения каноническую форму
общей линейной гипотезы из 24.27, то сразу видно, что задача
является инвариантной при
(а) любом ортогональном преобразовании вектора (гт—с0)
(оно оставляет неизменным величину (zr — с0)' (zr — с0));
(б) любом ортогональном преобразовании вектора гп~к (оно
не изменяет z'n_fezn_&);
(в) прибавлении любой константы а к каждой компоненте
вектора 2„_й (у которого вектор средних произволен);
(г) умножении всех величин на с>0 (что влияет только на
общую дисперсию а2).
Легко видеть, что статистика t инвариантна при всех преоб-
преобразованиях (а) — (г) тогда и только тогда, когда она есть функ-
функция только от W — (zr — со)'(гг — co)/zn-kzn-k- Ясно, что если t
зависит лишь от W, то ее функция мощности, как и функция
мощности W, будет зависеть только от X. Следовательно, со-
согласно последнему предложению из 24.36 критерий ОП, отвер-
отвергающий гипотезу при больших значениях W, является РНМ
среди всех инвариантных критериев для общей линейной гипо-
гипотезы.
УПРАЖНЕНИЯ
24.1 Показать, что х. ф. нецентрального ^-распределения B4.18^ равна
откуда получаются семиинварианты %, = (v + rXJr~l(r — 1)!. В частности,
xi = v + Я, х2 = 2 (V + 2Я),
х3 = 8 (v + ЗА,), х4 = 48 (v + Щ.
Используя это, доказать, что сумма двух независимых нецентральных
Х2-величин имеет такое же распределение, но с суммарным количеством сте-
степеней свободы и суммарным параметром нецеитральности.
(Уишарт, 1932; Тэнг, 1938.)
24.2 Показать, что если нецентральные нормальные величины xt из 24.4
подчиняются k ортогональным линейным ограничениям
п
V. a,,x-.=-bis /=1, 2, .... k,
где
346
то величина
ГЛАВА 24
имеет нецентральное х2'РаспРеДеление с п — k степенями свободы и пара-
л kin у
метром нецентральности А = 2 f*? — 2B aijVii
(Патнайк, 1949. См. также Бейтмэн A949).)
24.3 Доказать, что для любого фиксированного г первые г моментов не-
нецентрального ^-распределения с фиксированным X стремятся при возрас-
возрастании числа степеней свободы к соответствующим моментам центрального
^-распределения с тем же числом степеней свободы. Вывести отсюда, что
если статистика критерия имеет нецентральное х2-распределение, число сте-
степеней свободы которого является возрастающей функцией от объема вы-
выборки п, а параметр нецентральности % равен нулю при гипотезе Но и не
возрастает, когда п->-оо, при гипотезе Ht, то критерий будет становиться
неэффективным при п -*¦ оо, т. е. его мощность будет стремиться к его раз-
размеру а. -
24.4 Показать, что статистика ОП I, определенная в B4.40) для про-
проверки гипотезы о равенстве k нормальных дисперсий, имеет моменты отно-
относительно нуля, равные
пгп'2т {{п -
п
(Нейман и Пирсон, 1931.)
24.5 Пусть проверяется гипотеза На о том, что k нормальных совокуп-
совокупностей имеют одинаковые средние и дисперсии. Показать, что в случае вы-
выборок объемов Яг ^ 2 статистика ОП имеет вид
где
Показать также, что ее моменты относительно нуля равны
, пгл/2Г {(я - 1)/2)
Г {[(г + 1Уя, - 1]/2}
(Нейман и Пирсон, 1931.)
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
347
24.6 Доказать, что статистика ОП для проверки гипотезы Иг о равен-
равенстве средних в k нормальных совокупностях с одинаковыми дисперсиями
имеет вид (при объемах выборок ft; ^ 2)
1,-/0/1.
где I n Id определены.в упражнениях 24.4 и 24.5.Кроме того, доказать, что
точное распределение статистики г = 1 — Щп, когда выполняется Яг, есть
dF ее г**»/2 A _ 2)<л-*-2)/2 йг% о < г < 1.
Найти моменты величины /2 и показать, что если выполняется гипотеза Но
из упражнения 24.5, то I и h независимы.
(Нейман и Пирсон, 1931; Хогг, 1961:.
См. также Хогг A962) относительно
критерия для гипотезы Я2.)
24.7 Пусть все объемы выборок tit совпадают. Доказать, что статистика
ОП I из B4,40) и ее модифицированная форма /* из B4.44) связаны соот-
соотношением
п log Г = (п — k) log I.
Таким образом, в этом случае критерии, основанные на I и /*, эквивалентны.
24.8 Извлекаются выборки из k распределений типа B4.48) или B4.52).
Показать, что если / — статистика ОП для проверки гипотезы
Я •
99
--»„•¦ 9*
9.
"р,-
состоящей в том, что параметры 9i разбиваются на г -различных групп (не
обязательно одинакового размера), внутри которых они равны между собой,
то величина —2 log f имеет, в точности х2-Распределение с 2{п — г) степе-
степенями свободы.
(Хогг, 1956.)-
24.9 Пусть имеется выборка объема п из совокупности
dF
Доказать, что статистика ОП для проверки гипотезы Яо: ц = 0, есть
\ 22 I ~\2г) ' "
где 2 = тах{—хщ, -к(„)}. Используя упражнение 23.7, показать, что I и г
независимы, так что имеет место факторизация х. ф.:
М [ехр {(-2 log Rn) it}] = М [ехр {(-2 log /) it}} М [охр {[-2 Ipg Bг)л] it}].
Вывести отсюда, что х. ф. величины —2 log/ равна ф ==—т-р—^-ттг т-.
Таким образом, когда п-к», —2 log / распределена, как %2 с двумя степе-
Таки р
нями свободы.
(Хогг и Крэйг, 1956.)
24.10 В условиях пункта 24.6 показать, что квадратичная форма х''Ах
имеет нецентральное х2-распределение тогда и только тогда, когда матрица
AV идемпотентна, и что если распределение имеет п степеней свободы, то
А = V-K
348
ГЛАВА 24
24.11 Пусть k независимых выборок объемов гц ^ 2,
чены из экспоненциальных распределений
Показать, что статистика ОП для проверки гапотезы
Яо: 91 = 82
равна
k
¦п.
извле-
где di—Xi—ДГ(Н) есть разность между средним и наименьшим наблюде-
наблюдениями в i-й выборке, ad — такая же статистика для объединенной выборки,
т. е. d = х— X(i). Показать, что моменты величины ljn равны
, вТ(я-1) -р|- Г {(п, - 1) + рпг/п}
П
rp T(n+p-l)
(Сукхатм, 1936.)
24.12 В условиях упражнения 24.11 доказать, что для проверки гипотезы
Я,: а, = а2== ... = ай,
где параметры 9i не фиксированы, статистика ОП имеет вид
k
и что моменты функции /}'" равны
, ПРУ (я - ft) -Л- Г Цпг - 1) + ря,/я}
»P-T(n-k + P)l± пр/»Г(^-1) '
(Сукхатм, 1936.)
24.13 Пусть в условиях упражнения 24.11 нам известно, что все а,- рав-
равны. Доказать, что для проверки гипотезы
ъ- 9[ = 92
статистика ОП имеет вид
/о/Л.
КРИТЕРИИ ОТНОШЕНИЯ ПРАВДОПОДОБИЯ
349
где U и U определены в упражнениях 24.11, 24.12. Показать, что точное
распределение величины 4
у
4'"
" есть
— k, k — 1) " " "'
и найти моменты и. Показать, что если выполняется гипотеза Но упражне-
упражнения 24.11, то h и h независимы.
(Сукхатм, 1936; Хогг, 1961. См. так-
также Хогг и Тейнис A963) относи-
относительно других критериев для этих
гипотез.)
24.14 Путем сравнения с несмещенным критерием из упражнения 23.17
показать, что критерий ОП для гипотезы о равенстве дисперсий двух нор-
нормальных совокупностей является смещенным при неравных объемах выбо-
выборок rti, Пг-
24.15 Используя соотношение B4.67), показать, что несмещенный подоб-
подобный критерий размера а для гипотезы Яо о равенстве средних у k неза-
независимых наблюдений хх- (i = 1, 2, ..., k) из нормальных совокупностей с
единичными дисперсиями определяется критической областью
г=1
где Сцесть 100A—а)-процентиая точка ^-распределения с п — 1 степенями
свободы. Показать, что он является также критерием ОП.
24.16 Доказать, что три статистики критериев из упражнений 23.24—
23.26 эквивалентны в приведенных ситуациях статистикам ОП, что критиче-
критическая область критерия ОП в упражнении 23.24 не является РНМН областью
и в действительности смещена, но что в двух других упражнениях критерий
ОП совпадает с РНМ подобным критерием.
24.17 Обобщая результаты из 23.10—13, показать, что если распреде-
распределение имеет вид
/(*|в„ 92, ..., %) = Q F) М (х) ехр | 2 В,(х)А,(%, 94 в*) 1,
а(9„ 92)<л;<6(91, 62)
(границы интервала, на котором сосредоточено распределение, зависят толь-
только от двух параметров, не входящих в экспоненциальный член), то стати-
п
стики t\ = х< 2
; = «(„), tj— 2i Bj(x^ являются совместно достаточными
1=1
для 9 при выборке объема п и их распределение полно.
(Хогг и Крэйг, 1956.)
24.18 Пусть имеются независимые выборки объемов nit tit из двух рас-
распределений
dF=i
(х, — 9Л 1 dx,
о J-7-
or>0'
i=i, 2.
350'
ГЛАВА 24
Используя результат упражнения 24.17, показать, что статистики
г, = min {xt
2
г2 =
ХМ
+
являются достаточными для 9i и 9г и полными.
Показать, что статистика ОП для гипотезы //0: 9) = 82 есть
2 """(*1 A) + «2*2 A))
-;
и что I не зависит от Zi, 22 и, следовательно, от своего знаменателя. Пока-
Показать, что I дает несмещенный критерий для Но-
(Полсон, 1941.)
24.19 Обобщая результат упражнения 16.7, показать, что ф. р. нецен-
нецентрального х2-распределения B4.18) дается при четных v соотношением
где и и v — независимые пуассоновские величины с параметрами г/2 и Я/2
соответственно.
(Джонсон, 1959а.)
ГЛАВА 25
СРАВНЕНИЕ КРИТЕРИЕВ
25.1 В главах 22—24 мы занимались отысканием «оптималь-
«оптимальных критериев», т.е. критериев, обладающих в данной ситуации
«наилучшими» свойствами, где под «наилучшими» понимаются
такие желательные свойства, как РНМ, РНМН и др. До сих пор
мы не рассматривали вопроса о сравнении, в конкретной ситуа-
ситуации, двух или более критериев с целью оценки их относительной
эффективности.
Исследование этого вопроса необходимо для оценивания по-
потери эффективности, возникающей при использовании критерия,
отличного от оптимального. Может случиться, например, что
РНМ критерий имеет незначительно большую мощность, чем
какой-либо другой критерий, который, возможно, много проще
с точки зрения вычисления. В такой ситуации вполне естествен-
естественно для стандартной проверки гипотезы использовать менее
эффективный критерий. Но прежде чем принять такое решение,
мы должны сделать какое-то количественное сравнение между
критериями.
Аналогичная проблема обсуждалась в 17.29 в теории оцени-
оценивания, где была получена мера эффективности оценки. Чита-
Читатель, возможно, спросит, как случилось, что в теории оценивания
вопрос измерения эффективности обсуждался сразу же по вве-
введении понятия эффективности, а здесь вопрос измерения эффек-
эффективности критерия отнесен в конец общего обсуждения теории
критериев. Ответ частично состоит в том, что понятие эффектив-
эффективности критерия оказывается значительно более сложным, чем по-
понятие эффективности оценки, и требует поэтому более разверну-
развернутого изложения.
Основная причина, однако, заключается в том, что мы по-
попросту следуем историческому развитию этого вопроса: необхо-
необходимость измерения эффективности критериев возникла только
тогда, когда (начиная примерно с 1935 г.) внимание статистиков
было обращено на простые с точки зрения вычислений критерии
(они будут обсуждаться в главах 31 и 32). Даже идея состоя-
состоятельности критерия, с которой мы встретились в 24.17, была раз-
развита Вальдом и Волфовицем A940) только почти через двадцать
350' ГЛАВА 24
Используя результат упражнения 24.17, показать, что статистики
являются достаточными для 9i и 6г и полными.
Показать, что статистика ОП для гипотезы
1 =
q: 8j = 82 есть
— («1
и что I не зависит от zi, 22 и, следовательно, от своего знаменателя. Пока-
Показать, что I дает несмещенный критерий для На.
(Полсои, 1941.)
24.19 Обобщая результат упражнения 16.7, показать, что ф. р. нецен-
нецентрального 5С2"Распределения B4.18) дается при четных v соотношением
где и и v — независимые пуассоновские величины с параметрами г/2 и Я/2
соответственно.
(Джонсон, 1959а.)
ГЛАВА 25
СРАВНЕНИЕ КРИТЕРИЕВ
25.1 В главах 22—24 мы занимались отысканием «оптималь-
«оптимальных критериев», т.е. критериев, обладающих в данной ситуации
«наилучшими» свойствами, где под «наилучшими» понимаются
такие желательные свойства, как РНМ, РНМН и др. До сих пор
мы не рассматривали вопроса о сравнении, в конкретной ситуа-
ситуации, двух или более критериев с целью оценки их относительной
эффективности.
Исследование этого вопроса необходимо для оценивания по-
потери эффективности, возникающей при использовании критерия,
отличного от оптимального. Может случиться, например, что
РНМ критерий имеет незначительно большую мощность, чем
какой-либо другой критерий, который, возможно, много проще
с точки зрения вычисления. В такой ситуации вполне естествен-
естественно для стандартной проверки гипотезы использовать менее
эффективный критерий. Но прежде чем принять такое решение,
мы должны сделать какое-то количественное сравнение между
критериями.
Аналогичная проблема обсуждалась в 17.29 в теории оцени-
оценивания, где была получена мера эффективности оценки. Чита-
Читатель, возможно, спросит, как случилось, что в теории оценивания
вопрос измерения эффективности обсуждался сразу же по вве-
введении понятия эффективности, а здесь вопрос измерения эффек-
эффективности критерия отнесен в конец общего обсуждения теории
критериев. Ответ частично состоит в том, что понятие эффектив-
эффективности критерия оказывается значительно более сложным, чем по-
понятие эффективности оценки, и требует поэтому более разверну-
развернутого изложения.
Основная причина, однако, заключается в том, что мы по-
попросту следуем историческому развитию этого вопроса: необхо-
необходимость измерения эффективности критериев возникла только
тогда, когда (начиная примерно с 1935 г.) внимание статистиков
было обращено на простые с точки зрения вычислений критерии
(они будут обсуждаться в главах 31 и 32), Даже идея состоя-
состоятельности критерия, с которой мы встретились в 24.17, была раз-
развита Вальдом и Волфовицем A940) только почти через двадцать
352
ГЛАВА 25
лет после первого определения Фишером A921а) состоятельной
оценки. Лишь когда «неэффективные» критерии стали представ-
представлять практический интерес, возникла необходимость исследова-
исследования более слабых свойств критериев.
Сравнение функций мощности
25.2 При проверке данной гипотезы против данной альтерна-
альтернативы, когда объем выборки фиксирован, простейший путь срав-
сравнения двух критериев состоит в непосредственном исследовании
их функции мощности. Если объем выборки находится в нашем
распоряжении (например, мы планируем серию наблюдений), то
естественно искать определение эффективности критерия в такой
же форме, как для эффективности оценки в 17.19. Пусть некото-
некоторому «эффективному» критерию (т.е. наиболее мощному в рас-
рассматриваемом классе) размера а необходимо пх наблюдений'
для достижения определенной мощности против данной альтер-
альтернативы, а другому критерию того же размера а требуется для
этого п2 наблюдений. Тогда можно определить относительную
эффективность второго критерия для достижения указанной
мощности против заданной альтернативы как njitz. Введенная
мера представляет собой, как и в случае оценивания, величину,
обратную к отношению требуемых объемов выборок. Заметим,
что наше определение относительной эффективности не является
асимптотическим и не содержит никаких ограничений на выбо-
выборочные распределения сравниваемых статистик критериев. Таким
путем можно сравнивать любые два критерия, потому что функ-
функции мощности критериев, для которых вычисляется относитель-
относительная эффективность, полностью учитывают распределения стати-
статистик критериев (функции мощности содержат в себе всю инфор-
информацию, относящуюся к сравнению).
Асимптотические сравнения
25.3 Понятие относительной эффективности дает исчерпываю-
исчерпывающую информацию, но оказывается неудобным для применения.
Подобно функции мощности, на которой оно основано, это поня-
понятие представляет собой функцию трех аргументов — размера
критерия а, «расстояния» (в терминах некоторого параметра 0)
между проверяемой гипотезой и альтернативой, а также объема
выборки «ь требуемого для эффективного критерия. Если даже
ограничиться несколькими типичными значениями а, то для
сравнения критериев с помощью этой меры требуется таблица
с двумя входами. Было бы значительно удобнее, если бы мы
смогли найти некую единую результирующую меру эффектив-
эффективности. Понятно, что можно надеяться достичь этого, лишь имея
СРАВНЕНИЕ КРИТЕРИЕВ
353
дело с некоторым предельным процессом. Таким образом, мы
вернулись к необходимости ограничиться асимптотическими ре-
результатами.
25.4 Другой подход, который напрашивается сам собой, со-
состоит в том, чтобы устремить объем выборки к бесконечности,
как в 17.29, и взять отношение мощностей критериев в качестве
меры эффективности критерия. Если мы попытаемся воспользо-
воспользоваться этим подходом, то немедленно столкнемся с трудностью.
Действительно, когда рассматриваются два состоятельных про-
против данного класса альтернативных гипотез критерия размера а
(а мы всегда будем иметь дело только с таким случаем), то
функция мощности каждого из них по определению стремится
к 1 с возрастанием объема выборки. Отсюда следует, что если
мы сравниваем критерий против некоторого фиксированного аль-
альтернативного значения параметра 6, то определенная таким
образом эффективность всегда будет стремиться к 1 при возра-
возрастании объема выборки. Приведенная мера эффективности ока-
оказывается, следовательно, совершенно бесполезной.
Вообще, легко видеть, что асимптотическое по п рассмотре-
рассмотрение функций мощности состоятельных критериев имеет ограни-
ограниченное значение. Например, Вальд A941) определил асимптоти-
асимптотически наиболее мощный критерий как критерий, у которого функ-
функция мощности не может быть улучшена, когда объем выборки
стремится к бесконечности, т. е. который является асимптотиче-
асимптотически РНМ критерием. Следующий пример, принадлежащий Ле-
ману A949), показывает, что один асимптотически РНМ крите-
критерий может быть (даже асимптотически) явно хуже, чем другой
такой же критерий.
Пример 25.1
Рассмотрим вновь задачу проверки гипотезы о среднем 6
нормальной совокупности с известной дисперсией, равной 1, об-
обсуждавшуюся в примерах 22.1 и 22.2. Мы хотим проверить ги«
потезу #0: 0 = 6о против односторонней альтернативы Н\:
0 = Gi > 6о- В 22.17 мы видели, что РНМ критерий для Яо про-
против Н\ задается критической областью х ^60 + da/nl/2, а в при-
примере 22.3 было показано, что его функция мощности равна
Р, = G{A« - dj= I - G{da - Д/гП B5.1)
где Л = Gi — 0о и фиксированное значение da определяет, как
в B2.16), размер критерия а.
Построим теперь двусторонний критерий уровня а, откло-
отклоняющий гипотезу Яо, когда
X < 6о — dajtl1'2,
12 М. Кендалл, А. Стьюарт
354
ГЛАВА 25
где значения da, и d^ (зависящие от п) могут быть выбраны
произвольно, лишь бы только а[+(*2==а> откуда следует, что
da, и da, превосходят da. Согласно B3.48) функция мощности
второго критерия равна
Р2 = G {Аи'/2 - da} +G{- Art'/2 - da}, B5.2)
а из положительности G вытекает, что
Р2 > G {An'/2 _ da} = 1 - G {da, - An1'2}. B5.3)
Так как первый критерий является РНМ, то, вычитая B5.3) из
B5.1), получаем
G {da, — An1/2} — G{da- АпЩ > Р, — Р2 > 0. B5.4)
Легко видеть, что разность между G(x) и G(y) при фиксиро-
фиксированной величине х — у будет максимальной, когда хну сим-
симметричны относительно нуля, т. е. когда х — —у. Отсюда сле-
следует, что
G{~{x-y)}-G{-±{x-y))>G{x)-G{y}. B5.5)
Учитывая B5.5), имеем из B5.4)
G{ у (da, - da) } - О{ - ~ {da, - da) } > P, - P2> 0. B5.6)
Таким образом, если для каждого п выбрать da, так, чтобы
lim da, = da, B5.7)
то левая часть B5.6) будет стремиться к нулю, и, значит Р\—Р2
будет стремиться к нулю равномерно по А. Следовательно, та-
такой двусторонний критерий является также асимптотически РНМ
критерием.
Рассмотрим теперь для этих критериев отношение ошибок
второго рода. Из B5.1) и B5.2) имеем
\-Р2
G{da-
B5.8)
Когда я —>оо, числитель и знаменатель в B5:8) стремятся
к нулю. По правилу Лопиталя (обозначая штрихом дифферен-
дифференцирование по я и буквой g нормальную ф. п.) находим
lim
1 — р,
lim
г к -
!¦] . B5.9)
СРАВНЕНИЕ КРИТЕРИЕВ
355
Из B5.7) следует, что da,->°o вместе с и, и поэтому второе сла-
слагаемое в правой части B5.9) стремится к нулю. Кроме того, из
B5.7) следует, что первое слагаемое в правой части B5.9) будет
стремиться к бесконечности, если предел
: lim
П->оо
-d'
= lim [- da, exp { - Y D, - 4) + A«1/2« - da)}} B5.10)
равен бесконечности. Согласно B5.7) первое слагаемое в экс-
экспоненте в правой части B5.10) стремится к нулю. Если поло-
положить
da3 = da + n-s, 0<6<Y, B5.11)
то соотношение B5.7) будет выполняться, а B5.10) будет иметь
своим пределом по п бесконечность. Таким образом, отношение
ошибок второго рода B5.8) стремится к бесконечности вместе
с п, хотя оба критерия являются асимптотически РНМ. От-
Отсюда видно, что это асимптотическое свойство критериев ока-
оказывается не очень избирательным.
Асимптотическая относительная эффективность
25.5 Для того чтобы из относительной эффективности полу-
получить полезную асимптотическую меру эффективности критерия,
рассмотрим предел относительных эффективностей критериев,
в которых с ростом п альтернативное значение параметра Э
приближается к проверяемому значению Эо. Этот тип альтерна-
альтернатив был впервые исследован Питмэном A948), результаты ко-
которого были обобщены Нётером A955). Другие типы предель-
предельных процессов в определении относительных эффективностей
рассматривались Диксоном A953b), Ходжесом и Леманом
A956).
Пусть ti и t2 — статистики состоятельных критериев для про-
проверки гипотезы Яо: 0 = 0о против односторонней альтерна-
альтернативы Н\: 9 > Эо. Предположим на время, что t\ и t0 асимптоти-
асимптотически нормальны при любом значении Э, — в 25.14—15 мы осла-
ослабим это требование. Для краткости обозначим
= Е„, D(f«| Я/) = /)?,, ?ГF) = ^г?л,
)„, /){§ = /)?? (во) (/=1,2; / = 0,1).
12*
356
ГЛАВА 25
При больших выборках критерии размера а определяются кри-
критическими областями
ti>Eio+XaDi0 B5.12)
(знак у ti выбирается так, чтобы область имела такой вид),
где Ха — нормальное отклонение, определяемое из уравнения
G{—ка} = a, a G, как и прежде, — стандартная нормаль-
нормальная ф. р. Следуя в точности примеру 22.3, для асимптотической
функции мощности, основанной на статистике tit имеем
Pi F) = G {[Еп - (El0 + XaDiM/Di,}. B5.13)
Обозначая ы4FДа) аргумент функции G в B5.13) и разлагая
Ец —Eio в ряд Тейлора, получаем
= [ФК$ -**^ - V>,o]A>n.
где 60 < в] < 6, а тг — порядок первой ненулевой производной
в точке Эо, т. е. тг- определяется условиями
2, ..., mt —
B5.15)
С целью задания альтернативной гипотезы предположим, что
при п.-*- оо
[ТдЛ^ B5Л6)
Соотношение B5.16) определяет константы б, > 0 и сг. Рас-
Рассмотрим теперь последовательности альтернативных значений
параметра, приближающихся к 0О при и->оо,
в = % + 1ц/п6К B5.17)
где ki — произвольная положительная константа. Если выпол-
выполнены условия регулярности
lim
F)
Щ
=1,
B5.18)
то с помощью B5.16), B5.17) и B5.18) равенство B5.14) при-
приводится к виду
jfe
B5.19)
и согласно B5.13) асимптотические мощности критериев рав-
равны G{Ui].
СРАВНЕНИЕ КРИТЕРИЕВ
357
25.6 Для того чтобы при любом фиксированном а два кри-
критерия имели одинаковые мощности против одной и той же по-
последовательности альтернатив, согласно B5.17) и B5.19) долж-
должно быть
^ \ B5.20)
п2'
1
/п,!
B5.21)
»?•
где щ и «2 — объемы выборок, на которых основаны h и t2.
Объединяя B5.20) и B5.21), имеем
—-kf1"1) . B5.22)
Правая часть в B5.22) является положительной константой.
Таким образом, если «ь п2-*-°°, то отношение «i/rt2 будет стре-
стремиться к константе тогда и только тогда, когда 6i = 62. Если
6i > б2, то мы должны иметь rti/rz2->0, в случае же 6i < б2
имеем «i/«2->- 00. Определяя асимптотическую относительную
эффективность (АОЭ) критерия t2 по сравнению с 'h как
B5.23)
Л21 = lim — ,
мы, следовательно, получаем, что
Ац = 0, если б! > б2.
B5.24)
Таким образом, для сравнения двух критериев с помощью АОЭ
нужно вначале сравнить соответствующие им значения б: если
у одного из них б меньше, чем у другого, то первый критерий
имеет нулевую АОЭ по сравнению со вторым. Величина б иг-
играет здесь такую же роль, что и порядок малости дисперсии
при измерении эффективности оценки (см. 17.29).
Мы можем теперь ограничиться случаем 61 = 62 = 6. Тогда
соотношения B5.22) и B5.23) дают
Если вдобавок
С\
= tn.2 = ttl,
B5.25)
B5.26)
то B5.25) приводится к виду
358 ГЛАВА 25
Из последнего соотношения, учитывая B5.16), находим
B5.27)
В большинстве задач величину B5.27) легко оценить, и мы
часто будем ее использовать в последующих главах для полу-
получения АОЭ конкретных критериев. Чаще всего б = 1/2 (что со-
соответствует оценке дисперсии порядка гг1) и т = 1. Интерпре-
Интерпретацию величины т см. ниже, в 25.10.
Можно заметить, что если т2 ф ти то выражение B5.25)
неопределенно и зависит от произвольной постоянной к2. По-
Поэтому критерии с равными значениями б имеют разные АОЭ
при различных последовательностях альтернатив B5.17), если
только значения т не одинаковы. Причины этого будут ука-
указаны в 25.10.
25.7 Если мы проверяем гипотезу Яо против двусторонней
альтернативы Нх: 0 Ф 0О, то наши результаты об АОЭ остаются
в силе, если использовать критические области с «равными хво-
хвостами» вида
ti > Его +
или tt < Ei0 — Xai2Di0.
Действительно, в этом случае асимптотические функции мощ-
мощности B5.13) заменяются на
Qt F) = G {щ (в, Xal2)} + 1-G {и, (9, -Яа/2)}, B5.28)
и, как и прежде, Qi = Q2 против альтернативы B5.17) (где kt
уже могут быть любого знака), если выполняются B5.20) и
B5.21). Конейн A956) приводит более общее исследование
двусторонних критериев, которые не обязательно имеют «рав-
«равные хвосты».
Пример 25.2
Пусть проверяется гипотеза о среднем 6 нормальной сово-
совокупности с известной дисперсией (А Сравним критерий, осно-
основанный на выборочной медиане х, с РИМ критерием, основан-
основанным на выборочном среднем х. Обе статистики асимптотически
нормальны. Известно, что
. . М(*) = 0, D(*|6) = -^-,
а х — состоятельная оценка параметра 6, у которой (см. в при-
примере 10.7)
М(х) = е, D.(x|0)~mr2/B«).
СРАВНЕНИЕ КРИТЕРИЕВ
Таким образом, для обоих критериев имеем
?'(90)=1,
откуда Ш\ = т2 *= 1, в то же время согласно B5.16) 6i
= 1/2. Следовательно, из B5.27) находим
359
= б2 =
Тот же самый результат был получен в примере 17.12 для эф-
эффективности медианы х при оценке параметра 0. В 25.13 мы
увидим, что это частный случай общей взаимосвязи между эф-
эффективностью оценки и АОЭ критериев.
АОЭ и производные функций мощности
25.8 Природа последовательности альтернативных гипотез
B5.7), приближающейся к 9о при п^-оо, показывает, что АОЭ
каким-то образом связана с поведением функций мощности
сравниваемых критериев вблизи 0О. Мы установим эту связь точ-
точнее, показав, что при определенных условиях АОЭ просто выра-
выражается через отношение производных функций мощностей.
Рассмотрим сначала случай односторонней гипотезы Я,, об-
обсуждавшийся в 25.5—6. В этом случае функции мощности кри-
критериев задаются асимптотически соотношением B5.13), кото-
которое, как и прежде, запишем в виде
Q, К))-
Дифференцируя по 9, имеем
B5.29)
B5.30)
где
• нормальная функция плотности. Из B5.13) находим
ЫЦ9, 5д = -^-^(?п-Яго-\А-0). B5.31)
Используя B5.18) и дополнительные условия регулярности
lim —^~= 1,
получаем, что B5.31) при «->- оо превращается в
О»
B5.32)
360 ГЛАВА 25
Таким образом, если в B5.15) т, = 1 и если
lim , '° = 0,
то B5.32) в точке 60 приводится к виду
Поскольку согласно B5.13)
то, подставляя B5.34) и B5.35) в B5.30), имеем
Pi (во) = P'i (во, К) ~g{~K}E't (Qo)/Da.
Вспоминая, что т, = 1, из B5.36) и B5.27) находим
= /Иг == 1,
B5.33)
B5.34)
B5.35)
B5.36)
B5.37)
т. е. асимптотическое отношение первых производных функций
мощности критериев в точке 0О равно АОЭ в степени б (обычно
б= 1/2). Таким образом, если бы мы использовали это отно-
отношение как показатель асимптотической эффективности крите-
критериев, то получали бы в точности такие же результаты, как при
использовании АОЭ. Этот показатель был предложен (под на-
названием «асимптотическая локальная эффективность») Блом-
квистом A950).
25.9 Если гпг>\, т. е. ?*(80) = 0, то B5.36) равно нулю
(при нашей степени аппроксимации) и результат из 25.8 бес-
бесполезен. Нужно продолжить дифференцирование для того, что-
чтобы получить полезные результаты.
Из B5.30) находим
РГ(в)=-
Согласно B5.31)
ы? ^.0, Aaj =
¦ [и'с F, Я»)]2 + g Ы u'i (в, Я„). B5.38)
пз
.39)
Если выполняются условия B5.18) с т,- = 2, условия регу-
регулярности, указанные после B5.31), а также соотношения
lim ?Ь =
D'
*Л'1 •'-'и й 1
= 0, lim—— =1, lim—jr = l, lim —-==1,
B5.40)
СРАВНЕНИЕ КРИТЕРИЕВ
то равенство B5.39) принимает вид
Вместо.B5.33) предположим теперь, что
г (90)
= 0, lim
U%)
= 0.
Условия B5.42) приводят B5.41) к виду
«Г (во, a,a)~?7(eo)/z>,o.
Возвращаясь к B5.38), мы видим, что поскольку
36i
B5.42)
B5.43)
ди,
то, используя B5.32), B5.35) и B5.43), из B5.38) имеем
Так как мы рассматриваем случай т* = 2, то член с Е\ @Ц)
равен нулю. Учитывая второе из условий B5.42), перепишем
окончательно соотношение B5.44) в виде
P't (бо) ~ g {— К) ЕЦ {%)/Di0. B5.45)
Отсюда при т = 2 для предела отношения вторых производ-
производных равенство B5.27) дает
lim J, \Г = All B5.46)
Соотношения B5.37) и B5.46) можно объединить в следующем
утверждении. Для т— 1,2 отношение т-х производных функ-
функций мощности односторонних критериев асимптотически равно
АОЭ, возведенной в степень тЬ.
Если вместо B5.33) и B5.42) наложить более сильные ус-
условия
lim Z>VZ)«o = 0, lim ?>?оД>ю = 0, B5.47)
которые вместе с B5.16) влекут B5.33) и B5.42), то B5.34)
и B5.43) будут следовать, как и прежде, из B5.32) и B5.41).
В конкретных случаях предположения B5.47) могут оказаться
более простыми для проверки.
362
ГЛАВА 25
Интерпретация величины т
25.10 Обсудим теперь общие условия, при которых т при-
принимает значение 1 или 2. Рассмотрим снова асимптотическую
функцию мощности B5.13) критерия B5.12) для односторонней
альтернативы Нп 0i > 90. Для краткости в этом пункте мы бу-
будем опускать индекс L Если 6->во и по условию B5.18)
?>,.->¦ Do> то . ' . .
К}
есть монотонно возрастающая функция от (Ех — Ео).
Если (Ei — Ео) является возрастающей функцией от F — 60),
то Р@)->-О, когда 8-*-—оо (последнее означает, что в качестве
критической области при 0 < во использовался бы другой
«хвост» распределения статистики критерия). Если существует
производная ?'@о), то она отлична от нуля и т= 1, а также
согласно B5.36) Р'@О)=^О.
Предположим, с другой стороны, что (Е{ — Ео) представ-
представляет собой четную функцию от @ — во), возрастающую при
росте |Э — Go! (в этом случае в качестве критической области
при любом знаке разности (9 — 80) использовался бы один и
тот же «хвост»). Пусть, кроме того, существует производная
E'(Q0), которая должна, при условиях регулярности, равняться
нулю. Тогда т > 1 и в практических случаях оказывается, что
т — 2. Согласно B5.36) также Р'(во)=О с той же степенью
аппроксимации.
Мы теперь можем понять, почему (как замечено в конце
25.6) АОЭ бесполезна при сравнении критериев с различными
значениями т, равными на практике 1 и 2. Это происходит по-
потому, что тогда сравниваются критерии, функции мощности
которых ведут себя существенно по-разному в точке во: одна
имеет там регулярный минимум, другая — нет. Неопределен-
Неопределенность выражения B5.25) не является для такой ситуации не-
неожиданной. Нужно добавить, что в данный момент эта неопре-
неопределенность представляет чисто теоретический интерес, по-
поскольку, кажется, неизвестны случаи, к которым она была бы
приложима.
Пример 25.3
Рассмотрим задачу проверки гипотезы #о: 9 = 8о в случае
нормальной совокупности со средним 0 и дисперсией 1. Мы
имеем пару односторонних РНМ критериев, основанных на вы-
выборочном среднем х (см. 22.17), причем в качестве критической
области выбирается верхний или нижний «хвост», когда #i co~
СРАВНЕНИЕ КРИТЕРИЕВ
363
стоит из в > в0 или в < во соответственно. Согласно приме-
примеру 25.2, для х б — 1/2 и т = 1.
В качестве статистики критерия можно было бы использо-
использовать также
Величина S имеет нецентральное %2-распределение с п степе-
степенями свободы и параметром нецентральности /г@ — воJ; по-
поэтому (см. упражнение 24.1)
МE|0) = п{1+(в-0оJ}, D(S|0O) = 2«.
Когда п -*- оо, статистика S асимптотически нормальна. Имеем
?'(в) = 2и@ — во), ?'(8о) = О, ?"'(в) = 2/г = ?"(в0), откуда
т = 2 и
Do Bn)l>2
Поскольку т = 2, то из B5.16) б = 1/4. Так как для х б = 1/2,
то согласно B5.24) АОЭ статистики S по сравнению с х равна
нулю. Критическая область для S образована верхним «хво-
«хвостом», независимо от значения 0.
25.11 Перейдем теперь к случаю двусторонней альтернати-
альтернативы Н\\ 0=7^=00. Функция мощности критерия с «равными хво-
хвостами» дается асимптотически соотношением B5.28). Ее произ-
производная в точке 0о равна
Q< (во) = Р\ (во, К/2) - Р\ (во, - Кр), B5.48)
где P'i определяются из B5.36), если т4 = 1 и выполняется
B5.33) или B5.47). Поскольку в B5.36) gi—Kj является чет-
четной функцией относительно Яа, то из B5.48) немедленно полу-
получаем асимптотический результат
<ЭИво)~О,
говорящий о том, что наклон функции мощности в 0о асимпто-
асимптотически равен нулю. Этот результат следует также (при усло-
условиях регулярности) из замечания в 24.17, касающегося асимп-
асимптотической несмещенности состоятельных критериев.
Вторая производная функции мощности B5.28) равна
Q'[ (ад = Р'{ (во, Хар) - P'I (во, - W). B5.49)
Мы нашли Р" в B5.44), где было тг = 2. Соотношение B5.44)
будет выполняться и при тг- = 1, если усилить первое условие
в B5.47), полагая
D'/D = o(n-&), B5.50)
потому что тогда, согласно B5.16), вторым членом в правой
364
ГЛАВА 25
части B5.39) можно пренебречь и мы получаем, как и прежде,
B5.44). Подставляя B5.44) в B5.49), имеем
-щ^ К) {¦
а с помощью условия B5.50) это соотношение преобразуется к
виду
(^t) B5.51)
Следовательно, в этом случае из B5.27) и B5.51) находим
Q" {%)
,2Ь
= A2i.
B5.52)
Таким образом, если т = 1, то асимптотическое отношение вто-
вторых производных функций мощности двусторонних критериев
совпадает с соответствующим отношением B5.46) для односто-
односторонних критериев, когда т = 2. Оно равно также квадрату
выражения B5.37), относящегося к односторонним критериям
при т = 1.
Случай т = 2 для критериев с двусторонней критической
областью кажется не очень важным: замечания в 25.10 пока-
показывают, что там, где т = 2, часто может быть использован
критерий с односторонней критической областью даже против
двусторонней альтернативы Нх.
Пример 25.4
В примере 25.2 оба критерия имеют 6=1/2, т = 1 и
E'(Qq)= 1. Поскольку дисперсия каждой статистики не зависит
от 9, по крайней мере асимптотически, то выполнены предполо-
предположения B5.33) и B5.50) и условия регулярности, так что из
B5.37) для односторонних критериев имеем
lim
тогда как для двусторонних критериев из B5.52) получаем
lim
Q? (Bo)
я 2
АОЭ и максимальная потеря мощности
25.12 Хотя АОЭ критериев отражает в основном свойства
их мощности в окрестности точки 9о, она имеет также некото-
некоторое отношение к асимптотической функции мощности в целом,
по крайней мере в случае т = I, которым мы теперь ограни-
СРАВНЕНИЕ КРИТЕРИЕВ
365
димся. Функция мощности Рг (9) одностороннего критерия равна
G{wi(9)}, где функция мг-(9) определена в B5.14) и при усло-
условиях регулярности B5.18), когда тг-= 1, асимптотически равна
B5.53)
Таким образом, и, (9) асимптотически линейна по 9. Если, как
в B5.16), обозначим Ri = E'i(Qo)/Dio, то разность между двумя
такими функциями мощности можно представить в виде
= P2(9)-P1F) =
= G{(9 - 90) R2 - U - G{ (9 - 90) Я2 -|- -
B5.54)
где без потери общности предполагается, что ^2 > Ri- Рас-
Рассмотрим поведение d(9) как функции от 9. Когда 9 = 9о, d = 0.
При 9, стремящемся к бесконечности, Pi и Рг стремятся к 1,
а d — вновь к нулю. Максимальное значение функции d(9) за-
зависит только от отношения Ri/R2- Действительно, хотя вели-
величина R2 и входит в правую часть B5.54), она всегда является
коэффициентом при разности 9 — 9о, которая изменяется от 0
до оо, так что /?г(9 — 90) также пробегает значения от 0 до оо,
каково бы ни было #2- Обозначая в B5.54) А = R2(Q — Q0),
получаем, следовательно,
Первая производная от B5.55) по А равна
Приравнивая ее к нулю, находим
• [Д-Ф--Л,
B5.56)
"Соотношение B5.56) является квадратным уравнением относи-
относительно А, положительный корень которого равен
д = -
l + (.R1/R2)
B5.57)
366
ГЛАВА 25
При этом значении функция B5.55) достигает максимума. Рас-
Рассмотрим, например, случай а = 0,05 (А,а = 1,645) и Ri/R2 = 0,5.
Тогда B5.57) дает
Д =
1/2
С помощью таблиц нормальной ф. р. имеем тогда в B5.55)
P2 = G {2,85 — 1,64} = G{ 1,21} = 0,89,
Pl = G {1,42— 1,64} = G{—0,22} = 0,41.
С помощью графического метода, эквивалентного приведен-
приведенному выше, Д. Кокс и Стьюарт A955) нашли значения Р2 и Рг
в точке максимальной разности для ряда значений а и RilR%-
Их таблица приведена ниже; в ней содержится и рассмотрен-
рассмотренный нами пример.
Асимптотические мощности критериев в точке
максимальной разности (Д. Кокс и Стьюарт, 1955)
(значения Pi даны в процентах)
\v a
0,9
0,8
0,7
0,6
0,5
0,3
0,10
p,
67
61
59
54
48
35
Pi
73
74
80
84
88
96
0,03
-p.
63
56
51
47
41
27
P*
71
72
77
84
89
96
0,01
p,
49
49
42
39
30
14
P2
60
71
77
86
90
97
0,001
p,
54
43
39
29
20
07
p2
67
72
83
87
93
99
Из таблицы видно, что, когда а убывает при фиксирован-
фиксированной величине R1/R2, максимальная разность между асимптоти-
асимптотическими функциями мощности возрастает. В действительности
путем выбора достаточно малого а ее можно сделать как угодно
близкой к 1. Аналогично, при фиксированном а максимальная
разность возрастает с убыванием RJR2-
Из таблицы мы получаем полезное для практики следствие.
Если R\IR2 равно или больше, чем 0,9, то потеря мощности
вдоль всей асимптотической функции мощности не превосходит
0,08 при а = 0,05; 0,11 при а = 0,01 и 0,13 при а = 0,001, наи-
наиболее часто используемых размерах критерия. Поскольку со-
согласно B5.36) R1/R2 равно отношению первых производных
функций мощности, то из B5.37) получаем, что (RJR2I16 = А12,
где б обычно равно 1/2. Таким образом, АОЭ должна равняться
@,9N для того, чтобы приведенные выше утверждения были
справедливы.
СРАВНЕНИЕ КРИТЕРИЕВ
367
АОЭ и эффективность оценивания
25.13 Существует простая связь между АОЭ и эффектив-
эффективностью оценивания. Пусть, как и прежде, имеется две состоя-
состоятельных статистики критериев tt. Определим не зависящие от п
функции fi так, чтобы статистики
B5.58)
были состоятельными оценками для 9. Если обозначим
6 = ft (т4), B5.59)
то из B5.58) будет следовать, что (поскольку Г{->9 по вероят-
вероятности) ti-^-Xi и М {ti) (если оно существует) также стремится
к г,. Разлагая B5.58) по теореме Тейлора в окрестности точ-
точки Ti и используя B5.59), имеем
" 'ШЦ . B5.60)
где ti —промежуточное значение между tt и т,-, стремящееся
к п с ростом п. Таким образом, B5.60) может быть переписано
как
дМ (*,) J '
откуда
B5.61)
Если. 26 есть порядок малости по л дисперсий статистик Г,-,
то согласно A7.65) и B5.61) эффективность оценки Г2 по срав-
сравнению с 7*i равна
) =[штп\ ¦ B5-62)
Если rtii = 1, то в точке 80 B5.62) равно в точности АОЭ
B5.27). Итак, АОЭ, по существу, совпадает с относительными
эффективностями тех преобразований статистик критериев, ко-
которые являются состоятельными оценками рассматриваемых
параметров. Но это соответствие является локальным: в 22.15
мы видели, что в общем случае нет строгой связи между эф-
эффективностью оценки и мощностью. Легко видеть, что крите-
критерии, основанные на эффективных оценках, имеют максималь-
максимальную АОЭ и (согласно 25.8—11) максимальную производную
функции мощности в точке 8о. Из B5.62) и A7.61) вытекает
также, что если статистика 7"i эффективна,то Л21 = {р(Т\, Г2)}|/6.
Более общий результат в терминах р(^, ti) приведен в упражне-
упражнении 25.9,
368 ГЛАВА 25
Пример 25.5
Полученный только что результат объясняет тот факт, отме-
отмеченный в примере 25.2, что АОЭ выборочной медианы по сравне-
сравнению с выборочным средним при проверке гипотезы о среднем
значении нормальной совокупности равна эффективности ме-
медианы как оценки для этого параметра.
Случаи не нормальных распределений
25.14 Начиная с 25.5, мы ограничились случаем, когда ста-
статистики критериев асимптотически нормальны. Однако исследо-
исследование пунктов 25.5—7 показывает, что при выводе АОЭ не
использовалась специфика нормального распределения. Мы
устанавливали условия, при которых аргументы иг функции
мощности G{ui} в B5.19) были бы равны между собой на после-
последовательности альтернатив B5.17). Роль функции G сводилась
к тому, чтобы обеспечить одинаковую форму асимптотических
функций мощности, и нам требовалось лишь, чтобы она была
достаточно регулярной ф. р.
Следовательно, если асимптотические функции мощности
двух критериев даются любой двухпараметрической функ-
функцией G, причем только один из параметров зависит от 8, то
результаты пунктов 25.5—7 останутся в силе, так как B5.17)
будет фиксировать этот параметр, а величина щ в B5.19) опре-
определяет тогда другой параметр. При заданной форме G критиче-
критическая область одностороннего критерия всегда может быть пред-
представлена в виде B5.12), где Ха интерпретируется как множи-
множитель перед Di0, требуемый для того, чтобы сделать B5.12) кри-
критической областью размера а.
25.15 Единственным важным предельным распределением,
отличным от нормального, является нецентральное х2-распреде-
ление, свойства которого обсуждались в 24.4—5. Предположим,
что для проверки гипотезы Яо: 8 = 9о имеются две статистики
критериев ti с такими распределениями, имеющими числа сте-
степеней свободы Vi (не зависящие от 8) и параметры нецентраль-
нецентральности А,,(8), где Х4(8о)=О, так что, когда выполняется #0,
^-распределения становятся центральными. Имеем (см. упраж-
упражнение 24.1)
?n = vi-b^F), D% = 2vr B5.63)
Следовательно, все результаты из 25.5—6, относящиеся к
односторонним критериям, справедливы для сравнения стати-
статистик критериев, распределенных как нецентральные %2-вели-
чины (центральные, если выполняется #0) с числом степеней
СРАВНЕНИЕ КРИТЕРИЕВ
3f9
свободы, не зависящим от 8. В частности, когда 6j = б2 = 6 и
Ш\ = mi = т, подстановка B5.63) в B5.27) дает
л21=1^|^М^.|1/(тб1
B5.64)
Иной вывод этого результата приводит Э. Хеннан A956).
Другие меры эффективности критериев
25.16 Хотя в последующих главах в качестве мер эффектив-
эффективности критериев будут использоваться только относительная
эффективность и АОЭ, мы закончим эту главу обсуждением
двух других предлагавшихся методов.
Уолш A946) предложил сравнивать критерии при фиксиро-
фиксированном размере а на основе меры, которая принимает в расчет
качество критериев при всех альтернативных значениях пара-
параметра 8. Если критерии tt основаны на выборках объемов л*
и имеют функции мощности Р,(8, пг), то эффективность t2 по
сравнению с t\ есть ni/n2= ец, где
, n,)-pa@,
B5.65)
Таким образом, при заданном объеме одной из выборок (ска-
(скажем, п2) мы выбираем щ так, чтобы алгебраическая сумма пло-
площадей между функциями мощности равнялась нулю. Тогда
мера эффективности есть п\\щ.
Эта мера разумным образом устраняет влияние 6 из таб-
таблицы с тремя входами, требуемой для сравнения двух функций
мощности. Однако е\% по-прежнему зависит от а и, что более
важно, от п2. Кроме того, вычисление такого ni/n2, чтобы удов-
удовлетворялось соотношение B5.65), трудоемко, и, возможно,
вследствие этого приведенная мера редко используется. Тем
не менее в качестве асимптотической меры она эквивалентна
АОЭ, по крайней мере для асимптотически нормальных стати-
статистик критериев с тг = 1 в B5.15). Действительно, как и в
25.12, имеем
Pt(B, ni) = G{(B~Q0)Ri-XJ,
где Ri = E'i(Qo)/Dio (как в B5.16)), и тогда B5.65) принимает
вид
J [G {(8 - 80) /?, - U - G {(8 - 60) Я2 - Ul dQ = 0. B5.66)
Ясно, что B5.66) выполняется асимптотически только тогда,
370 ГЛАВА 25
когда Ri = R2 или, согласно B5.16), когда
Ri ^ сх_ (sLlN = 1
R2 ~ с2 \ п2 / '
откуда
1/6
что соответствует B5.27) с т = 1.
25.17 В заключение приведем принадлежащий Чернову
A952) совершенно иной подход к задаче измерения асимптоти-
асимптотической эффективности критериев.. Для случайной величины х
с производящей функцией моментов Мж(^) = М (ext) определим
m(a) = inf Mx-a(t)
t
B5.67)
— абсолютно минимальное значение п. ф. м. величины (х — а).
Если М(х\Нг)= цг для простых гипотез Но, Н\, то положим
р = inf max {tn0 (а), тг (а)},
B5.68)
где индекс у функций т, определенных в B5.67)., указывает
на соответствующую гипотезу. Пусть односторонний критерий
для гипотезы Яо против Н\ основан на сумме п одинаково рас-
распределенных величин Х{ и имеет уровень а и мощность 1 — р.
Для такого критерия Чернов показал, что если минимизировать
любую линейную функцию /(a, P) от вероятностей ошибок а
и р, то ее минимальное значение при п-^оо ведет себя, как рп,
где р определено в B5.68). Рассмотрим два таких критерия ^,
основанных на выборках объемов щ. Если они имеют одинако-
одинаковые минимумы 1(а, р), то
или
n2
log p,
B5.69)
Таким образом, правая часть B5.69) является мерой асимпто-
асимптотической эффективности критерия t% по сравнению с t\. Ее ис-
использование ограничено случаями, в которых статистики кри-
критериев основаны на суммах независимых наблюдений, и при
этом могут потребоваться значительные вычисления.
25.18 Гёфдинг A965) развил метод сравнения критериев, когда а->-0 при
л-»- сю (в отличие от подхода, используемого в 25.5 и далее, где а фикси-
фиксировано, а Hi->-Ho при re-voo), и, пользуясь этим методом, показал, что
критерии ОП обладают оптимальным свойством для гипотез о мультино-
мультиномиальных распределениях-
СРАВНЕНИЕ КРИТЕРИЕВ
371
УПРАЖНЕНИЯ
25.1 Пусть провернется гипотеза Но о том, что медиана генеральной со-
совокупности имеет заданное значение 9о. Критерий знаков состоит в том, что
подсчитывается число наблюдений, превысивших Во, и Яо отвергается, когда
это число слишком велико. Показать, что для нормальной совокупности этот
критерий имеет АОЭ, равную 2/я, по сравнению с ^-критерием Стыодента
(для Яо), и связать это с результатом примера 25.2.
(Кокрэн, 1937.)
25.2 Обобщая результат упражнения 25.1, показать, что для любой
непрерывной функции плотности f с дисперсией а2 АОЭ критерия знаков по
сравнению с ^-критерием равна 4а2{/(9о)}2.
(Питмэн, 1948.)
25.3 Гипотеза о разности между средними двух нормальных совокупно-
совокупностей с одинаковыми дисперсиями проверяется иа основе двух независимых
выборок путем сравнения каждого наблюдения у, из второй выборки с каж-
каждым наблюдением xi из первой выборки и подсчета, сколько раз у, превзой-
превзойдет Xi. Показать, что АОЭ этого S-критерия по сравнению с двухвыбороч-
ным ^-критерием Стыодеита равна 3/я.
(Питмэн, 1948.)
25.4 Обобщая результат упражнения 25.3, показать, что если любые две
непрерывные функции плотности f(x), f(x — а) отличаются только парамет-
параметром расположения и имеют дисперсию а2, то АОЭ S-критерия по сравнению
с ^-критерием равна
12а2
djc
(Питмэн, 1948.)
25.5 Пусть х — нормальная величина со средним ц< и дисперсией of;
при гипотезе tfi (i = 0, 1; ц0 < Hi)- Показать, что величина B5.68) равна
(Чернов, 1952.)
25.6 Пусть д;/а^ имеет хи-квадрат распределение с г степенями свободы
при гипотезе Hi (i = 0, 1; аЦо* = т< l). Показать, что р из B5.68) удо-
удовлетворяет соотношению
1
log р == g- г F — 1 — log S),
где
(Чернов, 1952.)
25.7 Пусть *i и h — несмещенные оценки параметра 8, имеющие при боль-
больших выборках совместно нормальное распределение с дисперсиями а2, аг/е
соответственно @ < е ==: 1). Используя результаты из 16.23 и 17.29, пока-
показать, что
372
ГЛАВА 25
и, следовательно, если наблюденное значение h отличается от 9 на d своих
стандартных отклонений, то ожидаемое значение оценки U будет отличаться
ее стандартных отклонении.
(Д. Кокс, 1956.)
от 9 иа dem
25.8 Используя упражнение 25.7, показать, что если U применяется для
проверки гипотезы На: 0 = 9о, то мы можем вычислить «ожидаемый резуль-
результат» для критерия, основанного на более эффективной статистике t\. В част-
частности, показать, что если односторонний критерий размера 0,01, использую-
использующий ?г, отвергает На, то мы можем ожидать, что односторонний критерий
размера 0,05, использующий U, также будет отвергать На, если е > 0,50;
если же критерий с «равными хвостами» размера 0,01, основанный на tz,
отвергает Но, то можно ожидать, что критерий с «равными хвостами» уров-
уровня 0,05, основанный иа t\, будет отвергать Яо, если е > 0,58.
25.9 Пусть ti — статистика с максимальной АОЭ и ^ — некоторая другая
статистика критерия для той же задачи с б и от такими же, как у U. Рас-
Рассматривая взвешенное среднее
показать, что в B5.16)
где р — асимптотический коэффициент корреляции между ti и i?.. Вывести
отсюда, что р равен Rz/Ri, т. е. равен АОЭ B5.27) в степени отб.
(См. Ван Эден, 1963.)
ГЛАВА 26
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ:
ЛИНЕЙНАЯ РЕГРЕССИЯ И КОРРЕЛЯЦИЯ
26.1 В этой и трех последующих главах мы будем интересо-
интересоваться теми или иными аспектами зависимостей между двумя
или большим числом величин. Ранее уже обсуждались двумер-
двумерные и многомерные распределения, их моменты и семиинва-
семиинварианты: в частности, исследовались свойства двумерных и мно-
многомерных нормальных распределений. Однако систематическое
изучение зависимостей между величинами было отложено до
завершения изложения теории оценивания и проверки гипотез.
Но даже этих четырех глав нам недостаточно, чтобы целиком
охватить всю проблему. Поэтому более сложные вопросы, свя-
связанные с распределением трех и более величин, мы отложим до
третьего тома, где будет рассмотрен многомерный анализ.
26.2 Так как нам предстоит исследовать очень обширную
тему, то полезно начать с общего обзора.
Большая часть работы по этой теме возникла в связи с за-
задачей о совместном распределении пары случайных величин; ее
можно назвать задачей о статистической зависимости. Суще-
Существует совершенно отличная область, касающаяся зависимостей
строго функционального вида между величинами (как, напри-
например, зависимости в классической физике). Указанный вид зави-
зависимостей тоже представляет статистический интерес, потому что
функционально связанные величины подвержены ошибкам на-
наблюдений или измерений. Назовем это задачей о функциональ-
функциональной зависимости и отложим ее изучение до главы 29. А до тех
пор мы будем заниматься только задачей о статистической за-
зависимости, в которой величины (кроме вырожденных случаев)
не связаны функционально, хотя могут быть подвержены ошиб-
ошибкам наблюдений и измерений. Мы будем рассматривать их
просто как совокупность случайных величин, подчиненных не-
некоторому совместному распределению.
26.3 В самой области статистической зависимости полезно
провести дальнейшее различие. Нас может интересовать либо
взаимозависимость между несколькими величинами (не обяза-
обязательно между всеми), либо зависимость одной или большего
числа величин от остальных. Например, можно рассмотреть во-
372
ГЛАВА 25
и, следовательно, если наблюденное значение h отличается от 9 на d своих
стандартных отклонений, то ожидаемое значение оценки tx будет отличаться
от 9 на de ее стандартных отклонений.
(Д. Кокс, 1956.)
25.8 Используя упражнение 25.7, показать, что если h применяется для
проверки гипотезы Но: 0 = 9о, то мы можем вычислить «ожидаемый резуль-
результат» для критерия, основанного на более эффективной статистике t\. В част-
частности, показать, что если односторонний критерий размера 0,01, использую-
использующий t2, отвергает Но, то мы можем ожидать, что односторонний критерий
размера 0,05, использующий ti, также будет отвергать Но, если е > 0,50;
если же критерий с «равными хвостами» размера 0,01, основанный иа tz,
отвергает Но, то можно ожидать, что критерий с «равными хвостами» уров-
уровня 0,05, основанный на tu будет отвергать Но, если е > 0,58.
25.9 Пусть ti — статистика с максимальной АОЭ и t% — некоторая другая
статистика критерия для той же задачи с б и от такими же, как у ti. Рас-
Рассматривая взвешенное среднее
показать, что в B5.16)
Дз = {аД, + A — а) Д2}/{а2 + A - аJ + 2а A - а) р}1/2,
где р — асимптотический коэффициент корреляции между ti и h. Вывести
отсюда, что р равен R2IRU т. е. равен АОЭ B5.27) в степени отб.
(См. Ван Эден, 1963.)
ГЛАВА 26
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ:
ЛИНЕЙНАЯ РЕГРЕССИЯ И КОРРЕЛЯЦИЯ
26.1 В этой и трех последующих главах мы будем интересо-
интересоваться теми или иными аспектами зависимостей между двумя
или большим числом величин. Ранее уже обсуждались двумер-
двумерные и многомерные распределения, их моменты и семиинва-
семиинварианты: в частности, исследовались свойства двумерных и мно-
многомерных нормальных распределений. Однако систематическое
изучение зависимостей между величинами было отложено до
завершения изложения теории оценивания и проверки гипотез.
Но даже этих четырех глав нам недостаточно, чтобы целиком
охватить всю проблему. Поэтому более сложные вопросы, свя-
связанные с распределением трех и более величин, мы отложим до
третьего тома, где будет рассмотрен многомерный анализ.
26.2 Так как нам предстоит исследовать очень обширную
тему, то полезно начать с общего обзора.
Большая часть работы по этой теме возникла в связи с за-
задачей о совместном распределении пары случайных величин; ее
можно назвать задачей о статистической зависимости. Суще-
Существует совершенно отличная область, касающаяся зависимостей
строго функционального вида между величинами (как, напри-
например, зависимости в классической физике). Указанный вид зави-
зависимостей тоже представляет статистический интерес, потому что
функционально связанные величины подвержены ошибкам на-
наблюдений или измерений. Назовем это задачей о функциональ-
функциональной зависимости и отложим ее изучение до главы 29. А до тех
пор мы будем заниматься только задачей о статистической за-
зависимости, в которой величины (кроме вырожденных случаев)
не связаны функционально, хотя могут быть подвержены ошиб-
ошибкам наблюдений и измерений. Мы будем рассматривать их
просто как совокупность случайных величин, подчиненных не-
некоторому совместному распределению.
26.3 В самой области статистической зависимости полезно
провести дальнейшее различие. Нас может интересовать либо
взаимозависимость между несколькими величинами (не обяза-
обязательно между всеми), либо зависимость одной или большего
числа величин от остальных. Например, можно рассмотреть во-
374
ГЛАВА 26
прос, существует ли у людей связь между длиной руки и длиной
ноги; при такой постановке это есть задача о взаимозависи-
взаимозависимости. Но если мы хотим, используя измерения длин ног, полу-
получить информацию о длине рук, то мы приходим к задаче о за-
зависимости длины руки от длины ноги. Это пример ситуации,
в которой может представлять интерес как взаимозависимость,
так и зависимость. С другой стороны, имеются ситуации, в ко-
которых интересна только зависимость. Связь между величиной
урожая и количеством выпавших осадков представляет собой
пример существенной асимметрии. Здесь из внестатических со-
соображений понятно, что дожди влияют на урожай и, совершенно
определенно, урожай не воздействует на дожди. Таким обра-
образом, мы должны изучать зависимость урожая от дождей.
Не существует четкого различия в статистической терминоло-
терминологии для этих существенно разных типов задач. Например, в
главе 27 мы увидим, что если нас интересует взаимозависи-
взаимозависимость двух величин, когда устранено воздействие остальных ве-
величин, то мы используем метод так называемой «частной кор-
корреляции». Рассматривая же зависимость единственной вели-
величины от группы других, мы применяем «множественную корре-
корреляцию». Тем не менее в основном верно, что исследование взаи-
взаимозависимости приводит к теории корреляции, содержащейся
в главах 26, 27, тогда как изучение зависимости ведет к теории
регрессии, обсуждаемой в тех же главах, а также в главе 28.
26.4 Прежде чем перейти к изложению теории корреляции
(развитой в основном в конце прошлого и в начале этого сто-
столетий Карлом Пирсоном и Юлом), которая займет большую
часть данной главы, сделаем одно заключительное общее за-
замечание. Статистическая зависимость, как бы ни была она
сильна, никогда не может установить причинной связи: наши
идеи о причине должны приходить извне статистики, в конеч-
конечном счете из некоторой другой теории. Даже в простом при-
примере о размере урожая и количестве осадков из 26.3 мы не
имеем статистических причин для отказа от идеи зависимости
дождей от урожая: отказ сделан на основе совершенно других
соображений. И даже если бы дожди и урожай были в полном
функциональном соответствии, то мы все равно не подумали
бы обратить эту «очевидную» причинную связь. Нам нет нужды
углубляться в философское обсуждение этого вопроса; для на-
наших целей необходимо только еще раз подчеркнуть, что стати-
статистическая зависимость любого сорта логически не влечет при-
причинной.
Бернард Шоу блестяще сказал об этом в своем предисловии
к «Доктору на распутье» A906): «Даже опытные статистики
часто оказываются не в состоянии оценить, до какой степени
смысл статистических данных искажается молчаливыми пред-
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
375
положениями их интерпретаторов... Легко доказать, что ноше-
ношение цилиндров и зонтиков расширяет грудную клетку, удлиняет
жизнь и дает относительный иммунитет от болезней... Универ-
Университетский диплом, ежедневная ванна, обладание тридцатью па-
парами брюк, знание музыки Вагнера, скамья в церкви — короче,
все, что подразумевает большие средства и хорошее воспита-
воспитание, .. .может быть с помощью статистики представлено как
магические чары, дарующие привилегии любого сорта. Матема-
Математик, чьи корреляции привели бы в восхищение Ньютона, может,
собирая данные и делая из них выводы, впасть в совершенно
грубые ошибки на основе таких же популярных заблуждений,
как описанные выше».
Хотя Шоу в данном случае отстаивает характерно сомни-
сомнительную точку зрения, его логика обоснована. Последователи
Карла Пирсона и Юла в первом приступе энтузиазма, порож-
порожденного корреляционной техникой, легко делали опрометчи-
опрометчивые выводы. Это продолжалось до тех пор, пока (спустя два-
двадцать лет после написанного Шоу) Юл A926) не напугал ста-
статистиков примерами высоких корреляций, которые, очевидно,
не выражали причинных связей: например, количество само-
самоубийств за год было сильно коррелировано с принадлежностью
к англиканской церкви. Большинство этих «бессмысленных»
корреляций действует через сопутствующие изменения во вре-
времени. Упомянутые примеры имели благотворный эффект, до-
доводя до сознания статистиков, что причинная зависимость не
может быть выведена ни из какого наблюдаемого совместного
изменения, даже самого тесного. Теперь, спустя более чем три-
тридцать лет, статистики впали в другую крайность: корреляцион-
корреляционный анализ стал совершенно немодным, Имеется, однако, ши-
широкое поле приложений (например, социальные науки и психо-
психология), где характеры причин еще недостаточно хорошо поняты
для того, чтобы корреляционный анализ был заменен более спе-
специфическими «структурными» статистическими методами. Есть,
кроме того, обширная область многомерного анализа, где вы-
вычисление и исследование матрицы коэффициентов корреляции
является необходимой прелюдией к детальному статистиче-
статистическому анализу. Все это делает необходимым изучение нашего
предмета.
26.5 В главе 1 (таблицы 1.15, 1.23, 1.24) было дано несколько
примеров двумерных распределений, возникающих в практике.
Таблицы 26.1 и 26.2 содержат еще два примера, которые будут
использованы в качестве иллюстраций.
Пока будем рассматривать эти данные как генеральные
совокупности, оставляя на дальнейшее вопрос об их выборе.
Так же как для одномерных распределений мы строили резуль-
результирующие константы, такие, как среднее, дисперсия и др., нам
376
ГЛАВА 26
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
377
Таблица 26.1
Распределение веса и роста 4995 женщин Великобритании, 1951.
(Воспроизведено, по разрешению, из Women's Measurements
and Sizes, London, H. M. S. O., 1957)
Таблица 26.2
Распределение объема груди и роста для 4995 женщин Великобритании, 1951.
(Данные из того же источника, что и таблица 26.1)
Вес (у):
централь-
центральные
значения
интервалов
в фунтах
278,5
272,5
266,5
260,5
254,5
248,5
242,5
236,5
230,5
224,5
218,5
212,5
206,5
200,5
194,5
188,5
182,5
176,5
170,5
164,5
158,5
152,5
146,5
140,5
134,5
128,5
122,5
116,5
110,5
104,5
98,5
92,5
86,5
80,5
Всего
54
1
2
2
5
Рост (jc)
56
1
1
2
1
1
3
3
5
3
5
6
1
1
33
58
1
4
1
1
5
2
3
8
7
13
6
15
19
34
24
33
33
29
!0
5
1
254
центральные .
60
2
2
2
1
5
7
8
11
12
17
30
36
55
64
73
91
108
119
87
59
21
3
813
62
1
2
1
2
1
2
6
3
14
12
18
17
35
52
81
76
101
95
!55
!68
!84
165
95
45
9
1340
шачения
64
1
1
1
2
1
6
3
2
7
8
26
21
44
48
42
71
91
138
175
207
200
184
124
35
16
1454
интервалов в )
66
1
1
1
1
2
7
12
9
15
21
30
36
58
82
89
122
101
81
50
22
6
3
750
68
1
1
4
3
5
11
13
15
2!
21
36
50
45
25
12
8
4
275
поймах
70
1
1
1
1
1
7
3
5
9
2
8
8
5
3
1
56
72
2
1
1
3
2
1
1
11
74
2
2
4
Всего
1
—
1
1
_
2
1
1
3
4
5
11
10
14
23
46
63
87
112
152
185
273
345
448
521
584
591
561
472
260
159
46
9
4
4995
хотелось бы теперь выразить связь между величинами и, в част-
частности, их взаимозависимость. Результирующие константы для
двумерного распределения естественно возникают из следую-
следующих рассуждений.
\ г
Объем
груди (у):
централь-
центральные значе-
значения интер-
интервалов
в дюймах
56
54
52
50
48
46
44
42
40
38
35
34
32
30
28
Всего
54
1
3
1
5
Рост (х): центральные
56
1
2
2
2
2
6
9
5
4
33
58
1
1
3
4
И
И
20
36
48
67
39
11
2
254
60
3
9
11
26
42
76
98
188
210
131
18
1
813
62
1
1
3
5
7
17
50
85
132
158
317
376
163
25
1340
значения интервалов в
64
2
4
4
6
17
45
73
131
203
410
427
122
10
1454
66
1
1
3
7
17
31
71
126
263
196
31
2
1
750
68
1
10
12
31
65
89
59
8
275
дюймах
70
1
1
1
3
9
17
15
8
1
56
72
2
4
3
1
1
11
74
3
1
4
Всего
1
3
10
14
30
57
162
261
479
709
1337
1353
504
71
4
4995
Обозначим две случайные величины через х, у. Для любого
заданного значения величины х, например X, распределение ве-
величины у называется г/-сечением. Разумеется, у-сечение пред-
представляет собой условное распределение у при заданном х = X.
Это условное распределение имеет среднее, которое обозначим
ух = М(у1Х) B6.1)
и которое является функцией от X. Аналогично, рассматривая
х-сечение для у = Y, находим
xY = М (х | У). #6.2)
Равенства B6.1) и B6.2) определяют линии регрессии (или,
короче, регрессии) у по х и х по у соответственно.
В дальнейшем мы не будем использовать заглавную букву
для обозначения величины, значение которой фиксировано,
если из контекста понятны обозначения М (у\х), М(х\у)<
На рис. 26.1 и 26.2, построенных по данным таблиц 26.1 и
26.2, нанесены средние для г/-сечений (крестики) и для х-сече-
ний (кружочки). Линии СС и RR' проведены так, чтобы как
можно лучше (в смысле наименьших квадратов, см. 26.8)
378
ГЛАВА 26
приблизить средние сечений с помощью прямых линий. Эти диа-
диаграммы характеризуют двумерное распределение подобно тому,
как среднее характеризует одномерное. Поскольку данные
группированы, то у нас есть информация только относительно
сечений, соответствующих группированным значениям х-ов и
?/-ов. Мы уславливаемся сопоставлять г/-сечения центральным
С
52 56
68 72
Рост (дюймы),х*
38
Рис. 26.1. Линии регрессии для дан- Рис. 26.2. Линнн регрессии для дан-
данных таблицы 26.1. ных таблицы 26.2.
значениям х-интервалов, в пределах которых они наблюдались,
и аналогично для х-сечений.
Непосредственно регрессия будет изучаться в главе 28.
Здесь же мы используем понятие линейной регрессии главным
образом для того, чтобы ввести некоторую меру взаимозависи-
взаимозависимости, а именно коэффициент корреляции (смешанный мо-
момент). Кроме того, мы воспользуемся случаем дополнить наше
изучение двумерного нормального распределения с точки зре-
зрения регрессии и корреляции.
Ковариация и регрессия
26.6 Кажется естественным использовать в качестве основы
для меры зависимости смешанный момент цц, с которым мы
уже несколько раз встречались в предыдущих главах. Момент
fin, называемый ковариацией между х и у, в случае дискретной
совокупности определяется соотношением
п п
i — Vy)/n = 2 Xiyi/n — iix\iy, B6.3)
i=i
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
379
= I J (* —
где п — число пар значений х, у, а цХу цу — средние величин
х, у, В случае непрерывной совокупности с распределением
dF(x, y) = f(x, y)dxdy B6.4)
соответствующая формула имеет вид (см. 3.27)
~ •*») dF (х' ^ =
= М {(х - цх) (у - fx^)} = М (ху) - М (х) М (у). B6.5)
Если величины х, у независимы, то, как мы видели в приме-
примере 12.7,
Ни =«»=0. B6.6)
Согласно этому же примеру обратное, вообще говоря, неверно:
из B6.6) в общем случае не следует независимость, для кото-
которой требуется, чтобы
Krs = 0 при всех rXs#0. B6.7)
Однако в случае двумерного нормального распределения х„=0
при всех г-f-5 > 2, так что кц есть единственный ненулевой
смешанный семиинвариант. Таким образом, B6.6). влечет
B6.7) и независимость для нормальных величин. Это может
оказаться справедливым и для других конкретных распределе-
распределений, но в общем случае это не так. Пример 26.1 содержит рас-
распределение, отличное от нормального, для которого равенство
хп = 0 влечет независимость; в примере же 26.2 приведено
распределение, для которого это неверно.
Пример 26.1
Пусть х и у — нормированные величины, имеющие двумер-
двумерное нормальное распределение. Тогда совместная характеристи-
характеристическая функция величин х2 и у2 равна
1-2A-1
P
P
1 — 2A -p2)iu
-1/2
-2pxy + y*{\ - 2A - p2) iu}] \ dxdy.
Согласно упражнению 1.5 двойной интеграл равен
я-2A -р2)
Поэтому
Ф (t, и) = A - р2) [{1-2A- р*) it} {1 —2A — р2) /„} - pS]-'/* e
= [A — 2U) A — 2ш) + 4р2/ц]~1/2.
380
ГЛАВА 26
Отсюда получаем
Ф(О, u) = (l-
-1/2
так что маргинальные распределения являются хи-квадрат рас-
распределениями с одной степенью свободы, что нам уже известно.
Дифференцируя логарифм функции ф(/, и), находим
= 2р2.
Когда р = 0, мы имеем
ф (t, и) = ф (t, 0) ф @, и).
Согласно 4.16—17 это равенство служит необходимым и доста-
достаточным условием для независимости х2 и г/2. Следовательно,
(Xi 1 = 0 влечет в данном случае независимость.
Пример 26.2
Пусть величины х и у имеют двумерное распределение, рав-
равномерное на круге радиуса единица с центром в начале коорди-
координат. Имеем
откуда
==1 J xydF==lt J J
i Г Г Г
что, впрочем, очевидно. Но поскольку интервал изменения каж-
каждой из величин зависит от значения другой, то величины х и у
не являются независимыми.
Линейная регрессия
26.7 Если регрессия х по у, определенная в B6.2), в точности
линейна, то имеет место уравнение
М(х|у)=а, + р,у. B6.8)
для которого сейчас найдеМ"коэффициенты ai и Рь Взяв от обеих
частей B6.8) математическое ожидание, получим , .
v B6.9)
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
381
Вычитая B6.9) из B6.8), умножая обе части на (у — цу) и беря
вновь математические ожидания, получаем
М {(х - ]хх) (у - ц„)} = р,М {(у - ру?},
или
/ B6.10)
где <Т2 — дисперсия у. Аналогично, из B6.1) находим
P2 = l*u/o! B6.11)
для коэффициента в точной линейной регрессии у по х. Соотно-
Соотношения B6.10) и B6.11) определяют (линейные) коэффициенты
регрессии*) х по у (Pi) и у по х (р2). Используя B6.8), B6.9) и
B6.10), находим
М(х\у) — цх = ^(у-цу) B6.12)
и, аналогично,
М (у | х) - цу = р2 (х - \хх). B6.13)
Равенства B6.12) и B6.13) называются уравнениями линейной
регрессии.
Со случаем точной линейной регрессии мы уже встречались
при рассмотрении двумерного нормального распределения в
16.23.
Пример 26.3
В примере 26.1 регрессии х2 по у2 и у2 по х2 строго линейны.
Действительно, из 16.23 при ai = аг = 1 в A6.46) имеем
Таким образом,
М (х2 \у)
D (х \у) + {М (х \у)}2 = 1 - р2 +
Каждому у2 соответствуют значения +г/ и —у, появляющиеся
с равными вероятностями. И поскольку М (х2\у) есть функция
только от у2, то
что можно переписать в виде B6.12):
Следовательно, регрессия х2 по у2 строго линейна. Аналогично,
М(у2[х2) — \=р2(х2— 1).
*) Обозначения |3i, Рг не связаны с обозначениями асимметрии и экс-
эксцесса в 3.31—32; они вряд ли могут быть перепутаны, так как встречаются
в разных контекстах.
382
ГЛАВА 26
В примере 26.1 мы видели, что м.ц = 2р2, а дисперсия хи-квадрат
распределения с одной степенью свободы, как известно, равна 2.
Поэтому равенства B6.10) и B6.11) подтверждают, что р2 яв-
является коэффициентом регрессии в каждом из уравнений линей-
линейной регрессии.
Пример 26.4
В условиях примера 26.2 легко видеть, что М (х\у) =
= М(у\х) = 0. Следовательно, в данном случае получаем ли-
линейные регрессии с коэффициентами, равными нулю.
Пример 26.5
Рассмотрим величины х и у2 из примера 26.3. Там мы видели,
что регрессия у2 по хг линейна с коэффициентом р2 и, следова-
следовательно, она нелинейна по х при р ф 0. Однако поскольку
М (х | у) = ру, то
так что регрессия х по у2 линейна с коэффициентом регрессии,
равным нулю.
Метод наименьших квадратов
и приближенная линейная регрессия
26.8 В примерах 26.3—26.5 одна или обе репрессии являлись
точно линейными. Однако когда мы имеем дело не с теоретиче-
теоретической совокупностью, а с наблюденной (и a fortiori, когда мы
должны учитывать выборочные флуктуации), то очень редко
встречается точная линейная регрессия. Тем-не менее, как на
рис. 26.1, регрессия может быть достаточно близкой к линейной.
В последнем случае допустимо использовать линейную регрес-
регрессию в качестве приближения. Таким образом, мы приходим к за-
задаче «подгонки» прямой линии к регрессии у по х.
Когда отсутствуют особые соображения, выбор метода под-
подгонки произволен, подобно тому как при описании данных про-
произволен выбор между средним и медианой как мерами располо-
расположения. Если мы подгоняем регрессию у по х, то понятно, что
отклонения точек (у, х) от подгоняемой прямой в некотором
смысле должны быть малыми для того, чтобы эта прямая адек-
адекватно их описывала. Мы могли бы выбирать прямую, которая
минимизировала бы сумму абсолютных отклонений точек от этой
прямой, но тогда возникают обычные математические трудности,
связанные со знаком модуля. Так же как раньше эти трудности
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
383
привели нас к отказу от среднего отклонения как меры разброса
в пользу стандартного отклонения, так и теперь они приводят
нас к предложению минимизировать сумму квадратов откло-
отклонений.
Осталось определить, какие отклонения следует брать: по оси
у, по оси х или же «нормальные» отклонения, получаемые с по-
помощью перпендикуляров, опускаемых из каждой точки на пря-
прямую. Поскольку мы рассматриваем зависимость у от х, то
кажется естественным минимизировать сумму квадратов откло-
отклонений по оси у. Таким образом, мы вернулись к методу наи-
наименьших квадратов: мы выбираем «наилучшую» прямую ре-
регрессии у по х,
г/==О2+р2х, B6.14)
так, чтобы была минимальной сумма квадратов отклонений п
наблюдений от подгоняемой прямой регрессии, т.е. величина
=Ii{yi- (а2
B6.15)
Задача состоит в определении коэффициентов а2 и р2- В 19.4 мы
уже рассматривали эту задачу в более общей форме. В исполь-
использованных там матричных обозначениях B6.14) имеет вид
(«XD (ПХ2)
а2
где 1 есть («X 1)-вектор, состоящий из единиц. Из A9.12) полу-
получаем решение
Таким образом,
¦B*I
так же как и в B6.11) для случая точной линейной регрессии.
Далее,
384
ГЛАВА 26
что эквивалентно B6.9). Итак, B6.14) представляется в виде
У — РУ = ЫХ — И*).
аналогичном B6.13).
Следовательно, мы пришли к заключению, что вычисление
приближенной линии регрессии по методу наименьших квадра-
квадратов дает те же результаты, что и в случае точной линейной ре-
регрессии.
Коэффициент корреляции
26.9 Учитывая результат из 26.8, мы рассмотрим теперь общий
случай, в котором регрессия не является точно линейной. Коэф-
Коэффициенты линейной регрессии B6.10) и B6.11) служат коэффи-
коэффициентами приближенных прямых регрессии, хотя иногда эти пря-
прямые могут оказаться точными.
Определим теперь по смешанному моменту коэффициент кор-
корреляции р, полагая
откуда, учитывая B6.10), B6.11) и B6.16), находим, что
Р2 = Р,Р2- B6-17)
Коэффициент р является симметричной функцией относительно
х и у, каким и должен быть любой коэффициент взаимозависи-
взаимозависимости. Так как он представляет собой однородную функцию от
центральных моментов, то он инвариантен относительно измене-
изменений начала координат и масштаба. Коэффициент р имеет тот же
знак, что pi и р2, поскольку у каждой из трех величин числитель
равен \хц, а все знаменатели положительны. Если м-п = 0, то
р = 0. Из B6.17) видно, что |р| есть среднее геометрическое
между |Pi| и |р2|.
По неравенству Коши — Буняковского
={Я{х ~
так что
0<р2<1.
B6.18)
Равенство в правой части B6.18) выполняется (см. 2.7) тогда
и только тогда, когда (х—цх) и (у— \iy) пропорциональны, т. е..
х я у связаны строго линейной функциональной зависимостью.
Следовательно, коэффициент р, по существу, равен ковариации
fin, деленной на некоторую величину, гарантирующую, что р ле-
лежит в интервале (—1, +1).
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
385
Легко показать, что угол между двумя линиями регрессии
B6.12) и B6.13) есть
B6.19)
Поэтому, когда р изменяется от —1 до +1, 9 возрастает от 0 до
максимального значения я/2 при р = 0 и затем убывает вновь
к 0. Следовательно, две линии регрессии совпадают (р2 = 1)
тогда и только тогда, когда х и у связаны строго линейной функ-
функциональной зависимостью. Угол между линиями регрессии яв-
является прямым тогда и только тогда, когда р = 0. В этом случае
говорят, что х и у некоррелированы.
Можно показать, что
Р2 = D (а2 +
= D (а, +
B6.20)
где D означает вычисленную дисперсию. Доказательство соот-
соотношения B6.20) предлагается читателю в качестве упражнения
26.13.
р как коэффициент взаимозависимости
26.10 Из 26.6 и примера 26.2 видно, что, в то время как неза-
независимость х и у влечет равенство м-п = р = 0, обратное утверж-
утверждение, вообще говоря, неверно. Оно выполняется для совместно
нормальных величин и в некоторых других случаях (пример
26.1). В этом и заключается трудность интерпретации р как
коэффициента взаимозависимости в общем случае. Действитель-
Действительно, мы видели, что р является, по существу, коэффициентом ли-
линейной взаимозависимости и не может отражать более сложных
форм взаимозависимости. В общей постановке задача взаимо-
взаимосвязи слишком сложна для того, чтобы ее можно было описать
единственным коэффициентом.
Кроме того, выразить некоторое качество — это не то же са-
самое, что измерить его. В случае, когда равенство р = 0 влечет
независимость, мы знаем из 26.9, что с возрастанием |р| возра-
возрастает и взаимозависимость, достигая предельного случая линей-
линейной функциональной зависимости при |р|=1. Но даже здесь
остается открытым вопрос, какую функцию от р нужно использо-
использовать в качестве меры взаимозависимости: из B6.20) видно, что
величину р2 легче интерпретировать, чем р, поскольку она яв-
является отношением дисперсии подгоняемой прямой к полной дис-
дисперсии. Оставляя в стороне вопрос интерпретации, можно ска-
сказать, что в таких случаях величина р дает нам некоторую меру,
хотя могут существовать и лучшие меры С другой стороны, если
равенство р = 0 не влечет независимости, то трудно интерпре-
интерпретировать коэффициент р как меру взаимозависимости и, пожа-
13 М. Кендалл, А. Стьюарт
386
ГЛАВА 26
луй, разумнее рассматривать его как индикатор, чем как точную
меру. В практической работе мы рекомендовали бы использо-
использовать р в качестве меры взаимозависимости только в случае нор-
нормального или близкого к нему распределения.
Вычисление коэффициентов
26.11 Из B6.10), B6.11) и B6.16) видно, что для вычисления
коэффициентов регрессии и корреляции требуется знать две дис-
дисперсии и ковариацию цц. В 2.19 и в примере 2.7 мы уже обсуж-
обсуждали, как вычислять дисперсии. Ковариация вычисляется анало-
аналогично, с использованием тождества, установленного в B6.3),
п п
= 2 (xi — Рх) (У{ — Ру)/п = 2
2=1 i=l
— \хху.у =
n
2
2=1
n
2-
i=i
л
2
2=1
Ради удобства мы часто берем произвольные начала координат
а, Ь для х и у соответственно. Тогда тождественно по а и б
Ни = 2 (х - а) (у - ЬIп - {2 (х - а)} {2 (У - Ь)}/п*. B6.21)
Иными словами, ковариация цц инвариантна при изменении
начала координат, так как она является смешанным централь-
центральным моментом. Соотношение B6.21) выполняется, если поло-
положить (х— а) = (г/— Ь), при этом оно переходит в выражение
B.21) для вычисления дисперсий. Обычно бывает удобно брать
произвольную единицу измерения их для х и другую произволь-
произвольную единицу иу для у. Легко видеть, что это преобразование
равносильно делению цц на uxUy, а\ — на и?х и а\ — на и2у. Та-
Таким образом, Pi будет умножаться на иу/их, {$2 — на их/иу, а р не
меняется при изменении масштабов.
Итак, ди, а] и а\, а следовательно, и |3i, (Ь и р не меняются
при изменениях начала координат. Если для вычислительных
целей вводятся различные масштабные множители, то Pi и Рг
должны умножаться на соответствующие отношения; если для
обеих переменных используется один и тот же масштабный мно-
множитель, то pi и рг не изменяются. Коэффициент р не изменяется
при любом изменении масштаба.
Пример 26.6. Вычисление коэффициентов
для группированных данных
Для группированных данных, таких, как в таблице 26.1, при-
примем ширину группы по каждой переменной за единицу для этой
переменной (если по какой-то переменной группы имеют неоди-
неодинаковые размеры, то возьмем из них наименьший). Выберем так-
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
387
же начало координат для каждой переменной где-нибудь возле
среднего, оцененного на глаз. Так, мы примем за начало коор-
координат по х в таблице 26.1 точку 64, центр модальной частотной
группы, относительно которого маргинальное распределение ве-
величины х близко к симметричному; начало координат для у
поместим в 134,5, поскольку для такого скошенного маргиналь-
маргинального распределения, как распределение величины у, среднее дол-
должно лежать заметно выше модальной частотной группы A22,5).
Размеры групп B и 6) принимаем за единицы измерений. Сумма
произведений 2 ху вычисляется умножением каждой частоты
по очереди на ее «координаты» в таблице, взятые в выбранных
нами единицах. Например, частота 4, для которой х = 68, у =
= 110,5, умножается на (+2) • (—4) = —8, так что ее вклад
в сумму равен —32. Получаем
откуда
2*=—2,353,.
2*2= 10,161,
||. 2 + 64 = 63,06,
•6+ 134,5=132,82,
C22 = 7,S
= -1,400,
1
4995 U995
и, следовательно,
=Jiii- = 0,322,
= 0,0385,
Уравнения (приближенных) линейных регрессий имеют вид
х по у: х — 63,06 = 0,0385(г/— 132,82),
или
* = 0,0385*/ +57,95,
у по х: у — 132,82 = 2,692 (* — 63,06),
13*
388
ГЛАВА 26
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
389
или
У = 2,692 х — 36,96.
Эти линии изображены на рис. 26.1 (стр. 378) как RR' и С С со-
соответственно.
Пример 26.7. Вычисление коэффициентов
для негруппированных данных
В таблице 26.3 приведены данные о размерах урожаев пше-
пшеницы и картофеля по 48 графствам Англии в 1936 г. При негруп-
негруппированных данных, таких, как эти, выбор некоторых новых на-
начал координат и единиц измерений редко бывает удобным для
Таблица 26.3
Размеры урожаев пшеницы н картофеля по 48 графствам Англии в 193S г.
Графство
Пше-
Пшеница
(цент-
(центнеры *)
на акр)
К ар то
фель
(тоннь
на акр
Графство
Пше-
Пшеница)
(цент-
(центнеры •)
на акр)
Карто-
Картофель
(тонны
на акр)
Бедфордшир
Хантингдоншир
Кембриджшир
Илн
Суффолк Западный
Суффолк Восточный
Эссекс
Хартфордшир
Мидлсекс
Норфолк
Линкс (Голландии)
» (Кестевен)
» (Линдсей)
Йоркшир (Ист Райдинг)
Кент
Суррей
Суссекс Восточный
Суссекс Западный
Беркшир
Гемпшир
О-в Уайт
Нотингемшир
Лестершир
Ратлеид
16,0
16,0
16,4
20,5
18,2
16,3
17,7
15,3
16,5
16,9
21,8
15,5
15,8
16,1
18,5
12,7
15,7
14,3
13,8
12,8
12,0
15,6
15,8
16,6
5,3
6,6
6,1
5,5
6,9
6,1
6,4
6,3
7,8
8,3
5,7
6,2
6,0
6,1
6,6
4,8
4,9
5,1
5,5
6,7
6,5
5,2
5,2
7,1
Нортгемптоншир
Питерборо
Бакингемшир
Оксфордшир
Уорикшир
Шропшир
Вустершир
Глостершир
Уилтшир
Херефордшир
Сомерсетшир
Дорсетшир
Девоншир
Корнуолл
Нортамберленд
Дарем
Йоркшир (Норт
Райдинг)
» (Уэст
Райдииг)
Камберленд
Уэстморленд
Ланкашир
Чешнр
Дербишир
Стаффордшир
14,3
14,4
15,2
14,1
15,4
16,5
14,2
13,2
13,8
14,4
13,4
11,2
14,4
15,4
18,5
16,4
17,0
16,9
17,5
15,8
19,2
17,7
15,2
17,1
4,9
5,6
6,4
6,9
5,6
6,1
5,7
5,0
6,5
6,2
5,2
6,6
5,8
6,3
6,3
5,8
5,9
6,5
5,8
5,7
7,2
6,5
5,4
6,3
1
а
вычислений. Поэтому, используя обычные начала координат и
единицы измерений, находим
* = 758,0,
^=15,792, PI =
|iy = 6,065, P2 =
2*2= 12170,48,
2 у2 =1791,03,
2 ху = 4612,64,
= 0,612,
= 0,078,
a2) = 0,219.
a\ = 0,534,
ци =0,327.
Следовательно, уравнения линий регрессии (приближенных)
имеют вид
Регрессия х по у: х — 15,792 = 0,612{у — 6,065).
Регрессия у по х: у — 6,065 = 0,078 (х— 15,792).
Данные и прямые регрессии изображены на рис. 26.3, при-
причем каждая точка на диаграмме соответствует паре (х, г/). Диа-
Диаграмма, подобная приведенной, на которую нанесены все точки,
¦"*»*
*) Английский центнер равен 50,8 кг, 1 акр = 0,405 га. (прим. ред.)
10 12 14 16 18 20 22
Уромай пшеницы (центнеры на акр),х
Рис. 26.3. Данные таблицы 26.3 с линиями регрессии.
называется диаграммой разброса; пользоваться ею мы очень
рекомендуем, так как на ней можно быстро и просто увидеть,
насколько хорошо соответствуют данным подгоняемые прямые
регрессии (в нашем примере соответствие не очень хорошее).
Действительно, диаграмма разброса, построенная заранее, до
анализа, может дать ответ на вопрос, стоит ли вообще зани-
заниматься подгонкой линий регрессии.
390.
ГЛАВА 26
Выборочные коэффициенты и их стандартные ошибки
26.12 Перейдем теперь к рассмотрению задач о выборочных
коэффициентах корреляции и регрессии. Как обычно, будем со-
соблюдать соглашение о том, что латинской буквой обозначается
выборочная статистика, а греческой — ее эквивалент по гене-
ральдой совокупности. Таким образом, для выборочных коэффи-
коэффициентов регрессии и корреляции имеем
B6.22)
где суммирование происходит по всем выборочным значениям:
Для вычислительных целей, так же как в случае генеральных
коэффициентов рь р2. Р, эти выражения можно представить в
виде
у)/п
11/2 *
B6.23)
Как и раньше, — 1 ^ г <: + 1 ¦
26.13 Легко найти стандартные ошибки коэффициентов
B6.22). Действительно, в примере 10.6 уже была получена асим-
асимптотическая дисперсия величины г. Там мы видели, что это (в об-
общем случае) есть выражение, включающее в себя все вторые и
четвертые моменты совокупности, из которой извлекается вы-
выборка. Однако в нормальном случае мы нашли, что оно сво-
сводится к
B6.24)
Выражение B6.24) имеет для практики небольшую ценность,
поскольку распределение коэффициента г слишком медленно
сходится к нормальному (см. 16.29): неразумно пользоваться
нормальным приближением при п < 500. Эта трудность- практи-
' СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
391
чески несущественна, так как (см. 16.33) простое преобразова-
преобразование статистики г
(^) B6.25)
дает величину, распределение которой (для нормальной вы-
выборки) значительно ближе к нормальному с приближенным
средним
(|±?) B6.26)
и приближенной дисперсией
п-3 '
B6.27)
не зависящей от р. Для п > 50 допустимо использование этой
стандартной ошибки величины z. Более точные аппроксимации
даны в 16.33.
В случае выборочного коэффициента регрессии у по х
использование A0.17) приводит, в точности как для г в примере
10.6, к выражению
Dm,, . O(sT)
I»?.
^}.
Подставляя сюда дисперсии и ковариацию из A0.23) и A0.24),
находим
1 /Н-п \2 ( У-гг I Ц<о 2ц31 )
'¦ - I -2 1 ' -.2 ~1 Г4 .. ,2 [•
B6.28)
Если исходная совокупность нормальна, то, учитывая соотноше-
соотношения из примера 3.17, получаем
?а! За'
п V а-.
t\ 6pg^g2 | _
М^-^С-Р2)- B6-29)
Аналогично, для коэффициента регрессии х по у имеем
B6.30)
392
ГЛАВА 26
Выражения B6.29) и B6.30) (когда в них заменены а\, а\ и р
на s2, s2 и г) более полезны для вычисления стандартных оши-
ошибок, чем B6.24), потому что, как мы видели в 16.35, распределе-
распределение величины Ь2 симметрично относительно {$2- Читателю предла-
предлагается в качестве упражнения 26.9 показать с помощью A6.86),
что соотношение B6.29) является точным, если его умножить
на п/(п — 3), и что распределение статистики Ь2 быстро схо-
сходится к нормальному ввиду того, что ее эксцесс есть величина
порядка 1/гс.
Оценивание р в нормальных выборках
26.14 Выборочная теория двумерного нормального распреде-
распределения изложена в 16.23—36. Опираясь на наши результаты из
глав 17 и 18, мы можем рассмотреть задачу оценивания коэффи-
коэффициента р по выборке.
В 16.24 было фактически показано, что функция правдопо-
правдоподобия дается выражением A6.52), в которое наблюдения входят
только через пять статистик: х, .у, s2v s|, г. Следовательно, они
образуют систему достаточных статистик для пяти параметров:
fi,, ц2, a\, o\, р, и согласно 23.10 их распределение полно. Далее,
из A6.52) вытекает, что, даже если первые четыре параметра
известны, тем не менее для одного р требуется эта пятикомпо-
нентная достаточная статистика.
В главе 18 было показано, что оценка максимального правдо-
правдоподобия коэффициента р принимает различные формы в зависи-
зависимости от того, какие из остальных параметров оцениваются одно-
одновременно с р: МП-оценка всегда является функцией от системы
достаточных статистик, но в разных ситуациях это разные функ-
функции. Когда оценивается только р, МП-оценка есть корень кубиче-
кубического уравнения (пример 18.3); когда оцениваются все пять па-
параметров, то МП-оценка представляет собой выборочный коэф-
коэффициент корреляции г (пример 18.14). На практике последний
случай встречается наиболее часто, и мы теперь рассмотрим оце-
оценивание р с помощью г или некоторых функций от него.
26.15 Точное распределение коэффициента г, которое зависит
только от р, дается в A6.61) или в более удобной форме в
A6.66). Его среднее значение определяется гипергеометрическим
рядом A6.73). Раскладывая в A6.73) гамма-функции в ряды
Стерлинга C.64) и беря два главных члена гипергеометрической
функции, находим
{ 1Ц?11} B6.31)
Таким образом, г является несколько смещенной оценкой для р,
когда 0 ф р2 Ф I. Смещение, как правило, мало, но интересно
исследовать вопрос о том, можно ли его устранить.
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
393
26.16 Есть два подхода к этой задаче. Прежде всего, можно
задать вопрос: существует ли функция g(r) такая, что равенство
М {g (г)} = g (p) B6.32)
выполняется тождественно по р? Хотеллинг A953) показал, что
если g не зависит от п, то g(r) может быть только линейной
функцией от arcsin г, а Харли A956, 1957) доказал, что в самом
деле
М (arcsin r) = arcsin p. B6.33)
Простое доказательство результата Харли дано Даниэлсом и
Кендаллом A958).
26.17 Второй, более прямой подход состоит в том, чтобы ис-
искать функцию от г, являющуюся несмещенной оценкой самого р.
Согласно результату Хотеллинга из 26.16 эта функция должна
зависеть от п. Так как г является функцией от системы полных
достаточных статистик, то несмещенная функция от г должна
быть единственной (см. 23.9). Олкин и Прэтт A958) нашли не-
несмещенную оценку для р (обозначим ее ги), представимую в виде
гипергеометрической функции
B6.34)
Раскладывая ее в ряд, получаем
1
« Г\ 1^ 2(га-
9A — j
B6.35)
2 (га —2) г Вп(п— 2) ' v"
Все члены ряда неотрицательны, поэтому
\rtt\>\r\,
и равенство выполняется только тогда, когда г2 = 0 или 1. Тем
не менее поскольку F(y, у, у (п — 2), Oj = 1 и ги—возра-
ги—возрастающая функция от г, то г2^Сг^<С 1.
Очевидно, первый поправочный член в B6.35) нейтрализует
отрицательное смещение порядка 1/« в B6.31). Олкин и Прэтт
рекомендуют использовать в качестве оценки величину
B6.36)
Выражение в фигурных скобках B6.36) отличается от ги/г не бо-
более чем на 0,01 при и ^ 8 и не более чем на 0,001 при п ^ 18
равномерно по г.
Олкин и Прэтт приводят точные таблицы ги для га = 2BK0 и
|г| = 0@,1) 1, которые показывают, что если п ^ 14, то \ги\ ни-
никогда не превосходит \г\ более чем на 5%.
394
ГЛАВА 26
В заключение отметим, что поскольку п входит только в зна-
знаменатель гипергеометрического ряда, то ги-*г при п—*оо, так
что эта статистика имеет такое же предельное распределение,
как и г, а именно нормальное распределение со средним р и дис-
дисперсией A — р2J/«-
Доверительные границы и критерии для р
26.18 Если проверяется гипотеза о том, что р = О, то крите-
критерии, основанные на г, являются РНМН (см. упражнение 31.21);
но это не так, когда проверяется гипотеза о ненулевом значе-
значении р. Однако, как показал Леман A959), если ограничиться ста-
статистиками критериев, которые инвариантны относительно пре-
преобразований сдвига и масштаба, то односторонние критерии,
основанные на г, будут РНМ инвариантными критериями.
Для построения интервальных оценок можно испольаовать
графики Ф. Дэвида A938), описанные в 20.21. Вследствие заме-
замеченной в 23.26 двойственности между доверительными интерва-
интервалами и критериями, эти графики могут быть использованы для
получения значений р, отклоняемых критерием размера а, т. е.
всех значений р, не покрываемых доверительным интервалом, со-
соответствующим, данному а. Ф. Дэвид A937) показал, что этот
критерий несколько смещен (соответственно смещены и довери-
доверительные интервалы). Последнее легче всего понять с помощью
критерия, основанного на г-преобразовании, приведенного в
26.13: если бы он был точным и величина z имела бы точное нор-
нормальное распределение с дисперсией, не зависящей от р, то про-
проверка гипотезы о р была бы равносильна проверке гипотезы о
среднем значении нормального распределения с известной дис-
дисперсией.
Как известно из примера 23.11, критерий с «равными хво-
хвостами» для этой гипотезы является несмещенным. Поскольку
z есть взаимно однозначная функция от г, то критерий с «рав-
«равными хвостами» для г тоже был бы несмещенным. Таким обра-
образом, незначительное смещение г-критерия с «равными хвостами»
можно рассматривать как отражение приближенного характера
z-преобразования.
Упражнение 26.15 показывает, что критерий ОП основывается
на величине г, но он имеет неодинаковые «хвосты», за исключе-
исключением случая, когда проверяется гипотеза р = 0.
26.19 С другой стороны, можно построить приближенный кри-
критерий, используя z-преобразование Фишера, простейшие сведе-
сведения о котором приведены в 26.13: для проверки гипотетического
значения р вычисляем величину B6.25) и проверяем гипотезу
о том, что она распределена нормально со средним B6.26) и
дисперсией B6.27). Критерий с одним или двумя «хвостами» вы-
' СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
395
бирается в зависимости от того, является ли альтернатива к этой
простой гипотезе односторонней или двусторонней.
Тем же путем, используя z-преобразование, можно проверять
сложную гипотезу о равенстве коэффициентов корреляции двух
двумерных нормальных совокупностей, из которых взяты неза-
независимые выборки. Действительно, каждая из двух преобразован-
преобразованных статистик zb z2 будет распределена, как в 26.13, а величина
(Zi — z2) будет иметь среднее нуль и дисперсию \/(rii — 3) +
+ 1/(лг — 3), где П\ и п2— объемы выборок. Упражнения 26.19—
26.21 показывают, что величина (zx — z2) представляет собой
точную статистику ОП, когда П\ = п2, и приближенную, когда
Пх ф п2. Однако в обоих случаях критерий оказывается прибли-
приближенным, будучи критерием, основанным на стандартной ошибке.
Таким способом нельзя проверять более общую сложную ги-
гипотезу о том, что два коэффициента корреляции рь рг, отли-
отличаются на константу А. Ибо тогда величина
+ Р2
— Рг
?)(
l-pjl l+p
не есть функция только от |pi — рг|. Можно было бы использо-
использовать z-преобразование для проверки гипотезы
при любой константе а, но эта гипотеза неинтересна. Так как не
исследовано точное распределение разности Г\ —г2, то нет спосо-
способов проверки гипотезы Яо: pi—р2 = А, исключая, разумеется,
случай очень большой выборки, когда могут быть использованы
стандартные ошибки.
Критерии независимости и регрессионные критерии
26.20 В частном случае, когда хотят проверить гипотезу р=0,
т.е. проверить, являются ли нормальные величины независи-
независимыми, можно использовать точный результат из 16.28 о том, что
статистика
t = {(« - 2) г2/A - г2)}112 B6.37)
имеет ^-распределение Стьюдента с п — 2 степенями свободы. Ве-
Величина t2, по существу, является статистикой критерия ОП для
гипотезы р = 0 (см. упражнение 26.15), и это эквивалентно кри-
критерию с «равными хвостами», основанному на t.
396
ГЛАВА 26
По существу, мы здесь проверяем гипотезу о равенстве нулю
Ип, ковариации совокупности, что, очевидно, влечет обращение
в нуль коэффициентов регрессии Рь pY В 16.36 было показано,
что величина
{s2(n
— 2)
B6-38)
имеет распределение Стьюдента с п — 2 степенями свободы. Та-
Таким образом, М (b2) = pV Когда Рг = О, то, как мы уже видели,
B6.38) совпадает с B6.37). Итак, критерий независимости мо-
может рассматриваться как критерий равенства нулю коэффи-
коэффициента регрессии, являющийся частным случаем общего крите-
критерия B6.38) для гипотез, касающихся ffe. Заметим, что точный
критерий о любом гипотетическом значении рг много проще, чем
критерий для р.
В главе 31 мы увидим, что критерии независимости можно
строить без каких-либо предположений о нормальности исход-
исходного распределения.
Корреляционные отношения и линейность регрессии
26.21 В 26.8 обсуждался вопрос подгонки прямых к линиям
регрессии, когда последние не являются строго линейными. Мо-
Можно получить дальнейшие результаты о линейности регрессии.
Рассмотрим вначале случай строго линейной регрессии х по у,
когда выполняется B6.12). Возводя B6.12) в квадрат и беря
математические ожидания относительно у, получаем
D {М (* | у)} = Му {(М (х\у)-М (х)П = р>2 = |i?,/o|. B6.39)
Определим теперь корреляционное отношение х по у, г\и по-
положив
?M/, B6.40)
что является отношением дисперсии средних значений ^-сечений
к дисперсии величины х. В отличие от р, функция rfv очевидно,
несимметрична относительно х и у. Из B6.40) следует, что вели-
величина ц\ инвариантна относительно перестановки ^-сечений, по-
поскольку D { М(х\у)} не зависит от того, в каком порядке берутся
значения М(х\у). В этом состоит ее существенное отличие от
коэффициента р, который чувствителен к любому изменению по-
порядка сечений.
Из B6.39) видно, что если регрессия строго линейна, то
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
397
Рассмотрим теперь общий случай, в котором регрессия может
не быть строго линейной. Имеем
а1 = М [{* - М (*)}]* = М [({* - М (* \у)} + {М (* |у) - М (хЩ =
= М [{я - М (* | у)}2] + М [{М (х | у) - М {x)f\ =
= М [{х - М (х | y)f] + D {М (* \у)}, B6.41)
так как слагаемое с удвоенным произведением равно нулю:
2М [{я - М (х |у)}{М (х\у)- М (*)}] =
= М [{М (* \у) - М (х)} М {х - М (х \у)}} = 0.
У х\у
Таким образом, из B6.40) и B6.41) вытекает, что
0<tj|<1 B6.42)
и т)j = 1 тогда и только тогда, когда М[{х — М (*1#)}2] = 0, т.е.
когда каждое наблюдение лежит на кривой регрессии и, следо-
следовательно, х и у связаны строго функционально. Далее,
B6.43)
По неравенству Коши — Буняковского
>?,=(т{у - м (уШх - м
< М [{у
У
= (М [{у - М (у)} {М(х \у) - М (*)}]J <
М (у)АМ [{М (х\у)-М
У
= <ф {М (х \у)}, B6.44)
и равенство выполняется тогда и только тогда, когда величина
{у— М (г/)} пропорциональна {М (х\у) — М (х)}, т. е. если
М(х\у) является строго линейной функцией от у. Таким обра-
образом, согласно B6.43) и B6.44)
<1, B6.45)
где равенство выполняется только в случае строго линейной ре-
регрессии х по у. Следовательно, из B6.42), B6.45) и B6.18) по-
получаем окончательно неравенства
0<р2<т}2<1. B6.46)
Можно следующим образом резюмировать наши результаты
о неравенствах B6.46), приведенные в 26.9—10 и в этом пункте:
(а) р2 = 0, если х и у независимы, но обратное неверно;
(б) р2 = тJ = 1 тогда и только тогда .когда имеется строгая
линейная функциональная зависимость х от у;
(в) р2<|тJ; = 1 тогда и только тогда, когда имеется строгая
нелинейная функциональная зависимость х от у;
398
ГЛАВА 26
(г) р2=т}2< 1 тогда и только тогда, когда регрессия х по у
строго линейна, но нет функциональной зависимости;
д) р2 < r|f < 1 указывает на то, что не существует функцио-
функциональной зависимости и некоторая нелинейная кривая регрессии
«подходит» лучше, чем «наилучшая» прямая линия, так как из
B6.20) и B6.40) следует, что D {M (x\y)} >D (сц + Ptf), т. е.
средние сечений более разбросаны, чем значения, даваемые
наиболее подходящей линейной регрессией. (Конечно, может
не существовать лучше подходящей простой регрессионной
кривой.)
Поскольку величина у\2 не учитывает порядка ^-сечений, то
она не является мерой ни для какого конкретного типа зави-
зависимости х от у, но значение величины Г|2 — р2 служит индикато-
индикатором нелинейности регрессии; важно подчеркнуть, что именно
индикатором, а не мерой. Для того чтобы судить о ее значи-
значимости, нужно учитывать также и число сечений (вместе с чис-
числом наблюдений). Этот вопрос будет обсуждаться в 26.24.
26.22 В случае регрессии у по х определим аналогично пре-
предыдущему корреляционное отношение
П§ = D {М (у | х)}/а2, B6.47)
где снова
Так как тJ = 1 тогда и только тогда, когда имеется строгая
функциональная зависимость, то равенство тJ = 1 влечет
т)|=1, и наоборот*). Квадраты корреляционных отношений
всегда превосходят р2, но если регрессия х по у линейна, а у
поде нелинейна, то мы будем иметь Г|2=р2<Г|2, как это пока-
показано в следующем примере.
Пример 26.8
Рассмотрим снова ситуацию из примера 26.6. Регрессия х
по у2- там была линейной с коэффициентом регрессии 0, так что
корреляция между х и у2 тоже равна нулю. Мы нашли, что
М(;е|г/2)=0, откуда следует равенство D {М (х\у2)} — 0. По-
Поэтому корреляционное отношение х по у2 равно 0, как и должно
быть, поскольку коэффициент корреляции равен нулю и регрес-
регрессия линейна.
*) Это неверно. Например, для распределения, в котором (х,у) прини-
принимает значения (—3,—1), (—1,—1), A,1), C,1) с вероятностями 1/4 каж-
каждое, имеем Tji = 4/5, г\г = 1. Дело в том, что из функциональной зависимо-
зависимости у от х следует функциональная зависимость х от г/, только если функ-
функция у(х) взаимно однозначна (например, строго монотонна). (Прим. ред.)
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
399
Регрессия же уг по х нелинейна: в примере 26.3 было най-
найдено, что
М0/2|х) = 1+Р2(*2-1)-
Следовательно,
D{М (у2 \х)}=М [{р2(х2- I)}2] = Р4М [{х2- I}2] = 2р<
и а2, = 2. Таким образом, корреляционное отношение у2 по х
есть р4, что всегда (когда р =f= 0) превосходит коэффициент
корреляции между х и у2, который равен нулю.
Если нужно вычислить корреляционные отношения по выбо-
выборочным данным, то, подставляя выборочные дисперсии и дис-
дисперсии средних значений сечений в B6.40) и B6.41), получим
выборочное корреляционное отношение х по у:
пх"
2
2 2 ха~
пх"
B6.48)
где Xi — среднее значение г-го ^-сечения, я* — число наблюде-
наблюдений в этом сечении, k — количество сечений. Аналогичное вы-
выражение имеет место для е|, выборочного корреляционного
отношения у по х. Как и в случае генеральных коэффициентов,
имеем
= l, 2.
B6.49)
Пример 26.9. Вычисление корреляционного отношения
Вычислим корреляционное отношение у по х для данных
таблицы 26.1, которые теперь будем рассматривать как вы-
выборку. Вычисления приведены в таблице 26.4.
В примере 26.6 было найдено, что среднее значение у равно
г/=132,82, а дисперсия у равна 507,46. Таким образом, из
B6.48) находим корреляционное отношение у по х:
88 385 915,97-4995 A32.82J _
4995 X 507,46
88 385 915,97 — 88 117 544,25
2 534 762,70
268 359,73
2534 762,70
= 0,106.
Это значение ненамного превосходит квадрат коэффициента
400
ГЛАВА 26
Таблица 26.4
Рост
(X)
54
56
58
60
62
64
€6
68
70
72
74
Средний вес
в сеченин (у^
92,50
111,41
122,05
124,43
130,22
134,59
140,48
146,37
157,32
163,41
179,50
й
8556,25
12412,19
14896,20
15482,82
16957,25
18114,47
19734,63
21424,18
24749,58
26702,83
32220,25
5
33
254
813
1340
1454
750
275
56
11
4
« = 4995
42781,25
409602,27
3783634,80
12587532,66
22722715,00
26338439,38
14800972,50
5891649,50
1385976,48
293731,13
128881,00
88385915,97
корреляции
г2 = @,322J = 0,104.
Рисунок 26.1 показывает, что линейная аппроксимация регрес-
регрессии СС действительно хорошая.
Проверка гипотез о корреляционных отношениях
и о линейности регрессии
26.23 В 26.21 мы видели, что равенство тJ = р2 указывает на
то, что для регрессии нельзя найти лучшей кривой, чем прямая
линия,- а следовательно, положительное значение величины
тJ — р2 является индикатором нелинейности регрессии. Теперь,
когда определены выборочные корреляционные отношения е\,
естественно задать вопрос: можно ли с помощью статистики
(е\ — г2) построить критерий для проверки линейности регрес-
регрессии х по у? При этом мы получим также критерий для про-
проверки гипотезы о том, чтот)^ =0, и установим связь между этими
критериями и критерием для гипотезы р = 0, приведенным в
B6.37). Эти задачи впервые были решены Р. А, Фишером.
Согласно B6.49) в правой части тождества
ns\ = rcs2/-2 + ns\(e\ — г2) + ns\ A — е2) B6.50)
все члены положительны. Так как
2 2№-*)-
-*J-г22 2(xti -х)
i j
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
401
то B6.50) можно переписать в виде
2 2 (xti - *)W* 2 2 (xt, ~ xf +
if if
+ 22 ft* - x) - bx {gt - y)}2 + 22 (*„ - xtf. B6.51)
Выражение B6.51) представляет собой разложение квадратич-
квадратичной формы от ^j на три других таких же формы. Предполо-
Предположим теперь, что yt фиксированы, а все величины х^ не зависят
одна от другой и распределены нормально с одинаковыми дис-
дисперсиями (без потери общности будем считать их равными едини-
единице). Вопрос о средних значениях Хц временно оставим открытым.
Если выполняется гипотеза Яо о том, что все xi5 имеют оди-
одинаковые средние, т. е. что кривая регрессии представляет собой
прямую, параллельную оси у, то левая часть B6.51), как из-
известно, подчиняется хи-квадрат распределению см—1 степе-
степенями свободы. Доказательство того, что ранги квадратичных
форм в правой части B6.51) равны соответственно 1, {k — 2)
и (п — k), проводится непосредственно, хотя оно и громоздко.
Так как эти ранги в сумме дают (я—1), то из теоремы Кок-
рэна A5.16) вытекает, что три слагаемых справа независимы
и имеют хи-квадрат распределения с такими же числами сте-
степеней свободы, каковы их ранги. Согласно 16.15 отношение лю-
любых двух из них (деленных на их ранги) подчиняется ^-распре-
^-распределению с соответствующими степенями свободы. Этот факт мо-
может быть использован двояко для проверки гипотезы Но.
(аI* Отношение первого слагаемого, деленного на его ранг,
к сумме второго и третьего, тоже деленной на ее ранг,
где индексы указывают число степеней свободы.
Как можно заметить, это эквивалентно критерию B6.37),
поскольку tn-2 = Fi,n-2 согласно 16.15. Это утверждение было
получено в 16.28 для двумерного нормального распределения.
Здесь мы считаем игреки фиксированными, а распределения
внутри "каждого х-хечения нормальными.
(б) "Отношение суммы первого и второго слагаемых, делен-
деленной на-ее ранг, к третьему, тоже деленному на его ранг,
(х ei^\T,l) м' 6СТЬ f*-i.«-*- B6-53>
A— e{)[{n~k)
Для обоих критериев большие значения статистики крите-
критерия ведут к отклонению Яо.
Критерии, основанные на B6.52) и B6.53), совершенно раз-
различны, и оба имеют силу для Яо, но B6.52), по существу, про-
402
ГЛАВА 26
веряет гипотезу р2 = 0, тогда как B6.53) — гипотезу т)^ = 0.
Если альтернативная гипотеза состоит в том, что регрессия х
по у линейна, то критерий B6.52) будет иметь большую мощ-
мощность. Если же альтернативная гипотеза утверждает, что рег-
регрессия может быть любой формы, отличной от указанной в Яо,
то B6.53), очевидно, является более мощным. На практике
почти всегда используется B6.52) в форме линейного регрес-
регрессионного критерия B6.20), но существуют определенные ситуа-
ситуации, в которых более применим критерий, основанный на
B6.53). Эти критерии мы обсудим ниже, в 26.24, но сначала
рассмотрим критерий линейности регрессии.
26.24 Если не все Хц имеют одинаковые средние, то левая
часть в B6.51) уже не подчиняется распределению X^j. Од-
Однако если мы перенесем первое слагаемое справа в левую
часть, то получим
ns2 A - г2) = ns2 (е\ - г2) + ns\(\ - e\). B6.54)
Поскольку
ns2 A - г2) ееэ S 2 {xi, - (а, + Ь1У1)}2
i i
есть сумма квадратов уклонений от «подогнанной» линейной ре-
регрессии, то при гипотезе #о о том, что регрессия х по у строго
линейна, и при нормальных, как и прежде, распределениях
внутри сечений величина ns2{\—г2) имеет хи-квадрат распре-
распределение с п — 2 степенями свободы (при определении каждого
из параметров линии регрессии теряется по одной степени сво-
свободы (см. 19.9)). Ранги квадратичных форм в правой части
B6.54) равны по-прежнему (k — 2) и (п — k). Следовательно,
эти формы независимы и подчинены хи-квадрат распределе-
распределениям с теми же числами степеней свободы. Таким образом, их
отношение, после деления на соответствующие ранги,
^-2'il-tесть /w-*- B6-55)
Выражение B6.55) может быть использовано для проверки ги-
гипотезы #6 о линейности регрессии; Но отвергается при больших
значениях статистики критерия. Снова мы не делали никаких
предположений о величинах хц.
Итак, наши интуитивные соображения о том, что с помощью
(е\ — г2\ можно, проверять линейность регрессии, оказались вер-
верными. Но B6.55) показывает, что статистика критерия зависит
от A—е\}, k и п, так что одной величины (е2— г2) недоста-
недостаточно.
Все три критерия, которые мы обсуждали здесь и в преды-
предыдущем пункте, являются критериями ОП линейных гипотез
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
403
вида, рассмотренного во второй части главы 24. Например, ги-
гипотеза о том, что все величины Хц имеют одинаковые средние,
допускает две интерпретации. Можно считать, что средние ле-
лежат на прямой линии, определяемой двумя параметрами, и
проверять гипотезу о том, что эта линия имеет нулевой наклон.
Последняя гипотеза содержит одно ограничение на два пара-
параметра. В обозначениях пунктов 24.27—28 k = 2 и г — 1, так
что мы получаем F-критерий с A, п — 2) степенями свободы:
это критерий B6.52). С другой стороны, можно считать, что
средние значения k сечений лежат на ^-параметрической кри-
кривой (например, на кривой, определяемой полиномом степени
k— 1), и проверять гипотезу о том, что все коэффициенты по-
полинома, кроме константы, равны нулю (гипотеза содержит
k—1 ограничений). Тогда мы получаем F-критерий с (k—1,
п — k) степенями свободы: это критерий B6.53). Наконец, если
во второй формулировке проверять гипотезу о том, что все ко-
коэффициенты полинома, кроме константы и коэффициента при
линейном члене, равны нулю (так что средние значения сечений
лежат на прямой линии), то мы наложим k — 2 ограничений
и получим F-критерий с (k — 2, п — k) степенями свободы: это
уже критерий B6.55).
Следовательно, для фиксированных значений ух результаты
главы 24, касающиеся мощности критерия ОП, основанного на
нецентральном F-распределении, применимы и к этим крите-
критериям, которые согласно 24.37 являются РНМ инвариантными
критериями. Однако в двумерном нормальном случае,' где у,-
не фиксированы, получающиеся распределения не будут совпа-
совпадать с распределениями для фиксированных, как выше, ух, за
исключением случая справедливости проверяемой гипотезы, ко-
когда изменение Ух является несущественным (как будет пока-
показано в 27.29). Например, распределение величины г2, получен-
полученное из нецентрального F-распределения для B6.52), не совпа-
совпадает с результатом, получаемым из A6.61) или A6.66) в слу-
случае двумерной нормальности. Следовательно, функции мощно-
мощности критерия для р = 0 в этих двух случаях различны, хотя
один и тот же критерий применим в обоих случаях. Однако для
больших п результаты совпадают. В 27.29 и 27.31 мы обсудим
это в более общей ситуации в связи с множественным коэффи-
коэффициентом корреляции (г2 есть частный случай последнего).
Внутриклассовая корреляция
26.25 Иногда возникают задачи, главным образом в биоло-
биологических исследованиях, в которых требуется найти корреля-
корреляцию между членами одного или большего числа семейств.
Пусть, например, исследуется корреляция между ростами
404
ГЛАВА 2в
братьев. Тогда перед нами встает вопрос: какая переменная яв-
является первой и какая — второй? В простейшем случае мы мо-
можем располагать некоторым числом семейств, каждое из кото-
которых содержит двух братьев. Наша корреляционная таблица
имеет две переменные, обе обозначают рост, но при ее состав-
составлении мы должны решить, какой брат относится к какой пере-
переменной. Один из способов заключается в том, чтобы с первой
переменной связывать либо старшего брата, либо более высо-
высокого; но этот способ дал бы нам корреляцию между старшими
и младшими братьями или между более высокими и теми, что
ниже, а не корреляцию между братьями вообще, которая нам
требуется.
Решение задачи состоит в том, чтобы помещать в таблицу
обе возможные пары, т. е. пары, получаемые, если каждого из
братьев считать первым. Если семейство или, в более общем
случае, класс содержит k членов, то в таблице будет k{k — 1)
записей, так как каждый член будет браться первым совместно
с каждым отличным от него, членом, который берется вторым.
При р классах с ku k2, ..., kv членами корреляционная таб-
р
лица будет иметь 2 kt (&,• — 1) = ^ записей.
Рост (дюймы)
Таблица 26.5
68
69
70
71
72
73
Всего
68
—
—
2
—
—
—
2
69
—
—
I
—
I
—
2
70
2
1
2
1
2
—
8
71
—
—
1
—
4
1
6
72
—
1
2
4
2
1
10
73
—
—
—
1
1
—
2
Всего
2
2
8
6
10
2
30
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
405
В качестве простой иллюстрации рассмотрим пять семейств,
содержащих по три брата, роста которых (в дюймах) есть со-
соответственно: 69, 70, 72; 70, 71, 72; 71, 72, 72; 68, 70, 70; 71, 72,
73. В таблице будет 30 записей (ем. таблицу 26.5).
Здесь, к примеру, пара 69, 70 из первого семейства вошла
в таблицу как F9, 70) и G0, 69), а пара 72, 72 из третьего се-
семейства— дважды как G2, 72).
Очевидно, что таблица симметрична относительно главной
диагонали, как и должно быть. Обычным способом можно вы-
вычислить коэффициент корреляции. Находимо\—о\= 1,716, Цп=
= 0,516 и, следовательно, р = 0,516/1,716 = 0,301.
Такой коэффициент корреляции называется внутриклассо-
внутриклассовым коэффициентом корреляции. Его можно находить следую-
следующим более прямым способом.
Предположим, что имеется р классов со значениями
хп *1*,'> V2i' • • •' XaV • • •• хр1' •¦' xPhp- B корреляционной
таблице каждый член i-ro класса будет появляться k^ — 1 раз
(вместе с каждым другим элементом его класса). Таким обра-
образом, среднее значение каждой переменной равно
и=4-
1=1
а дисперсия
Соответственно ковариация равна
р ki
fill==ir2 2 (ХЧ~
- -it B *! (•*! - ^J - 2 2 to/.-
i i
406
ГЛАВА 26
где Hi — среднее значение i-го класса. Следовательно, для ко* J
эффициента корреляции получаем выражение
B6.56)
Если ft,- = ft для всех i, то B6.56) преобразуется к
виду
Р =
1 lk<
Л — IV а2
где al{ — дисперсия средних значений по
B6.57)
классам, равная
i=l
Для того чтобы отличать внутриклассовый коэффициент от
обычного коэффициента корреляции р, будем обозначать его р*,
а соответствующее выборочное значение гг-.
Пример 26.10
Используя B6.57), найдем внутриклассовый коэффициент
для данных таблицы 26.5. Выберем начало координат в точке 70
дюймов. Тогда значения переменных равны —1, 0, 2; 0, 1, 2;
1, 2, 2; —2, 0, 0; 1, 2, 3. Следовательно, ^ = 13/15, ^ =
= 1/15{(—1J + 02+...} = 37/15 и о2 = 386/225. Средниезна-
чения по семействам, цг-, равны
_5_ \Ь_ _25_ —10 30
15 ' 15 ' 15 '
а их отклонения от ц равны
—8 _2_
15 ' 15 '
Таким образом,
15
15 '
—23
15 '
1_
.. >-
15 '
17
15 *
1030
1125 *
Следовательно, согласно B6.57)
_1_ f 3- 1030-225 _
Р' 2 1 1125-386
Этот результат был уже получен непосредственно в 26.25.
26.26 При интерпретации внутриклассового коэффициента
корреляции необходима осторожность. Из B6.57) видно, что р*
не может быть меньше, чем , _ . , однако он может достигать
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
407
значения +1, когда <г^ =<г. Таким образом, он является асим-
асимметричным коэффициентом в том смысле, что его отрицатель-
отрицательное значение как мера отклонения от независимости не равно-
равнозначно соответствующему положительному значению.
Фактически внутриклассовый коэффициент со многих точек
зрения удобнее рассматривать как величину, связанную про-
простым линейным преобразованием с отношением дисперсий меж-
между классами и внутри классов в дисперсионном анализе. При
таком подходе для случая, когда все семейства имеют одинако-
одинаковые объемы k, Фишер A921с) вывел распределение выбороч-
выборочного внутриклассового коэффициента rt. Он нашел, что если
k = 2, то, как и в случае коэффициента г, преобразование
z == arg th r i
дает статистику (z), распределение которой близко к нормаль-
нормальному со средним ? = argthpi и дисперсией, не зависящей от рг-.
Для k > 2 необходимо более сложное преобразование. Резуль-
Результаты Фишера приведены в упражнении 26.14.
Тетрахорическая корреляция
26.27 Рассмотрим теперь оценивание коэффициента р в дву-
двумерной нормальной совокупности, когда данные известны не во
всех подробностях. Возьмем прежде всего крайний случай,
иллюстрируемый таблицей 26.6. Она основана на распределе-
распределении коров по возрасту и удойности, приведенном в таблице 1.24
упражнения 1.6. Предположим, что вместо той таблицы нам
была бы дана только
Таб лица 26.6
Распределение коров по возрасту и удойности
Удойность 8—18 гал-
галлонов *)
Удойность 19 и бо-
более галлонов
Всего . . .
Возраст 6
и более лет
1078
1546
2624
Возраст
3—5 лет
1407
881
2288
Всего
2485
2427
4912
*) 1 галлон = 4,54 л. (Прим. ред.)
Это крайне сокращенный вариант первоначальной таблицы,
Предположим, что исходное распределение является двумер-
двумерным нормальным. Как оценить р из этой таблицы? В общем
408
ГЛАВА 26
случае задача состоит в оценке р для таблицы 2 X 2 с часто-
частотами
а
с
Ъ
d
а + с b + d
а + Ь
c + d
a+b+c+d=n
B6.58)
В B6.58) мы всегда будем в качестве d брать такую частоту,
чтобы никакая из отвечающих ей маргинальных частот не со*
держала медианного значения варианты.
Если эта таблица получена с помощью двойной дихотомии
двумерного нормального распределения
%$)}- Bб-59)
то можно иайти такое h', что
ft' оо
J \f{x,
— оо —оо
Полагая h = h'/ви имеем
л
BяГ1/2
B6.60)
и, следовательно, h можно определить из таблиц одномерной
нормальной функции распределения. Аналогично, существует
такое k, что
k
Bя)
/2
B6.61)
По нашему соглашению о расположении данных в таблице
B6.58) h и k никогда не бывают отрицательными.
Подогнав таким способом одномерные нормальные распре-
распределения к маргинальным частотам таблицы, мы должны теперь
для нахождения р решить уравнение
оо оо
4 = J J
h ft
- B6.62)
Подинтегральное выражение в B6.62) является нормирован-
нормированным, потому что h и k выбирались как нормированные откло-
отклонения. Разложим подинтегральную функцию по степеням р.
Характеристическая функция распределения имеет вид
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
409
Таким образом, используя двумерную форму теоремы обраще-
обращения D.17), находим из B6.62)
оо оо
?в Г Г |-Ij. J J ф(t, и)exp(- itx — iuy)dt du |dx dy =
oo
i> J
ft I -» -»
со со I oo oo
ft ft
Коэффициент при (—p)J//l представляет собой произведение
двух интегралов, из которых первый есть
оо ( оо J
/ (х, h, t) = J j Jj- J f exp (- i- *2 - йж) Л <te, B6.64)
ft ( -oo J
а второй есть I(y,k,u). Согласно 6.18 интеграл в фигурных
скобках в B6.64) равен
(-0'#/(*)«(*).
где
Согласно F.21)
_*{#,_,(*) а (*)}== Я/(*)<*(*).
Следовательно, двойной интеграл в B6.64) имеет вид
Их, К /) = [(-1)у-1/уЯнМаМ[=(-г)/Яу.,(А)а(А). B6.65)
Подставляя в B6.63) из B6.65) выражения для I(x,h,t),
1{у, k, и), получаем ряд
оо
i=2 It я/-1(А) я'-'(fe) a (/г) а {k)-
B6>66)
/=о
Переписывая его в терминах тетрахорических функций, опреде-
определенных в F.44), находим
ft/WT/W. B6-67)
/=0
410
ГЛАВА 26
26.28 Формально B6.67) представляет собой разрешимое от-
относительно р уравнение, но на практике его решение с по-
помощью последовательных приближений может, оказаться очень
громоздким. (Ряд B6.67) всегда сходится, хотя иногда и мед-
медленно.) Проще находить р интерполяцией по таблицам, содер:
жащим значение интеграла d/n в зависимости от р при различ-
различных значениях h и k (Tables for Statisticians and Biometricians,
Vol.2).
Оценку для р, полученную таким путем по выборке объе-
объема п, называют тетрахорическим коэффициентом г. Мы будем
обозначать ее rt.
Пример 26.11
Для данных таблицы 26.6 находим, что нормальное отклоне-
отклонение, соответствующее 2624/4912 = 0,5342, есть h = 0,086, и,
аналогично, для 2485/4912 = 0,5059 находим ft = 0,015. Имеем
также для d/n значение 881/4912= 0,1794.
С помощью таблиц при разных значениях h, k и р находим
следующие значения величины d:
р=-0,30
/fe=0
Лг =0,1
ft=0
0,2015
0,1818
ft=0,I
0,1818
0,1639
р=-0,35
Л: = 0,1
ft=0
0,1931
0,1735
h=0,l
0,1735
0,1555
Для h = 0,086, k = 0,015 с помощью линейной интерполя-
интерполяции получаем приближенно р = —0,32. В таблице мы поменяли
местами столбцы; учитывая это, имеем р = +0,32. Следова-
Следовательно, мы получили rt == +0,32. (Для таблицы 1.24 коэффи-
коэффициент корреляции г = 0,22.)
26.29 Тетрахорический коэффициент rt используется глав-
главным образом психологами, у которых данные часто представ-
представляют собой таблицы 2X2. Для тетрахорического коэффициен-
коэффициента в точной форме неизвестны выборочное распределение и
даже его стандартная ошибка. Но Карл Пирсон A913) нашел
асимптотическое выражение стандартной ошибки. Существуют,
однако, более простые способы вычислений, основанные на но-
номограммах (Хейес A946), Гамильтон A948),Дженкинс A955))
и таблицах для стандартной ошибки в приближенной форме
(Гилфорд и Лайонс A942), Хейес A943); Гохеен и Каврук
A948)). По-видимому неизвестно, при каких объёмах выборок
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
411
можно безбоязненно пользоваться такими стандартными ошиб-
ошибками. -
Обобщение на полихорическое оценивание в г X'с таблицах
см. ниже, в 33.35.
Бисериальная корреляция
26.30 Предположим теперь, что у нас есть таблица 2 X Я,
являющаяся дихотомией по некоторому качественному фактору
и классификацией либо по числовой величине, либо также по
качественному признаку, который может быть как упорядочен-
упорядоченным, так и неупорядоченным.
Таблица 26.7 иллюстрирует рассматриваемый тип материа-
материала. В ней классифицированы 1426 преступников по тому, были
они алкоголиками или нет, и по. характеру преступления, за
которое они были заключены в тюрьму.
Т а б лица 26.7
1426 преступников, классифицированных по типу преступления
• и отношению к алкоголизму..
(Данные Горинга, цитированные К- Пирсоном, 1909)
Алкоголики
Неалкоголики
, Всего
Поджог
50 -
43
93
Изнаси-
Изнасилование
88
62
150
Насиль
ствениые
действия
155
ПО
265
Воров-
Воровство
379
300
679
Изготовг
леиие
фальши-
фальшивых
денег
. 18
14
32
Мошен-
Мошенничество
63
144
207
Всего
753
673
1426
Хотя столбцы таблицы находятся в произвольном порядке
(у нас они упорядочены по связи преступления с интеллектом,
но этот порядок достаточно относителен), мы можем, однако,
получить оценку для р, предполагая, что подлежащее иссле-
исследованию двумерное распределение нормально. Действительно,
при таком распределении р2 = тJ, обе регрессии линейны и,
как отмечено в 26.21, статистика ц2 инвариантна относительно
перестановки сечений. Мы переходим, следовательно, к оцени-
оцениванию ц2 ( = р2).
Будем рассматривать каждый столбец таблицы 26.7 как
^/-сечение. Пусть пр обозначает число наблюдений в р-м сече-'
нии, п = 2 пр> №р — среднее, а ар— дисперсия у в этом сече-
сечении; ц — среднее, а а2 — дисперсия величины у. Предположим,,
что-все измерения, по у сделаны от значения к, являющегося
412
ГЛАВА 26
точкой дихотомии; это не ограничивает общности, так как р2
и Т|2 инвариантны относительно изменения начала отсчета. То-
Тогда оценкой корреляционного отношения у по х (см. B6.40))
служит величина
?-<"• <26-68)
Но для двумерного нормального распределения т|2 == р2 и (см.
16.23)
так что, заменяя в B6.68) сг^/ет2 на A — р2), получаем урав«
нение
B6.69)
Р У
Решая его относительно р2, находим оценку
1+ —
B6.70)
Эту оценку называют бисериальным коэффициентом т| вслед-
вследствие его сходства с корреляционным отношением. Придержи-
Придерживаясь нашего соглашения, по которому латинские буквы исполь-
используются для статистик, выборочное значение этого коэффициента
мы обозначаем г„.
Использование выражения B6.70) оказывается возможным
потому, что входящие в него величины могут быть оценены по
выборочным данным. Из предположения о двумерной нормаль-
нормальности исходного распределения следует, что величина, согласно
которой сделана дихотомия (в нашем примере —алкоголизм),
может быть представлена некоторой вариантой, имеющей нор-
нормальное распределение, и что каждое «/-сечение является
дихотомией одномерного нормального распределения. Таким
образом, отношения (цР/оР) и (щ//<*у) могут быть оценены
с помощью таблиц нормального интеграла. Н-апример, в таб-
таблице 26.7 частоты алкоголиков и неалкоголиков, в колонке
«Поджог» равны 50 и 43. Следовательно, относительная частота
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
413
алкоголиков равна 50/93 = 0,5376, а нормальное отклонение,
соответствующее этой частоте, есть, согласно таблице, 0,0944,
что служит оценкой величины |црЛ*р| для этого сечения.
Пример 26.12
Для данных таблицы 26.7 находим относительные частоты,
оценки отношений | цР/стр I и ' Ру1ау I и значения пр:
Алкоголики
IHp/ffpl
пр
Поджог
0,5376
0,0944
93
Изнаси-
Изнасилование
0,5867
0,2190
150
Насиль-
Насильственные
действия
0,5849
0,2144
265
Воров-
Воровство
0,5582
0,1463
679
Изготов-
Изготовление
фальши-
фальшивых денег
0,5625
0,1573
32
Мошен-
Мошенничество
0,3043
0,5119
207
Всего
0,5281
0,0704 =
= |И<//<7</1
1426 = я
Теперь из B6.70) получаем
-^{93@,0944J +
@.0704J
или
{93@,0944J+ ...}
|г„ 1 = 0,234,
= 0,05456,
что можно принять, согласно нашим предположениям, за оцен-
оценку коэффициента корреляции.
26.31 Как и в случае тетрахорического коэффициента rt, вы-
выборочное распределение бисериального коэффициента г„ неиз-
неизвестно. К. Пирсон A917) нашел асимптотическое выражение
для его выборочной дисперсии, но неизвестно, как велико долж-
должно быть п, чтобы этим выражением можно было пользоваться.
Нельзя ожидать, что rt или гч может быть очень эффектив-
эффективной оценкой для р, так как они используют слишком мало ин-
информации о переменных. Стоит помнить также, что предполо-
предположение о двумерной нормальности исходного распределения
(хотя оно не всегда делалось явно) было решающим для обоих
методов. Без предположения о нормальности неизвестно в об-
общем случае, что оценивают rt и гц.
26.32 Если в таблице 2 X Ц классификация по q группам за-
задана значениями некоторой варианты (в отличие от неупорядо-
неупорядоченной классификации, как в таблице 26.7), то вместо ц мож-
можно оценивать непосредственно р. Действительно, нам теперь
4t4
ГЛАВА 26
доступна дополнительная информация, которая позволяет оце-
оценить дисперсию о\ этой числовой варианты и ее средние щ,
ц.2, относящиеся к каждой из частей дихотомии относительно у.
Так как регрессия х по у линейна, то имеем (см. B6.12))
Как в 26.27, можно найти такое k, чтобы
«2
B6.71)
B6.72)
где п\ — общее количество индивидуумов, носящих один при-
признак у-класса («более высокие» значения у), а п2— количество
индивидуумов с другим признаком. Значение k является точкой
дихотомии нормального распределения величины у.
Из B6.71) следует, что средние (уи щ) (i = 1,2) каждой
части дихотомии будут лежать на линии регрессии B6.71). Та-
Таким образом, для части дихотомии, содержащей «более высо-
высокое» значение у (обозначим его у{), имеем
_
р _
Следовательно, в качестве оценки для р можно взять отноше-
отношение
У\~Ь
B6.73)
где Xi, х — средние значения х при «более высоких» наблюде-
наблюдениях у и по всей таблице соответственно, a s2x — выборочная
дисперсия х по всей таблице. Знаменатель в B6.73), согласно
B6.72), имеет вид
Vi-
^ = BяГ1/2 J
-BяГ.«ехр(-1**)/(^-).
Если обозначить ординату плотности нормального распределе-
распределения в точке k через zh, то получим оценку для р
-^ "' 4- B6.74)
Оценку, даваемую этим равенством, мы обозначили гь, указывая
индексом на ее название: гь называется «бисериальным коэффи-
коэффициентом г».
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
415
Последнее равенство обычно записывается в более симме-
симметричной форме. Так как
х = (пххх + п2х,2I(пх + п2),
то разность Х\—х равна П2(х\ — х2)/(пх -j- n2). Обозначая р от-
отношение «i/(«i + п2) и q = 1 — р, находим иной вид для B6.74):
rb==±±Izll--ZL. B6.75)
Пример 26.13 (из К. Пирсона, 1909)
Таблица 26.8 содержит распределение по возрасту кандида-
кандидатов (всего 6156 человек), сдавших и не сдавших приемные экза-
экзамены в Лондонский университет в 1908, 1909 гг. Для двух стар-
старших возрастных групп указаны оценки среднего возраста.
Таблица 26.8
Возраст кандидата
16
17
18
19—21
22—30
(среднее 25 лет)
Свыше 30
(среднее 33 года)
Всего
Сдавшие
583
666
525
383
214
40
2411
Не сдавшие
563
980
868
814
439
81
3745
Всего
1146
1646
1393
1197
653
121
6156
Используя индекс 1 для успешно сдавших кандидатов, имеем
хх = 18,4280.
По всем вместе кандидатам
х= 18,7685, s\ = C,2850J.
Значение р равно 2411/6156 = 0,3917.
Соотношение B6.72) дает 1 — F{k) = 0,3917, и мы находим
k = 0,275 и zft = 0,384. Следовательно, из B6.74)
0,3405 0,3917 __ п п
Гь~ 3,2850 ' 0,384 ~ U>И"
Оцененная корреляция между возрастом и успехом невелика.
26.33 Как в случае rt и гц, предположение об исходной нор-
нормальности было решающим в выводе г&. Распределение бисери--
ального коэффициента гь неизвестно, но Сопер A914) получил
выражение для его стандартной ошибки в случае нормальных
ГЛАВА 26
-l)^--f)+^-l B6.76)
41в
выборок
и показал, что хорошей аппроксимацией к B6.76) служит
Позже подробное исследование коэффициента гь было проведено
Марицем A953) и Тейтом A955), которые показали, что в нор-
нормальных выборках он распределен асимптотически нормально
со средним р и дисперсией B6.76). Кроме того, они рассмотрели
оценку максимального правдоподобия для р при бисериальных
данных. Оказалось, как можно было ожидать, что при фиксиро^
ванном р дисперсия величины Гь минимальна, когда дихотомия
производится в середине интервала дихотомизируемой перемен-
переменной (г/ = 0). Если р = 0, то гь является эффективной оценкой
коэффициента р, но если р2—¦!, то эффективность гь стремится
к нулю. Тейт также табулировал формулу Сопера B6.76) для
D гь. См. упражнения 26.10—26.12.
Точечно-бисериальная корреляция
26.34 Рассмотрим еще один коэффициент, точечно-бисериаль-
ную корреляцию, который обозначим через ррь, а его выбороч-
выборочное значение — через грЬ. Предположим, что дихотомия относи-
относительно у не является разбиением нормального распределения,
а определяется случайной величиной, принимающей только два
значения. Поскольку речь идет о корреляции, то примем эти зна-
значения равными 1 и 0. Например, в таблице 26.8 предположение,
что успех на экзамене есть дихотомия нормального распределе-
распределения способностей сдавать экзамены, не является неправдоподоб-
неправдоподобным. Но если бы у-дихотомия была относительно, скажем, пола,
то это уже не было бы разумным предположением, и к подо'бной
задаче необходим иной подход.
В действительности такая ситуация коренным образом отли-
отличается от рассматривавшейся до сих пор, так как теперь речь
идет не об оценке коэффициента р двумерной нормальной сово-
совокупности: вместо этого мы имеем смешанный момент величины
у, принимающей значения 0—1, и величины х. Если Р есть истин-
истинная доля значений ycy=l,aQ = l — Р, то из теории биноми-
биномиального распределения находим
М(у)=Р, a^PQ.
Следовательно, по определению
„ _ Пи __ М(ху)-РМ(х)
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
Оценивая М (ху) через тпп =
417
через х, ах
через sx и Р через р=
получаем
_
ГрЪ~~
_ pxj - р
х\ + дхг) _ (*i —хг)(рдI12
¦ЛрчI12
B6.77)
26.35 Коэффициент грЬ из B6.77) можно сравнить с бисери-
альным коэффициентом гь, определенным в B6.75). Имеем
B6.78)
ГЬ (pqI12 '
Рассматривая отношение Миллса (см. 5.22), Тейт A953) пока-
показал, что величина в правой части B6.78) не превосходит B/зхI'2
и, следовательно, значения коэффициентов будут, в общем слу-
случае, заметно различными.
Тейт A954) показал, что гРь распределен асимптотически нор-
нормально со средним ррь и дисперсией
Drr
_3_рг
B6.79)
которая минимальна при р = q = 1/2.
Отвлекаясь от измерения корреляции, мы видим из B6.77),
что в действительности в точечно-бисериальной ситуации мы
сравниваем средние значения величины х, вычисленные по двум
выборкам, а ^-классификация состоит просто в различении двух
выборок. На самом деле
грь _.
«,+«2
- 2
B6.80)
где /—обычная /-статистика Стьюдента, используемая для сра-
сравнения средних двух нормальных совокупностей с равными дис-
дисперсиями (см. пример 23.8). Таким образом, если распределение
величины х нормально для у = 0,1, то точечно-бисериальный ко-
коэффициент является простым преобразованием ^-статистики, ко-
которая может быть использована для проверки гипотез о нем.
26.36 Изложенное выше не исчерпывает всех возможных оце-
оценок коэффициента р двумерной нормальной совокупности по дан-
данным, классифицированным в таблицу с двумя входами. В главе
33 мы рассмотрим некоторые оценки, основанные на ранговых
статистиках.
14 М. Кендалл, А. Стьюарт
418 ГЛАВА 26
УПРАЖНЕНИЯ
26.1 Показать, что коэффициент корреляции для данных таблицы 26.2
равен 0,072. Проверить, что линии регрессии на рис. 26.2 определяются урав-
уравнениями
С С: у*= 0,0938* + 30,56; RR': х = 0,0547г/ + 61,06.
26.2 Представляя двумерную функцию плотности в виде
так что /-й момент у-сечения при заданном х относительно начала коорди-
координат равен
показать, что
j (У \х) = J y'g (у | х) dy,
I
(где <р — характеристическая функция распределения), откуда
Используя это, проверить, что двумерное нормальное распределение имеет
линейные регрессии и постоянную условную дисперсию (является гомоске-
дастичным).
(Уикселл, 1934.)
26.3 Двумерное нормальное распределение дихотомизировано в некото-
некотором значении величины у. Известно, что дисперсия величины х для всего
распределения равна ох, а для одной из частей дихотомии равна а\. Кор-
Корреляция между х и у для этой части дихотомии равна с. Показать, что
корреляция между х и у для всего распределения может быть оценена ве-
величиной г, где
26.4 Показать, что если в предыдущем упражнении а^. — дисперсия ве-
личины у для всего распределения, а а\ — ее дисперсия в выбранной там
части дихотомии, то коэффициент р для всего распределения может быть оце-
оценен с помощью
cV
,2 _ ._ с аУ
26.5 Показать, что в отличие от тетрахорического rt, бисериального гч
и точечно-бисериального гРь коэффициентов, которые никогда не превосхо-
превосходят единицы, бисериальный коэффициент гь может ее превосходить.
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
419
26.6 Доказать, что тетрахорический ряд B6.67) всегда сходится для
lPl < 1-
26.7 Случайные величины Хи х2, ..., хп распределены так, что коэффи-
коэффициент корреляции между х( и Xj равен ptj. Все они имеют одинаковые дис-
дисперсии. Показать, что среднее значение рц, определяемое как
п п
1
«(«-1)
I
ие может быть меньше, чем —1/(п— 1).
26.8 В условиях предыдущего упражнения показать, что |рн|, детерми-
детерминант матрицы коэффициентов корреляции, иеотрицателеи. Вывести отсюда,
что
Р12 +
+ 2Р12Р13Р23-
26.9 Из A6.86) вывести, что для выборки из двумерной нормальной со-
совокупности выборочное распределение величины йг, коэффициента регрессии
у по х, имеет дисперсию
Db,=-
1
п.— 3 <т.
A-Р2).
а его асимметрия и эксцесс равны
Yi=0,
у2.
п-5 •
26.10 Пусть ty{(x—р.) /а, у} обозначает двумерную нормальную плот-
плотность со средними значениями хну, равными ц и 0, дисперсиями а2 и 1
соответственно и корреляцией р. Определим
оо (jt>
| {х, ш) = J ф dy, tj (х, <в)"= J ф dy.
Пусть Zi — случайная величина, принимающая значения 0 и 1, когда у < ш
и у ^ ш соответственно. Показать, что для бисериальной таблицы функция
правдоподобия может быть представлена в виде
Цх,у\ф. Р, Ц, ^=
Пусть З2 обозначает частный дифференциал второго порядка относительно
любой пары параметров. Показать, что
М (д2 log L) = п {1 - р (х)} Мо (д2 log ti) + пр (х) Mj (д2 log |),
где
а Мо, Mi —условные математические ожидания по х при условии, что у < со,
у ^ со соответственно. Вывести отсюда, что матрица, обратная матрице дис-
14*
420
ГЛАВА 26
персий для оценок максимального правдоподобия четырех параметров (поря-
(порядок строк и столбцов такой же, как порядок параметров в ФП), имеет вид
рсоао —
1-р*
pfll
a
A -Р2J
P2<oao — i
P2)
— ра2
1-Р2
где
as
оо
а2
*, ш. р) rfjc,
2A-P2)+P2a2
a2
BЯ)-1'2 ехр ( -1 *2)/{1 - р (х)}.
( )
Обратив эту матрицу, получить асимптотическую дисперсию оценки мак-
максимального правдоподобия" р". в форме
A-Р2)
оо оо / оо \2 i
f gdx f A:2grfA:-[ f xgdx)
— oo . —oo \—oo / 3
I, P2A-P2)J
(Тейт, 1955.)
26.11 В условиях упражнения 26.10 показать, что, когда р = 0,
D _ 2лр (со) {1 — р (со)}
р* п. ехр ( - k2)
Сравнивая этот результат с асимптотической формулой B6.76), показать, что
Гь при р = 0 есть эффективная оценка.
(Тейт, 1955.)
26.12 В условиях упражнения 26.10 показать, что nDpb стремится к ну-
нулю, когда |р| стремится к единице. Используя B6.76), доказать, что пИгь
ие стремится к нулю и, следовательно, что гь имеет нулевую эффективность
вблизи |р| = 1.
(Тейт, 1955; результаты упражнений
26.10—26.12 обобщены Хеинаном и
Тейтом A965) иа многомерное нор-
нормальное распределение.)
26.13 Вывести равенства B6.19) и B6.20).
26.14 Обозначая I выборочный внутриклассовый коэффициент, а X его
теоретическое значение, показать, что точное распределение величины /
СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ
421
>уа"
U + (* ~
представляется в виде
dF о: A
{
где I вычисляется по р семействам, каждое из которых содержит k членов,
и что в случае k = 2 оно приводится к виду
где I = thz, X = th|. Вывести отсюда, что при k = 2 величина z — | имеет
распределение, близкое к нормальному, со средним нуль и дисперсией
1
п ~ 3/2 "
(Фишер, 1921а)
26.15 Показать, что для проверки гипотезы р = р0 в двумерной нор-
нормальной совокупности статистика отношения правдоподобия дается соотно-
соотношением
.
A-гро)
= (l —г2) , когда р0 = 0, а когда ро Ф 0, то
Следовательно,
26.16 Доказать, что использование поправок Шеппарда для моментов
всегда ведет к увеличению коэффициента корреляции.
26.17 Показать, что если х и у подвержены соответственно ошибкам
наблюдений и, v, где и и v иекоррелированы с х и у и между собой, то
коэффициент корреляции делится («ослабляется») иа
26.18 Пусть xt, X2, хз взаимно иекоррелированы, имеют положительные
средиие и малые коэффициенты вариации Vi (i = 1, 2, 3).
Показать, что корреляция между х^Хз и X2IX3 приближенно равна
P:
11/2
(Эту величину иногда называют «ложной» («spurious») корреляцией. Причина
такого названия в некоррелированности исходных случайных величин, но это
не совсем удачный термин.)
26.19 Пусть две двумерные нормальные совокупности имеют Pi = Рг = р,
а остальные параметры ие заданы. Показать, что оценка максимального
правдоподобия для р есть
? « п (I + гхгг) - {п2 (l-r,r2J-4reire2(rt-
где
«t, п — объемы выборок и коэффициенты корреляции (i = 1, 2), а
«i+ft2- Пусть /ii==ng=—re. Показать, что если z%, z% определены.
p
422
соотношением B6.25) и
то в точности
ГЛАВА 26
*-**№)¦
TUl
26.20 Используя результат последнего упражнения, доказать, что крите-
критерий отношения правдоподобия для гипотезы pi = pa, когда ni = Яг, основан
на статистике
Следовательно, это есть взаимно однозначная функция от 2i — 22, статисти-
статистики/предложенной в 26.19.
(Брэнднер, 1933.)
26.21 В условиях упражнения 26.19 показать, что если гц ф щ, то
МП-оценка величины ? приближенно равна
I = — («i2i + п2г2)
и, следовательно, критерий ОП гипотезы pi = pa использует приближенную
статистику
снова являющуюся взаимно однозначной функцией от Zi — гг.
(Брэнднер, 1933.)
26.22 В задаче оценивания общего значения р в двух двумерных нор-
нормальных совокупностях показать, что оценка для"?
Г* — ("' ~ 3) Z' + (П2 — 3) 22
«I +Л2 — 6
есть линейная комбинация 2i н z% с минимальной дисперсией. Доказать, что
при щ ф п2 она не совпадает с оценкой максимального правдоподобия для
р, приведенной в упражнении 26.19.
26.23 Показать, что коэффициент корреляции рХу между х и у удовле-
удовлетворяет соотношениям
п2 _ D (а, + fax) _ , _ М±[у - (а, + fax)]'}
и получить отсюда B6.18).
26.24 Полагая г =М (х\у), показать, что
н что
¦л?
Вывести отсюда, что B6.18) влечет B6.46), и установить условия, при кото-
которых имеют место различные равенства в B6.46).
(М. Фреше опубликовал эти резуль-
результаты в 1933—1935 гг.; см. Крускал
A958).)
ГЛАВА 27
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
27.1 В случае двух нормальных или почти нормальных вели-
величин коэффициент корреляции между ними может быть использо-
использован, как мы видели в 26.10, в качестве меры взаимозависимости.
Однако на практике при интерпретации «взаимозависимости»
часто встречаются те же трудности, которые уже обсуждались
в 26.4, а именно: если одна величина коррелирована с другой, то
это может быть всего лишь отражением того факта, что они обе
коррелированы с некоторой третьей величиной или с совокуп-
совокупностью величин. Указанная возможность приводит нас к рассмот-
рассмотрению условных корреляций между двумя величинами при фик-
фиксированных значениях остальных величин. Это так называемые
частные корреляции.
Если корреляция между двумя величинами уменьшается, ко-
когда мы фиксируем некоторую другую случайную величину, то
это означает, что их взаимозависимость возникает частично че-
через воздействие этой величины; если же частная корреляция
равна нулю или очень мала, то мы делаем вывод, что их взаимо-
взаимозависимость целиком обусловлена этим воздействием. Наоборот,
когда частная корреляция больше первоначальной корреляции
между двумя величинами, то мы заключаем, что другие вели-
величины ослабляли связь, или, можно сказать, «маскировали» кор-
корреляцию. Но нужно помнить, что даже в последнем случае мы
не имеем права предполагать наличие причинной связи: согласно
рассуждениям из 26.4, некоторая совершенно отличная от рас-
рассматриваемых в нашем анализе величина может быть источни-
источником этой корреляции. Как при обычной корреляции, так и при
частных корреляциях предположение о причинности должно все-
всегда иметь внестатистические основания.
27.2 В этой области статистики временами трудно достигнуть
недвусмысленных и гибких обозначений без того, чтобы они
были крайне громоздкими. Основываясь на системе обозначений
Юла A907), мы будем придерживаться среднего курса, но ино-
иногда от читателя потребуется терпение к индексам.
Как и в главе 26, мы попутно будем рассматривать также ли-
линейную регрессию, но основное рассмотрение задач регрессии
отложим до главы 28.
422
соотношением B6.25) и
то в точности
ГЛАВА 26
26.20 Используя результат последнего упражнения, доказать, что крите-
критерий отношения правдоподобия для гипотезы pi = рг, когда щ = п.2, основан
на статистике
Следовательно, это есть взаимно однозначная функция от 2i — 22, статисти-
статистики, предложенной в 26.19.
(Брэнднер, 1933.)
26.21 В условиях упражнения 26.19 показать, что если т ф щ, то
МП-оценка величины ? приближенно равна
?=.— (nxzx +ntz2)
и, следовательно, критерий ОП гипотезы pt = рг использует приближенную
статистику
{^ Bl -Ц]"'[seen {^-B, -^
снова являющуюся взаимно однозначной функцией от г4 — z^.
(Брэнднер, 1933.)
26.22 В задаче оценивания общего значения р в двух двумерных нор-
нормальных совокупностях показать, что оценка для"?
Г* — ("' ~ 3) 2' + (
Ь /г,+Л2 —6
есть линейная комбинация 24 и zz с минимальной дисперсией. Доказать, что
при tii =?ь т она не совпадает с оценкой максимального правдоподобия для
р, приведенной в упражнении 26.19.
26.23 Показать, что коэффициент корреляции рху между х и у удовле-
удовлетворяет соотношениям
Px
D («2
М{[у- (а2
a\
и получить отсюда B6.18).
26.24 Полагая z =M (х\у), показать, что
и что
Вывести отсюда, что B6.18) влечет B6.46), и установить условия, при кото-
которых имеют место различные равенства в B6.46).
(М. Фреше опубликовал эти резуль-
результаты в 1933—1935 гг.; см. Крускал
A958).)
ГЛАВА 27
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
27.1 В случае двух нормальных или почти нормальных вели-
величин коэффициент корреляции между ними может быть использо-
использован, как мы видели в 26.10, в качестве меры взаимозависимости.
Однако на практике при интерпретации «взаимозависимости»
часто встречаются те же трудности, которые уже обсуждались
в 26.4, а именно: если одна величина коррелирована с другой, то
это может быть всего лишь отражением того факта, что они обе
коррелированы с некоторой третьей величиной или с совокуп-
совокупностью величин. Указанная возможность приводит нас к рассмот-
рассмотрению условных корреляций между двумя величинами при фик-
фиксированных значениях остальных величин. Это так называемые
частные корреляции.
Если корреляция между двумя величинами уменьшается, ко-
когда мы фиксируем некоторую другую случайную величину, то
это означает, что их взаимозависимость возникает частично че-
через воздействие этой величины; если же частная корреляция
равна нулю или очень мала, то мы делаем вывод, что их взаимо-
взаимозависимость целиком обусловлена этим воздействием. Наоборот,
когда частная корреляция больше первоначальной корреляции
между двумя величинами, то мы заключаем, что другие вели-
величины ослабляли связь, или, можно сказать, «маскировали» кор-
корреляцию. Но нужно помнить, что даже в последнем случае мы
не имеем права предполагать наличие причинной связи: согласно
рассуждениям из 26.4, некоторая совершенно отличная от рас-
рассматриваемых в нашем анализе величина может быть источни-
источником этой корреляции. Как при обычной корреляции, так и при
частных корреляциях предположение о причинности должно все-
всегда иметь внестатистические основания.
27.2 В этой области статистики временами трудно достигнуть
недвусмысленных и гибких обозначений без того, чтобы они
были крайне громоздкими. Основываясь на системе обозначений
Юла A907), мы будем придерживаться среднего курса, но ино-
иногда от читателя потребуется терпение к индексам.
Как и в главе 26, мы попутно будем рассматривать также ли-
линейную регрессию, но основное рассмотрение задач регрессии
отложим до главы 28.
424
ГЛАВА 27
Частная корреляция
27.3 Рассмотрим три величины, имеющие трехмерное нор-
нормальное распределение. Исключим вырожденный случай (см.
15.2) и без потери общности, поскольку мы касаемся лишь кор-
корреляций, будем считать величины нормированными. Тогда их
матрица рассеяния совпадает с матрицей их корреляций, кото-
которую назовем корреляционной матрицей и обозначим С. Таким
образом, если корреляция между л:* и Xj есть р,-,, то согласно
A5.19) функция плотности имеет вид
f(xux2, *з) =
*./=!
B7.1)
где Cij — алгебраическое дополнение (t,/)-го элемента в симмет-
симметричном корреляционном определителе
Pl2 P
1 P23
1
B7.2)
Сц/\С\ = С{] есть элемент матрицы, обратной к С. Мы будем
иногда записывать определитель или матрицу корреляций в та-
таком виде, когда оставлено свободным место ниже главной диаго-
диагонали, которое должно заполняться по симметрии.
Из A5.20) находим х. ф. этого распределения
B7.3)
Ф (/i, h, /3) = ехр I -1 2 9lJtttt
21А Рассмотрим корреляцию между х\ и хг при фиксирован-
фиксированном значении jc3. Условное распределение Х\ и Хц при заданном
хг равно
g(xb х2[х3)сс
. ее ехр{ -\{Спх\ +
ос ехр{ -1 [С" (*, -
ос
где
B7.4)
Из B7.4) видно, что при заданном Хз величины лгг и х% имеют
двумерное нормальное распределение с коэффициентом корреля-
корреляции .
С12
P
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
425
Ясно, что pi2.3 не зависит от фиксируемого значения величины хг.
Кроме того, сокращая на общий множитель \С\, из B7.2) на-
находим
?P РР ,97 г.
РпРгз
(П22) {()()}
Р12.з называется частным коэффициентом корреляции между х\
и Хг при фиксированном хг. Он симметричен относительно гаер-
вичных индексов 1, 2. Его вторичный индекс 3 относится к пере-
переменной, которая фиксирована.
Хотя B7.5) выведено в предположении нормальности, мы те-
теперь для любого исходного распределения определим частный
коэффициент корреляции с помощью B7.5).
27.5 Аналогично, если мы имеем р-мерное невырожденное
нормальное распределение и фиксируем р — 2 случайных вели-
величины, то получаем частную корреляцию оставшихся двух (ска-
(скажем, хх и х2): г
где Сц— алгебраическое дополнение для рц в определителе
Pl2 Pl3 • •• Pip
1 р2з • • • Ргр
1 ••• Рзр
1С|==
B7.7)
1 - t
Подобно B7.5), B7.6) следует рассматривать как общее опреде-
определение частного коэффициента корреляции между Х\ и хг при
фиксированных х3,..., хр.
27.6 Полезно рассмотреть ту же задачу с другой точки зре-
зрения. Обозначим f{xl,...,Xk\xh+\,...,xp) условную совместную
плотность распределения величин хх,...,хи, когда xh+\,...,xp
фиксированы, a g(xh+\,.. ,хР)— совместное маргинальное распре-
распределение Xh+i, . . . ,Хр.
Совместная х. ф. всех р величин есть
-J
-J
xp)g(xk+i,
. dxp =
xp)g{xk+x, .... xp)X
Xexp
_tt,xt}
dxk+l ...dx.
¦P>
г
l'
426
ГЛАВА 27
где <fh(ti,.. .,th\xh+u... ,хр) — условная совместная х. ф. для
xi,...,xh. Из многомерной теоремы обращения D.17) следует,
что
( р \
B7.8)
Если в B7.8) положить ^i = t2 = ... = th = 0, то из равенства
Фй единице получаем
Я = 1-=-г f ••• [ Ф(°. •••• 0. h+\, •••. ОХ
Bя)р~ J J
X ехр ( - 2 «Л) rf/*+i • • • dtP- B7.9)
Следовательно, после деления B7.8) на B7.9) находим
{ ... J Ф(о, .... о, tk+1,.... gexpl - j] V/)**+i ••• dK
B7.10)'
Этот общий результат вытекает из теоремы Бартлетта A938).
Предположим теперь, что наши р величин имеют многомерное
нормальное распределение. Тогда, используя их х. ф. A5.20),
преобразуем подинтегральную функцию числителя в B7.10):
p p
X
ехР ( ~ Т
= exp I - j
ехР ( - у
X exp I - ^ 2 9i'tlti exp ( ~
Xexp
= exp I — j 2 PiA'y exP I — T 2
V i . / \ "
j-
X
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
427
Теперь интеграл относительно th+i, ..., tp от двух последних мно-
множителей в правой части B7.11) является обратным преобразо-
преобразованием многомерной нормальной х. ф. величин Xk+i,..., хр, при-
причем
отсчитывается от значения
i 2
Это изменение
начал координат не влияет на корреляции. Если обозначить D
корреляционную матрицу величин Xk+i, ¦. ¦, хР, то с точностью до
постоянного множителя интеграл от B7.11) будет равен
4 2
I. г=\
Dh' \xt ~ * 2
X ехр - \
Учитывая сказанное, из B7.10) имеем
= ехр| — 1 _
m=I
ц*Л ехр - { 2
/. i=k+i
~ 1 2 Pl
яг=1
X
*/-'Лр/л +f 2
m=I / i, /=ft-
Таким образом, если a'uv обозначает ковариацию между хи
и xv в условном распределении величин дгь ... ,.*:&, а аи? — их без-
безусловную ковариацию, то, сравнивая в B7.12) коэффициенты
при tutv, находим
Это выражение получено в предположении, что исходные вели-
величины нормированы. Если теперь отказаться от нормировки, так
что Хг будет иметь дисперсию а\, то каждое р заменится на соот-
соответствующее ему a, DU — на DU/(oiOj), и мы получим более об-
общую форму соотношения B7.13):
Guv—Guv—
DHGtuOjvl(<3iGj).
B7.14)
Равенство B7.14) не зависит от фиксируемых значений xh+u ...
... ,хр.
428
ГЛАВА 27
Если обозначить безусловную (АХ ^)-матрицу рассеяния
{Vuv} через A, (k X (р — k))-матрицу {аы} через В' и ((p — k)x
Х(Р — fe))-матрицу рассеяния, из которой D получается в ре-
результате нормировки,- через Е, то B7.14) утверждает, что услов-
условная матрица рассеяния равна
27.7 В. частности, если зафиксировать только одну перемен-
переменную, скажем хр, то Dpp = 1, и условная ковариация B7.14)
тогда равна .
При и = v из B7.15) находим условную дисперсию и:
Из двух, последних формул получаем условный коэффициент кор-
корреляции
Рио PupPop
того же вида, что и B7.5).
Если зафиксируем все переменные, кроме двух, скажем х\ и
х2, то из B7.14) будем иметь
Pl2.34...p
Pl2— 21 D"PnP/2
I, /=3
P \/ P
2 a'W/il'i
. B7.16)
Рассматривая B7.7), находим, что минор элемента Р12, a
именно
P2I
Рзх
P24 • • • Ргр
I P34 ••• P:
зр
Ppi i Ррз Рр4
Р31
Ppl 1
может быть разложен по его первой строке и столбцу в виде
р_
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
429
и аналогично для миноров элементов рп, рга- Таким образом,
B7.16) представимо в форме
г2
12
Pl2.34...p СпС22 '
что вновь совпадает с B7.6).
Частные линейные регрессии
27.8 Обобщим теперь соотношения линейной регрессии из.
26.7 на случай р величин. Для р совместно нормальных величин
Xi с нулевыми средними и дисперсиями ст| математическое ожи-
ожидание величины xi при условии, что Хг,...,хр фиксированы, как
видно из выражения в экспоненте распределения, равно
хр) _
Коэффициент регрессии х\ по X] при фиксированных осталь-
остальных р — 2 величинах будем обозначать Pi/.23...;-i, я-i... р или'
короче, р,. , где # символизирует совокупность величин, отлич-
отличных от указанных первичными индексами, а индексу q служит,
для различения этих совокупностей. Коэффициенты Ри-9 назы-
называются частными коэффициентами регрессии.
Следовательно, мы имеем
м(*,!*,,.... *„)=РИ.,1*2+Р,з.,8*з+ ••• +К.ярхр- B7Л8)
Сравнивая B7.18) с B7.17), получаем для многомерного нор-
нормального случая
Р„„. = —-^--J1. B7.19)
Аналогично, коэффициент регрессии xj no Xi при фиксированных
остальных переменных есть
Р/1.
Таким образом, поскольку
B7.20) получаем
О] С,
ai сп
B7.20)
= Cju то из B7.6), B7.19) и
"^/ B7'21)
•—очевидное обобщение соотношения B6.17). Соотношения
B7.19) и B7.20) показывают, что коэффициент Р:/ q
не сим-
430
ГЛАВА 27
метричен относительно Х\ и Xj, как и следовало ожидать от
коэффициента зависимости. Подобно B7.5) и B7.6), B7.19) и
B7.20) являются определениями частных коэффициентов регрес-
регрессии в общем случае.
Ошибки относительно линейной регрессии
27.9 Назовем ошибкой*) порядка (р — 1) величину
Х\.2 ... р = Х\ — М (хх \Х2, . . ., Хр).
Ее среднее равно нулю, а дисперсия равна
так что <т
?.2...р является дисперсией ошибки величины х\ отно-
относительно регрессии. Из B7.18) немедленно получаем
B7-22)
? -
= М [*,(*,- ? -p1Mx,) - i Pl/.^ (*, - i p1M/*,)] . B7.23)
Если брать математические ожидания в два этапа, фиксируя
вначале х2, ...,хр, то условное математическое ожидание от вто-
второго члена в B7.23) будет равно, согласно B7.18), нулю. Таким
образом,
{? - % р.,., *л}=°? -12 Pim/v B7-24)
Дисперсия ошибки B7.24) не зависит от фиксируемых значений
х3,...,хР, если только от них не зависят коэффициенты C,.
В этом случае условное распределение величины х\ называется
гомоскедастическим (homoscedastic) (или гетероскедастическим
(heteroscedastic) в противном случае). Это постоянство диспер-
дисперсии ошибки делает интерпретацию регрессий и корреляций более
простой. Например, в нормальном случае условные дисперсии и
ковариации, полученные при фиксировании множества величин,
не зависят от значений, в которых последние фиксированы (см.
B7.14)). В других случаях при интерпретациях мы должны над-
надлежащим образом учитывать обнаруженную гетероскедастич-
ность, тогда, возможно, частные коэффициенты регрессии лучше
всего рассматривать как показатели зависимости, усредненные
по всевозможным значениям фиксированных величин.
*) В литературе эту величину часто называют «остатком» (residual),
но мы будем проводить различие между ошибками (errors) относительно
линейных регрессий в генеральной совокупности н остатками, возникающими
при подгонке регрессий к выборочным данным.
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ 431
Соотношения между дисперсиями, регрессиями
и корреляциями различных порядков
27.10 Если даны р величин, то мы можем изучать корреляцию
между любыми двумя из них, когда среди оставшихся зафикси-
зафиксированы значения произвольного подмножества величин. Анало-
Аналогично, можно интересоваться регрессией произвольной величины
относительно любого подмножества из оставшихся величин.
С возрастанием р число всевозможных коэффициентов стано-
становится очень большим. Если некоторый коэффициент содержит
k вторичных индексов, то говорят, что он имеет порядок k. Так,
порядок pi2.34 равен 2, порядок Р12.3 — единице, порядок рB —
нулю, тогда как fJi2.678 имеет порядок 3, а <х*>2678 — порядок 4.
В наших нынешних обозначениях коэффициенты линейной ре-
регрессии из последней главы Pi и Рг должны быть записаны в виде
Pi2 и f$2i соответственно. Они имеют порядок нуль, как и обычная
дисперсия а2.
В 27.4 и 27.7 мы уже видели, как любой коэффициент корре-
корреляции первого порядка может быть выражен через коэффи-
коэффициенты нулевого порядка. Теперь будут получены более общие
результаты такого сорта для коэффициентов всех типов.
27.11 Из B7.24) и B7.19) имеем
B7 25)
1=2
откуда
'1.2 ... о
Пользуясь символом q, введенным в 27.8, получаем
_, ,\С\
B7.26)
и аналогично, если 1 заменить любым другим индексом.
Точно таким же путем можно получить более общий резуль-
результат
B7.27)
COV
,'*m.«Uei
¦'Im
который сводится к B7.26) при I = т. Соотношение B7.27) при-
применимо в случае, когда вторичные индексы одной величины
включают в себя первичные индексы другой. Если, с другой сто-
стороны, оба множества вторичных индексов не содержат / и т, то
432
ГЛАВА 27
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
433
обозначим через г общее множество вторичных индексов. Кова-
риация двух ошибок xi.T, xm.T связана с их корреляцией и диспер-
дисперсиями соотношениями, естественно обобщающими определения
B6.10), B6.11) и B6.17), а именно:
B7.28)
*.r> Xm.r)/(ai-ram.r) =
что согласуется с уже найденным соотношением B7.21). Присое-
Присоединяя множество индексов г к обеим величинам Xi, xm, мы по-
попросту должны сделать то же самое со всеми их коэффициен-
коэффициентами.
27.12 Теперь можно использовать B7.26) для получения со-
соотношения между дисперсиями ошибок различных порядков.
Обозначая |?>| корреляционный определитель всех величин, кро-
кроме х2, имеем из B7.26)
(где индекс q — 2 обозначает множество q без х2) и
-г а 1 С-1
откуда
D,
<7-2
\D\
B7.29)
По определению [?> | == С22, а согласно обобщенной теореме
Якоби об определителях
П" =|С|0„, B7.30)
так как Dn является дополнительным минором для
Pll Pl2
Р12 Р22
в С. Таким образом, используя B7.30), получаем из B7.29)
а
сп с12
^ 12 ° 22
'12
(/-2
или, учитывая B7.6), находим
B7.31)
B7,32)
26
Соотношение B7.32) является обобщением двумерного резуль-
результата, приведенного в упражнении 26.23, который в наших нынеш-
нынешних обозначениях может быть представлен в виде
Этот результат мы также встречали в A6.46) в связи с двумер-
двумерным нормальным распределением.
27.13 Соотношение B7.32) дает нам возможность выразить
дисперсию ошибки порядка (р— 1) через дисперсию ошибки и
коэффициент корреляции порядка (р — 2). Если мы теперь
вновь воспользуемся B7.32) для того, чтобы выразить o\q_2,
то тем же путем найдем, что
Применяя последовательно B7.32) и записывая более полно
индексы, получаем
PiPH Php-d-pK ?(p)(pdp)
•••0-Р?2.з...р)- B7-33)
В B7.33), очевидно, не играет роли порядок вторичных индексов
у Oi.23...p', мы их можем переставить так, как пожелаем. Напри-
Например, для простоты можно написать
_ р?4 2з)
..A
2
P
B7.34)
^!р.2з... ip-l)) си
в силу B7.26). В B7.34) индексы, отличные от 1, допускают пе-
перестановку. Соотношение B7.34) позволяет нам выразить дис-
дисперсию ошибки порядка s через дисперсию ошибки нулевого по-
порядка и s коэффициентов корреляции, порядок которых прини-
принимает значения от нуля до (s— 1).
27.14 Перейдем теперь к коэффициентам регрессии. Перепи-
Перепишем B7.15) для ковариации между Х\ и х% при фиксированном
хр:
<Т12.р = (Т12-<Т1р<Тр2/СТР-
Присоединяя повсюду индексы 3,..., (р— 1), имеем
fflp.3 ... (p-l)gp2.3 ... (p-l)
(Т12.3 ...
B7.35)
Используя определение B7.28) коэффициента регрессии как от-
отношения ковариации к дисперсии, т. е.
134
ГЛАВА 27
и обозначая через т множество 3,.... (р — 1), находим из B7.35)
Pl2. pr<S2.pr == П2.Л.Г Plp.rPp2.ra2.r>
ИЛИ
Pl2.pr = -J— (Pl2.r — Plp.rPp2.r)'
-pr
Если в B7.36) положить х\ = кг, то получим
B7.36)
B7-37)
другую форму соотношения B7.32). Таким образом, из B7.36) и
B7.37) имеем
„ _ Р12.г~Р1р.гРр2.г ,07 „о\
Это и есть требуемая формула для выражения коэффициента ре-
регрессии через некоторые коэффициенты следующего более низ-
низкого порядка. Повторно применяя B7.38), найдем представление
любого коэффициента регрессии в терминах коэффициентов ну-
нулевого порядка.
Наконец, используя B7.21), из B7.38) получаем соотношение
уд Pl2.r ~ 9\p.r?2p.r
) -{(?)(?
/97 oq\
B7-39)
обобщающее B7.5) путем присоединения множества индексов г.
Приближенные частные линейные регрессии
27.15 В нашем изложении, начиная с 27.8, мы занимались
точно линейными регрессионными зависимостями типа B7.18).
Так же как в 26.8, рассмотрим теперь вопрос подгонки регресси-
регрессионных соотношений этого типа к наблюденным совокупностям,
регрессии которых почти никогда не бывают точно линейными.
С помощью тех же рассуждений мы приходим к методу наимень-
наименьших квадратов. Мы выбираем поэтому Рг. q так, чтобы миними-
минимизировать сумму квадратов уклонений п наблюдений от подгоняе-
подгоняемой регрессии:
B7.40)
где иксы измеряются от своих средних значений и предпола-
предполагается п~> р. Согласно A9.12) решение имеет вид
Р = (ГЛГГ1Х'х„ B7.41)
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
435
I P—I
где матрица X составлена из наблюдений над р—1 величинами
х2,...,хР, а Х\ — вектор наблюдений величины Х\. Соотношение
B7.41) можно переписать в виде
V = (nVp-.1r1(nM) = V-p-llM, . B7.42)
где Vp-i — матрица рассеяния для х2,..., хр, а М — вектор кова-
риаций между х\ и х, (/ = 2,..., р). Таким образом,
г=2
Поскольку |7p_i| есть минор 7ц матрицы рассеяния V всех р
величин, то (Vp-i)n представляет собой дополнительный минор
для
° и
в V, так что сумма в правой части B7.43) является алгебраиче-
алгебраическим дополнением для (—оц) в V. Поэтому B7.43) представ-
представляется в виде
P./.,,= --71L —?-?<•• <27-44>
Соотношение B7.44) совпадает с B7.19). Таким образом, как и
в 26.8, мы приходим к заключению, что аппроксимация по ме-
методу наименьших квадратов дает те же коэффициенты регрессии,
что и в случае точной линейной регрессии.
Из этого следует, что все результаты данной главы остаются
в силе, когда для наблюденных совокупностей мы подгоняем
регрессии по методу наименьших квадратов.
Выборочные коэффициенты
27.16 Если при заданной выборке объема п мы подгоняем
регрессии по методу наименьших квадратов, то все полученные
ранее соотношения будут выполняться и для выборочных коэф-
коэффициентов. Следуя нашему обычному соглашению, будем ис-
использовать г вместо р, b вместо C и s2 вместо а2 для того, чтобы
отличать выборочные коэффициенты от их генеральных значе-
значений. Коэффициенты Ь определяются с помощью минимизации
величины, аналогичной B7.40),
t=i
B7.45)
436
ГЛАВА 27
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
437
Как и в B7.21), имеем
точно так же выполняются соотношения, аналогичные B7.34),
B7.38) и B7.39).
Для нахождения Ьц приравняем к нулю производные от
B7.45) по Ьц. Получим р — 1 уравнений
хп
хи — 2 Ьц.д хц = О, у = 2, 3, ..., р,
У=2 ; /
которые можно записать в виде
i.23...p = 0, / = 2, 3, ..., р,
B7.46)
где суммирование происходит по всем га наблюдениям. Величина
#1.23...р есть остаток при подгонке регрессии (см. 27.9). Из
B7.46) следует, что
и аналогично
B7.47)
B7.48)
где г есть произвольное множество общих вторичных индексов.
Соотношения, подобные B7.47) и B7.48), выполняются как для
выборочных остатков, так и для ошибок генеральной совокупно-
совокупности, но они найдут применение главным образом в выборочных
задачах, поэтому они и выражены в терминах остатков. Упраж-
Упражнение 27.5 дает наиболее общее правило для того, чтобы опу-
опускать общие вторичные индексы при суммировании произведений
остатков.
Оценивание генеральных коэффициентов
27.17 Так же как в случае регрессий и корреляций нулевого
порядка в предыдущей главе, мы можем использовать выбороч-
выборочные коэффициенты в качестве оценок их истинных значений.
Если рассматриваемая регрессия линейна, то из теории метода
наименьших квадратов, изложенной в главе 19, известно, что лю-
любой коэффициент b является несмещенной оценкой соответствую-
соответствующего р, а
(р~\) .23 ...р
— несмещенной оценкой для
о]ш23...р- Однако г не является несмещенной оценкой для р: в
26.15—17 мы видели, что даже для коэффциента нулевого по-
порядка в нормальном случае г не является несмещенной оценкой
коэффициента р, но что модификация B6.34) или B6.35) яв-
является несмещенной оценкой. Результат, который будет получен
в 27.22, позволит нам оценить любой частный коэффициент кор-
корреляции аналогично нормальному случаю.
Геометрическая интерпретация частной корреляции
27.18 Из наших результатов вытекает, что вся совокупность
частных регрессий, корреляций, а также дисперсий или ковариа-
ций ошибок или остатков полностью определяется дисперсиями
и корреляциями или же дисперсиями и регрессиями нулевого
порядка. Интересно взглянуть на этот результат с геометриче-
геометрической точки зрения. Предположим, что у нас есть га наблюдений
над р (<га) случайными величинами
хи>
Х1р\
х2р\
хп\>
Рассмотрим п-мерное (евклидово) выборочное пространство. На-
Наблюдениям Xih,... ,Xnh над k-н случайной величиной в этом про-
пространстве будет соответствовать одна точка. Следовательно,
имеется р точек, по одной на каждую величину. Обозначим эти
точки Qi, Q2, ...,Qp Предположим, что иксы отсчитываются от
своих средних, и пусть точка Р является началом координат.
Величину па\ можно тогда интерпретировать как квадрат
длины вектора, соединяющего точку Qt (с координатами хи, ...
i.-,xm) с Р. Аналогично, рш можно представлять себе как коси-
косинус угла QiPQm, ибо
I
n
/2
а это есть формула косинуса угла между PQi и PQm.
Наш результат тогда состоит в том, что все соотношения, свя-
связывающие р точек в га-мерном пространстве, могут быть выра-
выражены в терминах длин векторов PQt и углов между ними. Таким
образом, теория частной корреляции и регрессии формально тож-
тождественна с тригонометрией некоторой совокупности точек в
«-мерном пространстве.
27.19 Читатель, предпочитающий геометрический взгляд на
рассматриваемые вопросы, без труда может переформулировать
предыдущие уравнения, используя тригонометрическую термино-
терминологию. Мы укажем только наиболее важные результаты, тре-
требующиеся для дальнейших выборочных исследований.
Заметим прежде всего, что р точек Q* и точка Р определяют
(исключая, возможно, вырожденный случай) подпространство
438
ГЛАВА 27
размерности р в га-мерном пространстве. Рассмотрим точку
Qi.2...p, координатами которой являются п остатков х\,%.._р. Со-
Согласно B7.46) вектор PQi.2...P ортогонален к каждому из век-
векторов PQ2,... ,PQP и, следовательно, к подпространству размер-
размерности (р— 1), натянутому на Р, СЬ,..., QP.
Рассмотрим теперь векторы остатков Qi.r, Qz.r и QP.r, где г
заменяет вторичные индексы 3, 4, ...,(р—1). Косинус угла
между Qi.r и Q.2.T, скажем 9, равен
Pi2.r, и каждый из них ортогонален к
подпространству, натянутому на Р,
<Эз, •••, Q(p-i)- Пусть на рис. 27.1 точ-
точка М будет основанием перпендику-
перпендикуляра, опущенного из Qi.r на PQP.r, a
-пг.г QLr —такой точкой на Рфг.г, что век-
вектор Qb.rM перпендикулярен к PQP.r.
Гогда MQi.r и MQ.2.r ортогональны к
пространству, натянутому на Р, <2з,...,
Qp, и косинус угла между ними, ска-
скажем ф, равен pi2.rp. Таким образом, для
того чтобы pi2.rp выразить через р12.г,
мы должны выразить ф через 8 или
Рнс. 27.1. Геометрия частной угол между векторами PQi.r и PQi.r —
через угол между их проекциями
р
корреляции.
на гиперплоскость, перпендулярную к
_.г. Опустим теперь для удобства штрих у QLr- По теореме
Пифагора
MQ2r
>. А.гJ = PQlr + PQL - 2PQUr ¦ PQ2.r cos e =
Далее,
и
Следовательно, находим
MQlr • MQ2r cos ф = PQl r ¦ PQ2r cos 6 — PM2
или
Отношения
PM
B7-49)
явтяются синусом и косинусом угла
между PQp.r и PQi.r. Косинус угла между PQUr и PQpr равен
РМ МО,
Р,, л, следовательно, __epip>ri __LL=A _р^уд Та_
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
439
кой же результат получается при замене индекса 1 на 2. Итак,
согласно B7.49)
О,„ - =-77 о—w: 5 vTTTq-' (Z/.OV)
что вновь совпадает с B7.39). Таким образом, мы видим, что вы-
выражение частного коэффициента корреляции через коэффициент
более низкого порядка можно представлять себе как проектиро-
проектирование некоторого угла в выборочном пространстве на подпро-
подпространство, ортогональное к переменной, фиксированной только
в исходном коэффициенте более высокого порядка.
Вычисление коэффициентов
27.20 Там, где имеются только три или четыре случайных ве-
величины, мы можем вычислять частные корреляции и регрессии,
исходя непосредственно из коэффициентов нулевого порядка,
пользуясь соответствующими формулами из числа полученных
выше. Если же присутствует большое число переменных, то удоб-
удобно систематизировать арифметику в форме определителей. Дей-
Действительно, нам нужно вычислить все миноры корреляционной
матрицы С, и затем, подставляя их в формулы B7.6), B7.19) и
B7.26), мы получим коэффициенты корреляции и регрессии, а
также дисперсии остатков (или ошибок) всех порядков. Ныне
электронные вычислительные машины становятся широко до-
доступными и можно избежать утомительных ручных вычислений.
Для малых р полезны таблицы таких величин, как 1 — р2,
A — р2I'2 и {A — р^)A — Рг)]~1/2- Полезны также тригонометри-
тригонометрические таблицы. Например, при заданном р можно найти 8 =
= arccosp и, следовательно,sin9 = A — р2), cosec9=(l—Р2)~1/2
и так далее.
The Kelley Statistical Tables (Harvard U. P., 1948) содержит
значения A — p2I'2 для р = 0,0001 @,0001H,9999.
Два следующих примера представляют как интерпретацион-
интерпретационный, так и вычислительный интерес.
Пример 27.1
Исследуя для некоторой области Англии влияние погоды на
урожаи, Хукер A907) нашел следующие средние, стандарт-
стандартные отклонения и корреляции между урожаем сена (х\) в цент-
центнерах *) на акр, весенним количеством осадков (х2) в дюймах
*) См. примечание на стр. 388. (Прим. ред.)
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
441
440
ГЛАВА 27
и накопленной за весну температурой выше 42° F (xz) по данным
за 20 лет:
ц,= 28,02, а, =4,42, Pl2 = + 0,80,
ц2 = 4,91, о2=:1,10, Р13 = — 0,40,
Из = 594, а3 = 85, р23=-0,56.
Основной интерес здесь представляет вопрос о влиянии по-
погоды на величину урожаев, и поэтому мы рассмотрим только
регрессию хх относительно двух других случайных величин. Из
корреляций нулевого порядка выясняется, что урожай и осадки
имеют положительную корреляцию, а урожай и накопленная
весенняя температура—отрицательную. Как же интерпретиро-
интерпретировать последний результат? Может быть, высокая температура
неблагоприятно влияет на урожайность или, возможно, отрица-
отрицательная корреляция является следствием того, что высокая тем-
температура влечет уменьшение количества дождей, так что польза
тепла более чем устраняется вредным воздействием засухи?
Для того чтобы пролить некоторый свет на этот вопрос, вы-
вычислим частные корреляции. Из B7.5) находим
Pi2-Pi3p23 _ 0,80 - (-0,40) (-0,56) _
{A - p?3) A - p^)} {A - 0,40*) A - 0.562)} -
Аналогично,
Р13.2 = 0,097, р23Л = —0,436.
Далее нам потребуются регрессии и дисперсии ошибок.
Г А АЛЛ
f*r\\r I v- . v_ _ \ re. _
Pl2.3 = -
Д
Имеем
ш
Это соотношение, однако, содержит величины ai3 и сг2.3, кото-
которые самостоятельного интереса не представляют. Их вычисле-
вычисления можно избежать, если заметить, что из B7.33) следуют ра-
равенства
так что
.23
а2.13
B7.52)
Стандартные отклонения сгьгз и a2.n представляют некоторый
интерес и могут быть вычислены по B7.33). Получаем
^^K1 -Р
РУС1 -
U/2
.— два выражения, дающие возможность взаимной проверки. Из
первого имеем
аЬ23 = 4,42 {A - 0,82) A - 0,0972)}1/2 = 2,64.
Аналогично,
Таким образом,
а,,. = 0,594, а.,. = 70,1.
:0'759-w=3>37-
Совершенно так же находим
Р1з2 = 0,00364.
Уравнение регрессии хх относительно х2 и х3 представляется
тогда в виде
ж, - 28,02 = 3,37 (х2 - 4,91) + 0,00364 (х3 - 594).
Это уравнение показывает, что при увеличении количества
осадков урожай возрастает и что при увеличении температуры
урожай также возрастает, когда прочие факторы постоянны.
Оно дает нам возможность изолировать воздействие осадков от
воздействия температуры и изучать каждое из них по отдель-.
ности. Положительность коэффициента Р13.2 означает, что суще-
существует положительная связь между урожаем и температурой,
когда влияние осадков устранено. Частные корреляции говорят
то же самое. Несмотря на отрицательность pi3, коэффициент
р13.2 положителен (хотя и мал) и указывает на то, что отрица-
отрицательное значение pJ3 является следствием сложного воздействия
фактора осадков.
В предыдущих вычислениях не использовались определи-
определители, но при желании их можно применить. Определитель B7.2)
есть
1 0,80 —0,40
0,80 1
— 3,40 —0,56
1 —0,56
-0,56 1
—0,56
1
= 0,2448,
= 0,6864,
что при подстановке, например, в B7.34) дает полученный ранее
результат
442
Пример 27.2
ГЛАВА 27
В исследованиях преступности в 16 больших городах США
Огберн A935) нашел корреляцию между степенью преступно-
преступности (х\), измеряемой числом известных преступлений на тысячу
жителей, и церковным членством (х$), измеряемым числом чле-
членов церкви старше 13 лет на 100 человек населения старше
13 лет. Она оказалась равной —0,14. Очевидный вывод состоит
в том, что религиозность удерживает от преступления. Рассмот-
Рассмотрим это более внимательно.
Пусть х2 — процент мужского населения, xz — процент муж-
мужчин иностранного происхождения среди всего населения, хА —
число детей до пятилетнего возраста на 1000 замужних женщин
в возрасте от 15 до 44 лет. Огберн вычислил значения
Pi2 = + 0,44, р23 = + 0,25, р34 = + 0,44,
Ри= —0,34, р24 = — 0,19, р35 = + 0,33,
р14 = -0K1, р25=-0,35, Р45 = + 0,85.
р15=-0,14,
С помощью этих и других приведенных в его работе данных
можно показать, что регрессия величины Х\ относительно осталь-
остальных четырех переменных имеет вид
Xl - 19,9 = 4,51 (х2 - 49,2) - 0,88 (х3 - 30,2) —
- 0,072 (х4 - 4814) + 0,63 (*5 - 41,6),
а некоторые из частных корреляций равны
Pl5.3=-0>03> Pl5.4 = + °'25> Pl5.34:
+ 0,23.
Из уравнения регрессии замечаем теперь, что при фиксирован-
фиксированных остальных факторах величины х^ и хь положительно свя-
связаны, т. е. церковное членство находится в положительной связи
с преступностью. Что же маскирует этот эффект, давая отрица-
отрицательную корреляцию в коэффициенте нулевого порядка pis?
Заметим, прежде всего, что если устранить влияние вели-
величины xz, процента иностранцев, то корреляция между преступ-
преступностью и церковным членством будет близка к нулю. Эта же
корреляция положительна, когда устранено воздействие хА,
числа маленьких детей. Если зафиксировать сразу хг и Х\, то
корреляция вновь положительна. Из уравнения регрессии в дей-
действительности выясняется, что высокий процент иностранцев и
большая доля детей отрицательно связаны со степенью пре-
преступности. Оба эти фактора положительно коррелированы с
церковным членством (иностранные иммигранты являются в
основном католиками и более многодетны). Во всей совокупно-
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
443
сти эти корреляции покрывают положительную связь преступ-
преступности с церковным членством. Кажущаяся отрицательная связь
церковного членства с преступностью, видимо, обусловлена
большим уважением к закону среди иностранных иммигрантов
и тем фактом, что они более ревностные церковники.
Более полное обсуждение задачи читатель может найти в
работе Огберна.
Выборочные распределения частных коэффициентов корреляции
и регрессии в нормальном случае
27.21 Рассмотрим теперь выборочные распределения част-
частных коэффициентов корреляции и регрессии в нормальном
случае.
Для больших выборок с очевидными изменениями могут
быть использованы стандартные ошибки, соответствующие ко-
коэффициентам нулевого порядка (см. 26.13). Обозначая т мно-
множество вторичных индексов, имеем из B6.24)
а из B6.30) и B7.32)
Db\2.m =
B7.53)
B7.54)
Доказательство соотношений B7.53) и B7.54) с помощью пря-
прямых методов главы 10 очень утомительно. Однако они непосред-
непосредственно следуют из того факта, что совместное распределение
любых двух ошибок Х\,т и х2.т является двумерным нормаль-
нормальным с коэффициентом корреляции р^.т- Таким образом, как
отметил Юл A907), выборочные корреляции и регрессии между
соответствующими остатками имеют, по крайней мере для боль-
большой выборки, то же распределение, что и коэффициент нуле-
нулевого порядка. В 27.22 мы увидим, что для выборки объема п
точное распределение величины ri2m таково же, как у коэффи-
коэффициента корреляции нулевого порядка, основанного на я — d на-
наблюдениях, где d есть число вторичных индексов в т. Однако,
поскольку B7.53) и B7.54) верны лишь до членов порядка п~1,
нам нет нужды учитывать эту малую поправку.
27.22 Рассмотрим теперь геометрическое представление из
27.18—19. Предположим, что у нас есть три вектора PQU PQ2,
PQ3, представляющие собой п наблюдений над xi, xiy x3. Как
мы видели в 27.19, коэффициент частной корреляции ri2,3 яв-
является косинусом угла между PQ\ и PQ2. спроектированного на
подпространство, ортогональное к PQz, размерность которого
(я—1). Если сделать ортогональное преобразование (т. е.
f *
444
ГЛАВА 27
поворот системы координат), то корреляции, являясь косинусами
углов, останутся неизменными. Более того, если п исходных на-
наблюдений над тремя величинами были независимыми, то тако-
таковыми останутся и п наблюдений над ортогонально преобразо-
преобразованными величинами. (Этот факт представляет собой обобще-
обобщение результата, приведенного в примерах 11.2, 11.3 ив 15.27 для
независимых переменных хи х2, xz, а его доказательство предо-
предоставляется читателю в виде упражнения 27.7; геометрически это
очевидно из радиальной симметрии нормированного многомер-
многомерного нормального распределения.) Выбирая PQz в качестве од-
одной из новых координатных осей при ортогональном преобразо-
преобразовании, сразу видим, что ri2.$ имеет такое же распределение, как
коэффициент нулевого порядка, основанный на п — 1 независи-
независимых наблюдениях. Повторяя это рассуждение, получаем, что
распределение коэффициента корреляции порядка к, основан-
основанного на п наблюдениях, то же, что у коэффициента нулевого
порядка, вычисленного по п — d наблюдениям: каждый вторич-
вторичный индекс влечет проектирование в выборочном пространстве
на ортогональное дополнение к соответствующей переменной и
потерю одной степени свободы. Приведенный результат принад-
принадлежит Фишеру A924а).
С этим уточнением результаты предыдущей главы могут
быть немедленно применены к частным корреляциям. Если d
мало по сравнению с п, то распределение частных корреляций,
когда п возрастает, по существу такое же, как у коэффициентов
нулевого порядка, что подтверждает приближение B7.53) для
стандартной ошибки.
Для частных коэффициентов регрессии, кроме того, полу-
получаем, что распределение A6.86) коэффициента нулевого порядка
продолжает иметь место с заменой п на п — d, когда повсюду
присоединено множество вторичных индексов т. В частности,
статистика Стьюдента B6.38) для регрессии Х\ по х2 превра-
превращается в
2 75 2 \ B7.55)
с n — d — 2 степенями свободы. Если множество т содержит
все р— 2 оставшихся переменных, то число степеней свободы
равно п — р. Поскольку коэффициенты регрессии зависят как
от углов, так и от расстояний (дисперсий) в выборочном про-
пространстве, то распределение величины Ь\2, в отличие от случая
коэффициента г, непосредственно не сохраняется при проекти-
проектировании (с уменьшением лишь числа степеней свободы): ста-
статистики s°- m, s\ m в B7.55) осуществляют поправки, учитываю-
учитывающие изменение расстояний при проектировании.
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
Множественный коэффициент корреляции
445
27.23 Дисперсия ошибки величины х\ относительно ее рег-
регрессии B7.18) по остальным переменным есть а\ 2 ¦ она была
определена в 27.9. Введем теперь множественный коэффициент
корреляции*) R\B-p) между хх и х2 хр, полагая
l-*?<2...P, = °L...P/4 B7.56)
Согласно B7.56) и B7.34) 0-<#2^ 1. Определим коэффициент
R как корень квадратный из R2; он всегда неотрицателен. Коэф-
Коэффициент R, очевидно, несимметричен относительно своих индек-
индексов и представляет собой на самом деле меру зависимости Х\
ОТ Х2, • • . , Хф.
Для оправдания его названия покажем, что он действительно
является коэффициентом корреляции. Согласно 27.9 имеем
ai.2...P=M(Xl2...p)' B7'57)
а аналог B7.47) для генеральной совокупности дает
м (*Ь... Р) = М (*i*i.2... р)- B7.58)
Так как М (хх.2..., Р) = О, то из B7.57) и B7.58) следует,
что
а1.2...Р ^1/4.2 ... р) LOV(Lxif Л1.2...р)- \&1 .ОЪ}
Если теперь рассмотреть корреляцию между Х\ и ее условным
математическим ожиданием
М (Xl | Х2, . . ., Хр) = Х\ ~ Х\.2 ... р,
то мы найдем, что она равна
Подставляя сюда B7.59), получаем согласно B7.56)
ОТ, — I
Г1.2...Р
11/2
¦Р
_
1/2
B7.50)
101 ( О % — О I q
Таким образом, J?iB...P) является обычным коэффициентом кор-
корреляции между Х\ и условным математическим ожиданием
*) Мы используем жирное R для коэффициента генеральной совокуп-
совокупности, а позднее будем использовать обычное заглавное R для обозначения
соответствующего выборочного коэффициента. В соответствии с нашим со-
соглашением следовало бы использовать греческую заглавную букву «ро» для
обозначения коэффициента генеральной совокупности, ио она напоминает
заглавное Р, что может вызвать путаницу.
446
ГЛАВА 27
М (х\ |лг2, ••¦. хр). Поскольку сумма квадратов отклонений (и,
следовательно, их среднее значение d\ 2 ) минимизируется
при нахождении регрессии по методу наименьших квадратов,
которая тождественна М (л:]|л:2, ..., хр) (см. 27.15), то из
B7.60) следует, что R\B...p) представляет собой корреляцию
между Х\ и «наиболее подходящей» линейной комбинацией ве-
величин х2, ..., хр. Никакая другая линейная функция от
х2, ¦ ¦ ¦, хр не будет более коррелирована с Х\.
27.24 Из B7.56) и B7.34) получаем соотношения
B7.61)
выражающие множественный коэффициент корреляции либо че-
через корреляционный определитель, либо через частные корре-
корреляции. Поскольку в B7.34) допустима перестановка индексов,
отличных от 1, то из B7.61) немедленно вытекает (так как каж-
каждый множитель в правой части лежит в интервале @,1)), что
где pij.s — произвольный частный или нулевого порядка коэффи-
коэффициент, содержащий 1 среди первичных индексов. Таким образом,
*1B...р)>К.Л' <27-62)
т. е. множественный коэффициент корреляции не меньше, чем
абсолютная величина любого коэффициента корреляции с та-
таким же первичным индексом. Если if ца... р) = 0, то из этого
следует, что и все соответствующие pu.s= 0. В таком случае ве-
величина Х\ полностью некоррелирована со всеми остальными ве-
величинами. С другой стороны, если ifiB... Р) = 1, то по крайней
мере один из коэффициентов рц.3 должен быть равен 1 для
того, чтобы правая часть в B7.61) обращалась в нуль. В этом
случае соотношение B7.56) показывает, что о] 2 р = 0, т. е. все
точки в распределении величины Х\ лежат на линии регрессии
и Х\ является строго линейной функцией от л2, ..., хр.
Таким образом, коэффициент ifiB...p> есть мера линейной
зависимости величины х\ от х2, ..., хр.
27.25 До сих пор мы рассматривали множественный коэф-
коэффициент корреляции между Х\ и всеми остальными случайными
величинами. Но, очевидно, можно также изучать множествен-
множественную корреляцию между хг и любым подмножеством. Итак, оп-
определим
о2 — 1 _ a's
¦I\l (s) 1 о
B7.63)
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
447
для произвольного множества индексов s. Из B7.34) непосред-
непосредственно вытекает, что
<.«г> B7-64)
где г — любое подмножество из s. Следовательно, дисперсия
ошибки не может возрастать при добавлении последующих
случайных величин. Таким образом, из B7.63) и B7.64) полу-
получаем соотношения вида
B)
B3)
B34)
B ... р),
B7.65)
выражающие тот факт, что коэффициент множественной кор-
корреляции никогда нельзя уменьшить путем расширения множе-
множества величин, относительно которых измеряется зависимость xt.
В частности, при р=2 из B7.61) находим
ЩB) = 9\2, B7.66)
так что /?К2) равен абсолютной величине обычного коэффициента
корреляции между х\ и х2.
Геометрическая интерпретация множественной корреляции
27.26 Можно интерпретировать R^2... р) в геометрических
терминах пунктов 27.18—19. Рассмотрим вначале интерпрета-
интерпретацию регрессии B7.18), вычисленной по методу наименьших квад-
квадратов. Согласно 27.23 она является линейной функцией от
х2, •••> хр, минимизирующей сумму квадратов B7.40). Таким
образом, мы выбираем вектор PV в (р—1)-мерном подпро-
подпространстве, натянутом на Р, Q2, ..., Qp, который минимизирует
расстояние QiV, т. е. который минимизирует угол между PQi
и PV. В силу B7.60) if iB... р) является косинусом этого мини-
минимального угла. Но последнее значит, что Яц2...Р) есть косинус
угла между PQi и самим (р—1)-мерным подпространством,
потому что в противном случае угол не был бы минимальным.
Если #ц2... р) = 0, то вектор PQi ортогонален к (р — 1) -мер-
-мерному подпространству, так что величина х\ некоррелирована с
Х2, . ¦ ¦, Хр и с любой линейной функцией от них. С другой сто-
стороны, если ifiB...p)= 1, то PQi лежит в (р—1)-мерном под-
подпространстве, так что Xi является строго линейной функцией от
х2, ..., Хр. Эти результаты получены в 27.24.
Данная геометрическая интерпретация будет полезна при
нахождении распределения выборочного коэффициента RiB...P)
в нормальном случае. Она представляет собой прямое обобще-
обобщение представления, использованного в 16.24 для получения рас-
распределения обычного коэффициента корреляции г, который со-
согласно B7.66) с точностью до знака совпадает-с R
448
ГЛАВА 2?
Отсеивание переменных в исследовательской работе
27.27 В новых областях исследования предварительное изу-
изучение связей между величинами часто начинается с вычисления
всевозможных корреляций нулевого порядка, образующих кор-
корреляционную матрицу С. Если нас интересует лишь «предска-
«предсказание» значения одной величины, хи по другим, то заманчиво
было бы вычислить вначале только корреляции между Х\ и
остальными величинами и отбросить те величины, с которыми
корреляции равны нулю или очень малы. Это, возможно, позво-
позволило бы уменьшить число величин до поддающегося обработке
количества. Следующий этап состоял бы в вычислении корреля-
корреляционной матрицы оставшихся величин и множественных корре-
корреляций между Х\ и комбинациями из остальных величин.
К сожалению, эта процедура может привести к серьезному
заблуждению. Совершенно верно, что множество корреляций ну-
нулевого порядка полностью определяет всю совокупность частных
корреляций. Но малость коэффициентов нулевого порядка меж-
между Х\ и другими величинами не гарантирует малости коэффи-
коэффициентов более высокого порядка, и это так, даже если пре-
пренебрегать выборочными рассмотрениями. Поскольку согласно
B7.62) множественная корреляция должна быть не меньше наи-
наибольшей из корреляций любого порядка, то с помощью описан-
описанной выше процедуры «отсеивания» мы, может быть, отбрасы-
отбрасываем ценную информацию.
Рассмотрим снова B7.5):
Р12.3 =
Pl2 — Pl3p23
B7.67)
Если р12 и р13 либо р23 равны нулю, то и Р|2.3=0; еслир13 = р23=0,
т0 Р]2 з = р]2. Но р12 и р13 могут оба быть очень малыми, тогда
как р 2 может быть очень велик. Действительно, предположим,
что Pi3 = 0. Тогда B7.67) превращается в
р12.з=р12/0-р1зI/2' р.з = °-
B7.68)
Если pi2 очень мал, а р?3 очень велик, то B7.68) может быть
также очень большим. Рассмотрим конкретный пример. Пусть
>sin0.
р13 = 0, Pi2 = COS 6, Р23 = COS (д- Я — в
Тогда B7.68) имеет вид pia-з == 1 - Аналогичный результат по-
получится, если положить р23 = cos Ц- я + в) , так как при этом
р2 не изменится.
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
449
Теперь можно сделать cos 9 (или cos (у я + 0JJ как угодно
малым, скажем равным е. Тогда
, = 0, Р12 = е,
Р.2.:
= 1.
B7.69)
Поскольку согласно B7.62) множественная корреляция /?1Bз)^
^ |р12.з|. то в этом случае находим, что
#1<2з)=1. B7.70)
В силу B7.70) х\ является точной линейной функцией от х2 и х3,
вопреки значениям коэффициентов нулевого порядка в B7.69).
Очевидно, было бы неразумно на основании только коэффи-
коэффициентов нулевого порядка отбрасывать лг2 и х3 в задаче пред-
предсказания Х\.
В геометрических терминах легко понять, что здесь произо-
произошло. Вектор PQi ортогонален к PQZ и почти ортогонален (при
угле 9, близком к -к- я) к PQ2- Но в<:е три вектора лежат в од-
одной и той же плоскости, в которой PQ2 и PQz образуют между
собой либо угол (^п — в) (тогда cosi-^-n — 0)близок к 1), либо
угол (-jn + 0\ (тогда cosfyrc + e) близок к — 1).
Мы рассмотрели простой пример, но то же самое рассужде-
рассуждение a fortiori применимо к большему числу переменных, где
имеется больше места для появления связей указанного сорта.
Значение R зависит от всех частных корреляций.
К счастью для человеческого нетерпения, жизнь обычно ока-
оказывается менее сложной, чем она могла бы быть, и мы обычно
избегаем наихудших возможных последствий упрощенного вы-
выбора независимых переменных. Обыкновенно, даже в новых об-
областях, у нас имеется достаточно предварительных знаний, по-
помогающих избежать наиболее вопиющих оплошностей, но логи-
логическая трудность остается.
Выборочный множественный коэффициент корреляции
и его условное распределение
27.28 Определим теперь выборочный аналог Для Я2ц2ш-щР)>
полагая
1—
1B ...р) ;
sL2...p
B7.71)
Все соотношения из 27.23—26 остаются в силе с заменой р на г
и о на s. Мы переходим к детальному обсуждению выборочного
распределения величины ^2. Поскольку согласно 27.23 это есть
15 М. Кендалл, А. Стьюар!
450
ГЛАВА 27
коэффициент корреляции, значение которого не зависит от рас-
расположения и масштаба, то его распределение не будет зависеть
от параметров расположения и масштаба.
Вначале рассмотрим условное распределение величины R2,
когда значения х2, ..., хр фиксированы. Как и в B6.50), учи-
учитывая B7.71), запишем тождество
Если наблюдения над х\ являются независимыми нормальными
величинами, так что Л, B ., р) = 0, то левая часть в B7.72) под-
подчиняется хи-квадрат распределению с п—1 степенями свободы.
Квадратичные формы относительно хх в правой части B7.72),
как можно показать, имеют ранги р—1 и п — р соответственно.
Из теоремы Кокрэна A5.16) следует, что они независимы и под-
подчинены хи-квадрат распределениям с теми же числами степеней
свободы и что отношение
B7-73)
имеет F-распределение с (р — \, п — р) степенями свободы.
Приведенный результат впервые был доказан Фишером A924b).
Частным случаем B7.73) при р = 2, когд? #iB) —г22 (см-
B7.66)), является B6.52).
Это еще один пример критерия ОП для линейной гипотезы.
Мы постулируем, что среднее значение наблюдений над х\ яв-
является линейной функцией от р — 1 других величин с р — 1
коэффициентами плюс постоянный член, так что всего имеется
р параметров. Проверяется гипотеза о том, что все р — 1 коэф-
коэффициентов равны нулю, т. е. Но: R2 = 0. В обозначениях пунк-
пунктов 24.27—28 k = р, г = р — 1. Таким образом, как мы и ви-
видели, F-критерии B7.73) имеет (р — 1, п — р) степеней свободы.
Из 24.32—33 немедленно следует, что если гипотеза Но неверна,
то величина F в B7.73) подчинена нецентральному .F-распреде-
лению с (р — 1, h — р) степенями свободы и параметром не-
нецентральности X = nR2, и свойства мощности критерия ОП, при-
приведенные в главе 24, приложимы здесь. В частности, согласно
24.36—37 этот критерий является РНМ инвариантным критерием.
Многомерный нормальный (безусловный) случай
27.29 Пусть теперь значения х2, ..., хр также изменяются,
и предположим, что выборка производится из многомерной нор'
мальной совокупности. Оказывается, что распределение вели*
чины R2 остается прежним при R2 — 0, но при R2 ф 0 совер-
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
451
шенно отличается от распределения R2 с фиксированными
х2, • • •, хр. Таким образом, функции мощности критерия для
#2 _ о различны в этих двух случаях, хотя один и тот же кри-
критерий имеет силу в каждом случае. Однако, когда п~*оо, оба
результата совпадают.
Мы выведем геометрически результат для многомерного нор-
нормального случая с R2 = 0, а в 27.30 обобщим его.
Рассмотрим геометрическое представление из 27.26. Тогда R
есть косинус угла, скажем 9, между PQi (вектор наблюдений
*i) и вектором PV, лежащим в (р — 1)-мерном пространстве
Sp-i остальных переменных и минимизирующим угол с PQ\.
Если теоретический коэффициент R = 0, то вследствие много-
многомерной нормальности совокупности Х\ не зависит от % ..., хр,
¦ а тогда вектор PQi, из-за радиальной симметрии нормального
распределения, будет иметь случайное направление относи-
относительно подпространства 5Р_Ь которое в последующих рассуж-
рассуждениях можно считать фиксированным. (Этим объясняется, по-
почему совпадают условные и безусловные результаты при
Я2 = 0).
Мы должны рассмотреть относительные вероятности, с ко-
которыми могут появляться различные значения угла G. При фик-
фиксированной дисперсии s] функция плотности выборки из п на-
наблюдений постоянна на (п — 2)-мерной поверхности (п— 1)-
мерной гиперсферы. Если 9 и PV фиксированы, то вектор PQX
будет лежать на гиперсфере размерности (п — 2) — (р—1) =
= (п — р — 1), объем которой пропорционален (sinG)n-P-'
(см. 16.24).
Рассмотрим теперь, что происходит, если вектор PV из-
изменяется. PV может изменяться внутри 5p_i, где вследствие
радиальной.симметрии его значения равновероятны на (р — 2)-
мерной поверхности сферы размерности (р—1). Эта поверх-
поверхность имеет объем, пропорциональный (cosG)p-2. Следова-
Следовательно, для фиксированного 9 получаем элемент вероятности
(sin Q)n~P~l(cQs В)p~2dQ. Полагая R—cosQ и
находим, что R2 имеет бета-распределение
dF ос (#2)<"-3)/2 A _ gafi-p-zH* d (^2)) о < ^2 < 1. B7.74)
Легко видеть, что нормирующая постоянная равна
В{(р— п/2 (п— р)/2}' Применяя преобразование B7.73) к
B7.74), получаем в точности то же F-распределение, которое
15*
452
ГЛАВА 27
было выведено в 27.28 при фиксированных х2, ..., хР. Когда
р = 2, B7.74) сводится к A6.62), с той лишь разницей, что там
используется dR, а не d(R2).
27.30 Перейдем теперь к случаю, когда R ф 0. Распределе-
Распределение коэффициента R для этого случая было впервые найдено
Фишером A928а) с помощью значительного развития геометри-
геометрического подхода из 27.29. Мы приведем более простой вывод,
принадлежащий Морэну A950).
Соотношение B7.61) для выборочного коэффициента можно
записать в виде
B7.75)
где Т есть множественный коэффициент корреляции между Х\,2
и *з.2, *4.2, • • •, *р.2- Коэффициент /?кг ... р) и распределение ве-
величины #iB...р) не изменятся, если х2, ..., хр подвергнуть орто-
ортогональному преобразованию. При этом преобразовании в каче-
качестве новой переменной х2 выберем такую линейную функцию от
старых переменных х2, ...., хр, которая имеет с х\ максималь-
максимальную корреляцию, т. е. pi2 = Rip... р>. Тогда из B7.61) вытекает,
что
Р?3.2 = Р?4.23 = • • • = Р?Р.23 ... (Р-,) = 0, B7.76)
а поскольку в B7.61) можно переставлять индексы, отличные
от 1, то все частные коэффициенты вида pij-.2s равны нулю. Та-
Таким образом, величина хи2 некоррелирована с (а поскольку
распределение нормально, то и не зависит от) xz.2,x^2, ..., хрЛ,
и коэффициент Т в B7.75) распределен, как множественный
коэффициент корреляции между одной величиной и р — 2 дру-
другими, основанный на п—l наблюдениях (одно измерение те-
теряется при проектировании для получения остатков), при тео-
теоретическом R = 0. Кроме того, коэффициент Т распределен не-
независимо от ri2, потому что все величины Xj_2, согласно B7.46),
ортогональны к х2. Итак, множители в правой части B7.75) не-
независимы. Распределение коэффициента ri2, скажем f\(r), полу-
получается из A6.60) с p = i?iB...p> интегрированием относительно
Р по области его изменения. Распределение же величины Т2,
скажем /г(#2)> имеет вид B7.74) с п и р, уменьшенными на 1.
Следовательно, из B7.75) находим распределение коэффициен-
коэффициента R2:
B7.77)
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
Опуская для удобства все индексы, получаем
R оо
_ Г2\<"-4)/2 Г ffi
J (chP — Rr)n-
—к
( 1 / r»9
X'
453
В{(/7-2)/2, (п-рЩ I I"
Полагая в B7.78) г = R cos \j> и беря интеграл по р от —оо до
оо (для компенсации последнего интеграл надо разделить на 2),
получим распределение в форме Фишера:
яГ
X
27.31 Распределение B7.79) может быть выражено через
гипергеометрическую функцию. Раскладывая подынтегральную
функцию в равномерно сходящийся ряд по степеням cos г|> и
отбрасывая нечетные степени cos г|), так как при интегрирова-
интегрировании от 0 до я они исчезнут, получаем
/=о
2/ - 2
Поскольку
оо
Г dp_
J (chp)n-
1+2/
то интеграл в B7.79) превращается в
454
ГЛАВА 27
что после применения гамма-функции и упрощений принимает
вид
Г («/2) Г {(р-1)/2} М 2 ^ ^'2^ 1* 2 ^ U, «/
B7.80)
Подставляя B7.80) в качестве подинтегральной функции в
B7.79), получаем
B7.81)
1(«- 1),1(Я- 1), •!(/>- 1),
Это безусловное распределение следует сравнить с условным
распределением величины R2, приведенным в упражнении 27.13
и легко получаемым из нецентрального F-распределения, дан-
данного в 27.28. Упражнение 27.14 показывает, что при п~+оо оба
распределения дают для nR2 нецентральное х2-РасгФеделение.
Первый множитель в правой части B7.81) есть распределе-
распределение B7.74) для R = 0; в этом случае второй множитель превра-
превращается в единицу. Если р = 2, то B7.81) является не столь
быстро сходящимся рядом по г2, как A6.66) по г. И вообще он
сходится медленно, потому что первые два аргумента в гипер-
гипергеометрической функции равны (п— 1)/2. В поисках более бы-
быстро сходящегося выражения соблазнительно в B7.78) вместо
интеграла по р подставить выражение A6.65), которое имеет
вид
n-\
(chp - Rr)
а так как F(a, b,c, x) = A — x)c~a-bF (c — a,c— b,c,x), то оно
равно
\ B7.82)
Но когда мы подставим B7.82) в B7.78), то интегрирование по
г вряд ли приведет к более удобному результату, чем B7.81).
Моменты и предельные распределения величины R2
27.32 Можно показать (см. Уишарт A931)), что среднее зна-
значение величины R2 в многомерном нормальном случае равно
1 («+О
^-)- B7'83)
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
В частности, когда R2 = 0, B7.83) сводится к
455
B7.84)
что также можно получить непосредственно из B7.74).
Аналогично может быть показано, что дисперсия равна
D (/Р) -
2)
, 2, Л („ + 3), У) -
-1)г= B7.85)
^}]. ,27.86,
Соотношение B7.86) представимо в виде
так что если /?2 =? 0, то
D (
4#2 A - #2J/п.
B7.88)
Но если R2 = 0, то равенство B7.87) оказывается бесполез-
бесполезным. Возвращаясь же к B7.86), находим
- О
B7.89)
Точный результат в B7.89) можно было получить из B7.74).,
27.33 Различные порядки величины асимптотических дис-
дисперсий B7.88) и B7.89), когда R Ф 0 и R = 0, отражают су-
существенно разное поведение распределения коэффициента ^2
в этих двух ситуациях. Хотя B7.84) показывает, что R2 яв-
является смещенной оценкой для R2, тем не менее она, очевидно,
состоятельна. Для больших nM(R2)^>-R2, a D(R2)-*-0. При
R ф- 0 распределение величины ^2 асимптотически нормально
со средним R2 и дисперсией B7.88) (см. упражнение 27.15).
Однако, когда R = 0, коэффициент R, который заключен в ин-
интервале @, 1), сходится к 0, нижней границе своего интервала
изменения, и одного этого достаточно, чтобы показать, что в дан-
данном случае его распределение не будет нормальным (см. упраж-
упражнения 27.14, 27.15). При таких обстоятельствах неудивительно,
что его дисперсия имеет порядок п~2: аналогичная ситуация
возникала при оценивании границы конечного промежутка, на
котором сосредоточено распределение, где, как мы видели в уп-
упражнениях 14.8, 14.13, 14.16, появляются дисперсии порядка п~2.
456
ГЛАВА 27
Распределение коэффициента R ведет себя аналогично (в
отношении предельной нормальности) распределению R2, хотя
мы увидим, что его дисперсия имеет всегда порядок 1/п.
Следует упомянуть одно прямое следствие особенности в рас-
распределении коэффициента R при R2 = 0. Из B7.88) следует,
что
DR ~ (I-R2J/n; B7.90)
это совпадает с асимптотическим выражением для дисперсии
обычного коэффициента корреляции (см. B6.24))
Dr~(l-p2J/n.
Естественно применить к R стабилизирующее дисперсию г-пре-
образование из 16.33 (см. также упражнение 16.18), дающее ве-
величину e=argth^, дисперсия которой близка к 1/п незави-
независимо от значения R. Но, как отметил Хотеллинг A953), это не-
неверно вблизи R = 0, поскольку там нарушается B7.90). В этом
случае асимптотическая дисперсия в силу соотношения B7.84)
равна
DR = M (R2)-{M (R)}2 ~{p- l)/n, B7.91)
что отличается от значения 1/п, получаемого из B7.90). Все
хорошо при р = 2 (когда R = |г|). В остальных случаях г-пре-
образование величины R можно использовать только для зна-
значений R, отделенных от нуля.
Несмещенное оценивание коэффициента R2
в многомерном нормальном случае
27.34 Поскольку согласно B7.83) R2 представляет собой
смещенную оценку для R2, то мы можем попытаться устранить
смещение. Олкин и Прэтт A958) показали, что несмещенной
оценкой коэффициента R]{2...P) служит
(яР + 2) 1-Я? р./.
B7.92)
где п > р ^ 3. Статистика t есть единственная несмещенная
функция от R2, так как она является функцией от полной систе-
системы достаточных статистик. Правую часть B7.92) можно разло-
разложить в ряд
B7.93)
откуда следует, что t ^ ^2. Если R2 = 1, то и t =. 1. С другой
стороны, когда R2 мало или равно нулю, то t отрицательно, как
этого можно было ожидать. Нельзя найти несмещенную оценку
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
457
для R2 (т. е. оценку, математическое ожидание которой рав-
равно R2 при любом истинном значении R2), которая бы прини-
принимала только неотрицательные значения, хотя мы знаем, что ко-
коэффициент R2 неотрицателен. Можно устранить абсурдность
отрицательных значений оценки, используя в качестве новой
оценки
*' = max(f, 0), B7.94)
но B7.94) перестает быть несмещенной оценкой.
27.35 Леман A959) показал, что критерии для проверки гипотезы
R2 = 0, отвергающие гипотезу при больших значениях R2, являются РНМ
критериями в классе критериев со статистиками, инвариантными относительно
изменений масштабов и сдвигов. Эзекиел и Фокс A959), а также К- Крамер
A963) приводят графики и таблицы для построения доверительных интерва-
интервалов для R2 по значениям R2.
УПРАЖНЕНИЯ
27.1 Показать, что
Р
12.34
• (P-D '
J12.34 ... р '
Э1р.23 ... (р-1)Рр2.13 ... (р-1
1
Jlp.23...(p-l)Ppl.23... (р-1
Р|2.34... р+ Plp.23 ... (р-1)Р2р.13 ...(р-1)
Р12.34 ... (р—1) Г/, _ 2 W, 2 \Н/2-
XV Plp.23. ..(р-1)Д' — Р2р.13...(р-1)Л
(Юл, 1907.)
27.2 Показать, что для р случайных величин имеется I I коэффициен-
Р-2\(Р'
тов корреляции нулевого порядка и I
коэффициентов корреляции
ся
1Кй
порядка s, а всего имеет-
2Р ' коэффициентов ре-
грессни.
27.3 Пусть для некоторого множества величин все коэффициенты корре-
корреляции нулевого порядка равны р. Показать, что тогда каждый частный
коэффициент корреляции s-ro порядка равен -т-~1Г •
27.4 Доказать равенство B7.27). Используя его, показать, что коэффи-
коэффициент при xixm в экспоненте многомерного нормального распределения слу-
случайных величин Хи Xz, ..., хр равен l/covf^ . q , xm . q \.
27.5 Исходя из B7.46), показать, что при суммировании попарных про-
произведений остатков можно опускать любой или все вторичные индексы у то-
того остатка, все вторичные индексы которого содержатся среди вторичных
индексов второго сомножителя, т. е. что
2j xl.siux2.st == 2j xl.stux2.s~ 2jxl-stux2>
НО ЧТО
Zl x\.stux2.st
где s, t, и — множества индексов.
x\.sux2.st<
(Чандлер, 1950.)
458 ГЛАВА 27
27.6 С помощью преобразования :
Уз
х3.21>
доказать, что многомерное нормальное распределение может быть записано
в виде
dF =
1 Г 1 (х\ х\ , х\ 12 \ I
exp i — Ч- -j- + ~2 Ь • • • )\ dxx dx2 ,«»
так что остатки Xi, х*л ... не зависят один от другого. Вывести отсюда*
что любые два остатка х$т и Xkr (где г — множество общих индексов)
имеют двумерное нормальное распределение с коэффициентом корреляции
pjftr.
27.7 Показать, что если применить ортогональное преобразование к мно-
множеству из я независимых наблюдений над р-мерной нормальной величиной,
то преобразованные п наблюдении также будут независимыми.
27.8 Для данных из таблиц 26.1 и 26.2 мы видели в примере 26.6 и
упражнении 26.1, что Гц = 0,34, /-13 = 0,07, где индексы 1, 2, 3 относятся
к росту, весу и объему груди соответственно. Пусть также дано, что
ггз = 0,86. Установить равенство
A2) ¦
= 0,80,
указывающее на то, что объем груди достаточно хорошо определяется ли-
линейной функцией от роста и веса.
27.9 Показать непосредственно, что никакая линейная функция от
хг, ..., хр не имеет более высокой корреляции с Xi, чем оценка наименьших
квадратов величины Xi.
27.10 Установить выражение B7.83) для М(/?2).
(Уишарт, 1931.)
27.11 Установить выражение B7.85) для D(RZ).
(Уишарт, 1931.)
27.12 Проверить, что B7.92) является несмещенной оценкой коэффи-
коэффициента R2.
27.13 Пусть R2 Ф 0. Исходя из нецентрального ^-распределения вели-
величины F в B7.73), показать, что в этом случае коэффициент R2 при фикси-
фиксированных *2 хр имеет распределение
/=0
Г {(п - 1 + 2Q/2} Г {(р - l)/2} {A/2) {n - p) R*R2}i
Г {(« - 1 )/2} Г {(p - 1 + 2;)/2} /!
(Фишер, 1928а.)
ЧАСТНАЯ И МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ
459
27.14 Используя B7.81), доказать,- что при п->-оо и фиксированном р
величина п/?2 = Вг имеет распределение
,1±ВЛ
v[ 2 2 /
¦ + ¦
(Р-
•¦•}d(B*),
где рг = nRz, и что, следовательно, nR2 является нецентральной х2-велнчиной
вида B4.18) с v — p—1, X = пЮ. На основании упражнения 27.13
показать, что этот же результат верен для условного распределения ве-
величины nR2.
(Фншер, 1928а.)
27.15 В условиях упражнения 27.14 с помощью х. ф. нецентрального
^-распределения (см. упражнение 24.1) доказать, что если и->-оо, а р фик-
фиксировано, то коэффициент R2 имеет асимптотически нормальное распределе-
распределение, когда R ф 0, и что это неверно, когда R = 0. Распространить результат
на коэффициент R.
27.16 Пусть коэффициент R2 вычислен по выборке из многомерного рас-
распределения. Показать, что если п — р четно, то его функция распределения
может быть записана в виде
¦jin-p-2)
^ Г {(р - 1 + 2Л/2}
(I-/?2)'
X
(j, ~^{n-p), ~{Р-\)
(Фишер, 1928а.)
27.17 Дана выборка (*i, ..., хп), состоящая из одного наблюдения
над п-мерной нормальной случайной величиной, все средние значения кото-
которой равны (х, все дисперсии а2, а все коэффициенты корреляции р. Доказать,
что статистика
f 1-P I
11 + («- Dp J
1=1
имеет f-распределение Стьюдента с п — 1 степенями свободы. Когда р = 0,
это сводится к обычному критерию о среднем значении для п независимых
нормальных величин.
(Уолш, 1947.)
27.18 Пусть хо, хи .-.) Хп — нормальные величины с одной и той же
дисперсией a2, Xi, ..., хп независимы между собой, а хо имеет среднее нуль
и корреляцию Я со всеми остальными величинами. Показать, что п величин
х{ — axQ
1, 2, .... п,
имеют многомерное нормальное распределение, в котором все корреляции
равны
р = (а2 - 2аЯ)/A + а2 - 2аЯ)
460 ГЛАВА 27
и все дисперсии равны
(Стыоарт, 1958.)
27.19 Используя результат упражнения 27.18, получить утверждение
упражнения 27.17.
(Стыоарт, 1958.)
27.20 Доказать, что если каждая пара из х2, ..., хр некоррелирована,
то
s=2
l
s=2
27.21 Обобщая B7.17) и используя матричные обозначения, данные в
конце 27.6, показать, что условное среднее вектора (xi, ..., Xh)' при фик-
фиксированном значении х0 вектора (хь+i, .... хр)' равно B'JJ—'jcq.
(Марсалья A964) показал, что этот
результат и B7.14) верны даже для
вырожденного многомерного нор-
нормального распределения, если толь-
только E'i заменить на псевдообратную
матрицу Е+ = Г' (ГТ')~ Т, где Е =
)
ГЛАВА 28
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
28.1 В последних двух главах мы изложили теорию линей-
линейной регрессии одной величины относительно одной или боль-
большего числа других величин, но основное внимание там уделя-
уделялось теории корреляции. Теперь же центром нашего исследова-
исследования станет теория регрессии. В этой главе мы обобщим и объ-
объединим результаты глав 26 и 27, при этом будет использоваться
метод наименьших квадратов, изложенный в главе 19.
При рассмотрении регрессии у относительно одной или
большего числа величин х обычно называют у «зависимой», ах
«независимыми» переменными. Эта терминология, заимствован-
заимствованная из обычной алгебры, плоха, потому что величины х не яв-
являются, в общем случае, независимыми в вероятностном смысле.
В действительности мы увидим, что они вовсе не обязательно
являются случайными величинами. Далее, поскольку цель рег-
регрессионного анализа состоит в исследовании зависимости уотх,
то название «независимые» для величин х вносит особенную
путаницу. Поэтому, несмотря на общепринятую терминологию,
мы будем следовать некоторым более современным авторам,
например Э. Хеннану A956), и называть х регрессионными пе-
переменными (или, для краткости, регрессорами).
Вначале мы рассмотрим обобщение аналитической теории
регрессии, изучавшейся в главах 26 и 27 для линейного случая.
Отличительная особенность аналитической теории состоит в
том, что предполагается известным совместное распределение
величин или, что эквивалентно, их совместная характеристиче-
характеристическая функция.
Аналитическая теория регрессии -
28.2 Пусть f(x,y) есть совместная плотность распределения
величин х, у. Тогда для любого фиксированного значения х,
скажем X, математическое ожидание величины у определяется
как
оо / оо
М{У\Х)= J yf (X, y)dy J /(X, у) dy. B8.1)
460
и все дисперсии равны
ГЛАВА 27
/(р)
(Стыоарт, 1958.)
27.19 Используя результат упражнения 27.18, получить утверждение,
упражнения 27.17.
(Стыоарт, 1958.)
то
27.20 Доказать, что если каждая пара из хг, ..., хр некоррелирована,
s=2 s=2
27.21 Обобщая B7.17) и используя матричные обозначения, данные в
конце 27.6, показать, что условное среднее вектора (xi, ..., хк)' при фик-
фиксированном значении дгд вектора (хл-и, ..., хр)' равно BrE~lx'o.
(Марсалья A964) показал, что этот
результат и B7.14) верны даже для
вырожденного многомерного нор-
нормального распределения, если толь-
только Е заменить на псевдообратную
матрицу Е+ Т' (ТТ'Г2
ру
Е+ = Т' (ТТ'Г2 Т, где Е =
ГЛАВА 28
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
28.1 В последних двух главах мы изложили теорию линей-
линейной регрессии одной величины относительно одной или боль-
большего числа других величин, но основное внимание там уделя-
уделялось теории корреляции. Теперь же центром нашего исследова-
исследования станет теория регрессии. В этой главе мы обобщим и объ-
объединим результаты глав 26 и 27, при этом будет использоваться
метод наименьших квадратов, изложенный в главе 19.
При рассмотрении регрессии у относительно одной или
большего числа величин х обычно называют у «зависимой», ах
«независимыми» переменными. Эта терминология, заимствован-
заимствованная из обычной алгебры, плоха, потому что величины х не яв-
являются, в общем случае, независимыми в вероятностном смысле.
В действительности мы увидим, что они вовсе не обязательно
являются случайными величинами. Далее, поскольку цель рег-
регрессионного анализа состоит в исследовании зависимости г/отх,
то название «независимые» для величин х вносит особенную
путаницу. Поэтому, несмотря на общепринятую терминологию,
мы будем следовать некоторым более современным авторам,
например Э. Хеннану A956), и называть х регрессионными пе-
переменными (или, для краткости, регрессорами).
Вначале мы рассмотрим обобщение аналитической теории
регрессии, изучавшейся в главах 26 и 27 для линейного случая.
Отличительная особенность аналитической теории состоит в
том, что предполагается известным совместное распределение
величин или, что эквивалентно, их совместная характеристиче-
характеристическая функция.
Аналитическая теория регрессии ¦
28.2 Пусть f(x,y) есть совместная плотность распределения
величин х, у. Тогда для любого фиксированного значения х,
скажем X, математическое ожидание величины у определяется
как
1= f yf(X,y)dy \f{X,y)dy. B8.1)
462
ГЛАВА 28
Соотношение B8.1) определяет регрессию {кривую регрессии),
обсуждавшуюся в 26.5. Оно выражает зависимость между X
и средним значением величины у для этого значения X; это за-
зависимость математическая, а не вероятностная.
Можно также рассмотреть более общую регрессию (кривую
регрессии) порядка г, определяемую равенством
оо / °°
Кх =M(yr\X)= J yrf (X, y)dy J /(X, у)dy, B8.2)
—оо / —оо
выражающим зависимость r-го момента величины у при фик-
фиксированном X от X. Аналогично, равенство
оо I оо
= J {У - М (у | X)Y f {X, y)dy / J / (X, у) dy B8.3)
— оо / —оо
выражает зависимость центрального момента величины у при
фиксированном X от X.
Если в B8.3) г = 2, то это есть так называемая скедастиче-
ская (scedastic) кривая, выражающая зависимость от X дис-
дисперсии величины у при фиксированном X. Если нарисуем гра-
график, на котором каждому X будет соответствовать значение
коэффициента асимметрии р,^ = р.|л/р.|л, то получим клитиче-
скую {clitic) кривую, а делая то же самое для величины $2х~
= И^х/Н'!*' найдем куртическую {kurtic) кривую*). Приведен-
Приведенные определения не являются в действительности общеприня-
общепринятыми. Наиболее важное значение имеет регрессионная кривая,
получающаяся при г = 1, т. е. кривая B8.1); и всякий раз, ко-
когда без уточнения будет упоминаться «регрессия», ее следует
понимать как регрессию B8.1) для среднего значения.
В 26.5 мы видели, что иногда нам интересна регрессия х
по у, так же как и регрессия у по х. Тогда мы имеем очевид-
очевидные аналоги соотношений B8.2) и B8.3), в частности, соотно-
соотношение, аналогичное B8.1), имеет вид
оо / °°
li'1Y=M{x\Y)= J xf (х, Y)dx J f {x, Y) dx. B8.4)
—oo / —oo
28.3 В точности так же, как мы получали моменты из х. ф.
без вычисления плотности распределения, можно находить рег-
регрессию любого порядка с помощью совместной х. ф. величин х
*) Возможно, более полезно было бы вместо моментов наносить на гра-
график относительно X семиинварианты величины у, хотя такая вещь, насколько
нам известно, никогда не делалась.
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
463
и у без вычисления в явном виде совместной ф. п. f{x,y). За-
Запишем
f{x,y) = g(x)-hx(y), B8.5)
где g{x) есть маргинальное распределение величины х, a hx{y) —
условное распределение величины у при фиксированном х*).
Совместная х. ф. х и у равна
оо оо
„ t2) = J J exp {ihx + it2y) g (x) hx {y) dx dy = B8.6)
— oo —oo
oo
= J exp (tf,x)ff(*)<P* &)<**. B8.7)
где
oo
Ф* fo) = J exp (it2y) hx (y) dy
есть условная х. ф. величины у при фиксированном х. Если,
как в 28.2, \и,'гх есть r-й момент величины у при фиксирован-
фиксированном х, то
B8.8)
и, следовательно, из B8.7) и B8.8) получаем
оо
=? [exp{itlx)g{x)lifrxdx. B8.9)
Таким образом, согласно теореме обращения D.3)
dtx. B8.10)
f,=0
Это и есть искомое выражение, с помощью которого можно по-
получить регрессию любого порядка.
При г = 1 из B8.10) имеем
*) Мы теперь не будем использовать X для обозначения фиксированного
значения величины х.
464
ГЛАВА 28
28.4 Если существуют все семиинварианты, то мы имеем, по
определению двумерных семиинвариантов C.74),
где, по определению, хоо равно нулю. Следовательно,
Г оо оо ~|
- —¦ | == ?ф \t\y ?2/ / 1 /j %rs i 7 Т\Г I :
L г=0 s=I -J ?2=0
7Г-- B8Л2)
Используя B8.12), перепишем B8.11) в виде
оо ^
, ч / if
g(X)li,г~тг~ ехР (—*'^1Л
/Я J
,, B8.13)
г==0
и если допустима перестановка операций интегрирования и сум-
суммирования, то B8.13) переходите
g(x)^lx-^^^-ir J *i exp(— tf,x)Ф(f,, 0)Л,. B8.14)
Г=0 — oo
Так как согласно теореме обращения
оо
§ М 5=='5Г J eXp (~ Й1
то, предполагая выполненными условия существования, полу-
получаем
Используя B8.15), находим из B8.14)
B8.15)
B8.16)
Таким образом, для регрессии среднего значения величины у
по х имеем
»п (-O)rg(^)
г! Я(*:)
B8.17)
r=0
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
465
Приведенный результат принадлежит Уикселлу A934). Соотно-
Соотношение B8.17) справедливо, если существуют семиинварианты
всех порядков и законна перестановка операций интегрирова-
интегрирования и суммирования в B8.13). Это выполняется, в частности,
тогда, когда g(x) и все ее производные непрерывны внутри
интервала изменения х и равны нулю на его концах.
Если g{x)—нормированная нормальная плотность, то по-
получаем частный случай соотношения B8.17):
B8.18)
г=0
где Нг(х)—полиномы Чебышева — Эрмита порядка г, опреде-
определенные в F.21).
Пример 28.1
Для двумерного нормального распределения
f(x, у) = Bла1а2)-1A - Р2Г'/2
ехр [- 2A ]_
совместная х. ф. величин —-—- и
Отсюда
так что
(см. пример 15.1) равна
= 0, хг, = 0, г > 1,
«п =Р
есть единственный ненулевой семиинвариант в B8.17). Марги-
Маргинальное распределение g(x) является стандартным нормаль-
нормальным распределением, поэтому B8.17) совпадает с B8.18). Ис-
Используя F.23), находим
Это есть регрессия величины (у — Цг)/ст2 по (x — \xi)/a\. Если
теперь перейти к ненормированным величинам, то для регрес-
регрессии у относительно х получим
более общую форму первого из уравнений A6.46), где х и у
были переставлены местами и [xi = цг= 0.
466 ГЛАВА 28
Пример 28.2
Пусть дана выборка объема п из двумерной нормальной
совокупности предыдущего примера. Рассмотрим совместное
распределение величин
и ,=4"
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
467
Из примера 26.1 легко найти, что совместная х. ф. величин и
и v равна
Ф(*ъ *2) = {A - в,) A - 02) - pW"* B8.19)
где 9i = Ни 02 == Н2. Выразить в простой форме совместную
ф. п. величин и и v невозможно, но регрессии можно определить
и без нее. Из B8.19) находим
B8.20)
Таким образом, B8.10) и B8.20) дают
Я («)(*'„ =
-(Т^^1^ b(~M^f^&^^ B8.21)
Из обращения х. ф., приведенного в примере 4.4, имеем
оо
J_ Г expt-e.u) _1_е.ЦцА_1
2я J (i-e,)fe r(fe)
тогда как маргинальное распределение g(u) (см. A1.8)) есть
Подставляя его в B8.21) и полагая поочередно г = 1, 2, на-
находим
и
2о + 4"я A - Р2J }• B8.23)
так что
Соотношения B8.22) и B8.23) показывают, что регрессии сред-
среднего и дисперсии величины «пои линейны.
Критерии линейности регрессии
28.5 Пусть ty(ti, h) = logcp^i, t2)—совместная п. ф. с. ве-
величин х и у. Сейчас мы докажем следующий факт: если регрес^
сия величины у по х линейна, так что
l*f. = М (у \х) = рп + р,х, B8.24)
то
B8.25)
и наоборот, если выполнено некоторое условие полноты, то
B8.25) не только необходимо, но и достаточно для B8.24).
Используя B8.24), из B8.9) при г=1 находим
irfje= B8.26)
, 0). B8.27)
Полагая в B8.27) ip = logq) и деля обе части на ф(Л,0), по-
получаем B8.25).
Обратно, если имеет место соотношение B8.25), то, исполь-
используя B8.9), перепишем его в виде
Теперь видим, что соотношение B8.28) влечет тождественно
по х
Po+Pi^-K*^0' B8.29)
если только семейство exp (itix)g(x) полно. Следовательно, мы
получили B8.24).
28.6 Если все семиинварианты существуют, то, используя
B8.12), находим из B8.25)
= Ро + Pi
2
г=о
'(г -1I *
B8.30)
468
ГЛАВА 28
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
469
Приравнивая в B8.30) коэффициенты при Р, имеем
(г = 0) Хс^о + Р.хю B8.31)
(что очевидно из B8.24));
(г>1) хг| = Мг+,,0. B8.32)
Условие линейности регрессии B8.32) также принадлежит
Уикселлу A934). Соотношения B8*31) и B8.32), вместе взя-
взятые, необходимы и достаточны для B8.25), а отсюда (как и
прежде, при условии полноты g(x)) и для условия линейности
B8.24). Если, как в B8.27), мы выразим B8.25) через х. ф. ф, а
не через ее логарифм ty и проведем выкладки, ведущие к B8.32),
то получим аналог соотношения B8.32) для центральных мо-
моментов:
B8.33)
= Pg-|- $\у,
Если регрессия величины х по у тоже линейна, т.е.
то найдем также
При г = 1 соотношения B8.32) и B8.34) даютх,, = Р,х20 = р'хО2>
откуда
где р — коэффициент корреляции между х и у, что вновь со-
совпадает с B6.17).
28.7 Наложим теперь дальнейшие ограничения на наши пе-
переменные. Предположим, что условное распределение вели-
величины у относительно своего среднего (которое, как и прежде,
является функцией от фиксируемого значения х) одно и то же
для любого х, т. е. только среднее значение величины у изме-
изменяется с изменением х. Мы будем в этом случае говорить, что у
«имеет однородные ошибки». Таким образом, существует слу-
случайная величина е такая, что
y = li\x + s. B8.36)
В частности, когда регрессия линейна, B8.36) представляется
в форме
у = ро+р,х+8. B8.37)
Если у имеет однородные ошибки, то соотношение B8.5) пере-
переходит в
J(x,y) = g(x)h(e), B8.38)
где h есть теперь условное распределение величины е. Обратно,
B8.38) влечет однородные ошибки для у.
Не столь очевиден соответствующий результат для характе-
характеристических функций: если регрессия у по х линейна с одно-
однородными ошибками, то совместная х. ф. величин х и у фактори-
зуется в виде
ф ft, t2) = % ft + *2Pi) Фа (h) exp (tfjPo), B8.39)
где индексы у ф указывают на соответствующие ф. п. Для до-
доказательства B8.39) заметим, что
Ф ft. ^г) == J J ехр (#,* + it2y) f (х, у) dx dy =
ехр {й,х + it2 (Ро + Р,х + е)} g (x) h (e) dx d& =
= J ехр {i ft + t2fa)x}g (x) dx J exp (ft2e) h (e) de exp (tf2p0), B8.40)
и B8.39) есть просто по-иному переписанное выражение B8.40).
Отметим, что если Pi = 0, то согласно B8.39) х и у незави-
независимы: линейность регрессии, однородные ошибки и нулевой ко-
коэффициент регрессии влекут независимость, как это интуитив-
интуитивно очевидно.
Характеризация двумерного нормального распределения
28.8 Теперь мы можем доказать замечательный результат:
если регрессии у по х и х по у линейны с однородными ошиб-
ошибками, то х и у имеют двумерное нормальное распределение, за
исключением случаев, когда (а) они независимы одна от дру-
другой или (б) они связаны функциональной зависимостью.
Предположим, что выполнены условия теоремы. Логариф-
Логарифмируя B8.39), получаем
* С, h) = MV ft + *2Р.) + Фл &) + ffaPo- B8.41)
Аналогично, из регрессии величины х по у
*(*!• '2) = *e-('2 + f.P0 + H'v(M + «iPb. B8-42)
где штрихи использованы для отличения коэффициентов и рас-
распределений от таковых в B8.41). Приравняем B8.41) и B8.42)
и рассмотрим последовательные степени t\ и t%, обозначая г-е
семиинварианты распределений g, g/, h, h' через xr0, xOr. Ar0, Xw
соответственно.
Первая степень:
*J С. + 'A) + V'2 + it A=V ('2 + 'iPO + Vi + «iPb-
Приравнивая коэффициенты при tt и при t%, получаем
«io = *oiPi + V + Po> B8.43)
XioPi + ^0 + Po = xoi. B8.44)
470
ГЛАВА 28
Мы всегда можем предполагать, что ошибки имеют нулевые
средние, ибо в противном случае их средние можно было бы
включить в ро и Pq. Если, кроме того, измерять х и у от их
средних, то из B8.43) и B8.44) находим
Ро = Ро == °
что очевидно из общих соображений.
Вторая степень:
B8-45)
+vi=*о2 &+да
2
Отсюда, приравнивая коэффициенты при t\, tfc и
получаем
x2oPi + 4 = xo2- B8.48)
Равенства B8.46) — B8.48) дают связь между g, h, g' и h'.
В частности, из B8.47) вытекает, что отношение Р,/Р{ равно
хог/хго. отношению исходных дисперсий.
Третья степень:
«зо {* с,+ад3+ч w=«оз {»&+<iP0K+^оз («о3-
Коэффициенты при 2^2 и Мг дают нам
B8.49)
B8-50)
Исключая временно возможности рр PJ = O или р,р^=1, по-
получаем из соотношений B8.49) и B8.50) равенства Хзо = Хоз = О.
Аналогично, если рассмотрим четвертые и более высокие сте-
степени, то обнаружим, что семиинварианты всех высших поряд-
порядков Хго, хог должны равняться нулю. Тогда из уравнений такого
типа, как получаются при сравнении членов с t\, t\, а именно
Х30 == Х03
== Х03>
следует, что для распределений Л, h' семиинварианты порядка
выше второго также обращаются в нуль. Таким образом, все
распределения g, h, g', Ы являются нормальными, а из B8.41)
или B8.42) вытекает, что ty{tut2) является квадратичной фор-
формой по t\, t2, и, следовательно, величины х, у имеют двумерное
нормальное распределение.
В тех исключительных случаях, которыми мы пренебрегли,
наше рассуждение теряет силу. Если 0^=1, то согласно
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
471
B8.35) корреляция между х и у равна ±1, и я является строго
линейной функцией от у (см. 26.9). С другой стороны, когда
Р, или Р' —Q, величины х, у независимы, как замечено в конце
28.7. Это заканчивает доказательство теоремы *).
Многомерные обобщения
28.9 Теперь мы кратко укажем, как обобщить наши резуль-
результаты на случай р регрессоров Х\, х2, ..., хр. Линейная регрес-
регрессия тогда имеет вид
М (у | х„ ..., хр) = Ро + рхх + ... -f PpJCp. B8.51)
Записывая совместную ф. п. в форме, аналогичной B8.5),
f(y, х„ .... xp) = g{x)hx{y),
где g(x) есть р-мерное маргинальное распределение величин
Х\, ..., хр, находим, как и в B8.6), что
Ф(и, tu ..., *„) =
= ("... f exp [iuy + i У tjXj g (x) hx{y) dx dy =
= J ... J exp (i 2 t,xj\ g(x) <ps(u) dx. B8.52)
Последнее равенство аналогично B8.7). В точности, как в B8.8),
irlhx — -зггфд.(") , и, подобно B8.9), получаем соотношение
(«,/„...,
= ir J
exp (i 2 t,x,) g (x)
позволяющее обобщить B8.10):
ё W К, - *=?- J exp (- i S /Л) [-?г Ф (a, /„.
dx, B8.53)
B8.54)
28.10 Читатель без труда сможет обобщить критерий линей-
линейности регрессии из 28.5: если имеет место B8.51), то должно
выполняться равенство
"¦¦"fpI - ¦ ^-/т*-* @, *i. -.., О, B8.55)
*) Первый опубликованный результат такого рода принадлежит, по-ви-
днмому, Бернштейну A928). Доказательство при более общих условиях
можно найти у Ферона н Фуржо A952).
472
ГЛАВА 28
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
473
обобщающее B8.25). Аналогично, обобщением критерия B8.32)
служит равенство
+ fW rv ,1+i. ч „+••• + PA. r, ,,_,. ,,+ ,- B8-56)
Условие B8.38) однородности ошибок в этом случае имеет вид
/ \У> х1г ..., Хр) = g (х) h (t),
а B8.39), соответственно, превращается в
Ф(и, if,, .... tp) =
= yg(t, + ир„ /2 + «p2. • • •, tp + ырр) фл (и) ехр (шр0). B8.57)
Наконец, обобщением 28.8 служит утверждение: если каждая
из линейных регрессий в совокупности из р случайных величин
имеет однородные ошибки, то эти величины имеют многомерное
нормальное распределение, если только они не являются неза-
независимыми в совокупности или функционально связанными.
28.11 Можно получить аналогичные результаты, когда ре-
регрессия у по х полиномиальна, т. е. представима в форме
Однако ниже в этой главе мы увидим, что это лучше тракто-
трактовать как частный случай р-регрессорной ситуации, в которой
регрессоры функционально связаны. Поэтому любые требую-
требующиеся нам результаты о полиномиальной регрессии могут быть
получены как частные случаи результатов из 28.9—10. Напри-
Например, условием, обеспечивающим B8.58), является равенство
ди
u=0
@, t)
, t)
@, 0
д(Н) т^2 d(itJ "•" '•• "^Р d(it)P }¦
которое при р = 1 сводится к B8.25) (в несколько отличных
обозначениях) и которое легко получить как частный случай
из B8.55), заметив, что х. ф. величины хг есть М{ехр (itxr)},
производная которой по t имеет вид
М {ixr ехр (itxr)} = —^ -?- М {ехр (itx)}.
i dt
Общая модель линейной регрессии
28.12 Аналитическая теория регрессии, которую мы до сих
пор обсуждали, представляет интерес для теоретической, но не
для прикладной статистики, потому что она требует точного
знания функциональной формы исходного распределения. Об-
ратимся теперь к общей модели линейной регрессии, которая
часто используется на практике, поскольку она выражает со-
собой упрощенные (но тем не менее в разумной мере реалисти-
реалистические) предположения. Это есть в действительности общая
модель из 19.4, в которой параметры 9 служат коэффициентами
регрессии. Таким образом, переписывая соотношение A9.8),
получаем
у = Хр + е, B8.59)
где (J—вектор (k X 1) коэффициентов регрессии, X — матрица
(пX'k) известных коэффициентов (не случайных величин), а
е — вектор («ХО «ошибок», случайных величин (не обяза-
обязательно нормальных) со средними и матрицей рассеяния
М(е) = 0, F(e) = ff2J. B8.60)
Будем предполагать, что п ^ k и \Х'Х\ Ф 0.
Теперь применимы все результаты главы 19. Из A9.12) на-
находим НК-оценку вектора (i:
Ъ=(Х'ХГ1Х'у, B8.61)
матрица рассеяния которой согласно A9.16) равна
F(P) = a2(X'X)r. B8.62)
Из 19.6 вытекает, что она представляет собой несмещенную ли-
линейную МД-оценку вектора р. Наконец, из A9.41) находим,
что s2 есть несмещенная оценка для а2, причем
(П _ k) s2 = (у - Х$)' (у - Х$) s у'у - &Х'у. B8.63)
Величина s2 является суммой квадратов остатков, деленной на
число наблюдений без числа оцениваемых параметров.
Эту модель мы уже применяли к регрессионным ситуациям
в 26.8 и 27.15.
Смысл слова «линейный»
28.13 Прежде чем переходить к дальнейшему, полезно под-
подчеркнуть смысл прилагательного «линейный» в общей модели
линейной регрессии B8.59): она линейна относительно пара-
параметров Рг, но не обязана быть линейной относительно иксов.
Действительно, как мы уже отмечали, элементами матрицы X
может быть любое множество известных констант, связанных
одна с другой произвольным образом. С другой стороны, начи-
начиная с 28.11, слова «линейная регрессия» означали, что условное
математическое ожидание величины у является линейной функ-
функцией регрессоров х\, ... , хр. G точки зрения нашего настоящего
474
ГЛАВА 28
у, = Ро+Рл/ + Р24 +
(по методу наименьших квадратов) анализа последнее (воз-
(возможно, более «естественное») определение линейности не отно-
относится к делу; существенна только линейность относительно
параметров. Таким образом, модель линейной регрессии вклю-
включает в себя все виды «полиномиальной» или «криволинейной»
зависимости у от х\, ...,. хр. Например, непосредственно поли-
полиномиальная зависимость
+ №, + e/f у = 1,2,.:., п,
B8.64)
линейна относительно р и, следовательно, является специаль-
специальным случаем соотношения B8.59) (см. замечания в 28.1.1).
Аналогично, в случае нескольких переменных соотношение
yt = Ро + РЛ; + Рг4 + Рзх2/ + РЛ2? + hxux2i + «у, B8.65)
/= 1,2, ..., п,
представляет собой модель линейной регрессии. С другой сто-
стороны, соотношение
У/ = Ро + Pixi/ + Р2Х2/ + Pix3/ + 6/> / = 1, 2, ..., п,
не является таковым, поскольку в него входят и fj и р^.
В линейную модель могут входить не только полиномиаль-
полиномиальные функции. Так, модель
У,- = Ро + PlxI/ + hx\j + Рз s[n XU C0S X2! + 8/
является линейной.
28.14 При таком понимании линейного регрессионного ана-
анализа мы видим, что он сводится к математической задаче обра-
обращения матрицы, состоящей из сумм квадратов и произведений
регрессоров, Х'Х. Обращение требуется для оценки B8.61) и
для вычисления матрицы рассеяния оценок с помощью B8.62)
и B8.63). При этом не возникает никакой новой статистической
задачи.
Кокрэн A938) и Кейб A963) приводят формулы, дающие поправки на
случай, когда одна или две из первоначальных величин х отсутствуют либо
одна илн две новых добавлено. Хадсон A966) обсуждал общую задачу
подгонки с помощью метода НК кусочно-линейных кривых, точки соединения
которых должны быть оценены.
Ортогональный регрессионный анализ
28.15 Очевидно, удобно применять регрессионный анализ,
когда оценки р* некоррелированы. Действительно, если ej —
нормальйые величины, то таковыми будут и р*, так как они яв-<
ляются линейными функциями от у, и тогда отсутствие корреф-
коррефляции влечет независимость. Регрессионный анализ с некорре-
некорреОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
475
лированными оценками называется ортогональным. Поскольку
теперь регрессоры — не случайные величины, а константы, ко-
которые выбираются в экспериментальной работе, то мы можем
поставить вопрос нового типа: можно ли и если можно, то как
выбрать элементы матрицы X, чтобы оценки р* были некорре-
некоррелированы?
Этот вопрос возникает в теории планирования эксперимента,
а детальное обсуждение задач планирования мы отложим до
третьего тома. Однако из B8.62) видно, что анализ ортогона-
ортогонален тогда и только тогда, когда матрица (Х'Х)-1 диагональна.
А (Х'Х) диагональна, лишь когда диагональна Х'Х. Таким
образом, для получения ортогонального анализа мы должны
выбрать элементы матрицы X такими, чтобы Х'Х была диаго-
диагональной матрицей. Отсюда немедленно вытекает условие
n
2
= О, 1Ф h.
B8.66)
Диагональные элементы Х'Х равны
2
следовательно, соответствующие обратные элементы равны
3 х-г B8.67)
В этом случае соотношения B8.61) и B8.62) выглядят особен-
особенно просто.
Полиномиальная регрессия: ортогональные полиномы
28.16 При полиномиальной зависимости у от х, как в
B8.64), матрица Х'Х не может быть диагональной, поскольку
недиагональные элементы являются суммами степеней одной и
той же величины х. Однако можно выбрать полиномы степени i
относительно х, скажем фг-(х) (i = 0, 1, 2, .... /г), которые бу-
будут взаимно ортогональны. Тогда B8.64) заменится соотноше-
соотношением
Vl = а0ф0 (дсу) + а,ф, (х,) + • • • + <ВДРь (*/) + в,, B8.68)
j=l,2, .... л,
которое можно переписать в матричной форме как у —Фа + е.
Величины а образуют новое множество параметров (завися-
(зависящих от исходных Р), в терминах которых значительно удобнее
476 ГЛАВА 28
работать. Действительно, теперь из B8.67) следует равенство
[(Ф'Ф)-']„ = 1 / 2 Ф?(х,-), B8.69)
которое можно использовать в B8.62). Далее, учитывая B8.69),
получаем из B8.61)
а; = [(Ф'Ф)-']И (Ф'у)г = 2 УгЩ (*/)/2 Ф?(х/> B8-7°)
Таким образом, каждая оценка а* зависит только от соответ-
соответствующего полинома. Это очень удобно при «подгонке» поли-
полиномиальной регрессии, степень которой заранее не определена:
мы шаг за шагом увеличиваем значение k до тех пор, пока не
получим достаточно хорошее согласие. Если бы мы использо-
использовали неортогональную модель регрессии B8.64), то при добав-
добавлении нового члена xh, увеличивающего степень полинома, нуж-
нужно было бы пересчитывать все множество оценокр0, Pi. •• -.Pfe-i-
к
Конечно, если переписать оцененную регрессию у = 2_i- "гФг (х)
в виде
к
у = V
', то Рг будут в точности теми оценками, кото-
2=0
рые мы должны были бы получить, хотя и менее удобным спо-
способом, непосредственно из B8.64). Это вытекает из того факта,
что оба метода минимизируют одну и ту же сумму квадратов
остатков.
Используя B8.70), получаем в ортогональном случае из
B8.63)
(л _ k) s2 = у'д - а'Ф'у =
= B8-71)
= 2^-|д|фН*/)- B8.72)
Эти очень простые выражения для суммы квадратов остатков от
подгоняемой регрессии позволяют быстро вычислить дополни-
дополнительное уменьшение остаточной дисперсии, вызываемое увели-
увеличением степени k подгоняемого полинома.
28.17 Рассмотрим теперь, как находить ортогональные поли-
полиномы ф*(х). Нам требуется, чтобы
S Ф< (*/) Фй (Jcy) = 0, U h = 0, 1,2, ..., k; i ф /г, B8.73)
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
477
где
(х) =
r=0
B8.74)
В B8.74) входит i + 1 коэффициентов Сгг, а следовательно, все
вместе полиномы ср* содержат ^ (i + 1) = у(& + 1) {k + 2) коэф-
фициентов, подлежащих определению. Для этой цели соотноше-
соотношения B8.73) дают только у&(&+ 1) уравнений. Для опреде-
определения оставшихся k + 1 постоянных потребуем, чтобы с и = 1
при всех L Тогда из B8.74) сразу получаем
фо(х) = Соо=1 B8.75)
тождественно по х. Теперь соотношения B8.73) определяют для
КаЖДОГО фг {Х), i > 0, Коэффициенты CiT С ТОЧНОСТЬЮ ДО ПОСТОЯН-
ПОСТОЯННОГО множителя, скажем W При h = k из B8.73) и B8.74) по-
получаем уравнения -*
i
1 г—0
2
' s=0
ИЛИ
г=0 s=0
r+s
=0,
k,
B8.76)
где у.' есть р-й момент множества иксов. Так как B8.76) вы-
выполняется для всех i = 0,1,2,...,&— 1, то мы должны иметь
равенства
B8.77)
Выпишем определитель
1*2
и пусть |Мь'°|— минор элемента, стоящего на пересечении «-и
строки и v-vo столбца в определителе \Мь\. Тогда решение
478
ГЛАВА 28
системы B8.77) (с учетом предположения chh — 1) есть
cks = \Ml+Us+x\l\Mk.{\, 5 = 0,1,2, .... k- 1. B8.78)
Таким образом, из B8.74) и B8.78) следует, что
(•*) =
г
ц2
1 X ... X
B8.79)
Соотношение B8.79) применимо для нахождения полинома, ка-
каково бы ни было к. Разумеется, ЦцЗ== 1. Если измерять иксы от
их средних значений, так, чтобы \i\ — 0, то штрихи можно опу-
опустить. Следует заметить, что если в B8.79) у определителя, стоя-
стоящего в числителе, вычеркнуть последние строку и столбец, то он
совпадет со знаменателем.
К примеру, находим
1 0
1 х
Ф1 (•«)=¦
I»
1 0
0 ц2
1 л:
Цз
l О
О ц2
— х — л ц2
B8.80)
B8.81)
и т. д. В упражнении 28.23 дан более простой, рекуррентный спо-
способ нахождения полиномов.
Случай равноотстоящих значений иксов
28.18 Ортогональные полиномы находят наиболее важное при-
применение в тех ситуациях, когда регрессорная переменная х при-
принимает значения через равные промежутки. Такая ситуация воз-
возникает, когда наблюдения производятся в последовательные мо-
моменты времени или группированы в классы, имеющие одинако-
одинаковую ширину. Если есть п таких равноотстоящих значений х, то,
измеряя от их среднего значения и принимая интервал между
ними за единицу, получим в качестве рабочих значений
х:-~{п-1), -|(/г-3), —?(п-5), .. .,-§- (п -3),| (/г-1).
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
479
Для этого простого случая значения моментов B8.79) могут быть
вычислены в явном виде. Действительно, за исключением сред-
среднего, которое принято за начало координат, они являются мо-
моментами совокупности первых п натуральных чисел и могут быть
определены по семиинвариантам, приведенным в упражнении 3.23.
Из симметрии нечетные моменты равны нулю; четные моменты
равны
и т.д. Подставляя эти и моменты более высокого порядка в
B8.79), получаем для первых шести полиномов выражения
Ф0 (х) = 1,
ф, (х) = КщХ,
Фз (х) = Х3п{ *" - ЖC - 7>х }•
ф5 (*) =
},
B8.82)
Аллан A930) производит также ф!(л;) для t = 7,8,9,10. Следуя
Фишеру A921b), произвольные константы kin в B8.82), о кото-
которых говорилось после B8.75), определяют (из соображений удоб-
удобства) так, чтобы значения <pi(Xj) были целыми при всех / =
= 1,2,..., п. Можно заметить, что
Ф2< (*) = Ф2< (— X) И ф2(--1 (Х) = — ф2г-1 (— *),
т. е. полиномы четных степени являются четными функциями, а
полиномы нечетных степеней — нечетными функциями.
Таблицы ортогональных полиномов
28.19. Biometrika Tables содержит фг (х}) для всех /, п = 3 A) 52
га
и /= 1 (l)minF, n— 1), а также значения Xin и 2 Ф/(*;-) *)•
*) Эти таблицы приведены в книге Таблицы математической статистики.
(Прим. ред.) '¦
480
ГЛАВА 28
В Таблицах Фишера и Иэйтса приведены ф; (лг;) (у них ?,),
яш и j^?(*/) для всех 1< « = 3AO5 и i=l(l)minE, л—1).
В Biometrika Tables можно найти ссылки на более обширные
таблицы, доходящие до t = 9, п = 52 (Ван дер Рейден) и до
i = 5, л = 104 (Андерсон и Хаусмэн).
28.20 Об ортогональных полиномах существует обширная ли-
литература. За теоретическими деталями читатель может обра-
обратиться к работе Фишера A921 Ь), который первым применил их
к полиномиальной регрессии, к работе Аллана A930), а также
к трем работам Эйткина A933). Назовем несколько более совре-
современных источников. У Раштона A951) обсуждается случай не-
неодинаково отстоящих значений х, Кокс A958) приводит краткий
вывод общих ортогональных полиномов с использованием опре-
определителей. Задачи с группированными данными рассматривались
Гестом A954, 1956).
Приведем теперь один пример подгонки ортогональных поли-
полиномов в равноотстоящем случае.
Пример 28.3
Первые два столбца таблицы 28.1 показывают численность
населения Англии и Уэлса по десятилетним переписям с 1811 по
Таблиц а 28.1
Год
1811
1821
1831
1841
1851
1861
1871
1881
1891
1901
1911
1921
1931
2*
Население
(в миллионах)
У
10,16
12,00
13,90
15,91
17,93
20,07
22,71
25,97
29,00
32,53
36,07
37,89
39,95
= 314,09
3
. = ;с = ф, (х) Фг(-*) Фз(-#) Ф* (х)
10
-6
—5
—4
—3
*—2
—1
0
1
2
3
4
5
6
13
2 ??(*/): 182
22
11
2
—5
-10
— 13
—14
-13
-10
—5
2
11
22
1
2002
— 11
0
6
8
7
4
0
—4
-—7
—8
—6
0
11
1/6
572
99
—66
-96
-54
11
64
84
64
11
-54
—96
-66
99
7/12
68 068
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
481
1931 г. Ясно, что эти наблюдения коррелированы, и поэтому ре-
регрессионная модель B8.64) не является строго соответствующей.
Но с чисто иллюстративными целями мы проведем процесс под-
подгонки. Здесь п = 13. Используя таблицу 47 Biometrika Tables,
находим значения, стоящие в последних четырех столбцах таб-
таблицы 28.1. Имеем
/) = 474,77,
,)= 123,19,
2 г//Фз (*/) = -39,38,
2 У/Ф4 (*/) = - 374,30.
Следовательно, из B8.70) получаем
ао = 314,09/13 = 24,1608,
А, = 474,77/182 =2,60863,
а2 = 123,19/2002 = 0,0615335,
а3 == — 39,38/572 = - 0,0688462,
а4 = - 374,30/68 068 = - 0,00549891.
Тогда согласно B8.68) и B8.82) ортогональная полиномиальная
. регрессия четвертой степени у по х имеет вид
у = 24,1608 + 2,60863л; + 0,0615335 {х2 — 14) -
- 0,0688462 { у (*3-25x) } - 0,00549891 { ^ [х* - Щ- х2 +144) }.
Если бы мы, собирая подобные члены, привели правую часть
к виду
У = Ро + М + fox2 + fox* + fox4,
то коэффициенты {h были бы в точности те же, как если бы мы
использовали B8.64) вместо ортогональной формы B8.68). Пре-
Преимущество последней, кроме ее вычислительной простоты, со-
состоит в том, что можно легко изучать улучшение в «подгонке»
уравнения регрессии с ростом его степени. Для этой цели тре-
требуется лишь вычислить
2 У) = 8839,939
16 М. Кендалл, А. Стыоарт
482
ГЛАВА 28
и найденные ранее величины подставить в B8.72). Таким обра-
образом, имеем:
Общая сумма квадратов
Уменьшение, обусловленное &0, равно
B4Д608J • 13
Остаток:
Остаток:
8839,939
= 7588,656
1251,283
=1238Д97
12,786
7,580
2
Остаток:
* а?!2(Рз=(°.0E88462J-572
Остаток:
Остаток:
Очевидно, что линии третьего и четвертого порядка «подогнаны»
хорошо. Они изображены на рис. 28.1.
АО
\ъо
1
10
//
182/
1841 1861 1881
Годы
1901 1921
Рис. 28.1. Полиномы третьей (сплошная линия) и четвертой (пунктирная
линия) степеней, подогнанные по данным таблицы 28.1.
Нет нужды предостерегать читателя против опасности экс-
экстраполяции на основе подогнанной регрессии, даже близкой, если
она не имеет теоретической основы. В данном случае, например,
можно наглядно убедиться в том, что значение, «предсказанное»
регрессией четвертой степени для 1951 г. (л; = 8), значительно
меньше того, что в действительности, дала перепись населения
в этом году D3,7 миллиона).
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
483
Доверительные интервалы и критерии
для параметров линейной модели
28.21 В 28.12 мы обсуждали точечное оценивание параметров
р, а2 общей линейной модели регрессии B8.59). Если теперь
предположить, что вектор ошибок г распределен нормально (это
предположение сохранится до конца данной главы), то можно
строить доверительные интервалы или, соответственно, прове-
проверять гипотезы для любой компоненты параметрического век-
вектора р. Все они будут линейными гипотезами в смысле главы 24,
а все критерии будут критериями ОП.
Любая оценка pt есть линейная функция от у и, следова-
следовательно, распределена нормально со средним |3* и дисперсией,
равной согласно B8.62)
Ш-
B8.83)
(Если анализ ортогональный, то в B8.83) используется B8.67).)
Из 19.11 вытекает, что s2, оценка для а2, определенная в B8.63),
распределена независимо от Э (и, следовательно, от любой ком-
компоненты Р), а величина (tt — k)s2/o2 имеет х2-РаспРеДеление с
v = п — к степенями свободы. Отсюда сразу следует, что стати-
статистика
^(Pi-Pd/Htf'*)]»}. B8.84).
являясь отношением нормированной нормальной величины к
корню квадратному из независимой от нее величины %2Д\ подчи-
подчинена ^-распределению Стьюдента с v = n — k степенями сво-
свободы. Это позволяет нам строить доверительные интервалы для
параметра C* или проверять гипотезы, касающиеся его значений.
Центральный доверительный интервал с коэффициентом доверия
A — а) имеет вид
Pi ± *i-<a/2) {s2 [(Х'Х)-%}11\ B8.85)
где t\-(a/2) — значение ^-величины Стьюдента с v степенями сво-
свободы, для которого ее функция распределения
F(*l-(aB))= 1 — -у (X.
Поскольку здесь мы проверяем линейную гипотезу, то критерий,
основанный на B8.84), является специальным случаем приведен-
приведенного в 24.28 общего F-критерия дисперсионного отношения для
линейной гипотезы: у нас сейчас только одно ограничение, и
F-критерий сводится к /2-критерию, соответствующему централь-
центральному доверительному интервалу B8.85).
16*
484
ГЛАВА 28
Доверительные интервалы для условного математического
ожидания у
28.22 Предположим, что, подогнав модель линейной регрессии
к п наблюдениям, мы хотим оценить условное математическое
ожидание у при фиксированных значениях каждого из k регрес-
соров Х\,...,хь. Если записать эти значения в виде A X &)-век-
&)-вектора х°, то из 19.6 сразу вытекает, что при фиксированном лг° не-
несмещенной оценкой с минимальной дисперсией для математиче-
математического ожидания у является
Ъ B8.86)
и что согласно 19.6 и B8.62) ее дисперсия равна
D#= (х°У V (Р) х° = о2 (х°У (Х'Х)~1 *°. B8.87)
Так же как в 28.21, мы оценим выборочную дисперсию B8.87),
заменяя а2 на s2, и получим доверительные границы, используя
/-распределение Стьюдента, которому в данном случае подчи-
подчиняется статистика
t = {у - М {у | *0)}/ [s> (*0)' {Х'Х)~{ ж0}1/2, B8.88)
где, как и прежде,, v = п — k.
Доверительные интервалы для последующего значения
величины у: интервалы предсказания
28.23 Предположим, что регрессионная модель подогнана.
Тогда результаты из 28.22 могут быть применены для получения
доверительного интервала, содержащего последующее (я + ')'е
значение уп+\ величины у. Если лг° — заданные значения регрес-
соров, при которых должно наблюдаться уп+и то соотношение
B8.86) дает нам, как и прежде, несмещенную оценку математи-
математического ожидания Уп+\'
Yl B8.89)
Поскольку уп+i имеет дисперсию а2, то дисперсия уп+\ — У уве-
увеличивается на эту величину по. сравнению с B8.87), т.е.
1 }
1}.
B8.90)
D (уп+1 ~у) =
Подставляя s2 вместо а2, находим оценку выборочной дисперсии
и таким образом получаем статистику Стьюдента
Х'Х)-1х°+ 1)Р B8.91)
cv = « — k, на основе которой строятся искомые доверительные
интервалы.
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
485
Аналогично, если должно быть сделано N последующих на-
наблюдений над у при том же самом х°, то соотношения B8.89) —
B8.91) имеют место для оценки среднего значения у^, которое
должно наблюдаться, с очевидной заменой единицы в фигурных
скобках B8.90) и B8.91) на 1/Л/, так как дополнительная дис-
дисперсия равна теперь o2/N.
Доверительные интервалы для последующих значений, рас-
рассмотренные в этом пункте, иногда называются интервалами пред-
предсказания. Но мы должны помнить, что эти «предсказания» опи-
опираются на предположение, что линейная модель, подогнанная по
п предшествующим наблюдениям, справедлива также и при по-
последующих наблюдениях, т. е. что в модели не происходит струк-
структурных изменений.
Пример 28.4
Для простого случая
У/ = Pi + P2*/ + вЛ /=1,2,.
в примерах 19.3 и 19.6 мы видели, что
р2==2(у/-ж*/-*)/2(*/--*J, i
., п,
B8.92)
Здесь *0 есть двухкомпонентный вектор ( х ), и мы можем
строить доверительные интервалы для Рь C2, М (у\х°) и уп+\, ис-
используя соотношения B8.84), B8.88) и B8.91). В каждом случае
мы имеем статистику Стьюдента ел — 2 степенями свободы.
(а) Заметим, что анализ является ортогональным тогда и
только тогда, когда х — 0; поэтому для получения ортогонально-
ортогональности здесь достаточно изменить начало отсчета переменной х.
Аналогично, дисперсии оценок (диагональные элементы их дис-
дисперсионной матрицы) минимальны, если х =?= 0, а 2 *2 принимает
максимально возможное значение. Ортогональность и минималь-
минимальность выборочных дисперсий будут, следовательно, обеспечены,
если выбрать Xj так, что (предполагая п четным)
Xv Х2, . . ., Хп/2 = + а, Х{п/2)+1' Х(п/2)'+2' • • • > Хп ~ а'
где константа а — наибольшая из возможных. Это соответствует
следующему интуитивно очевидному факту: если мы уверены
486
ГЛАВА 28
в том, что зависимость у от х линейна с постоянной дисперсией,
то эффективнее всего «закреплять» прямую в концевых точках.
Однако если бы зависимость была не линейной, то, производя
все наблюдения только при двух значениях х, мы не могли бы
этого обнаружить, и поэтому полезно распределить значения х
более равномерно по интервалу. Всегда хорошо иметь возмож-
возможность в процессе анализа проверять структурные предположения
нашей модели.
(б) Доверительный интервал для М(у\х°) согласно B8.88)
есть
\х2/п ~х\[ 1 \1|/2
= (Pi +
(х°~х)
2<*-
( }
Если рассматривать это как функцию от х°, то видно, что B8.93)
определяет две ветви гиперболы, диаметром которой служит по-
подогнанная регрессия фх -\-$2х°). Доверительный интервал имеет,
очевидно, наименьшую длину, когда ха равно наблюденному
Верхняя доВерительная граница
для М(у\х°)
Подогнанная прямая
регрессии
Нитняя доверительная граница
х для М(у\х°)
Доверительный интервал для у
при заданном х°
ffoS/гюденнае
среднее
х х'
Значения х
Рис. 28.2. Расположение гиперболических доверительных границ B8.93)
для математического ожидания у при простой линейной регрессии.
среднему х, и его длина возрастает при возрастании \х° — х\.
Последнее подтверждает интуитивное представление о том, что
наиболее точно мы можем оценивать вблизи «центра» наблю-
наблюденных значений величины х. Рис. 28.2 иллюстрирует расположе-
расположение доверительных границ B8.93).
Робинсон A964) приводит МП-оценки и доверительные интер-
интервалы для абсциссы пересечения двух полиномиальных регрессий,
а также библиографию относящихся сюда работ.
28.24 Доверительные границы для математического ожидания
величины у, рассмотренные в примере 28.4F) и в более общем
ОБШАЯ ТЕОРИЯ РЕГРЕССИИ
487
виде в 28.22, относятся к величине у, соответствующей конкрет-
конкретному значению х°. На рис. 28.2 каждый конкретный доверитель-
доверительный интервал представляет собой отрезок вертикальной прямой,
проходящей через л;0, который заключен между ветвями гипер-
гиперболы. Предположим теперь, что нам требуется доверительная
область для всей регрессионной прямой, т. е. область R на пло-
плоскости {х, у) (или, в общем случае, в пространстве (х, у)), такая,
что с вероятностью 1 — а истинная прямая регрессии у = дер со-
содержится в R. Мы видим, что данная задача совершенно отли-
отличается от только что рассмотренной. Теперь ищется не интервал,
а доверительная область, которая покрывает всю прямую, а не
одну точку на прямой. Эта задача в простейшем случае была ре-
решена впервые в замечательной работе Уоркинга и Хотеллинга
A929). В нашем изложении мы будем следовать Хоулу A951).
Доверительная область для регрессионной прямой
28.25 Рассмотрим вначале простой случай примера 28.4 и
предположим, что а2 известна. Эти ограничения мы ослабим в
28.31—32. Для удобства будем измерять Xj от их среднего значе-
значения, так что х = 0. При этом анализ, как отмечалось в примере
28.4(а), становится ортогональным. Коэффициенты j$, и $2 в этом
случае независимы и нормально распределены, а из матрицы
рассеяния получаем, что Df$i = oz/n, D^2 = a2/^jx2. Таким
образом,
и^пЧЦ^-Ы/в, t> = Bxf/2(p2-fc)/a B8.94)
— независимые нормированные нормальные величины.
Пусть g{u2,v2)—однозначная четная функция от и и v, и
пусть уравнение
g(u\ v*) = gl_a,
B8.95)
определяет семейство замкнутых кривых на плоскости (и, v) та-
таких, что (а) с убыванием gva новая кривая содержится внутри
кривой, соответствующей большему значению величины gi-a,
(б) каждая точка, лежащая внутри кривой, принадлежит неко-
некоторой другой кривой. Предположим, что неявной зависимости
B8.95) между и и v соответствует явная зависимость u2 = p(v2)
или
u=±h(v). B8.96)
Предположим, далее, что h'(v) = dh(v)/dv существует для всех
v и является монотонно убывающей функцией от v, принимаю-
принимающей все действительные значения.
488
ГЛАВА 28
28.26 Из B8.94) видно, что при любом заданном множестве
наблюдений, на основании которых подогнана регрессия, истин-
истинной регрессионной прямой
# = Р, + М B8.97)
будут соответствовать значения и я v такие, что
-.v\x. B8.98)
Подставляя B8.96) в B8.98), находим два семейства регресси-
регрессионных прямых, зависящих от параметра v,
) B8.99)
где каждое семейство соответствует определенному знаку в
(•28.96). Найдем теперь огибающие этих семейств.
Дифференцируя B8.99) по v и приравнивая производную
нулю, получаем
(Ух2 Vй
х^+у—-) h'{v). B8.100)
Подставляя B8.100) в B8.99), находим требуемые огибающие
I —оА'(о)}, B8.101)
где функции от v следует заменить функциями от х согласно
B8.100). При ограничениях на h'(v), сформулированных после
(.28.96), две огибающие в B8.101) существуют для всех х, яв-
являются однозначными функциями и, кроме того, все прямые каж-
каждого семейства лежат только по одну сторону от соответствую-
соответствующей огибающей. Действительно, кривая, отвечающая верхнему
знаку в B8.101), всегда лежит выше кривой, отвечающей ниж-
нижнему знаку в B8.101), а все прямые обоих семейств B8.99) рас-
расположены между ними.
28.27 Любая пара значений (и,v), для которой
g(u2, v2)
B8.102)
будет соответствовать регрессионной прямой, лежащей между
двумя огибающими B8.101), потому что при любом фиксирован-
фиксированном v значение и2 = {h(v)}2 уменьшается и, следовательно, функ-
функция от v, входящая в постоянный член в B8.99), уменьшается
по абсолютной величине, тогда как коэффициент при х не изме-
изменяется. Таким образом, если и и v удовлетворяют B8.102), то
истинная регрессионная линия лежит между двумя огибающими
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
489
B8.101). Выберем теперь g\-a так, чтобы непрерывная случай-
случайная величина g(u2,v2) удовлетворяла условию
P{g(u2, t>2
B8.103)
Тогда B8.102) выполняется с вероятностью 1 — аи область R
между парой огибающих B8.101) является доверительной об-
областью для истинной прямой регрессии с коэффициентом дове-
доверия 1 — а.
28.28 Теперь мы должны рассмотреть вопрос о выборе функ-
функции g(u2,vz) такой, чтобы при фиксированном значении 1—a
доверительная область R была в некотором смысле возможно
меньшей. Нельзя просто минимизировать площадь области R,
так как она всегда бесконечна. Поэтому мы введем весовую
функцию w (х) и будем выбирать R так, чтобы минимизировать
интеграл
— У\)
dx>
B8.104)
где у\, уг — нижняя и верхняя огибающие B8.101) соответствен-
оо
но, являющиеся границами R, a w (x) dx — 1. Можно перепи-
переписать B8.104) в виде
/=МЫ-МЫ, B8.105)
где математические ожидания взяты относительно w(x).
Очевидно, оптимальная область R, найденная с помощью ми-
минимизации, будет зависеть от выбранной весовой функции. По-
Полагая S2 = 2 х2/п, рассмотрим нормальную весовую функцию
B8.106)
2S5
которая особенно удобна, если значения х, считающиеся здесь
фиксированными, в действительности выбраны из нормальной
совокупности, например, если х и у имеют двумерное нормальное
распределение. Подставляя B8.101) и B8.106) в B8.105), полу-
получаем
2(т г.,„. , ч, »«,_.,_,/^j B8.107)
B8.108)
Поскольку h'{v) убывает, из B8.100) имеем
dx=-Sh"{v)dv,
490
ГЛАВА 28
так что, преобразуя интегралы в B8.107) к переменной о, на-
находим
М{й}=-BлГ л
} B8.109)
М {vh') = - Bл)~1/2 j vh'h" exp{ - \ (А')а }dv,
где интегрирования производятся по всей области, изменения v.
Учитывая четность функции h(v), оба интеграла нужно брать
только по положительным v. Подстановка B8.109) в B8.107)
дает
г
4сг
Bяя)
1/2
max'
J h"{h-vhf)^-\{h'
B8.110)
Эту величину предстоит минимизировать при условии B8.103),
которое вследствие независимости, нормальности и симметрии
распределений, и и v эквивалентно условию
<**>¦" J j J
о lo . >
B8.111)
Напомним, что мы требуем от функции h'(v), чтобы она была
монотонно убывающей по v и принимала все действительные зна-
значения.
28.29 Переходя непосредственно к минимизации интеграла
/, выберем общий вид для g(u2,v2). Здесь «естественно» выбрать
семейство эллипсов, которые запишем в форме
Й(и) = &(а2-и2I/2. B8.112)
Теперь мы должны минимизировать B8.110) по переменной а
при условии B8.111). Поскольку из B8.112)
' (v) = - &vlh (v),
[v)f, )
B8.113)
то для выбора а нам надо минимизировать (опуская констан-
константу) величину
B8.114)
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
491
при условии
а ( 6(аг-ог)'/2
J I
= k. B8.115)
Дифференцируя B8.114) по а и заменяя в этой производной
db/da значением, получаемым посредством дифференцирования
B8.115), находим после некоторых упрощений
dl
1
.0
J
J
J
. B8.116)
Для нахождения минимума полагаем -^— = 0, .решаем уравне-
уравнение относительно а и затем определяем Ь.
Хоул A951) проделал это для 1 — а = 0,95 и нашел, что
эллипс B8.112) имеет полуоси 2,62 и 2,32, мало отличающиеся
друг от друга. Если вместо эллипса взять круг, т. е. в B8.112)
положить 6=1, то его радиус оказывается равным 2,45 при
1 — а = 0,95. Хоул показал, что в этом случае значение / от-
отличается от минимального не более чем на один процент.
28.30 Выбор круга в качестве g{u2,v2) соответствует перво-
первоначальному решению данной задачи Уоркингом и Хотеллингом
A929). Они получили указанное решение, заметив просто, что
так как и и v в B8.94) являются независимыми нормирован-
нормированными нормальными величинами, то величина и2 + v2 имеет
^-распределение с 2 степенями свободы, a a2 ( = gi-a в
B8.103)) есть 100A—а)-процентная точка, получаемая из таб-
таблиц х2-распределения. Подставляя B8.112) и B8.113) с Ь= 1 в
B8.101), находим границы доверительной области
11/2
i'{v)f]. B8.117)
492 ГЛАВА 28
Учитывая B8.100), перепишем B8.117) в виде
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
493
B8.118)
где содержимое фигурных скобок равно {DPi + J^DPaK
Сравнивая B8.118) с доверительными границами B8.93)
для ЬЛ(у\х°), полученными в примере 28.4 (где нужно поло-
положить х = 0, как сделано здесь), мы видим, что с точностью до
замены s2 на a2, a ti-a/2 на значение (gi-a)'/2. получаемое из
Х2-распределения, выражения имеют один и тот же вид. Таким
образом, доверительные границы B8.118) выглядят так же, как
доверительные границы B8.93), изображенные на рис. 28.2
и представляющие собой гиперболу с подгоняемой прямой в ка-
качестве диаметра. Как можно было ожидать, при заданном a
ветви гиперболы B8.118) быстрее расходятся в стороны, чем их
аналоги в B8.93). Это происходит потому, что здесь мы уста-
устанавливаем область для целой прямой, тогда как прежде искали
границы, заключающие единственное значение на прямой. На-
Например, при a = 0,05, /i_a/2= 1,96 (при бесконечном числе сте-
степеней свободы, соответствующем известной а2), в то время как
gi_a для х2-распределения с Двумя степенями свободы =5,99,.
откуда, извлекая квадратный корень, получаем значение
а = 2,45, приведенное в конце 28.29.
28.31 Если о2 неизвестна, то требуется небольшая модифика-
модификация рассуждений из 28.25—30. Определим величину
ш2 = (п — 2) s2/o\ B8.119)
так что w2 есть отношение суммы квадратов остатков от подо-
подогнанной регрессии к истинной дисперсии ошибки. Она имеет
(см. 28.21) х2"РаспРеделение с п — ^ степенями свободы. Из
B8.84) и B8.119) следует, что каждая из статистик
«' = («- 2I/2 u/w = п1'2 (р\ - p,)/s
и
v" = (п — 2) v/w = п112 (р2 - p2)/s
подчинена распределению Стьюдента с п — 2 степенями сво-
свободы. Если мы теперь вновь проведем рассуждения из 28.25—30,
подставляя и* и v* вместо и и v, то обнаружим, что распреде-
распределение величины g{u*2, и*2) не зависит от параметров Pi, fc, о2.
Решение задачи о минимизации взвешенной площади из
28.28—29 становится теперь трудным, и мы перейдем прямо
к классическому решению, приведенному в 28.30.
Будем непосредственно использовать рассуждения Хотел-
линга и Уоркинга. Поскольку согласно 28.21 и2, v2 и w2 рас-
распределены независимо друг от друга как %2-величины с 1, 1 и
п — 2 степенями свободы соответственно, то отношение
я'Ш 9 ) ~ Т (ц*2-Ь °*2) имеет F-распределение с 2 и
л — 2 степенями свободы. Таким образом, если в 28.30 заме-
заменить а на s и положить gi-a равным удовоенной 100A—а)-
процентной точке этого F-распределения, то из B8.118) мы по-
получим требуемую доверительную область. Как и в 28.30, обна-
обнаруживаем, что границы области всегда расходятся в стороны
быстрее, чем границы дляМ (г/|*°).
28.32 Нетрудно обобщить наши результаты на случай более
чем одного регрессора, и набросок такого обобщения сделан
Хоулом A951). Обобщая результат из 28.31 на k регрессоров,
( \
м*2-Ь 2 of)/(As + 1) имеет распреде-
(=1 / /
ление дисперсионного отношения с (? + 1, п — k—1) ст. св.
Для полиномиальной регрессии Гафариан A964) приводит
метод получения доверительных областей над любым подмно-
подмножеством области определения регрессии. В случае прямой ли-
линии у него приложены подробные таблицы для области с по-
постоянной шириной.
УПРАЖНЕНИЯ
28.1 Величины хну имеют двумерное равномерное распределение на
плоскости (х, у) в области, ограниченной эллипсом
ах2 + 2hxy + by2 = с, h Ф 0, h2<ab; a,b>0.
Показать, что регрессия каждой величины относительно другой линейна и
что каждая скедастическая кривая есть квадратичная парабола.
28.2 Двумерное распределение величин хну равномерно на параллело-
параллелограмме, ограниченном линиями х = 3(у— 1), х — 3(г/+ 1), х = г/+ 1,
х = у— 1. Показать, что регрессия у по х линейна, но что регрессия х по у
состоит из трех соединенных прямолинейных отрезков.
28.3 Пусть выполняются соотношения B8.59), B8.60), но элементы мат-
матрицы X являются нелинейными функциями от г дополнительных параметров
Yii ••¦> Yr> т- е- всего имеется k + г параметров. Показать (см. 19.13—16),
что регрессионную модель можно представить в виде
у = |
где D — некоторая матрица (пХг), выбранная так, чтобы ранг матрицы
(X, D) равнялся (k + r), а 0 — нулевой вектор (г><1). Получить отсюда
доверительные области для (а) полного набора из k + г параметров, (б) од-
одних только г дополнительных параметров.
(Гальперин 1963; см. также Хартли A964).)
28.4 Исходя из B8.17) показать, что если маргинальное распределение
двумерного распределения имеет форму Грама—Шарлье
/ = a (*) {1 + а3Н3 + a4ff4 + ...},
494 ГЛАВА 28
то регрессия величины у по х есть
1+ _
г=3
(Уикселл, 1917.)
28.5 Величины Xi, Xz, Хз имеют трехмерное нормальное распределение.
На основании 28.9 показать, что регрессия любой из них относительно двух
других линейна.
28.6 Проверить равенство B8.33).
28.7 Пусть при каждом фиксированном у условное распределение вели-
величины х нормально. Доказать, что нх двумерное распределение должно иметь
вид
f (х, у) = ехр {— {aix2 + а2х + а3)},
где at — функции от у. Показать, что если, кроме тога, равновероятные кон-
контуры функции f(x,y) суть подобные концентрические эллипсы, то f должна
быть двумерной нормальной плотностью.
(Бхаттачария, 1943.)
28.8 Показать, что если регрессия х по у линейна, условное распреде-
распределение х при каждом фиксированном у нормально и гомоскедастично, а мар-
маргинальное распределение у нормально, то f(x,y)—двумерная нормальная
плотность.
(Бхаттачарня, 1943.)
28.9 Показать, что если условные распределения величины х прн каж-
каждом фиксированном у и величины у при каждом фиксированном х нормаль-
нормальны и одно из них гомоскедастично, то f(x,y)—двумерная нормальная плот-
плотность.
(Бхаттачария, 1943.)
28.10 Показать, что если каждая невырожденная лннейная функция от х
и у имеет нормальное распределение, то f(x,y)—двумерная нормальная
плотность.
(Бхаттачария, 1943.)
28.11 Показать, что если регрессии х по у и у по х линейны и условные
распределения каждой величины при любом фиксированном значении другой
величины нормальны, то функция f(x,y) или является двумерной нормальной
плотностью, или может быть записана (при подходящем выборе масштаба
и начала координат) в виде
f = ехр {- (х2 + а2) (у2 + Ь2)}
(Бхаттачария, 1943.)
28.12 Пусть строится интервальная оценка для р в модели линейной
регрессии г/,- = $Xi + в*. Показать, что интервал, основанный на величине
Стыодента
при любой выборке физически короче, чем интервал, построенный с помощью
величины
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
495
28.13 Доказать, что если при построении доверительных областей для
линии регрессии в 28.28 использовать весовую функцию
-3/2
вместо B8.106), то решение Уоркинга — Хотеллинга из 28.30 будет строго
оптимальным (минимизирующим площадь) в семействе эллипсов B8.112).
(Хоул, 1951.)
28.14 Пусть имеется два различных вектора у\ и уг, каждый нз которых
связан с одним и тем же множеством регрессоров х в некоторой линейной
модели. Показать, что для проверки гипотезы о разности между любыми
двумя соответствующими параметрами моделей можно применить метод из
28.21 к разностям (ум— г/г;)-
(Иэйтс A939b) рассмотрел также
случай, когда регрессоры различны,
а векторы у коррелированы.)
28.15 Независимые выборки объемов га* извлечены из двух регрессион-
регрессионных моделей
+ р + 12
с независимыми нормально распределенными ошибками. В обоих моделях
дисперсии ошибок равны а2. Пусть bi, Ьг— отдельные оценки наименьших
квадратов для Pi, fh- Показать, что разность {Ь\ — Ьг) распределена нор-
нормально со средним (Pi — Рг) и дисперсией
-1
и что величина
t = {(&, - 6г) ~ (Pi ~ Рг)} /I S2
1
¦ + ¦
1
1/2
i /
имеет t- pa сп ре деление Стьюдента с п\ + пг — 4 степенями свободы, где
Щ + «2 — 4
a s\, s\—отдельные оценки для о2 по двум моделям. Показать, следова-
следовательно, что статистику t можно использовать для проверки гипотезы р4 = Рг
против 8i =j? Рг.
V H H (См. Фишер, 1922b.)
28.16 Пусть для простой линейной модели у =¦ (Jo + Pi* + e две незави-
независимые выборки объемов тип имеют средние (ym,xm) и (уп,хп). Показать,
что для параметра Pi величина fri = (ym — yn)/(xm — Xn) служит несме-
несмещенной оценкой, дисперсия которой равна а2 ( ^~~п)/ (*т~ *п^2' и что
оценка bi несостоятельна (когда т, я->-<», а отношение т/п фиксировано),
если две выборки были образованы случайным разбиением одной исходнрй
выборки, содержащей т -)- а наблюдений.
496
ГЛАВА 28
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
497
28.17 Пусть нам даны л наблюдений над моделью г/= Pi*i + РгЯг + е
с дисперсией ошибки стг и независимая от них несмещенная оценка bi для Pi
вместе с несмещенной оценкой sl ее дисперсии с?], С целью оценить Рг
рассмотрим регрессию величины (у — 6i*i) по Хг. Показать, что оценка
Ъ2 = 2 (У ~~ bix\) -^г/З Х2 является несмещенной, а ее дисперсия равна
D62 = (a2+(T?r22*D/24
где г — выборочная корреляция между Х\ и Хг- Показать, что если оценка bi
не дана, то обычная оценка наименьших квадратов для р2 имеет дисперсию
aV{2 Х2 ^ ~~ ГЩ' и чт0' следовательно, использование внешней информа-
информации о Pi увеличивает эффективность оценки для Рг тогда и только тогда,
когда
_2 „ а1
°\<- -«Л 2/. !>Ч >
т. е. если дисперсия оценки &i меньше, чем дисперсия обычной оценки наи-
наименьших квадратов для Pi. Показать, что несмещенная оценка для D&2
дается соотношением
9
но что если ошибки распределены нормально, то она распределена не как
величина, кратная %2.
(Дёрбин, 1953.)
28.18 Обобщим ситуацию упражнения 28.17. Пусть Ъ\ — вектор несме-
несмещенных оценок для h параметров (Pi, Рг, ..., Рл) с матрицей рассеяния V\,
и пусть Ьг — не зависящий от него вектор несмещенных оценок для k (>h)
параметров (Р,, Р2, ..., Рд) Рд+1, • ••, Pft) с матрицей рассеяния V2. Исполь-
Используя обобщение Эйткина гауссовой теоремы наименьших квадратов A9.17),
показать, что несмещенные оценки параметров (Pi, ..., Р&) с минимальными
дисперсиями, линейные относительно компонент векторов fti н Ьг, представ-
представляют собой компоненты вектора
с матрицей рассеяния
где звездочка обозначает превращение (ft X 1)-мерного вектора в (k\l)-
мерный или (h X Щ-мерной матрицы в (^Х^)-мерную матрицу путем уве-
увеличения порядка (исходная матрица помещается в левый верхний угол) и
заполнения пустых мест нулями.
Показать, что в частном случае h = 1 V(b) сводится к
1л
Zi X\X1
2
V
Z xk
что отличается только членом в левом верхнем углу от обычной матрицы
рассеяния о*(Х'Ху-1, полученной по методу наименьших квадратов.
(Дёрбин, 1953.)
28.19 Для подгонки обычной (получаемой по методу наименьших ква-
квадратов) регрессии у по х может быть использована простая графическая
процедура без вычислений в случае, когда значения х равно отстоят друг
от друга, скажем на интервал s. Пусть л наблюденных точек на диаграмме
разброса (г/, х) обозначены Р\, Рг, . ¦., Рп в порядке возрастания х. На
2
PiPz ищем точку Q2 с координатой х, на—s большей, чем у Pi; на «ЭгРа
О
2
ищем Qa с координатой х, на-^- s большей, чем у Qa- И так далее одинако-
о
выми шагами, присоединяя каждую точку Q к следующей точке Р и находя
2
новую точку Q с увеличенной иа -г- s .«-координатой, пока последний отре-
зок Qn~\Pn не даст последнюю точку Qn. Проведем ту же процедуру в об-
обратном направлении, начиная с отрезка РпРп-\ и определяя, скажем, Q2
2
с координатой х, на—s меньшей, чем у Рп- И вновь до тех пор, пока не
о
получим точку Qrn на отрезке Q^_jPj с координатой х, на -^ s меньшей,
чем у Qn-i- Тогда QnQ'n есть линия, получаемая по методу наименьших
квадратов. Доказать это.
(Асковиц, 1957.)
28.20 Предположим, что мы обратили матрицу А, состоящую из сумм
квадратов и перекрестных произведений п наблюдений над р величинами.
Пусть имеется вектор х, содержащий по одному новому наблюдению над
каждой величиной. Показать, что матрица, обратная к В = А + хх', пред-
ставима в виде
В-1 = А-1 - (Л-'хж'А-'УО + х'А-хх).
Вывести отсюда, что для квадратичной формы х'А~1х выполняется соотно-
соотношение
I + х'А'^ =\ А + хх' \/\А\.
(См. Бартлетт, 1951.)
28.21 В регрессионной модели
1=1, 2, ..., п,
предположим, что наблюденное среднее х = 0. Пусть хо удовлетворяет урав-
уравнению a + Р*о = 0. Используя случайную величину a + ряо, получить для
квадратичной функции доверительное утверждение вида
Вывести отсюда доверительное утверждение для самой величины ха и пока-
показать, что в зависимости от коэффициентов квадратичной функции оно может
поместить Ха
A) в конечный интервал;
(.11) вне конечного интервала;
(III) в бесконечный интервал, состоящий нз всей числовой прямой.
(См. Леман, 1959:)
498
ГЛАВА 28
28.22 С целью определения того, какая из моделей
более эффективна для предсказания у, рассмотреть модель
^i = Ро -г- P,*I? + P2*2C + г1> г = 1, 2, .... п,
с независимыми нормальными ошибками, дисперсия которых о2 оценивается
через и!сл — 2 степенями свободы. Показать, что статистики
= 2 (», -
2 (*,* - *s
1, 2,
имеют
Dz2
a2,
cov
j, z2) = a2r12,
где ri2 — выборочная корреляция между Xi и *2. Доказать далее, что рас-
распределение разности Bi — Z2) в точности нормально со средним
{ S 2 V/2 { 2 2 V/2 и дисперсией 2о2A—л12).
р
Pi { S
(i 2)
f (
Используя тот факт, что 2 {Hi—У) (Р«) 2 (xsi ~~ *s) есть сумма ква-
i i
дратов отклонений от регрессии у только по xs, показать, что гипотеза о ра-
равенстве этих двух сумм квадратов может быть проверена с помощью стати-
статистики t = (zi — z2)/{2s2(l—rl2)} , имеющей распределение Стьюдента с
п — 3 степенями свободы.
(Хотеллинг A940); Хили A955).
Э. Уилльямс A959) обобщил этот
критерий на число моделей, предска-
предсказывающих у, большее, чем два.)
28.23 Рассматривая случай, когда в точности у, — xkj, j — 1, 2 п,
показать, что если ортогональные полиномы, определенные в B8.73) и B8.74),
п
ортонормальны (т. е. ^j Ф; (*/) = 1 при всех t), то они удовлетворяют рекур-
рекуррентному соотношению
k— 1 л
где нормирующая константа Ьи определяется из равенства
6J-
i=0
Далее, делая соответствующие изменения, проверить B8.80) и B8.81).
(Робсон, 1959.)
28.24 Для линейной модели у = .^iPi + Я2Р2 + е показать, что НК-оценки
могут быть записаны в виде
- Хф2),
где J>-l-
\—1
ОБЩАЯ ТЕОРИЯ РЕГРЕССИИ
Показать, что если сначала оценить pi из соотношения
499
(А)
а затем, используя остатки ут в (А), как если бы они были кекоррелированы,
оценить р2 из соотношения
то получатся оценки
являющиеся смещенными оценками всегда, кроме случая, когда Х\Хг = 0 или
Рг = 0. Пусть Рг — скалярный параметр. Доказать, что
где R — множественный коэффициент корреляции между величиной хг и все-
всеми величинами в Xi.
В случае, когда у3 = PiJCij + P2JC2J + 6j, показать, что среднеквадратичные
ошибки смещенных двухэтапных оценок р*,^ меньше, чем дисперсии несме-
несмещенных НК-оценок р,, р2, если р|/у (Р2) < 1-
(См. Френд и др. A961), Голдбер-
гер и Джокемс A961), Голдбергер
A961), Зискинд A963) и Уоллес
A964).)
ГЛАВА 29
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ
ЗАВИСИМОСТЬ
Функциональная зависимость
между математическими переменными
29.1 В естественных, а отчасти и в социальных науках до-
довольно привычны модели, в которых некоторые математические
(не случайные) переменные функционально связаны. Хорошо
известным примером является закон Бойля, утверждающий, что
при постоянной температуре давление Р и объем V заданного
количества газа связаны уравнением
PV = const. B9.1)
Соотношение B9.1) может, однако, не выполняться, когда газ
находится в состоянии, близком к сжижению, а также, возмож-
возможно, при некоторых других Р и V. Если изучается связь между
объемом и давлением при так называемом адиабатическом рас-
расширении, когда недостаточно времени для теплообмена с окру-
окружающей средой, то вместо B9.1) приходится использовать со-
соотношение
PVy = const,
B9.2)
где y — константа, которую, возможно, надо оценить. Более
того, в некоторых случаях желательно принимать в расчет так-
также температуру Г, что приводит к следующему обобщению
B9.1):
РУТ'1 = const.
В общем случае мы имеем k переменных Х1г .. ., Xh, свя-
связанных между собой с помощью р функциональных соотноше-
соотношений
f,(Xlt .... Xh;alt .... <хг) = 0, /=1, 2 р, B9.3)
в которые входят / параметров аг, г = 1, 2, ...,/. Обычно тре-
требуется оценить аг, исходя из наблюдений, а иногда также опре-
определить форму функциональной зависимости /> Последняя за-
задача чаще всего возникает в ситуациях, когда вид fj не удается
определить полностью ни из теоретических соображений, ни из
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
501
предшествующего опыта. Если бы значения X наблюдались без
ошибок, то вообще не возникло бы никакой статистической про-
проблемы: мы имели бы набор значений, удовлетворяющих B9.3),
и оставалось бы только решить эту систему, что является чисто
математической задачей. Однако обычно на наши измерения
влияют ошибки эксперимента или наблюдений. Мы наблюдаем
не «истинное» значение X, а значение, отличающееся от него
на некоторую случайную величину. Таким образом, задача за-
заключается в оценивании параметров аг (и, возможно, в опреде-
определении вида зависимости fj) исходя из данных, которые, по край-
крайней мере частично, являются выборками из распределений оши-
ошибок. В этом случае статистический характер проблемы не под*
лежит сомнению.
29.2 На наш взгляд, при изложении данного предмета, в ко-
котором в прошлом было немало путаницы, чрезвычайно важно
придерживаться ясной терминологии и обозначений. В этой,
главе мы будем обозначать математические переменные боль-
большими латинскими буквами. Как обычно, параметры будут обо-
обозначаться малыми греческими буквами (особенно часто бук-
буквами а и Р), а случайные величины — малыми латинскими бук-
буквами или, в случае оценок максимального правдоподобия,
буквой, обозначающей параметр, с крышечкой наверху, напри-
например: а. Случайные ошибки будут обозначаться другими ма-
малыми греческими буквами, чаще всего буквами б и е, а наблю-
наблюдаемые случайные величины, соответствующие ненаблюдаемым
переменным, — «соответствующими»*) греческими буквами,на-
буквами,например, | будет соответствовать X. Единственным источником
путаницы в нашей системе обозначений может быть то, что гре-
греческие буквы выполняют сразу три роли (параметры, ошибки,
наблюдаемые величины), однако для разных целей нами ис-
используются разные группы букв, причем соблюдается следую-
следующее простое правило: любая греческая буква, «соответствую-
«соответствующая» большой латинской букве, обозначает наблюдаемую
случайную величину, соответствующую этой математической
переменной, тогда как все остальные греческие буквы обозна-
обозначают ненаблюдаемые величины (параметры или ошибки).
29.3 Начнем с самого простого случая. Пусть две математи-
математические переменные X и Y связаны линейным соотношением
У = ао + аД B9.4)
*) Упомянутое «соответствие» между латинскими и греческими буквами
основывается не столько на сходстве алфавитов, сколько на сходстве в на-
написании и произношении. В любом случае было бы логичней использовать
обычные малые латинские буквы, т. е. обозначать х наблюдаемую величину,
соответствующую математической переменной X, однако тогда появилась бы
опасность путаницы в индексах и, кроме того, обозначение х нам понадо-
понадобится для других целей (см. 29.6).
502
ГЛАВА 29
и требуется оценить параметры ао, ось Мы не можем наблю-
наблюдать значения X и У, но можем наблюдать значения'случайных
величин | и т), определенных следующим образом:
Индексы в B9.5) существенны: наблюдения распределены око-
около «истинного» значения в соответствии с распределением
«ошибки», которое может зависеть от L Например, ошибки мо-
могут быть больше для больших значений X, что может быть
выражено увеличением дисперсии, соответствующей ошибке
случайной величины.
В рассматриваемом простейшем случае будет, однако, пред*
полагаться, что 6* распределены одинаково, в частности имеют
одно и то же среднее (которое без потери общности можно счи-
считать равным нулю) и дисперсию для всех Xh Аналогичные
предположения считаются выполненными для е и У. Предпола-
Предполагается также, что ошибки б и е некоррелированы между собой
и друг с другом. Пока мы не будем предполагать б и е нор-
нормально распределенными. Итак, наша модель описывается
соотношениями B9.4) и B9.5), в которых
= a\,
= а\
t = а\ для всех /,
cov F(-, б/) = cov (е,, е;) = 0, 1Ф у,
covFj, 8,) = 0 для всех /, у.
B9.6)
Относительно средних б, (и е,) предполагается фактически их
равенство между собой, и их можно положить равными нулю,
включая средние |лв и |ле ошибок б и е в ао, поскольку ясно, что
не имеется возможности отделить цв и \хе от ао.
Учитывая B9.6), можно, не вызывая неоднозначного пони-
понимания, записать рассматриваемую модель в виде
1 = Х + Ь, т] = У + е. B9.7)
29.4 На первый взгляд оценивание параметров в B9.4) ка-
кажется задачей, похожей на задачу регрессионного анализа, и,
это сходство часто было источником недоразумений. В регрес-
регрессионных задачах мы, однако, интересуемся зависимостью сред-
среднего значения т] (которое равно У) от переменной X, не подвер-
подверженной ошибкам; в этом случае ошибка б тождественно равна
нулю и, следовательно, а^ = 0. Таким образом, регрессионная
модель есть частный случай рассматриваемой. Кроме того (хотя
это уже относится не к формальной постановке задачи* а к ее
происхождению), случайные изменения зависимой переменной,
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
503
в регрессионном анализе не обязательно связаны только с ошиб-
ошибкой измерений. Они могут полностью или частично порождаться
самой структурой связи между переменными. Так, между весом
тела и ростом существует внутренняя связь, совсем не завися-
зависящая от ошибок измерений.
Легко убедиться, что наличие ошибок как в X, так и в У
ставит проблемы, совершенно отличные от тех, которые возни-
возникают в задачах регрессионного анализа. Подставляя X и У из
B9.7) в B9.4), мы получаем соотношение
Л = ао+о1| + (в-о,б), B9.8)
которое не совпадает с обычной постановкой задачи в регрес-
регрессионном анализе, так как случайная величина | коррелирована
с ошибкой (е — ai6). Действительно, из B9.6) и B9.7) полу-
получаем
cov(I, 8-0,6) = М{Е(е-а,б)} = М{(* + б)(8-0,6)} = -а,о». B9.9)
B9.9) обращается в нуль либо при <т?=0, что совпадает с рег-
регрессионной ситуацией, либо в тривиальном случае он = 0.
Уравнение B9.8) называется структурным соотношением
между наблюдаемыми случайными величинами 1 и т). Это струк-
структурное соотношение порождается функциональным соотноше-
соотношением между математическими переменными X и У.
29.5 В регрессионном анализе можно было выбирать значе-
значения независимой переменной X произвольно, например, через
равные промежутки в области ее изменения. Однако эти значе-
значения могли быть получены и в результате случайного выбора,
т. е. п пар наблюдений могли быть случайно выбраны из дву-
двумерного распределения с целью изучения регрессии одной слу-
случайной величины по другой. (Эти варианты регрессионных мо-
моделей уже рассматривались в 26.24, 27.29.) В данной модели
значения X также могут быть получены либо в результате
некоторого случайного процесса, либо путем целенаправленных
измерений в выбранных точках, однако в любом случае X оста-
останется ненаблюдаемой величиной вследствие ошибок измерений.
Теперь мы переходим к изучению ситуации, когда X и У яв-
являются случайными величинами, так что функциональное соот-
соотношение B9.4) превращается в структурное соотношение между
ненаблюдаемыми величинами.
Структурные соотношения между случайными величинами
29.6 Предположим, что X и У сами являются случайными
величинами (которые в соответствии с принятыми соглашения-
соглашениями будут обозначаться х и у) и что, как и прежде; выполнены
B9 4), B9.5) и B9.6). Отсюда можно снова вывести B9.8),
504
ГЛАВА 29
однако B9.9)'уже не будет выполнено, если не сделать дополни-
дополнительных предположений, поскольку в B9.9) величина X рас-
рассматривалась как константа. В действительности мы получим
cov (g, е — о,б) = М {(*.+ 6) (е — о,б)} = М (хе.) — OlM (хб) — а,а|.
B9.10)
Сделав, однако, дополнительные предположения (два относи-
относительно х и два относительно у)
cov (х, 6) = cov (х, е) = cov (у, б) = cov (у, е) = 0, B9.11)
мы сведем B9.10) к B9.9).
Таким образом, рассматриваемая модель записывается
s виде
#/= «о+<*,*<,
B9.12)
B9.13)
причем выполнены также B9.6) и B9.11), так что, как и рань-
раньше, справедливо B9.8). В итоге мы заменили функциональное
соотношение B9.4) между математическими переменными
структурным соотношением B9.13), выражающим точную ли-
линейную связь между двумя ненаблюдаемыми случайными вели-
величинами х и у. Предыдущая модель получается из этой как част-
частный случай, когда Х{ вырождаются в константы Xj. Как и преж-
прежде, соотношение B9.8) между наблюдаемыми переменными %
и ч\ является структурным, но, кроме этого, мы имеем структур-
структурное соотношение, так сказать, внутри самой модели.
Модели, описываемые структурными соотношениями, в ос-
основном находят применение в социальных науках, особенно
в эконометрике. Мы еще возвратимся к этой теме при изложе-
изложении многомерного анализа в третьем томе. Упомянем только
;в целях иллюстрации такой пример. Пусть выполнена гипотеза
B9.13) о линейной зависимости между количеством проданного
товара {у) и его ценой (х), причем х и у считаются случайными
величинами. Пусть, кроме того, эти величины наблюдаются
,с ошибками, т. е. выполняется B9.12). Тогда мы находимся
в ситуации, описываемой структурным соотношением. Суще-
Существенно, однако, что кроме ошибок, возникающих при наблюде-
наблюдении х и у, имеют место случайные изменения этих переменных,
обусловленные самой их природой.
29.7 Исследователей часто ставила в тупик следующая си-
ситуация. Рассматривая линейную зависимость между перемен-
переменными, они не могли допустить существования двух прямых
линий регрессии, но в то же время на ранней стадии развития
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
505
предмета (а, возможно, иногда и сейчас) им всегда приходи-
приходилось иметь дело с парой прямых. Однако из наших рассужде-
рассуждений ясно, что линия регрессии и не предназначена для выраже-
выражения функциональной зависимости между математическими
переменными или структурной зависимости между случайными
переменными: она либо выражает свойство двумерного распре-
распределения, либо, когда независимая переменная не подвержена
ошибке, выражает связь между независимой переменной и
средним значением зависимой переменной. Методы этой главы,
которые, как можно видеть из приводимых ссылок, были глав-
главным образом развиты в течение последних двух десятилетий,
дают в распоряжение исследователей математические модели,
более пригодные для их нужд.
29.8 Интересно выяснить, почему для оценивания ао и а\
в B9.8) нельзя использовать основанный на методе наимень-
наименьших квадратов регрессионный анализ. Имея п пар наблюден-
наблюденных значений A,-, щ), i = 1, 2,. .., п, можно получить, усредняя
B9.8) по этим значениям, соотношение
= сс0 + а,!
— ^ (е —
B9.14)
Поскольку последнее слагаемое в правой части имеет нулевое
математическое ожидание, то мы получаем для оценивания
уравнение
^=00 + 0,1, B9.15)
которое является несмещенным в том смысле, что обе его части:
имеют одинаковое математическое ожидание. Если за начала,
отсчетов приняты выборочные средние I, fj, то для а0 полу-
получается оценка
ао = О. B9.16)
Аналогично, умножая B9.8) на ?, находим после усреднения
где а.\ — оценка для at. Второе слагаемое в правой части
B9:17) не обращается в нуль даже при re-v-oo, а стремится
к величине cov{?, е — сцб}, кратной <т| в силу B9.9). Таким об-
образом, чтобы оценить «ь мы должны по крайней мере при ис-
использовании этого метода знать а\. Далее мы увидим, что дис
персии ошибок действительно играют существенную роль в оце-
оценивании оц.
506
ГЛАВА 29
Оценивание структурных соотношений по методу МП
29.9 Если сделать дополнительное предположение, что все
пары наблюдений (!,-, щ) имеют одно и то же совместное нор-
нормальное распределение, то мы сможем использовать метод МП
для оценивания параметров модели структурной зависимости,
определяемой соотношениями B9.6) и B9.11) — B9.13). (Для
совместной нормальности достаточно, чтобы все х\ имели одно
и то же нормальное распределение, и то же самое было бы
верно для tji, б,- и 8г, а в случае, когда х, у вырождаются в кон-
константы X, Y, для совместной нормальности 1 и ц достаточно
двумерной нормальности б и е.) Тогда в силу B9.6) и B9.11) —
B9.13) мы получим следующие выражения для моментов:
B9.18)
Мт] == Му = а0 + а,|л,
DI = Dx + el = e2x +
Dr\ = Dy + ol = a.yx
cov(l, r\) = cov (x, у) = ctja
Следует, в частности, заметить, что в B9.18) структурные пере*
менные х% (а также //,-) имеют одинаковые средние. Как будет
видно, это имеет важное значение при использовании мето-
метода МП. Однако это означает, что результаты, которые мы соби-
собираемся получить для структурных соотношений, не будут иметь
почти никакой ценности в случае функциональных соотноше-
соотношений, поскольку они применимы, только когда X* (константы, в
которые вырождаются Xi при ах = 0) принимают одно и то же
значение ц для всех L См. 29.13 ниже.
29.10 Как следует из A6.47) и из примеров 18.14, 18.15, вы-
выборочные средние, дисперсии и ковариация совместно доста-
достаточны для пяти параметров двумерного нормального распреде-
распределения, являясь для них МП-оценками. Поэтому, если s^, s|
(>0)— выборочные дисперсии и s%n—выборочная ковариа-
ковариация, то решения системы уравнений
(а) ц = 1,
(б) ao+a1M.=fi,
(в) o* + og = s|,
(д) a.al = sEt
B9.19)
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
507
относительно тех из шести параметров ц, а0, а,, а%, а§ и а\,
которые неизвестны, будут МП-оценками для этих параметров
при условии, что они дают допустимые значения. Поскольку (л,
а0 и см априори никак не ограничены, то требуется только, что-
чтобы решения для ах, а\ и <т| были неотрицательны. Согласно
B9.19) (в) — (д) это приводит к следующим ограничениям:
для 6\
Для ol
0
0
(i)
для
¦a.s.
(iii) s\ — o\
(iv) s2 — a2 > 0,
(v) если a2 > 0, то sign ax = sign
(vi) если a2 = 0, то а, не определено.
B9.20)
Если ограничения B9.20) не выполнены, то решения B9.19)
не будут МП-оценками для нашей задачи. В этом случае
МП-оценки находятся путем прямой максимизации ФП. Как
показывает B9.18), при этом B9.20) (vi) остается в силе.
Из B9.19) (в) —(д) получаем
откуда, делая равными коэффициенты при аи, находим
«i**, (sl ~ О = 51л = К ~ О П - аЬ-
Если ai, s^ ф 0, то из B9.21) следует неравенство
B9-22)
B9.23)
показывающее, что абсолютная величина МП-оценки наклона
структурной прямой заключена между коэффициентом регрес-
регрессии т] по 1, полученным по методу НК, и значением, обратным
коэффициенту регрессии \ по г\. Согласно B9.19) (а) — (б) со-
соответствующая структурная прямая лежит между двумя ли-
линиями регрессиями, что кажется естественным с интуитивной
точки зрения.
29.11 Независимо от того, производится оценивание по ме-
методу МП с помощью B9.19) или путем прямой максимизации
ФП, уравнения B9.19) (а) —(б) всегдадают МП-оценки р, и аэ>,
если оценка сц уже найдена. При использовании B9.19) урав-
уравнения (в) — (д) должны быть разрешены относительно ось од-
однако этого нельзя сделать без дополнительных предположений,
так как рассматриваемые три уравнения содержат четыре неиз-
неизвестных.
503
ГЛАВА 29
Причину этой трудности легко обнаружить. Возвращаясь
B9.18), мы видим, что изменение истинного значения си может
не менять значения пяти приведенных там моментов. Пусть,
например, ц и cti положительны. Тогда любое увеличение см
может быть компенсировано (а) уменьшением ао в Мт], (б)
уменьшением о\ в cov(?, r\) и (в) соответствующим изменением
о2г в Dr|. (Читатель, возможно, захочет проверить это на чис-
численном примере.) Это означает, что параметр а\ невозможно
оиенить по самой природе задачи, как бы ни был велик объем
выборки. По этой причине он называется неидентифицируемым.
В действительности из шести параметров идентифицируемым
является только (л. Нам нежелательно предполагать известными
ао и oci, поскольку их оценивание является нашей главной
целью, или а\, поскольку х — ненаблюдаемая величина. Пара-
Параметр (л идентифицируем, и здесь положение нельзя улучшить.
Очевидно, мы должны сделать предположения относительно
дисперсий ошибок.
29.12 Случай 1: а\ известна.
Если s| > а\, то из B9.21) сразу получаем
откуда следует, что B9.20) (Hi) — (v) выполняются. Однако для
того, чтобы были выполнены все ограничения в B9.20) и оценка
B9.24) была МП-оценкой, необходимо добавить ограничение
B9.20) (ii) в форме s?,^s|ti/(ss ~ст«)- Если эти ограничения не
выполнены, то B9.19) не дает МП-оценки, которая в этом случае
равна (см. упражнение 29,18)
a^sys^. B9.25)
Заметим, что если а\ -* 0, то | а, | в B9.24) стремится к своей
нижней границе в B9.23), тогда как B9.25) дает верхнюю гра-
границу.
Случай 2: а\ известна.
Из B9.2,1) получаем
a., = (sl — o])/s.n, s^^O. B9.26)
Далее, как и в случае 1, если выполнены условия ^ > а^»
sl =^5!ii/Eti ~~ °е)' то будут выполнены все ограничения в
B9.20) и B9.26) будет МП-оценкой. Если же эти условия не
будут выполнены, то мы получим следующую МП-оценку, ана-
аналогичную B9.25): ..
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
509
Последнее утверждение предыдущего случая (с очевидными
изменениями) справедливо и здесь.
Случай 3: а\[а\ известно.
Это классический метод решения задачи идентифицируемо-
идентифицируемости. Полагая а| = А<т| и исключая о\ из уравнений B9.21),
получаем
a\s%^ + a, (Xs\ — sty — As|n = 0. B9.27)
Если 5^=5^0 (в случае 51^ = 0 мы получаем а! = 0, если
4/4^^' если же s^/s? = Я, то параметр а, не определен и
6^ = 0 — см. B9.20) (vi)), то это квадратное уравнение будет
иметь ненулевые, корни
N
2s,
2s%
B9.28)
Поэтому в силу B9.19) (д) Ь\ — s^/a, = 2s^JN, так что для
выполнения неравенства Ь\ ^ 0 N должно быть неотрицатель-
неотрицательным и, следовательно, надо взять корень со знаком плюс в чис-
числителе. Таким образом,
UJ л-2\2 , „,.2 l"/2
«х =
N,
2s.
B9.29)
и а\ > 0. Остается только проверить, выполняются ли B9.20)
(i) или (ii), поскольку теперь а\ = Ха\. Для выполнения
B9.20) (ii) требуется, чтобы 2s2^N+. Это неравенство можно
получить, заменяя величину s^ ее верхней границей s|s^. Та-
Таким образом, B9.29) дает МП-оценку.
Случай 4: Оо и а1 известны.
В этом случае в B9.19) (в) — (д) остается только два неиз-
неизвестных (а, и а"х), и мы можем получить обе оценки B9.24)
и B9.26), которые, однако, несовместимы. Следовательно, с по-
помощью B9.19) нельзя найти МП-оценку, и надо, следуя Бёрчу
A964а), максимизировать непосредственно ФП.
Используя последние три равенства B9.18), получаем
-| log L = log! V
V
Г1
(«М + °е) -
*» (а
, B9.30)
где
1=
510
ГЛАВА 29
Для простоты исключим с помощью нормировки известные кон-
константы^ и ае из B9.30), измеряя х и 1 в единицах огб, а у
ит) — в единицах <те. Тогда B9.30) примет вид
G(u,v) = -T
1 + и2 + о2
где и2 = a2.,
v2 = a2u2.
Функция G(u, v) дифференцируема и
стремится к —оо, когда (и2 + v2)-> оо, так что она принимает
максимальное значение в стационарной точке, получаемой при-
dG 6G
равниванием к нулю производных -^— и -g~. Мы, следова-
следовательно, получаем
да
dG
дО
B9.31)
Исключая из этих уравнений A + и2 + и2), находим
Таким образом, либо и2 = 0 (и, следовательно, у2 = 0), либо
равно нулю выражение в фигурных скобках. В последнем слу-
случае мы вновь возвращаемся к B9.27) (вспомним, что вслед-
вследствие нормировки Я= 1). Отказываясь от нормировки, мы при-
приходим к выводу, что B9.29) дает решение для сц. Из B9.31)
получаем
откуда, учитывая равенство v2 = a2u2, находим
Ь а2). B9.32)
Значение, принимаемое функцией G в стационарной точке
(±и, v) и даваемое формулами B9.29) и B9.32), будет макси-
максимальным только в случае, если таковым не является значение
в точке и = v = 0. Из рассмотрения второй производной сле-
следует, что для этого требуется выполнение по крайней мере од-
одного из условий (s2 — l) > 0, (s2 — 1) > 0 или s|n > A — s|)X
X A — sty. Снова отказываясь от нормировки, мы приходим
к заключению, что B9.29) и B9.32) дают МП-оценки для (а,, а^),
когда выполнено по крайней мере одно из условий s| > a\, s2 >
> of или s|^> (о^ — ^|)(сг2 — sty. Если жени одно из нихне вы-
выполнено (что практически маловероятно), то максимум будет
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
511
находиться в точке и = v = 0, и тогда a\ = 0, а параметр а\
не определен (см. условие B9.20) (vi) и следующее за ним обсу-
обсуждение) .
Проблема идентифицируемости, поставленная в 29.11, не возникает, если
имеются повторные наблюдения, т. е. если имеется rt наблюдений |^
(/ = 1, 2, ..., Ti), соответствующих истинному значению л:,-, и s( наблюде-
наблюдений T|fft (k = I, 2 Si), соответствующих уи причем по крайней мере
одно Ti и одно S, больше единицы. Введем обозначения
Легко показать, что
(=1
S-n
являются несмещенными оценками дисперсий ошибок и что Я = 6^/о| —
состоятельная (хотя и смещенная) оценка их отношения. Теперь любая
оценка для ai (случаи 1—4), если подставить в нее соответствующую оцен-
оценку из числа приведенных выше, будет состоятельной. Мадански A959) рас-
рассмотрел различные оценки, полученные подобными методами, которые, по
существу, представляют простое приложение идей дисперсионного анализа
(том 3). Дорфф и Гёрлэнд A961а) показали, что наименьшая асимптоти-
асимптотическая дисперсия при постоянном значении отношения Si/r4 соответствует
оценке, полученной при использовании л в B9.29).
Обобщение модели структурной зависимости
29.13 Как мы уже отмечали после B9.18), модель структур-
структурной зависимости, рассмотренная в 29.9—12, обладает тем огра-
ограничением, что все Хг имеют одно и то же среднее (откуда сле-
следует также равенство средних для г/г)- Предполагалось, что
выполнены условия
Mgi = Mxt = ц для всех i, B9.33)
Mr\i = Myi = a0 + a,(x для всех /. B9.34)
Если мы теперь ослабим условие B9.33) и предположим, что
М?? = Мхг = Цг, 1=1, 2,..., п, B9.35)
то B9.34) примет вид
M + B9.36)
512
ГЛАВА 29
Это уже более содержательная модель, из которой можно по-
получить функциональную, если положить el = o2y~Q, так что
Хг = Ц*> Yi = ао + aiXj.
Однако, принимая эту более общую модель, мы приходим к
совсем другой задаче оценивания. Действительно, здесь все щ
неизвестны, и поэтому вместо шести оцениваемых параметров,
как в B9.18), мы имеем п + 5 параметров. Существенно новым
является то, что вместе с каждым новым наблюдением добав-
добавляется новый неизвестный параметр, так что неудивительно,
что в данном случае мы сталкиваемся с новыми проблемами.
Параметры, связанные с отдельными наблюдениями, были на-
названы Нейманом и Скотт A948) «несущественными» (incidental),
а остальные параметры, общие для всех наблюдений, — «струк-
«структурными» (structural). В примере 18.16 мы уже встречались
с задачей, в которой фигурировали несущественные параметры.
Рассмотрим теперь процесс оценивания по методу МП при
наличии несущественных параметров, причем начнем" сразу со
случая функциональной зависимости, который нас интересует
больше всего.
Оценивание параметров функционального соотношения
по методу МП
29.14 Предположим, что B9.4), B9.5) и B9.6) выполнены
и что бг и е» — независимые нормально распределенные случай-
случайные величины. Поскольку Xt — математическая, а не случайная
величина, то а2х — 0 и имеется п + 4 параметров, а именно
о0, а,, а\, а\, и п значений X,. Функция правдоподобия в дан-
данном случае имеет вид
^a~n exp j" -
-±
~ К
Дифференцируя log L по каждому из Xt и по остальным четы-
четырем параметрам, находим
O} = 0, /=1, 2, ..., п, B9.37)
LL =, \ V Xi {г,/-
ЩХЯ = О,
= - — + -^ У fti -
B9.38)
B9.39)
B9.40)
! = 0. B9.41)
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
Суммируя B9.37) по i и используя B9.38), получаем
513
Таким образом, если измерять 1< относительно их наблюденных
средних, то мы получим МП-оценку для суммы Хг:
B9.42)
Из B9.38), учитывая B9.42), находим 2 ц(=па0,иля, если ц{ из-
измеряются относительно их наблюденных средних,
B9.43)
B9.44)
B9.45)
!. B9.46)
Пользуясь B9.43), из B9.39) находим
1 1 I/ t i
Уравнение B9.40) дает
а B9.43) и B9.41) дают
Возводя B9.37) в квадрат и учитывая B9.43), получаем
v g4 ' = -?¦ (л< ~ bvXif. B9.47)
Суммируя затем B9.47) по i и используя отношение B9.45) и
B9.46), мы приходим к заключению, что
B9.48)
Подставляя B9.48) снова в B9.37) и исключая си, получаем
К--It-
__ „
так что МП-оценка для Xt удовлетворяет уравнению
й^Т^+^Л*), /=1, 2, .... п;
Т^^) B9.49)
Чтобы получить МП-оценки для а\ и af, надо решить п + 2
уравнений B9.45), B9.46) и B9.49) относительно п + 2 неиз-
неизвестных Х{, о\ и а^. Затем cti мы находим из B9.48),
17 М. Кендалл, А. Стьюарт
514
ГЛАВА 29
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
515
Однако, как следует из соотношения B9.48), впервые полу-
полученного Линдли A947), метод МП не годится для оценивания
в рассматриваемом случае. Хотя мы априори ничего не знаем
о значениях параметров av a\, а\, B9.48) устанавливает опре-
определенное соотношение между их МП-оценками, которому сами
параметры в рассматриваемой модели не обязаны удовлетво-
удовлетворять. Фактически из B9.48) следует, что мы не можем оценить
состоятельно все три параметра а,, а\, а?. Таким образом, в
данной ситуации метод МП неприемлем.
29.15 Как показали Нейман и Скотт A948), в общем случае
МП-оценки для структурных параметров не обязательно состоя-
состоятельны, если в задаче имеются несущественные параметры.
Позднее Кифером и Волфовицем A956) было доказано, что
если несущественные параметры являются независимыми и оди-
одинаково распределенными случайными величинами, а структур-
структурные параметры идентифицируемы, то в условиях регулярности
МП-оценки структурных параметров состоятельны. Очевидно,
выделенное курсивом условие возвращает нас от функциональ-
функциональной модели к структурной, которая рассматривалась в 29.9—12
и для которой при различных предположениях были получены
МП-оценки для ось Еще раньше Нейман A951) доказал суще-
существование состоятельных оценок для си в модели структурной
зависимости.
29.16 Из 29.14 следует, что без дополнительных предположе-
предположений нельзя получить приемлемой МП-оценки для ai в случае
функциональной зависимости. В действительности так же об-
обстояло дело и в случае структурной зависимости, который в
свете наших результатов и результатов, упомянутых в 29.15,
представляется существенно более простым. Эта необходимость
в дополнительных предположениях часто удивляет исследова-
исследователей, применяющих статистические методы. Обычно они пере-
переоценивают возможности получения с помощью статистических
методов простых и приемлемых решений для любой просто фор-
формулируемой задачи. В связи с этим полезно прибегнуть к гео-
геометрической иллюстрации.
Рассмотрим точки Eг,л»)> расположенные так, как изобра-
изображено на рис. 29.1.
Любой наблюденной точке (|г-, тц) соответствует «истинная»
точка (Xit Yi) = (li — б,-, r\i — ej), положение которой неизвест-
неизвестно. Поскольку в нашей модели б,- и е* независимы и нормально
распределены, то положение точки (li, л-О равновероятно на
любом эллипсе с центром в (Х{, Yt) и осями, параллельными
осям координат. И наоборот, если плотность распределения
(li, Л-О симметрична по A,-, л<) и №>Уг)> то существует эллип-
эллиптическая доверительная область для (Xi, Yi) с центром в (?*, r\i)
при любом заданном коэффициенте доверия. Эти области изо-
бражены на рис. 29.1. Эвристически задачу оценивания а* мож-
можно понимать ¦ как задачу нахождения прямой, пересекающей
возможно большее число таких доверительных областей. Труд-
Трудность теперь ясна: неизвестны длины осей эллипсов — они за-
зависят от параметров масштаба <тв, <те. Понятно, что для того,
чтобы сделать задачу определенной, достаточно знать эксцен-
эксцентриситет эллипсов, т. е. отношение ffe/cre. Напомним, что в слу-
случае структурной зависимости, рассмотренном в 29.9—10, знания
Значения ?
Рис. 29.1. Доверительные области для
(см. текст).
этого отношения оказалось достаточно для решения задачи оце-
оценивания.
29.17 Пусть, следовательно, отношение a^/a^ = A известно.
Заменяя о\ на о\\"К в методе МП в 29.14, мы видим, что несо-
несостоятельность, возникшая вследствие B9.48), исчезает, так как
теперь требуется оценить только одну дисперсию ошибки, ска-
скажем о\. Уравнения B9.40) и B9.41), которые приводили к
B9.48), заменяются одним уравнением
diogL _ —:
да„ а
^2<т1'-(а°+а>*<»2==0>
из которого, учитывая остающиеся в силе соотношения B9.43)
и B9.44), получаем
2 (т>< -
B9.50)
Вместо B9.49) непосредственно из B9.37) находим
или
B9.51)
17*
516
ГЛАВА 29
Подставляя B9.51) в B9.44), получаем
if+af
л?
или, после упрощений,
а? 2 g^i, + а, (я 2 g? - 2 л?) - л 21л = о. B9.52)
B9.52) отличается от B9.27) только незначительными измене-
изменениями обозначений. Таким образом, результат случая 3 из 29.12
сохраняется: если отношение дисперсий ошибок Я известно, то
B9.29) дает МП-оценку для а\ как в случае простейшего струк-
структурного соотношения, так и в случае линейного функциональ-
функционального соотношения.
29.18 Как было замечено в 29.10 (эти рассуждения приме-
применимы и в данном случае, поскольку мы оцениваем oci так же,
как в случае 2 в 29.12), оцененные прямые регрессии «ограни-
«ограничивают» оцененную структурную прямую. Это следует также из
монотонной зависимости от Я оценки си, даваемой формулой
B9.29) (в упражнении 29.1 читателю предлагается доказать этот
факт). Таким образом, оцененные прямые регрессии дают мате-
математические границы для оцененной функциональной прямой.
Однако эти границы могут быть слишком далеки друг от друга,
чтобы иметь какое-нибудь практическое значение. В любом слу-
случае они, конечно, не являются ни в каком смысле вероятно-
вероятностными границами.
29.19 Знание отношения дисперсий ошибок позволило нам в
29.17 получить МП-оценки B9.29) и B9.50) для а, и а\. Од-
Однако еще не все трудности преодолены. Дело в том, что если с^
является состоятельной оценкой для а,, то Ь\, как показал
Линдли A947), не будет таковой для о\.
Чтобы доказать состоятельность oci, заметим, что в соответ-
соответствии с общими результатами главы 10 выборочные дисперсии
и ковариация в B9.29) сходятся по вероятности к своим мате-
математическим ожиданиям. Таким образом, обозначая Sx диспер-
дисперсию ненаблюдаемой величины Хи мы получаем (ср. B9.18) для
случая структурной зависимости)
X
B9.53).
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
Подставляя B9.53) в B9.29), получаем соотношение
517
+ [{a*S| + Хо* - A (SJ + с*)}* + Я (alS^y]llT)/{2a1Sl} = <*,, B9.54)
устанавливающее состоятельность а f. Приведенное доказатель-
доказательство проходит также в случае структурной зависимости, если
всюду заменить S^ на а2х .
Несостоятельность 6\ в случае функциональной зависимости
доказывается так же просто. Подставляя B9.51) в B9.50), мы
\
(
приходим к следующим выражениям для а\:
2(Л + а?) пА
X
B9.55)
B9.56)
Из B9.55), учитывая B9.53) и B9.54), получаем
т)}-7* B9-57)
Доказанная несостоятельность МП-оценки напоминает несостоя-
несостоятельность, отмеченную в примере 18.16, которая была вызвана
тем, что объем выборки был равен двум, а смещение МП-оцен-
МП-оценки имело порядок 1/л. Здесь, по существу, а\ также оценивается
по парам (|ьт]г), что легко видеть из B9.55). Следовательно,
несостоятельность МП-оценки в данном случае вызвана влия-
влиянием смещенности МП-оценки при малом объеме выборки. От-
Отмеченная несостоятельность, однако, не доставляет неприятно-
неприятностей: чтобы получить состоятельную оценку для а\, надо заме-
заменить число наблюдений 2гс числом степеней свободы
In— (п + 2) =п — 2 в знаменателе а\. Состоятельная оценка,
следовательно, равна -—-^ °е-
Мы, таким образом, видим, что в случае функциональной
зависимости для состоятельности МП-оценок всех структурных
параметров недостаточно даже знания Л = а|/а|. Что касается
структурных зависимостей, то в некоторых слу-чаях состоятель-
состоятельность МП-оценок для структурных параметров гарантируется
сформулированной в 29.15 теоремой К^ифера ^ Врлфовица,
518
ГЛАВА 29
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
519
Пример 29.1
Р. Браун A957) приводит девять пар наблюдений
|: 1,8 4,1 5,8 7,5 9,3 10,6 13,4 14,7 18,9
tj: 6,9 12,5 20,0 15,7 24,9 23,4 30,2 35,6 39,1
порожденных линейной функциональной зависимостью У=ао4-
+ cciX с дисперсиями ошибок а\ = а\. Таким образом, мы
имеем "К = 1, п = 9. Далее, вычисляем
668 + 1122
902
1,99.
1 = 9,57, т) = 23,14
и (с точностью до трех значащих цифр)
ns| = 238, res* =906, ns^--
Используя затем B9.29), получаем
л _ (906 — 238) + {(906 — 238J + 4 D5\J}1'2
а'~~ 2X451
Если принять за начало отсчета наблюденные средние, то в со-
соответствии с B9.43) будем иметь йо = 0 и оцениваемая прямая
примет вид
Y — 23,14 ==1,99 (X — 9,57), или Y = 1.99Х + 4,01.
Состоятельная оценка о* согласно 29.19 равна s2. = _ „ Ь\,
где бе определяется формулой B9.56). Мы, следовательно, полу-
получаем
7Tf
= 7A + 1,99') <906 ~ <3'98 • 451^ + A'99)' ' 238) = 1'53'
В действительности данные были порождены линейной функ-
функциональной зависимостью (Y — ц) — 2 {X — 1) со случайными нор-
нормальными ошибками б, е, имеющими общую дисперсию ст|=1,
так что найденные оценки, особенно d, оказались довольно хо-
хорошими даже при таком небольшом числе наблюдений, как 9.
Интервальное оценивание и критерии
29.20 До сих пор рассматривались только точечные оценки
параметров. Теперь мы займемся интервальными оценками и
в первую очередь найдем доверительные интервалы (и соответ-
соответствующие критерии) только для одного оц. Эта задача была
решена Кризи A956) для случая, когда известно отношение
дисперсий ошибок Я. Деля ti на Я!/2, мы приходим к случаю
А. = 1, так что без потери общности можно считать дисперсии
ошибок равными. В этом случае функция правдоподобия имеет
вид
ч+Ё8?
B9.58)
независимо от того, имеем мы дело со структурной или с функ-
функциональной зависимостью. Максимизация B9.58) равносильна
минимизации выражения в круглых скобках, которое может
п
быть записано как 2F? + е?). По теореме Пифагора видим,
что при оценивании по методу МП минимизируется сумма квад-
квадратов длин перпендикуляров, опущенных из наблюденных то-
точек на оцененную прямую. Это ясно и интуитивно, если учесть
равенство дисперсий ошибок.
Пользуясь обозначениями
a,=tge, d, = tgS, B9.59)
получаем из B9.29), учитывая инвариантность МП-оценок от-
относительно преобразований, что МП-оценка для tg 20 равна
2*в 2&1 ** B9.60)
tg29 =
1-a?
14-4
Благодаря использованию модуля в знаменателе правой части
B9.60) знак tg 26 совпадает со знаком ai и знаком si4.
В силу B9.18) | и ti некоррелированы тогда и только тогда,
когда ai = 0, а поскольку g и ч\ нормально распределены, то их
выборочный коэффициент корреляции
в этом случае имеет распределение A6.62) или, что эквивалент-
эквивалентно в силу A6.63), статистика
/ = {(п - 2) л2/( 1 - г2)}1'2 B9.61)
имеет распределение Стьюдента с я — 2 степенями свободы. По-
Поскольку
sin2 20 =tg2 20/A +tg220),
то статистику B9.61) можно записать, учитывая B9.60), в виде
520
ГЛАВА 29
Эта статистика может быть использована для проверки гипоте-
гипотезы cci = 0 = 0.
29.21 Если мы хотим проверить гипотезу о том, что ai имеет
некоторое ненулевое значение, то возникает трудность, состоя-
состоящая в том, что коэффициент корреляции между | и г\, равный
согласно B9.18) с а\= о\
Р =
ЯК +
I/2
о\ (под которой, как и до
зависит от неизвестной дисперсии
этого, в случае функциональной зависимости будет пониматься
Sa). Чтобы избавиться от этой трудности, заметим, что при из-
известном ai (и, следовательно, известном 0) можно перейти от
наблюденных значений (gi, щ) к новым (!(, у\\) с помощью пре-
преобразования
I' =rjsin0 + |cos0, \
ti/ = t|cos0 — g sin 0, J
заключающегося в повороте осей координат на угол 0. Таким
образом, вместо проверки гипотезы о том, что а\ приняло неко-
некоторое значение, будет проверяться гипотеза ai =0 = 0 для
преобразованных переменных. Поскольку дисперсии и ковариа-
ции инвариантны относительно ортогонального преобразования,
то B9.62) будет по-прежнему нашей статистикой критерия, надо
только заменить 0 на @ — 0).
Остается еще та трудность, что каждому значению t в
B9.62), измененному таким образом, соответствуют вследствие
периодичности синуса четыре значения 0. Если можно предпо-
предположить, что вероятность неравенства |0 — 0|>я/4 пренебре-
пренебрежимо мала, то указанная трудность исчезает, и мы можем ис-
использовать B9.62) (с заменой 0 на @ — 0)) как для проверки
гипотезы о величине ai = tg 0, так и для нахождения довери-
доверительных границ для 0 и, следовательно, для ai. Доверительные
границы для 8 имеют вид
0 ± —arcsin
2
Г f
L I (n-
sh2-
2)}(S|-s2T)J
s|T1]j J
B9.63)
где t— значение /-статистики Стьюдента, соответствующее п — 2
степеням свободы и выбранному коэффициенту доверия. По-
Поскольку было использовано условие |0 — 0|<;я/4, то данный
метод годится только для больших выборок.
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
Пример 29.2
Для данных примера 29.1 имеем
521
Таблица распределения Стьюдента при числе степеней свобо-
свободы 7 и коэффициенте доверия 0,95 дает t = 2,36. Следовательно,
B9.63) с учетом результатов вычислений для й\ принимает вид
0,35к ± ± arcsin U.72
2 L
B38
X П22
]
J
= 0,35я± y arcsin 0,1742 = 0,35я ± О.ОЗя.
Таким образом, 95-процентные доверительные границы для 0
равны 0,32я и 0,38я. Доверительные границы для «i равны про-
просто тангенсам этих углов 1,58 и 2,53. Вследствие использования
преобразования от ai к 0 при нахождении этих границ МП-оцен-
МП-оценка 1,99 не находится точно в середине между этими границами.
Поскольку число степеней свободы было небольшим, получен-
полученные пределы оказались довольно широкими.
29.22 Тем же способом, каким мы нашли доверительные гра-
границы для ai в 29.21, мы можем найти доверительную область
для всей прямой, если известны обе дисперсии ошибок (Р. Браун
A957)). Действительно, несмотря на доказанную в B9.9) кор-
релированность (е — ai6) с \, можно записать B9.8) в виде
= е —а,б.
B9.64)
Правая часть B9.64) распределена нормально со средним нуль
и дисперсией а\-\- а^, а левая часть B9.64) содержит только
наб g
наблюдаемые величины g,
дует, что величина
и параметры ao, ai. Отсюда сле-
слеar
B9.65)
и а\
имеет распределение %2 с п степенями свободы. Если „б „ „в
известны, то мы без потери общности можем считать их равны-
равными единице, поскольку для этого достаточно разделить ^ на а&
и y\i на ае. Тогда B9.65) примет вид
1 4-or
B9.66)
522
ГЛАВА 29
Можно использовать B9.66) для нахождения доверительной
области для прямой. Для этого из таблиц %2 определим су та-
такое, что
Тогда вероятность выполнения неравенства
B9.67)
будет равна у. Принимая, как и раньше, за начало отсчета на-
наблюденные средние |, р,, можно переписать B9.67) в виде
или
;s-S'-.
B9.68)
Соотношение B9.68) определяет область на плоскости (ao, ai),
ограниченную кривой второго порядка. Эта область будет
100A — у)-процентной доверительной областью для (ao, ai)-
Если увеличить су (т. е. увеличить у), то вновь полученная об-
область будет содержать прежнюю.
Доверительная область будет ограниченной, если кривая
второго порядка есть эллипс, и неограниченной, если она яв-
является гиперболой. При этом может оказаться, что вообще не
существует действительных (ao, ai), удовлетворяющих B9.68).
Эта трудность уже обсуждалась в другом контексте в приме-
примере 20.5.
Мы можем теперь точно так же, как это делалось в 28.26,
считать B9.68) ограничением, которому должна удовлетворять
истинная прямая, и найти затем путем дифференцирования оги-
огибающую семейства всех возможных прямых, которая будет
снова кривой второго порядка. В результате, как показал
Р. Браун A957), получится область на плоскости (X, У), огра-
ограниченная кривой
^=1 + в?, B9.69)
(Y-a.xy-
су-Ьх &2-cY
где а, определяется формулой B9.29) и
а, предполагается положительным, так что Ь2 > Ь\. B9.69) дает
требуемую доверительную область, которая будет гиперболой,
если Ъ\ < су < Ьг, и эллипсом, если^ру > ^2- Если cY < bu то
мы не получим действительной кривой второго порядка.
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ 523
29.23 В B9.69) использована оценка B9.29), которая может
не быть МП-оценкой, если обе дисперсии ошибок известны, как
это предполагалось в 29.22 (см. случай 4 в 29.12).
Следует также обратить внимание на трудность другого
рода. Нахождение доверительных границ для среднего значения
нормального распределения с известной дисперсией с помощью
распределения %2п не является эффективной процедурой. Это
было отмечено в примере 20.5, а также в примере 25.3, где было
показано, что АОЭ соответствующего критерия равна нулю. По-
Поэтому не следует ожидать, что доверительная область B9.69),
которая существенно основана на этой неэффективной процеду-
процедуре, будет эффективной. Здесь она приведена лишь из-за отсут-
отсутствия лучшей.
Линейная функциональная зависимость
между несколькими переменными
29.24 Рассмотрим теперь задачу оценивания линейной функ-
функциональной зависимости к переменных. Чтобы сделать обозна-
обозначения симметричными, мы будем использовать переменные Хи
Х2, .... Xh и фиктивную переменную ^о(= 0. которые будут
связаны соотношением
2] а,Х, = 0. B9.70)
/=о
Все переменные, кроме Хо, подвержены ошибкам, так что на-
наблюдаемые величины |,- имеют вид
Ъп = Х,1 + й„, г=1, 2, ...,«; /=1, 2, ..., к. B9.71)
Конечно, |ог = XOi = 1 для всех L Как и раньше, мы предполо-
предположим, что б,-,- нормально распределены, не зависят от X и друг
от друга и имеют нулевые средние; кроме того, чтобы сделать
параметры идентифицируемыми, будем предполагать, что отно-
отношения дисперсий ошибок известны. Если предположить, что
Рб, ^_ Рб2 _ _ D6k ,„Л ~~,
где Я известны, то, деля |,- на \f^t > можно вообще исключить
%i из рассмотрения. Полученные нормированные переменные
будут иметь одну и ту же неизвестную дисперсию, скажем ^d-
Логарифм функции правдоподобия случайных ошибок будет
иметь тогда вид
к п
log L = const - nk log as - Д- У У (|У1 - Xnf. B9.73)
2аь p, JT,
524
ГЛАВА 29
Если рассматривать наши данные как п точек в ^-мерном про-
пространстве, то задача будет заключаться в определении гипер-
гиперплоскости B9.70). Максимизация функции правдоподобия экви-
эквивалентна минимизации двойной суммы в B9.73), представляю-
представляющей собой сумму квадратов расстояний от наблюденных точек
? до оцененных точек X, как в B9.58). Эта сумма минимальна,
когда оцененные точки X являются основаниями перпендикуля-
перпендикуляров, опущенных из точек ? на гиперплоскость. Таким образом,
МП-оценка гиперплоскости определяется так, чтобы сумма квад-
квадратов расстояний от наблюденных точек до этой плоскости была
минимальна.
29.25 Сформулированная выше задача довольно часто встре-
встречается в математике. Так как расстояние точки (?ц, ?гг, ..., ?m)
от гиперплоскости B9.70) равно
то она заключается в минимизации суммы-
*-Ш*ь
2j
/=о
Удобно сформулировать эту задачу также следующим образом:
минимизировать сумму
S' = S(S«/^J B9.74)
при ограничении
2 а2 = const.
В соответствии с B9.70) можно без потери общности считать
константу равной 1. Тогда задача будет заключаться в нахожде-
нахождении безусловного минимума выражения
где \х. — неопределенный множитель Лагранжа. Дифференцируя
по аи получаем
/ = 0,1, ...,*. B9.75)
Первое из этих уравнений, соответствующее / = 0 (|Ol=l),
может быть отброшено, если совместить начало отсчета со сред-
средним величин |, т. е. выбрать его так, чтобы выполнялись соот-
соотношения
2 &/i = o.
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ 525
Обозначая Cij выборочную ковариацию i-й и /-й вариант, из
B9.75) получаем
к
2с1/°/ = -|гаь /=1> 2' •••' *• B9-76)
/='
Перенося все члены в левую часть и исключая а3- из этой систе-
системы уравнений, находим
Сп-— с»
С12
СП
Я
С 23
п
clk
••за
с -*
** T
= 0. B9.77)
Если разделить i-ю строку на 5,, выборочное стандартное
отклонение |ь а /-й столбец — на S,-, и обозначить гГ] выбороч-
выборочные коэффициенты корреляции, то B9.77) примет вид
1—
гп
r23
г13
I - вз
г ik
г,*
— 9ft
=0,
B9.78)
где 6/ = /(j)
Можно решить B9.78) относительно (л и найти затем clj с
помощью B9.76). На практике обычно используется итерацион-
итерационный процесс, при котором а;- вычисляются одновременно. Полу^
ченные решения будут МП-оценками для <zj.
Заметим, что B9.78) является уравнением k-n степени отно-
относительно \х. и имеет k корней (которые неотрицательны, так как
корреляционная матрица всегда неотрицательно определена).
Нам нужен наименьший из этих корней. Действительно, если
мы умножим 1-е уравнение в B9.75) на щ и сложим последние
k уравнений, то найдем, что сумма в левой части будет равна
B9.74). Следовательно, сумма
Е
= ц B9.79)
должна быть минимальной.
29.26 Метод, предложенный в 29.22 для случая двух пере-
переменных, можно обобщить с целью получения поверхностей вто-
второго порядка, ограничивающих доверительные области для
526
ГЛАВА 29
аь «2, ..., afi в ^-мерном пространстве. Аналогичным образом
может быть найдена также поверхность второго порядка,
«внутри» которой лежит гиперплоскость B9.70), представляю-
представляющая функциональное соотношение. Конечно, такие области труд-
трудно представить наглядно и невозможно изобразить при к > 3.
Этот вопрос подробно рассмотрен Р. Брауном и Фередеем
A958). (Некоторые из их результатов приведены в упражнениях
29.6—29.8.) Замечания, сделанные в 29.23, остаются справед-
справедливыми и в этом случае.
Виллегас A961) рассматривает случай, когда дисперсии ошибок неиз-
неизвестны и оцениваются из повторных наблюдений (см. 29.12) методом МП, и
использует полученные результаты для нахождения доверительной области для
линейного соотношения A964). Его исследование охватывает также случай
коррелированных ошибок.
Спрент A966) дает общий метод оценивания коэффициентов, когда
ошибки коррелироваиы.
29.27 До сих пор мы в основном имели дело с ситуациями,
когда идентифицируемость обеспечивалась либо предположе-
предположениями, касающимися дисперсий ошибок, либо повторными на-
наблюдениями. Возникает вопрос, существует ли какой-нибудь
другой путь, позволяющий добиться успеха в задаче оценива-
оценивания линейной функциональной или структурной зависимости.
Чтобы ответить на него, мы рассмотрим другие подходы к этой
проблеме.
Метод смешанных семиинвариантов Гири
29.28 Рассмотрим сначала метод, предложенный Гири
A942b, 1943) для модели структурной зависимости, но который
применим также и в случае функциональной зависимости.
Запишем линейное структурное соотношение в симметричной
форме:
, -f а2х2 + ... + akxk = 0. B9.80)
Величины Xj наблюдаются с ошибками 6j, так что в действи-
действительности мы наблюдаем величины |j = Xj + 6j. Предполагается,
что ошибки 6j не зависят от Xj и друг от друга. Рассмотрим со-
совместную производящую функцию семиинвариантов случайных
величин |j. Она равна сумме п. ф. с. Xj и п. ф. с. ошибок 63\
Смешанные семиинварианты последних, согласно примеру 12.7,
равны нулю. Следовательно, смешанные семиинварианты двух
систем случайных величин gj и х$ совпадают. Обозначая хх семи-
семиинварианты Xj и х? семиинварианты ?j и записывая порядки
семиинвариантов в скобках, получаем
ил(Р1, Ръ •••> Pk) = xiiPu P2 РкУ B9.81)
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
527
при условии, что по крайней мере два из рг больше нуля. Таким
образом, смешанные семиинварианты Xj могут быть оценены
путем оценивания соответствующих смешанных семиинвариан-
семиинвариантов %,.
29.29 Совместная х.ф. случайных величин Xj, измеренных от-
относительно их истинных средних, равна
Ф (*i, h, ..., /*) = М | ехр ( g в,х,) |, B9.82)
где 0j = it]. Дифференцируя B9.82) по каждому из 8j и исполь-
используя B9.80), получаем
к
М f B ) f2 W) ) B9.83)
2 Ж" = М f B а^) ехР f2
Отсюда для п. ф. с. i|> = log <p находим
= 0-
2a>w=i2a/w==0-
B9.84)
Поскольку по определению
•¦ Рь
то в силу B9.84) для всех
а.зф,-!- 1, Р2 Pk)
0 имеем
Р2+ 1
p2, ..
• •. Pk)+ •••
, л+1) = 0. B9.85)
Соотношения B9.85) в силу B9.81) выполняются также для
смешанных моментов наблюдаемых величин ?, если по крайней
мере два аргумента каждого семиинварианта больше нуля, т. е.
если два или более рг > 0. Приведенные рассуждения сохра-
сохраняют силу и в случае функциональной зависимости. Случайная
величина Xj, над которой было произведено п наблюдений, тогда
заменяется набором из п фиксированных значений Хп, ..., Xin.
Если эти значения рассматривать как конечную совокупность,
которая извлечена без остатка, то ход рассуждений не меняется.
29.30 К сожалению, метод оценивания aj с помощью B9.85)
(с заменой смешанных семиинвариантов их оценками) совер-
совершенно непригоден в случае, когда xj имеют совместное нормаль-
нормальное распределение, т. е. в наиболее важном для практики слу-
случае. Действительно, суммарный порядок каждого семиинвариан-
семиинварианта в B9.85) равен 2^+ 1>3, так как два или более pi > 0.
Однако, как было показано в 15.3, все семиинварианты порядка
528
ГЛАВА 20
в случае нормального распределения равны нулю. Таким
образом, в данной ситуации уравнения B9.85) оказываются
бесполезными. Это неудивительно, так как мы, имея здесь дело
со случаем неидентифицируемости, рассмотренным ранее в 29.9,
не сделали никаких дополнительных предположений, чтобы
обеспечить идентифицируемость.
Даже в случае распределений, отличных от нормального,
остается неясным, какие из соотношений B9.85) выбрать для
оценивания k коэффициентов а,. Нам нужно только k уравне-
уравнений, но мы можем выбрать их бесконечным числом способов
(в предположении, что все семиинварианты существуют). Есте-
Естественно использовать уравнения наиболее низкого порядка, беря
самые малые ри так как тогда оценки смешанных семиинва-
семиинвариантов в B9.85) будут иметь меньшие выборочные флуктуации
(см. 10.8(д)). Однако при этом следует соблюдать осторожность,
даже в простейшем двумерном случае, который мы сейчас рас-
рассмотрим подробнее.
29.31 Рассмотрим случай k = 2, характеризуемый соотно-
соотношением B9.13), которое мы запишем в виде aiX — г/= 0 и кото-
которое представляет собой частный случай B9.80) при х = Х\,
у == х2, «2 = —1, ссо = 0 (за начало отсчета приняты средние х
и у). B9.85) приводит к соотношениям
а,х (р1 + 1, р2) — х\ри р2 + 1) = 0
или, если х (pi + 1, р2) Ф 0,
*w,/>,-rw B986)
1 *(Pi + 1. P2) v ;
Последнее соотношение выполняется при любых pi, p2 > 0 и,
следовательно, как замечено в 29.30, бесполезно в случае нор-
нормального распределения. Однако даже если (|, г\) распределены
не по нормальному закону,.их маргинальные распределения мо-
могут оказаться симметричными, и тогда все нечетные смешанные
моменты и, следовательно, смешанные семиинварианты будут
равны нулю. Таким образом, даже при отсутствии нормальности
мы должны позаботиться о том, чтобы сумма (р\+р2-{-1)
была четной. Приведем соотношения наиболее низкого порядка,
которые обычно оказываются полезными:
р, = 1, р2==2: а, = х13/х22) j
р, = 2, /?2=1: а1=х22/х31. J
В этих соотношениях используются семиинварианты (|, tj), ко-
которые нужно оценить по наблюдениям.
Остается нерешенным вопрос о том, какое из соотношений
B9.87) или их комбинацию использовать при решении конкрет-
конкретной задачи. Мадански A959) предлагает находить линейную
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
529
комбинацию, имеющую минимальную дисперсию. Однако для
этого требуются чрезвычайно громоздкие выкладки, и решение
не всегда возможно, если нет дополнительных предположений о
распределении (g, tj).
Даже если симметрия отсутствует, исходное распределение
может оказаться таким, что смешанные семиинварианты в зна-
знаменателе B9.87) будут равны или близки к нулю. В этом слу-
случае оценка будет иметь сильные выборочные флуктуации.
Пример 29.3
Рассмотрим данные примера 29.1 с новой точки зрения.
Имеем
s2l = S (I - IJ (л - Л") = 445,853 = Щ1П,
*12 = 2 (g - I) (Л - ЛJ = 542,877 = гцх12,
*3! = 2 (g - IK (Л - Л) = 24 635,041 =
S22 = 2 (I - IJ (r\ - ЛJ = 46 677,679 =
где п = 9. Используя C.81), находим оценки семиинвариантов:
х21 = !л2! = 49,539,
х« = 1*12 = 60,320,
*3i = M-3I — ЗцгоПп = — 1232,45,
Х22 = ^22 - ^02 ~ 2М>'1 = ~" 2493'613'
Подставляя эти оценки в уравнение B9.86), получаем оценку
для <х\:
Второе уравнение B9.87) дает более близкое к истине значение:
Л =2, й = 1: ^ = ^fftf-=2,02. B9.89)
Может показаться более предпочтительным вместо семиинва-
семиинвариантов в этих уравнениях использовать ^-статистики. Посколь-
Поскольку мы имеем дело с центральными моментами, то в соответствии
с 13.2 получаем
kot ==
k, 2 = -
(я— 1)(гс — 2)' 'м2 (п—\](п — 2)'
, п(п+ 1) s3) — 3 (я— l)sns20
*31 ~ («- 1) {« — 2) (п — 3)
п (я + 1) s22 — 2 (я — 1) S, | — (п — 1) s20502
(it- l)(«-2)(«-3)
530
ГЛАВА 29
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
531
Отсюда видно, что использование й-статистик вместо выбороч-
выборочных семиинвариантов не меняет значения оценки B9.88). Что
касается оценки B9.89), то она теперь равна
k22 _ — 2308,79
ft.ii — — 1057,19
= 2,18.
Следует напомнить, что эти данные были в действительности
порождены нормальными случайными величинами, так что не-
неудивительно, что оценка B9.88) далека от истинного значе-
значения (МП-оценка в примере 29.1 была равна 1,99). Это полно-
полностью согласуется с замечаниями, сделанными в 29.30—31, так
как, по существу, мы оцениваем здесь отношение двух нулевых
величин.
Отметим, что оценка B9.89) оказалась немного ближе к
МП-оценке, чем более точная на первый взгляд оценка B9.90).
«Уточнение» это, однако, только кажущееся, так как хотя &-ста-
тистики являются несмещенными оценками для семиинвариан-
семиинвариантов, в данном случае оценивается отношение семиинвариантов,
так что смещены обе оценки. Оценка B9.89) вычисляется не-
несколько проще.
Читатель может прозерить, что если использовать первое из
уравнений B9.87), то мы получим \ii3 = 10003, к13 = —5131, от-
откуда найдем оценку xi3/x22 = 2,06, которая очень близка к
B9.89).
В случае больших выборок из нормального распределения
ни одна из рассмотренных оценок не будет надежной.
29.32 Резюмируя, можно сказать, что метод оценивания cti
с помощью смешанных семиинвариантов, хотя и не требует до-
дополнительных предположений, оказывается легко уязвимым,
причем с несколько неожиданной стороны. Оценкой cti служит
отношение семиинвариантов, и если семиинвариант в знамена-
знаменателе равен нулю или близок к нему, то оценка может иметь
сильные выборочные флуктуации, которые не только не исчезают
при возрастании объема выборки, а, наоборот, могут увели-
увеличиться.
Использование дополнительной информации:
инструментальные переменные
29.33 Предположим теперь, что вместе с g и ц наблюдается
случайная величина ?, коррелированная с ненаблюдаемой истин-
истинной переменной х и некоррелированная с ошибками наблюде-
наблюдений. Знание ?, очевидно, дает дополнительную информацию о
значении х, которую можно попытаться использовать. Перемен-
Переменная Z, называется инструментальной, поскольку она играет толь-
только вспомогательную роль при оценивании зависимости между у
и х. Мы будем считать, что %, ц и ? измеряются относительно
своих выборочных средних.
Рассмотрим следующую оценку для аь
п
«i = 2
п
2
i
B9.91)
которую можно записать также в виде
п п
«1 Zi feiei — 2л ьгЛг
«1 2 Zi (xi + б() = 2 Zi («о + ЩХг + Si).
или
B9.92)
Все выборочные ковариации в B9.92) сходятся по вероятности
к своим математическим ожиданиям, поэтому в силу некорре-
некоррелированности Z, с б и е из B9.92) получаем
a, cov (?, х) -> а, cov (?, х). B9.93)
В том и только том случае, когда
lim cov ft, х)фО, B9.94)
из B9.93) следует, что
•«1.
B9.95)
т. е. оценка ах состоятельна. Заметим, что мы не делали отно-
относительно переменной ? никаких предположений, кроме ее кор-
релированности с х и некоррелированности с ошибками.^В част-
частности, она может быть дискретной случайной величиной. В уп-
упражнении 29.16 выясняется вопрос об эффективности а\. См.
также упражнения 29.15, 29.16.
29.34 Независимо от вида инструментальной переменной она
не только позволяет нам получить состоятельную оценку B9.91)
для аь но также, как показал Дёрбин A954), позволяет найти
доверительные границы для (oio, o&i).
В силу B9.8) ti — а_, — а,| = s — а,6. Поскольку перемен-
переменная ? некоррелирована с б и е, она некоррелирована и с
(,,,__„„ _«,!). Отсюда следует (см. 26.23(а)), что при задан-
заданных а0 и ах выборочный коэффициент корреляции г между g
и (ti — а0—а]!) распределен так, что
t2 = (n — 2)л7A -г2) B9.96)
имеет ^-распределение Стьюдента с п —2 степенями свободы.
Обозначая t]-y значение t2, удовлетворяющее условию
Р [/2 < *?_Y} = 1 - у,
532
ГЛАВА 29
мы получаем (учитывая монотонную зависимость г2 =
= *</{<*+ («-2» от Р)
- а, - а,1J
или
' =l-v- B9.97)
Таким образом, если не считать зависимости от наблюдае-
наблюдаемых величин Z,, ц, ?, соотношение B9.97) зависит только от ао
и ai. Оно определяет доверительную область на плоскости
(ao, ai) с коэффициентом доверия 1—у, ограниченную кривой
второго порядка. Если параметр сс0 известен, то B9.97) дает
доверительный интервал для аь В этом случае t2 имеет п— 1
степеней свободы, поскольку оценивается только один параметр.
Позже мы увидим, что для некоторых инструментальных пере-
переменных специального вида можно получить доверительный ин-
интервал для ai даже при неизвестном ао.
29.35 Обычно при использовании инструментальных пере-
переменных возникает практическая трудность нахождения такой
случайной величины, относительно которой было бы известно,
что она коррелирована с х и некоррелирована с б и е. Лишь
в редких случаях мы знаем систему настолько хорошо, чтобы
быть уверенными в правильности предположений такого рода.
Однако если в качестве инструментальной переменной мы берем
дискретную «группирующую» величину (т. е. мы классифици-
классифицируем наблюдения в соответствии с принадлежностью к опреде-
определенным группам и рассматриваем эту классификацию как дис-
дискретную случайную величину), то выполнение указанных усло-
условий становится более вероятным. Действительно, из физических
соображений может быть известно, что наблюдения разделяются
на несколько групп, связанных с истинными значениями х, тогда
как ошибки наблюдений никак не связаны с классификацией.
Рассмотрим, например, зависимость между давлением и объе-
объемом, приведенную в 29.1, и предположим, что соотношение B9.2)
выполнено. Логарифмируя, получаем
logP = C — vlog V.
Последнее соотношение принадлежит к рассматриваемому нами
типу с ао = С и ai = у. (См., однако, 29.55.)
Пусть известно, что определение объема проводилось то од-
одним методом, то другим, причем метод 1 дает результаты, не-
несколько отличающиеся от результатов, полученных с помощью
метода 2. Классификация метод 1 — метод 2 будет тогда корре-
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
533
лирована с определением объема. Ошибки же определения объ-
объема и, конечно, давления (которое вообще определяется одним
методом для всех наблюдений) могут быть совершенно некорре-
некоррелированными с этой классификацией. Таким образом, мы полу-
получаем инструментальную переменную специального вида, свя-
связанную с группировкой на два класса.
Инструментальные переменные такого вида мы изучим под-
подробнее.
Две группы равного объема
29.36 Предположим, что имеется четное число я наблюде-
наблюдений, которые разделены на две группы, состоящие из я/2 = т
наблюдений каждая. (Вопрос о том, как должно проводиться
распределение по группам, будет рассмотрен чуть позже.) Пусть
|—выборочное среднее g в первой группе, а %'— во второй
группе. Аналогично определяются г\ и fj'. Мы можем оценить
аь полагая инструментальную переменную ? равной +1 для
каждого наблюдения из первой группы и —1 для каждого на-
наблюдения из второй группы. B9.91) в этом случае принимает
вид
а, =-3^4, B9.98)
откуда в соответствии с принятой моделью получаем также
оценку для ао:
ао = (л' + л)-а1(|/ + |). B9.99)
Геометрически процедура означает, что мы делим точки на
плоскости (g, ц) на две равные группы в соответствии со зна-
значением g и определяем центр тяжести каждой группы. Оценкой
для истинной линейной зависимости служит тогда прямая, сое-
соединяющая эти центры тяжести.
Вальд A940), получивший этот результат, показал, что оцен-
оценка B9.98) для ai состоятельна, если группировка не зависит от
ошибок и если значения х удовлетворяют соотношению
lim inf | х' — х | > 0,
B9.100)
которое совпадает с B9.94), поскольку в данном случае
cov(b,,x) = x' — х. Условие B9.100), очевидно, не будет выпол-
выполнено, если наблюдения разделены на две группы случайным об-
образом, так как тогда lim \ х' — х\ = 0. (См. упражнение 28.16,
П-*оо
в котором рассматривается простая линейная модель.) Неудо-
Неудовлетворительной будет также классификация, относящая т наи-
наименьших значений | к одной группе, а т наибольших — к другой.
534
ГЛАВА 29
Нейман и Скотт A951) показали, что в этом случае оценка не
будет состоятельной. Действительно, легко видеть, что при такой
классификации группировка в общем случае будет зависеть от
ошибок. Из сказанного вытекает, что метод Вальда представляет
интерес только тогда, когда имеется априорная информация
(вроде упомянутой в 29.35), обосновывающая B9.100).
29.37 Оценку B9.98) можно использовать для оценивания
дисперсий ошибок. Действительно, поскольку в силу B9.18)
(^^ , tj), B9.101)
то достаточно подставить состоятельные оценки s
и s?T) вме-
вместо дисперсий и ковариаций (умножив их на ~~~\ Для устра-
устранения смещения) и а.\ вместо ось чтобы получить нужные оценки
B9.102)
Пример 29.4
Применим в чисто иллюстративных целях этот метод к дан-
данным примера 29.1, где имеется девять наблюдений. Мы опустим
медианное значение g и разделим оставшиеся наблюдения на
две группы:
g: 1,8 4,1 5,8 7,5; 10,6 13,4 14,7 18,9
ц: 6,9 12,5 20,0 15,7; 23,4 30,2 35,6 39,1
Вычисляем
| = 19,2/4 = 4,800,
fj = 55,1/4 == 13,775,
V = 57,6/4 = 14,400,
fj' = 128,3/4 = 32,075,
откуда находим оценку
32,075— 13,775
14,400 — 4,800
достаточно близкую к истинному значению 2. Для взятых восьми
наблюдений вычисляем s| = 29,735, 5^ = 112,709, sgT)== 56,764.
Подставляя полученные значения в B9.102), получаем оценки
$2 = -0,054, s2=5,16,
которые оказываются очень плохими (истинные значения рав-
равны 1). Значение s'f даже отрицательно и, следовательно, «не*
возможно».
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
535
Легко видеть, что использованный метод действительно
вполне может привести к неточным оценкам для дисперсий оши-
ошибок. Если истинные значения (х, у) отстоят друг от друга до-
довольно далеко по сравнению с ошибками наблюдений, то наблю-
наблюденные значения (g, ti) будут сильно коррелированы и две линии
регрессии будут близки одна к другой, а оценка ах будет близка
как к коэффициенту регрессии ч\ по g, равному s.Jsl, так и
к величине s^js^, обратной коэффициенту регрессии g no г\. Та-
Таким образом, в соответствии с B9.102) как s\, так и s\ будут
близки к нулю и совсем незначительные изменения ах будут при-
приводить к сильным изменениям этих оценок. В данном примере
корреляция между g и ч\ равна 0,98, и поэтому даже небольшого
отклонения а\ от истинного значения cti оказалось достаточно,
чтобы сильно сдвинуть s\ вниз, a s\ вверх.
29.38 Вальд A940) получил также доверительный интервал
для oci, применив следующую процедуру. Для каждой из двух
групп вычисляются суммы квадратов и произведений относи-
относительно их средних и определяются объединенные оценки, каждая
из которых основана на (т — 1) + (т — 1) = л—2 степенях
свободы,
я —2
п — 2
«-2
?=1
t=l
i=l
t.
B9.103)
Эти три оценки в предположении нормальности распределены
независимо от средних I, V, fj, fj' и, следовательно, независимо
от оценки B9.98). Подставляя B9.103) в B9.101), мы получаем
следующие случайные величины (еще зависящие от ся):
С2 — С2 С /„ С2 — С2 „С fOQ 1 П4Л
°а — °| <->in/ai' ^s — ^t» ai^in- (гули*)
Рассмотрим теперь сумму
[т
— ЩЬ) — (r\ — a3 —
-f
(=1
536
ГЛАВА 29
ФУНКЦИОНАЛЬНАЯ Й СТРУКТУРНАЯ ЗАВИСИМОСТЬ
537
Мы видим, что (я — 2)S2 является суммой двух сумм квадратов
т центрированных независимых нормально распределенных слу-
случайных величин (r\i — щ — aih)- Из B9.8) следует, что каждая
из них имеет дисперсию а2. + и\о\. Таким образом, случайная
величина
(а - 2) S2
имеет распределение %2 с п — 2 степенями свободы. Определим
теперь случайную величину
и = |A' -
= т«л" - «о ~ «iIO — (л — а0 — а,|)} = у{(ё' - а,50 - (ё - а,б)}.
Две компоненты в правой части, будучи функциями от средних
значений ошибок в двух разных группах, распределены незави-
независимо. Таким образом, случайная величина и распределена нор-
1 Iffg + a/a») I
1 Iffg + a/a») I , 2 .
мально со средним нуль и дисперсией -j-2 — Т^е
+ a]afj. Кроме того, и зависит только от V, I, ц' и х\ и, следо-
следовательно, распределена независимо от S2. Отсюда следует, что
статистика
имеет распределение Стьюдента ел — 2 степенями свободы. Для
любого заданного коэффициента доверия 1 —у мы имеем
/?_Y} = 1 — Y-
B9.107)
Крайними значениями ai, для которых выполняется условие
B9.107), согласно B9.106) являются корни уравнения
4/f
Г - Ща, - а,J = -
ИЛИ
,-(!'-1J}
+ 2«/la1(l'-|J ^S|T,j
+ {:%LSan-fl?(i'-I)8} = 0. B9.108)
Это квадратное уравнение относительно ai с дискриминантом,
равным
Первое слагаемое в B9.109) согласно неравенству Коши отрица-
отрицательно, а второе положительно, так как множитель в скобках
равен —И
п* ~aihf- Если п достаточно велико, то поло-
<U
жительное слагаемое, имея в своем составе множитель
будет больше отрицательного слагаемого, имеющего множитель
(At2_ \2
I —) . В этом случае B9.108) будет иметь два действительных
корня, являющихся доверительными границами для аь
29.39 Аналогично можно найти доверительную область для
(ao, ai). Возьмемв качестве оценки для ао оценку а0, определен-
определенную формулой B9.99), и рассмотрим случайную величину
v = а0 — а0 = (fj' + л) — а0 — а, (§' +
B9.110)
которая нормально распределена с нулевым средним и диспер-
дисперсией
равной дисперсии и в 29.38. Легко показать, что v, как и ы, рас-
распределена независимо от S2, так что, заменяя и в B9.106) на v,
мы получим ^-статистику Стьюдента с п — 2 степенями свободы.
Если параметр ai известен, то можно использовать эту стати-
статистику для нахождения доверительного интервала для ао. Это
делается просто, так как ао входит только в числитель t. Однако
этот случай не имеет большого практического значения, по-
поскольку редко бывает, что мы знаем ai и не знаем ао-
Можно, однако, показать, что и и v распределены независимо.
Учитывая определения ни», для этого достаточно показать, что
не зависит от
Последние две случайные величины нормально распределены,
причем первая из них имеет нулевое среднее. Их ковариация
равна
Каждое из первых двух математических ожиданий есть матема-
математическое ожидание разности одинаково распределенных квадра-
квадратов и, следовательно, равно нулю. Третье математическое ожи-
ожидание есть математическое ожидание разности одинаково рас-
распределенных произведений и тоже равно нулю. Таким образом,
538
ГЛАВА 29
ковариация равна нулю и рассматриваемые случайные величины
независимы, а следовательно, независимы также и и v.
Из доказанного следует, что статистика
имеет распределение %2 с 2 степенями свободы, и поэтому ста-
статистика
F =
A/2) (и2 + v2)
S2/n
B9.111)
имеет распределение дисперсионного отношения с B, п — 2) сте-
степенями свободы. Этот факт позволяет найти доверительную об-
область для а0 и oci, которая (см. упражнение 29.5) представляет
собой эллипс, как этого и следовало ожидать, принимая во вни-
внимание независимость и нормальность случайных величин и и v
и их линейную зависимость от ai и ссо.
Полученная доверительная область не совпадает с довери-
доверительной областью, получаемой из B9.97) при ?=±1. Только
что рассмотренная доверительная область основана на распреде-
лении случайной величины F — f —J2—' тогда как случай-
случайная величина в B9.97), числитель которой зависит только от и2,
не является монотонной функцией от F. Интуитивно кажется, что
последняя область должна приводить к лучшему интервалу, од-
однако нам не известно никаких результатов, относящихся к этому
вопросу.
Три группы
29.40 Нэйр и Шривастава A942), а также Бартлетт A949)
обратили внимание на то, что эффективность метода группи-
группировки может быть увеличена, если использовать вместо двух
три группы и брать в качестве оценки ai угол наклона прямой,
соединяющей центры тяжести двух крайних групп. (Мы уже
фактически, поступили так в примере 29.4, отбросив централь-
центральное наблюдение.) Метод трех групп может быть описан сле-
следующим образом.
Разделим п наблюдений на три группы, первая из которых
будет содержать пр\ наблюдений, а третья — пр2. Вопрос о вы-
выборе значений р\ и р2 будет рассмотрен ниже. Метод двух групп
представляет собой частный случай, соответствующий р\ =
= ^2= 1/2 при четном п (средняя группа не содержит ни одной
точки) и р\ = р2 — —о— ПРИ нечетном п (как было в при-
примере 29.4). Рассматриваемая группировка соответствует инстру-
инструментальной переменной ? в B9.91), принимающей значения
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
539
+ 1,0 и —1 для третьей, второй и первой групп соответственно.
Оценка, как и раньше, имеет вид
_TJ'-Tj
B9.112)
с той лишь разницей, символы со штрихами относятся к третьей
группе, а без штрихов — к первой. Эта оценка будет состоятель-
состоятельной при тех же предположениях, что и раньше.
Нэйр и Шривастава A942) и Бартлетт A949) брали р\ =
= р2 = 1/3. В этом случае, аналогично 29.38, мы определим
S\, S^ и S|r,» объединяя внутригрупповые наблюденные диспер-
дисперсии и ковариации и деля на число степеней свободы, равное
теперь п — 3. Как и прежде, B9.104) определяет S\, и Sjj, и S2 =
= S| + afSj. Статистика (п — 3) 52/(а| + с^сф имеет распреде-
распределение х2 с п — 3 степенями свободы, а статистика
не зависит от S2 и имеет нормальное распределение с нулевым
средним и дисперсией о\ + а'сг|. Таким образом, аналогом
B9.106) будет статистика
6)
B9.113)
имеющая распределение Стьюдента с п — 3 степенями свободы,
и мы сможем, как и раньше, найти доверительные интервалы,
используя B9.113)-. Аналогично обобщаются на случай трех
групп также результаты 29.39.
29.41 Вопрос об оптимальном выборе р\ и pi изучался для
различных распределений х в предположении, что х измеряется
без ошибки. В упражнении 29.11 приведен результат Бартлетта
для прямоугольного распределения. Другие случаи рассматри-
рассматривались Тейлом и Ван Изереном A956) и Гибсоном и Джоуэт-
том A957). В целом они указывают на то, что для довольно
широкого класса симметричных распределений х следует брать
приблизительно pi = p2= 1/Z, что обеспечивает эффективность
80—85% по сравнению с НК-оценкой, дающей минимальную
дисперсию.
Данные об относительной эффективности двухгруппового и
трехгруппового методов в случае наблюдений с ошибками не-
неполны и противоречивы. Нэйр и Банерджи A942) на основании
выборочных экспериментов сделали вывод о том, что метод трех
групп более эффективен. Однако пример, данный Мадански
A959), приводит к прямо противоположному заключению..
540 . ГЛАВА 29
Пример 29.5
Примененный к данным примера 29.1 метод трех групп
с р\ = pi = 1/3 приводит к трем наблюдениям в каждой группе.
Находим
X =15,67, |=3,90,
fj' = 34,97, fj = 13,13,
откуда
34,97— 13,13
15,67-3,90
=1'86.
Полученное значение близко к значению 1,91, найденному в при-
примере 29.4 методом двух групп, но отстоит несколько дальше от
истинного значения 2.
Гальперин A961b) дает обоба1ение B9.108) и B9.111), при
котором требуется не группировка, а предположительное зна-
знание индивидуальных значений xit позволяющее максимизировать
вероятность получения узких доверительных границ или обла-
областей. Этот метод особенно ценен при малых п.
Использование рангов
29.42 Завершая обсуждение методов группировки и инстру-
инструментальных переменных, рассмотрим использование рангов.
Предположим, что мы можем установить истинный порядок рас-
расположения отдельных наблюдений, исходя из порядка наблю-
наблюденных значений одной из переменных. То есть мы предпола-
предполагаем теперь, что не только две или три группы могут быть пра-
правильно упорядочены, но что значения х настолько удалены друг
от друга по сравнению с их дисперсиями ошибок, что порядок
наблюденных значений | совпадает с порядком ненаблюденных
истинных значений х. Мы будем считать, что индексы соответ-
соответствуют порядку наблюдений. Мы по-прежнему будем считать
ошибки независимыми и предположим, что число наблюдений
четно и равно 2т = п. Каждой паре (|г, "Пг) соответствует пара
(im+i. Цт+г) • В качестве оценки для ai можно взять среднее или
медиану следующих т оценок для ось
p-, i= 1, 2, ..., т.
B9.114)
С другой стороны, можно рассмотреть все возможные оценки
вида
a(i, j) = !?' ~ !*' . /, /=1, 2, ..., я?, B9.115)
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
541
Число таких оценок равно у п (п— 1). В качестве окончатель-
окончательной оценки для aj снова можно взять среднее или медиану всех
таких оценок.
В этих методах, принадлежащих Тейлу A950), очевидно,
используется больше информации, чем в ранее рассмотренных
методах группировки. Использование медианы вместо среднего
позволяет, как будет показано в 29.43, довольно легко строить
доверительные интервалы.
Пример 29.6
Обращаясь снова к данным примера 29.1 и выбрасывая
среднее значение, находим четыре оценки вида B9.114):
23,4 - 6,9 _ 30,2-12,5 _ Q „
10,6-1,8 ~ 1'°'°' 13,4-4,1 —'.Уиа,
35,6 -.20,0 , 7Ко 39,1 - 15,7 , QQT
14,7-5,8 г==1'75'3' 18,9-7,5 ==1'887-
Медиана (полусумма средних значений) равна 1,88. Среднее
равно 1,85.
В случае применения формулы B9.115) можно использовать
все девять наблюдений. Мы получим следующие значения для
a(i, /): —2,529; —1,154; 0,708; 0,833; 0,941; 1,293; 1,342; 1,400;
1,458; 1,479; 1,544; 1,618; 1,677; 1,753; 1,797; 1,875; 1,883; 1,892;
1,903; 1,981; 2,009; 2,053; 2,179; 2,225; 2,385; 2,400; 2,429; 2,435;
2,458; 2,484; 2,764; 2,976; 3,275; 4,154; 4,412; 5,111. Медиана
(среднее между восемнадцатым и девятнадцатым значениями)
равна 1,90. Среднее равно 1,93.
29.43 Теперь мы откажемся от условия нормальности ошибок
и наложим более слабое ограничение на разности (si — ai6f),
заключающееся в предположении, что они имеют одно и то же
непрерывное распределение для всех I. Пользуясь терминоло-
терминологией 28.7, можно сказать, что ошибки х\ — ao — cciJj однородны
(кроме того, добавляется непрерывность). Отсюда следует, что
вероятность того, что одно значение, скажем е* — ai6"i, превос-
превосходит другое Ът+% — ai6m+i, равна 1/2.
Поскольку в силу B9.114)
п(;\ 4m+i-i\i , (T|m-n-°iEm.n)-(Tl(-q,Sf)
а (I) = -= z— = Щ -\- -. z : ,
Sm+i — It lm+i ~li
то мы получаем
a (i) — Щ — .
S/71+1 Si
Так как знаменатель |m+i — |f положителен, то вероятность не-
неравенства a(i) —ai > 0 равна 1/2. Отсюда следует, что вероят-
вероятность того, что точно / из (fl(t) — ai) больше нуля, т. е. a{i)>a.i,
542
глава па
дается биномиальным распределением и равна m U^, так
что вероятность того, что г наибольших a(i) больше oci и г
наименьших a(i) меньше ось равна *)
P{a(r)<ai<a(m-r+l)}= 1-
2т ¦
B9.116)
1=0
Последняя вероятность в соответствии с 5.7 может быть выра-
выражена в терминах неполной бета-функции. B9.116) дает дове-
доверительный интервал для cci.
29.44 Делая дополнительное предположение, что б и 8 имеют
нулевые медианы, мы получаем
При любом заданном ai можно расположить значения Z\ =
= г|г — oci|i в порядке возрастания и, как и в предыдущем слу-
случае, получить **)
г
2()^г- B9.117)
1=о
С помощью этого метода не удается найти совместных довери-
доверительных интервалов для ао и oci, за исключением таких, для ко-
которых известна лишь верхняя граница коэффициента доверия
(см. упражнение 29.10). В упражнении 29.9 предложен крите-
критерий линейности.
Использование всех пар и применение B9.115) более слож-
сложно, поскольку распределения уже не являются биномиальными.
В действительности они совпадают с распределениями, возни-
возникающими при получении распределения рангового коэффициента
корреляции t, рассматриваемого в главе 31. Зная эти распреде-
распределения, доверительные интервалы можно строить прежним спо-
способом.
29.45 Рассмотренные методы могут быть обобщены на слу-
случай линейной зависимости от k переменных. Если мы можем
разбить п наблюдений на k групп, порядок которых будет од-
одним и тем же как для наблюдаемых, так и для ненаблюдаемых
значений одной из переменных, то, найдя центр тяжести каждой
из групп, мы сможем построить гиперплоскость, проходящую
через k точек. Если, кроме того, порядок наблюдаемых значений
*) В B9.116) a(r) и a(m—r + l) обозначают r-е и (т — л+1)-е
по величине значения a(i) в отличие от предыдущего текста, где номер i
был связан с порядком значений ?*. а не a(i). (Прим. ред.)
**) Аналогично предыдущему примечанию, индекс при г в B9.117) отно-
относится к упорядочению значений z по возрастанию. {Прим. ред.)
функциональная и струкгурная зависимость
543
совпадает с порядком соответствующих ненаблюдаемых значе-
значений во всех точках, то можно получить [n/k] = / соотношений
для точек (|ь gz+i, ё2й-ь •••, |ы+0, (|г, ii+2, |г<+2, ..., |ы+г)
и т. д. и осреднить их. В принципе можно также обобщить и
метод, использующий B9.115), однако с практической точки зре-
зрения вычисление всех возможных (") соотношений представ-
представляется слишком громоздким. См. упражнение 29.10.
29.46 Более радикальным методом является использование
рангов значений |, т. е. натуральных чисел от 1 до п, в качестве
инструментальной переменной. Этот метод должен быть эффек-
эффективнее методов группировки, так как он использует больше ин-
информации. Дорфф и Гёрлэнд A961b) показали, что он в общем
случае более эффективен при малых объемах выборок, чем ме-
методы двух и трех групп, имея меньшее смещение и среднеквад-
среднеквадратичную ошибку. Мы проиллюстрируем этот метод на при-
примере.
Пример 29.7
Для данных примера 29.1 возьмем в качестве значений ин-
инструментальной переменной Z, ранги ? от 1 до 9. Поскольку зна-
значения 1 уже упорядочены, мы просто пронумеруем их от 1 до 9.
Получаем
2 ^ = AX6,9) + BX12,5)+ ... +(9X39,1) = 1267,7,
i
2&Si=(lX 1,8) + BX4,1)+ ... +(9X18,9) = 549,0.
i
Согласно ранее сделанным вычислениям
Л = 23,14, 1=9,57.
Кроме того, 2jZi ==y"(n+ 1) = 45, так что ковариации отно-
i
сительно выборочных средних будут равны
2 Sitli — Л 2 С* = 1267,7 - 23,14 X 45 = 226,40,
1 i
2 Ш — 12 С* = 549,0 - 9,57 X 45 = 118,35.
i i
Отсюда, учитывая B9.91), наход»м
226,40
a, =
118,55
= 1,91.
Это же значение было получено методом двух групп в при-
примере 29.4. Оно ближе к истинному значению 2, чем значение
1,86, полученное в примере 29.5 методом трех групп.
544 Глава 29
Контролируемые переменные
29.47 Берксон A950) (см. также Линдли A953b)) привел
одно соображение, показывающее, что в некоторых типах экс-
экспериментов оценивание линейной связи между двумя перемен-
переменными может быть сведено к регрессионной задаче. Напомним
(см. 29.4)), что соотношение
у = а0 + щ% + (е — а, 6)
не может рассматриваться как обычная регрессия, поскольку
случайная величина | коррелирована с (е — ai6).
Пусть теперь проводится эксперимент, имеющий целью опре-
определение зависимости между у и х. Предположим, что в этом
эксперименте мы можем заставить ? принять любое заданное
значение и затем измерить соответствующее значение г\. На-
Например, при определении зависимости между растяжением и на-
натяжением пружины мы можем подвешивать грузики весом (|)
10 г, 20 г, 30 г, ..., 100 г, и измерять растяжения (г\), которые
можно рассматривать как результат влияния случайной ошибки
е на истинное значение у. Однако наши веса тоже могли быть
измерены неточно. Так, считая вес равным 50 г, мы рискуем сде-
сделать это с ошибкой б = 50 — х. Повторяя эксперимент несколько
раз с весом, принимаемым за 50 г, мы в действительности про-
проводим эксперименты с истинными весами Х{, измеренными с
ошибками бг = 50 — xt. Таким образом, используемые веса
равны значениям случайной величины х. | называется контроли-
контролируемой переменной, так как ее значение фиксировано заранее,
тогда как неизвестное истинное значение случайно колеблется.
Пусть ошибки_ б имеют нулевое среднее. Тогда среднее х
будет равно 50 = |. Таким образом, |г = х% + б», причем коэф-
коэффициент корреляции между Xi и 6г равен —1. Если предполо-
предположить, как и прежде, что бг имеют одно и то же распределение
для всех |г, то можно написать х = | — б и
в. B9.116)
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
545
Подставляя в B9.118) предыдущее соотношение, находим
Л = ао+а,|+(е-а1б). B9.119)
Соотношение B9.119) имеет вид B9.8), однако существенно
отличается от последнего. Поскольку | теперь уже не является
случайной величиной, то ни е, ни б не коррелированы с |. Та-
Таким образом, B9.119) представляет собой обычное уравнение ре-
регрессии, к которому без всяких изменений можно применить
обычные методы наименьших квадратов. Оценивание а0 и а.\
и проверка гипотез, касающихся этих параметров, в данном
случае не вызывают трудностей.
29.48 Даже если значения, в которых контролируются ?,
сами являются случайными величинами (т. е. определяемыми
с помощью некоторого процесса случайного выбора), получен-
полученные выше выводы остаются в силе, если б и е некореллированы
с |. Предположение относительно е обычно выполнено, но с б
дело может обстоять сложнее. Обращаясь к предыдущему при-
примеру, предположим, что мы случайным образом выбираем зна-
значения весов для эксперимента. Требование некоррелированно-
некоррелированности б и | в данном случае означает, например, что с большими
весами не должна быть связана тенденция к большим или мень-
меньшим ошибкам в определении истинного веса по сравнению с ма-
малыми весами. Выполнение этого условия может быть проверено
только эмпирическим путем.
Не вызывает сомнения, что во многих экспериментальных си-
ситуациях рассмотренная модель применима. | часто представляет
собой показание измерительного прибора, и экспериментатор
обычно старается устанавливать | на некоторых заранее задан-
заданных значениях (выбранных не случайно, а с намерением по воз-
возможности полно отразить некоторый диапазон изменения). По-
Поступая таким образом, он хорошо осознает, что прибор подвер-
подвержен ошибкам и не показывает точно истинные значения х.
Очень приятно обнаружить, после предшествующего обсужде-
обсуждения трудностей, возникающих в случаях, когда измерения про-
производятся с ошибками, что в такой распространенной экспери-
экспериментальной ситуации может быть использован стандартный ме-
метод НК. Этот пример иллюстрирует общее положение, важность
которого трудно переоценить: тщательный анализ источников
ошибок и структуры процесса наблюдений полезен для выбора
наиболее подходящего статистического метода и может, как
в данном случае, привести к простому решению на первый взгляд
трудной задачи.
29.49 Анализ более сложных ситуаций, когда некоторые пе-
переменные контролируемы, а некоторые — нет или когда имеются
повторные наблюдения при некоторых значениях контролируе-
контролируемых переменных, требует тщательного уточнения рассматривае-
рассматриваемой модели. У нас нет возможности рассматривать возникаю-
возникающие здесь сложности. Интересные работы в этом отношении при-
принадлежат Андерсону A955) и Шеффе A958).
Криволинейные зависимости
29.50 До сих пор рассматривались только Линейные соотно-
соотношения между переменными. Обобщение полученных методов на
случай криволинейной зависимости не проходит так же непо-
непосредственно, как в теории регрессии, а отдельные задачи до
сих пор не решены. Мы изложим здесь некоторые относящиеся
18 М. Кендалл, А. Стыоарт
546
ГЛАВА 29
к этому вопросу результаты, в основном принадлежащие Гири
A942b, 1943, 1949, 1953).
Можно понять, какого рода трудности здесь возникают, если
рассмотреть квадратичную функциональную зависимость
Y = а0 + щ Х + с^Х2. B9.120)
При тех же предположениях относительно ошибок е и б, что
и в линейном случае, и при дополнительном упрощении, что от-
отношение их дисперсий а\ и о\ известно (без ограничения общ-
общности мы будем считать его равным 1), получим в случае нор-
нормально распределенных ошибок следующее выражение для
функции правдоподобия:
log L = const — In log ae —
2} B9.121)
Дифференцирование B9.121) дает
\t - X. + (а0 + а,Xt + а2Х?
) (а, + 2а2Х.) = 0, B9.122)
г=1, 2, ..., п,
е е
х<т+ 2(^~ao-aixi-a2xw]=
J
B9-123)
B9.124)
B9-125)
B9Л26)
Суммируя B9.122) по ь и используя B9.123) и B9.124), нахо-
находим аналогично B9.42), что для значений |, измеренных отно-
относительно выборочного среднего, выполняется соотношение
(S&) = Sb = 0. B9.127)
Если мы будем измерять значения г\ также относительно их
среднего, то из B9.123) —B9.125) и B9.127) получим
B9.128)
Система B9.128) характерна для регрессионного анализа, од-
однако здесь значения X ненаблюдаемы. Для получения МП-оце-
МП-оцеФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
547
нок нам надо решить систему из п + 3 уравнений B9.122) и
B9.128) относительно п -j- 3 неизвестных X,-, ао, «ь cfe. Оценка
для а\ получается затем из B9.126). На практике нам придется,
вероятно, решать эту систему итерационными методами.
Усложнение задачи очевидно и с геометрической точки зре-
зрения. В соответствии с B9.121) требуется найти такую кривую
второго порядка, чтобы сумма квадратов кратчайших расстоя-
расстояний от всех точек до этой кривой была минимальной. Отрезки,
соединяющие точки с ближайшими точками кривой, не будут
параллельными и даже могут определяться неоднозначно. Хотя
численное решение может быть найдено, его трудно охарактери-
охарактеризовать наглядно.
29.51 Можно обобщить метод оценивания коэффициентов
с помощью смешанных семиинвариантов. Рассмотрим кубиче-
кубическое структурное соотношение
B9.129)
у = а0 + щх + щх2 + аз*3.
От предположения нормальности ошибок мы отказываемся.
Совместная х. ф. у и х имеет вид
Ф (*i. h) = J exp (Q,y + Q2x) dF{x, у),
где 8j = itj. Учитывая B9.129), получаем
д д д2 д
B9.130)
= J {у — а0 — а,* — ог*2 — аз*3) exp (Qtf + Q2x) dF = 0.
Полагая ip = logtp и используя соотношения
¦»-¦{¦»+(*)"}•
ae2 ' ае
•<29-13"
находим из B9.130)
-°- B9Л32>
Разлагая t|j в степенной ряд и приравнивая нулю коэффициенты
в B9.132), получаем систему уравнений для определения щ,
18*
548
ГЛАВА 29
i = О, 1, 2, 3. Эти уравнения линейны относительно аи но в об-
общем случае нелинейны относительно семиинвариантов. В силу
B9.81) смешанные семиинварианты х и у совпадают с соответ-
соответствующими семиинвариантами | и т). Если х и у распределены
нормально, то метод становится неприменимым, как и в 29.30.
29.52 При использовании изложенного метода возникают не-
некоторые новые затруднения. Мы проиллюстрируем их на при-
примере оценивания cto, сц и а2 в случае квадратичной зависимости
(«з = 0 в B9.129)).
Имеем
е е
Не теряя общности, можно положить кю = kq\ = 0, что эквива-
эквивалентно выбору в качестве начала отсчета среднего значения х,
за оценку которого берется среднее значение |. Из B9.132)
получаем
2и Krs (г - 1)! s! a° '
r\(s- 1)!
Приравнивая нулю постоянный коэффициент в B9.133), на-
находим
ах = 0. B9.134)
B9.135)
Параметр ас входит только в это уравнение. Оно поэтому при-
пригодно только для оценивания осо. причем для этого требуется
оценить не только аг, но и семиинвариант хО2, зависящий от
дисперсии ошибки. Далее получаем, приравнивая нулю следую-
следующие коэффициенты:
ПРИ 8]
при 82
при 82 им — а,и21 — а2 (к22 + 2к2и) = 0,
при 8,02 K2i
при е| . х
В первое из уравнений B9.135) входит семиинвариант х20> ко-
который дальше не встречается. Поэтому это уравнение непри-
непригодно для оценки параметров а<. Из B9.135) ясно, что коэф-
коэффициент при любой степени 8ь скажем при 8i, содержит семи-
семиинвариант хг+1, о, который не появляется ни в каком другом
уравнении. Все эти уравнения поэтому бесполезны для оценн-
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
549
вания параметров а,-, если не предполагать, что ошибки е рас-
распределены нормально (и, следовательно, имеют равные нулю
семиинварианты порядка выше второго). В последнем случае
семиинварианты Кто и смешанные семиинварианты могут быть
оценены по выборке, что даст возможность использовать урав-
уравнения типа третьего в B9.135). В этом случае ai и а2 находятся
из третьего уравнения и уравнения, полученного в результате
исключения ио2 из второго и четвертого уравнений в B9.135).
Если не предполагать нормальности ошибок, то нужны даль-
дальнейшие уравнения. Для последующих коэффициентов из B9.133)
имеем:
при 6*82 к31 —
при 8,81 и22 -
при Of
a2(И23 + 2к02к21 + 4kuk12) = 0,
а,(х14 + 2и03кп + 4к02х12) = 0,
- а,и04 - а2 (х„. + 6и02к03) = 0.
B9.136)
Два первых уравнения в B9.136) содержат, кроме смешанных
семиинвариантов, также семиинварианты щ2 и щ3. Исключая
последние с помощью второго и четвертого уравнений B9.135),
получаем систему для нахождения ai и аг. Оценивая затем з<02,
мы сможем найти из B9.134) ао. Некоторые из исключаемых
членов могут быть нелинейными, что может привести к полу-
получению более чем одной системы оценок.
29.53 Метод двух групп, изложенный в 29.63, очевидно, обоб-
обобщается на случай полиномов &-го порядка, если удается раз-
разбить наблюдения на k + 1 групп, порядок следования которых
по | совпадает с порядком следования по х. В качестве решения
берется полином, проходящий через центры тяжести этих групп.
Метод Тейла B9.42) также легко обобщить. Разделив наблю-
наблюдения на k + 1 групп и беря по одной точке из каждой группы,
мы сможем провести nf(k-\-l) парабол, которые надо затем
осреднить. Однако это не так просто, как кажется. Дело в том,
что не обязательно лучшей оценкой истинной параболы будет
парабола ао + йух + а^х2, полученная путем усреднения коэффи-
коэффициентов. Можно еще указать некоторые эвристические способы
усреднения, такие, как метод наименьших квадратов в направ-
направлении оси у или графическое изображение всех кривых и выбор
из них той, которая, как кажется, лучше остальных представляет
среднее положение на рассматриваемом участке.
29.54 При обобщении метода контролируемых переменных на
нелинейный случай появляются некоторые особенности. Так,
если линейный случай сводится к регрессионному анализу, то
в нелинейном случае этого не удается сделать. Рассмотрим ку-
кубическую функциональную зависимость
550
ГЛАВА 29
Полагая g = X + 8, л = У + г, получаем
Л = а0 + а, (| - б) + а2 (| - бJ + а3 (| - бK, B9.137)
где контролируемые значения | фиксированы. Допустим, что для
одного и того же набора значений | наблюдения повторяются.
Обозначим М соответствующее математическое ожидание. Сум-
мируя B9.137) по всем наблюдениям, получаем
21
+ 3a32l62 + члены нечетного порядка по б и е.
Беря затем математические ожидания, находим
м (Ц-л)=л К + <v>e) + (ai + 3a3°S) 2i + <h 2 s2 + «з 213.
Аналогично, умножая B9.137) на g и суммируя, получаем си-
систему уравнений
+a22g3 + a32g4 B9.138)
и т. д. Эти уравнения могут быть разрешены относительно ве-
величин
(«о
Зазогв)>
аз-
Интересно, что, хотя аг и аз идентифицируемы, ао и ai не яв-
являются таковыми, если не известна дисперсия сге2 или ее оценка.
По-видимому, единственный способ обойти эту трудность со-
состоит в повторении эксперимента при том же наборе значений ?.
Более полное изложение этого вопроса содержится в статьях
Гири A953) и Шеффе A958).
29.55 Иногда нелинейное соотношение с помощью преобра-
преобразования можно свести к линейному. Рассмотрим, например,
функциональное соотношение
7eXY = const.
Здесь, очевидно, следует воспользоваться логарифмическим пре-
преобразованием. Однако эта процедура может иметь и нежела-
нежелательные свойства. Так, если ошибки У и X нормально распре-
распределены и гомоскедастичны, то ошибки преобразованных вели-
величин log У и logX уже не будут обладать этими свойствами. По-
Поэтому в данном случае, как, впрочем, и в любом другом, следует
попытаться получить возможно больше априорной информации
относительно ошибок наблюдений, а когда ошибки значительны
и распределение их неизвестно, надо использовать методы оце-
оценивания, в которых число предположений о природе ошибок ми-
минимально.
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ 551
Влияние ошибок наблюдения на регрессионный анализ
29.56 Нам кажется уместным завершить эту главу кратким
рассмотрением вопроса о влиянии ошибок наблюдения на ре-
результаты регрессионного анализа. Предположим, что случайные
величины х и у измеряются с ошибками, так что в действитель-
действительности мы наблюдаем величины
| = х + б, ц] = у + е.
Как и раньше, предположим, что ошибки б и е независимы ме-
между собой и независимы друг от друга. Возникает следующий
вопрос. Пусть мы нашли регрессию г\ по ?: как она связана с
регрессией у по х, которая, собственно, нас и интересует?
Из 29.28 следует, что смешанные семиинварианты | и ц сов-
совпадают с соответствующими семиинвариантами х и у. В част-
частности, cov(g, ц) = cov(at,у). Однако коэффициенты регрессии
зависят также от дисперсий, которые не остаются неизменными.
Уравнение линейной регрессии
z/ = P,*, где p, = cov(x, y)la%,
заменяется уравнением
т, = p;g, где ft = cov (|, тО/orf = cov (x, */)/{a2 + a2}.
Поскольку р{ < ри то влияние ошибок выражается в уменьше-
уменьшении наклона линии регрессии. Кроме того, уменьшается корре-
корреляция между ? и 1) по сравнению с корреляцией между х и у.
29.57 Влияние ошибок, однако, не исчерпывается уменьше-
уменьшением указанных коэффициентов. Предположим, что истинная
регрессия у по х в точности линейна и ошибки однородны
(см. 28.7). Следует ли отсюда, что регрессия г\ по | тоже в точ-
точности линейна? В общем случае ответ оказывается отрицатель-
отрицательным, и только при некоторых довольно сильных условиях ли-
линейность сохраняется. Мы докажем одну изящно формулируе-
формулируемую теорему Линдли A947): для сохранения линейности ре-
регрессии необходимо и достаточно, чтобы п. ф. с. случайной вели-
величины х была кратна п. ф. с. ошибки б. Более точно, между п. ф. с.
х и. ? должно выполняться соотношение
M* = PMV B9.139)
В 28.7 было показано, что необходимым и достаточным усло-
условием точной линейности регрессии у по х вида у = Ро + Pi* + в
с однородными ошибками служит возможность следующего
представления совместной плотности хну:
f (*, У) = ё (*) h {у - Ро - Р,*), B9.140)
550 ГЛЛВЛ 29
Полагая g = X + б, т] = У + е, получаем
л = а0 + а,(| —б) + а2(| —бJ+а3A —бK, B9.137)
где контролируемые значения | фиксированы. Допустим, что для
одного и того же набора значений | наблюдения повторяются.
Обозначим М соответствующее математическое ожидание. Сум-
Суммируя B9.137) по всем наблюдениям, получаем
+ За3 21*2 + члены нечетного порядка по б и 8.
Беря затем математические ожидания, находим
Аналогично, умножая B9.137) на | и суммируя, получаем си-
систему уравнений
+ (a, + 3a3o|) 2 I2 + a, 2 I3 + «3 2 g4 B9.138)
и т. д. Эти уравнения могут быть разрешены относительно ве-
величин
(«о
. (ai + 3a3ae)' a2- аз-
Интересно, что, хотя a2 и аз идентифицируемы, а0 и ai не яв-
являются таковыми, если не известна дисперсия сге2 или ее оценка.
По-видимому, единственный способ обойти эту трудность со-
состоит в повторении эксперимента при том же наборе значений |.
Более полное изложение этого вопроса содержится в статьях
Гири A953) и Шеффе A958).
29.55 Иногда нелинейное соотношение с помощью преобра-
преобразования можно свести к линейному. Рассмотрим, например,
функциональное соотношение
yeJY = const.
Здесь, очевидно, следует воспользоваться логарифмическим пре-
преобразованием. Однако эта процедура может иметь и нежела-
нежелательные свойства. Так, если ошибки У и X нормально распре-
распределены и гомоскедастичны, то ошибки преобразованных вели-
величин log У и logX уже не будут обладать этими свойствами. По-
Поэтому в данном случае, как, впрочем, и в любом другом, следует
попытаться получить возможно больше априорной информации
относительно ошибок наблюдений, а когда ошибки значительны
и распределение их неизвестно, надо использовать методы оце-
оценивания, в которых число предположений о природе ошибок ми-
минимально.
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ 551
Влияние ошибок наблюдения на регрессионный анализ
29.56 Нам кажется уместным завершить эту главу кратким
рассмотрением вопроса о влиянии ошибок наблюдения на ре-
результаты регрессионного анализа. Предположим, что случайные
величины х и у измеряются с ошибками, так что в действитель-
действительности мы наблюдаем величины
Как и раньше, предположим, что ошибки б и е независимы ме-
между собой и. независимы друг от друга. Возникает следующий
вопрос. Пусть мы нашли регрессию г\ по §: как она связана с
регрессией у по х, которая, собственно, нас и интересует?
Из 29.28 следует, что смешанные семиинварианты | и г\ сов-
совпадают с соответствующими семиинвариантами х и у. В част-
частности, cov(|, г\) = cov(at, у). Однако коэффициенты регрессии
зависят также от дисперсий, которые не остаются неизменными.
Уравнение линейной регрессии
у
где р, = cov (х, у)/а2х
х,
заменяется уравнением
Л = pjg, где р{ = cov (g, r\)lo\ = cov (x, y)j{o2x + а2д}.
Поскольку р,<рр то влияние ошибок выражается в уменьше-
уменьшении наклона линии регрессии. Кроме того, уменьшается корре-
корреляция между | и ц по сравнению с корреляцией между х и у.
29.57 Влияние ошибок, однако, не исчерпывается уменьше-
уменьшением указанных коэффициентов. Предположим, что истинная
регрессия у по х в точности линейна и ошибки однородны
(см. 28.7). Следует ли отсюда, что регрессия г\ по | тоже в точ-
точности линейна? В общем случае ответ оказывается отрицатель-
отрицательным, и только при некоторых довольно сильных условиях ли-
линейность сохраняется. Мы докажем одну изящно формулируе-
формулируемую теорему Линдли A947): для сохранения линейности ре-
регрессии необходимо и достаточно, чтобы п. ф. с. случайной вели-
величины х была кратна п. ф. с. ошибки б. Более точно, между п. ф. с.
х и 1 должно выполняться соотношение
p^^ptyj. B9.139)
В 28.7 было показано, что необходимым и достаточным усло-
условием точной линейности регрессии у по х вида у = Ро + Pi* + в
с однородными ошибками служит возможность следующего
представления совместной плотности х и у:
_ро_рл)> B9.140)
552
ГЛАВА 29
где g(x)—маргинальное распределение х, или эквивалентное
условие в терминах п. ф.с:
* ft, ta) = % ft + *2Р.) + Ч>*ft) + й2Ро- B9.141)
Мы знаем B8.5), что если t,{t\,t2) —совместная п. ф. с. | и г\
и регрессия т^ по | — точная линейная регрессия вида г\ =
= Po+Pil + 8- т0
1.0)
д Г ft t
= 'Ро+Рг
B9.142)
Однако если б и е независимы между собой и, кроме того, не
зависят от х и у, то выполняется соотношение
С ft. к) = г|> ft, t2) + г|>в ft) + г|>е ft). B9.143)
Подставляя B9.143) и B9.141) в B9.142), получаем
Г 3^ (/, + ;2р
dtt
— гРо + Pi
(<„ о)
W—
Приравнивая коэффициенты при t\ в B9.144), находим
а?;
Pi
57;
Интегрируя B9.145) и учитывая, что
ходим к B9.139).
Из B9.144) также получаем
B9.144)
B9.145)
мы при-
B9.146)
где \лн и це обозначают соответствующие средние. В частности,
если б и е имеют нулевые средние, то
Ро = Ро- ¦ B9.147)
Этим завершается доказательство необходимости B9.139). До-
Доказательство достаточности не вызывает затруднений.
29.58 Если предположить, что и ошибки в регрессии т} по |
однородны, то можно получить гораздо более сильный резуль-
результат (Кендалл, 1951, 1952). Действительно, в этом случае для
п. ф.с. Z,(ti,t2) выполняется как B9.143), так и B9.141). Ставя
штрихи в B9.141), получим
1 ft, h) = г|> ft, t2) + г|>в (f,) + г|>е ft) =
= V С' + ^ + **' ('*) + ЙгРо- B9-148)
ФУНКЦИОНАЛЬНАЯ И СТРУКТУРНАЯ ЗАВИСИМОСТЬ
553
Подставляя г|> (tu t2) из B9.141) в B9.148), получаем
% ft + Ш + % ft) + Я2Ро + 4>а ft) + % (t2) =
= %> (*, + ^РО + -4V ('2) + «2Po- B9-149)
Полагая в B9.149) ti = 0 и вычитая полученное уравнение из
B9.149), находим
% ft + Ш ~ Ь (Ш + % ft) =
Придавая семиинвариантам х и | верхние индексы g и g', из
B9.150). получаем
2*?
/¦!
S*r
+2;«=
r!
si"
B9.151)
Рассмотрим теперь член порядка г > 2, скажем порядка г = 3.
Приравнивая коэффициенты, имеем
B9.152)
Второе и третье соотношения могут выполняться, только если
Р,=Р' или и| и xf' обращаются в нуль. Отсюда следует, что
обращаются в нуль все семиинварианты третьего порядка и,
аналогично, семиинварианты более высоких порядков. Обратное
также верно. Таким образом, точная линейная регрессия с од-
однородными ошибками y = Po + Pi* превращается в точную ли-
линейную регрессию с однородными ошибками ii = Po + Pii тогда
и только тогда, когда х, б и | распределены нормально.
29.59 Имеются также другие теоремы, относящиеся к этому
вопросу. По-видимому, первый результат был получен Аллен
A938), которая при довольно ограничительных предположениях
доказала, что если
1 = 1х + Ь, )
х\ = тх + е, J
I, m ф 0,
то нормальность х и б является необходимым и достаточным
условием для точной линейности регрессии г\ по | для всех /
из замкнутого интервала. Некоторые из ее условий были ослаб-
ослаблены Фикс A949а), которая требовала только конечности сред-
средних х, б и 8 и конечности дисперсии х или б. Результаты Фикс
554
ГЛАВА 29
Функциональная и структурная зависимость
555
были затем обобщены Лахой A956) на случай зависимых оши-
ошибок б и е.
Линдли A947) доказал результат более общий, чем B9.139)
(см. упражнения 29.12, 29.14). Результат 29.58 также может
быть обобщен на случай нескольких переменных (см. упражне-
упражнение 29.13).
УПРАЖНЕНИЯ
определенная в B9.29), является
29.1 Показать, что МП-оценка
монотонной функцией от А,.
29.2 Используя метод, изложенный в 29.28, показать, что если (а) ошиб-
ошибки б не зависят от х и (б) можно найти k — 1 обращающихся в нуль сме-
смешанных семиинвариантов 6, то уравнения B9.85) можно использовать для
оценки параметров а. В частности, эти условия выполнены, если б имеют
многомерное нормальное распределение.
(Гири, 1942b.)
29.3 Показать, что уравнения B9.85) остаются в силе, если семиинва-
семиинварианты % заменить соответствующими моментами х, однако это свойство не
выполняется для наблюдений g.
29.4 Прямыми вычислениями показать, что оценка B9.98) является со-
состоятельной оценкой для а.1 и что, следовательно, также состоятельны оцен-
оценки B9.102) для дисперсий ошибок.
(Вальд, 1940.)
29.5 Используя равенство B9.111), показать, что доверительная область
для ао и ai представляет собой внутренность эллипса.
. (Вальд, 1940.)
29.6 Пусть имеется п наблюдений xtt x2, ..., хп векторной случайной
величины, компоненты которой независимы и имеют нормальные распре-
распределения с единичными дисперсиями. Требуется проверить допустимость со-
соотношения
ao + a'*=O, (A)
где ао — скаляр, а а' —транспонированный вектор-столбец а. Показать, что
^ («о+ «'*/)'(«о+ «'*/) . т
имеет распределение %2 с п степенями свободы. Обозначая V матрицу рас-
рассеяния наблюдений, показать, что огибающая (А) при условии, что я<р в (В)
равно константе
описывается уравнением
где / — единичная матрица, а У*ц— алгебраическое дополнение элемента
(i,j) матрицы IV — <р/|. Показать, что последнее соотношение может быть
также записано в виде
1 + ж' (V- ф/Г1* =0.
(Р. Браун и Фередей, 1958.)
1
29.7 Пусть в предыдущем упражнении корни уравнения | V — ф/| = 0
равны ф1, ..., Фа, и пусть V — диагональная матрица с элементами ф,, а
L — ортогональная матрица порядка (Ах*), определенная соотношением
VL = LA. Показать, что после преобразования к новым переменным у = L'x
огибающая имеет уравнение 1 + у' (А— ф/)~'у = 0, т. е.
У—^—+1=0.
_- ф,-ф
(Р. Брауи и Фередей, 1958.)
29.8 В условиях предыдущих двух упражнений показать, что если вме-
вместо (А) в упражнении 29.7 выполняется соотношение р0 + Р'«/ = 0, то сов-
совместная доверительная область для коэффициентов f$ имеет вид
к
/=1
где фо — критическое значение статистики ф, определенной в (В), которое
находится из таблиц х2-Распределения.
(Р. Браун и Фередей, 1958.)
29.9 Показать, что статистики a(i), определяемые равенством B9.114),
можно использовать для построения критерия линейности зависимости (про-
(против выпуклой нли вогнутой завигчмости), рассматривая корреляцию между
a(i) и i.
(Тейл, 1950.)
29.10 Переменные X, связаны с У соотношением
й
(=.Yj + Sj) распо-
распо.J, Показать, что
то для каждого а3- при заданных остальных а мож-
можОшибки наблюдения иксов таковы, что наблюденные ?j
ложены в том же порядке, что и X, для всех /=1,2,,,
если 6j таковы, что
где z
ei —
Д]
но построить доверительный интервал тем же способом, как в 29.43. Исходя
из этого, показать, как можно строить консервативную доверительную об-
область для всех а, беря объединение отдельных интервалов.
(Тейл, 1950.)
29.11 Имеется я(=2/+1) наблюдений величины |л(=У+е), сделан-
сделанных в равноотстоящих с шагом 1 точках X. Величины X измерены без ошиб-
ошибки, т. е. | = X. Дисперсия ошибок е равна а2. Показать, что если параметры
в соотношении У = <хо + а.\Х оценены по методу наименьших квадратов, даю-
дающему несмещенные оценки с минимальной дисперсией, то дисперсия оценки
для а, равна Зсг2/{/(/ + 1) B1 + 1)}.
Показать далее, что если наблюдения разделены на три группы, состоя-
состоящие из nk, п — 2nk, nk наблюдений, то оценка B9.112) имеет максимальную
эффективность, превышающую 8/9, когда k = 1/3, тогда как для k = 1/2
эффективность составляет лишь 27/32 от максимальной.
(Бартлетт, 1949.)
556
ГЛАВА 29
функциональная И Структурная зависимость
557
29.12 Пусть регрессия у по х%, х2, ..., xh дается соотношением
у = 2 Ру*у и ошибки не зависят от х. Показать, что если xs наблюдаются
с ошибками 6j (%j=X} + f>j), а у — с ошибкой в (г\ — у + в), причем
ошибки б не зависят друг от друга и от е, то регрессия г\ по | в точности
линейна я имеет вид
тогда и только тогда, когда
dt
1
где t|) — п. ф. С: случайной величины, указываемой индексом. Этот результат
является обобщением 29.57.
(Линдли, 1947.)
29.13 Продолжая упражнение 29.12, показать, что ошибки во второй ре-
регрессии не зависят от ? тогда и только тогда, когда х, | и 6 имеют нормаль-
нормальное распределение. Этот результат является обобщением 29.58.
(Кендалл, 1951, 1952.)
29.14 Показать, что в упражнении 29.12
' dtt dtj '
i
откуда следует, что если S—матрица рассеяния %, а диагональная матрица
А — матрица рассеяния 6, то
Э-00-PAS.
где Р, (Р0—векторы-строки с компонентами р.; н р? соответственно.
(Лиидли, 1947.)
'29.15 Показать, что если ненаблюдаемые переменные х, у и инструмен-
инструментальная переменная ? имеют нормальные распределения с нулевыми сред-
средними и щ определено в B9.91), то статистика
имеет распределение Стьюдента Р с п — 5 степенями свободы.
(Гири, 1949.)
29.16 Пользуясь результатом последнего упражнения, показать, что при-
приближенно
Г2
(Мадански, 1959.)
29.17 Предполагая, что хну наблюдаются без ошибок (т. е. | = х,
t) = у), показать, что для фиксированных х и Z, эффективность оценки
B9.91) по сравнению с НК-оценкой равна квадрату коэффициента корреля-
корреляции между х и ?.
(Дёрбнн, 1954.)
29.18 Пусть условия s\>o% s\>s\4j{s\ —&$ в случае 1 в 29.12 не
выполнены. Показать, что ФП имеет максимумы при сге = О и при сг^=О,
и, сравнивая их, проверить, что глобальный максимум всегда достигается в
первом случае. Вывести отсюда, что
-о,
(Бёрч, 1964а.)
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
30.1 При рассмотрении процедур оценки и проверки гипотез,
начиная с главы 17, мы занимались исключительно задачами
о параметрах распределений известной функциональной формы.
В нашей классификации задач проверки гипотез в 22.3 мы дали
определение непараметрической гипотезы, но до сих пор еще
не рассматривали непараметрических задач проверки гипотез
или оценивания. Группа из четырех глав, начиная с этой, будет
посвящена систематическому изучению этого предмета.
Нам будет удобно отложить общее обсуждение непараметри-
непараметрических задач и их особенностей до главы 31. В настоящей главе
мы ограничимся одним специальным классом процедур, кото-
который стоит несколько в стороне от других и имеет достаточно
важное практическое значение, чтобы такое выделение было
оправдано.
Критерии согласия
30.2 Пусть хи х2, ..., хп — независимые наблюдения случай-
случайной величины с функцией распределения F{x), которая нам не-
неизвестна. Предположим, что нам нужно проверить гипотезу
Яо: F(x) = F0(x), C0.1)
где Fq(x) —некоторая заданная ф. р., которая может быть не-
непрерывной или дискретной. Задача проверки гипотезы C0.1) на-
называется задачей проверки согласия. Любой критерий для C0.1)
называется критерием согласия.
Гипотезы согласия, подобно параметрическим гипотезам,
естественным образом разделяются на простые и сложные. Ги-
Гипотеза C0.1) проста, если F0(x) полностью определена; напри-
например, гипотеза (а), что п наблюдений получены из нормального
распределения с заданными средним и дисперсией, есть простая
гипотеза. С другой стороны, если мы желаем проверить (б),
что наблюдения получены из нормального распределения, пара-
параметры которого могут иметь любые значения, то эта гипотеза
будет сложной (в этом случае часто говорят о «проверке нор-
норКРИТЕРИИ СОГЛАСИЯ
559
мальности»). Аналогично, если (в) нормальное распределение
имеет фиксированное среднее, но не дисперсию, гипотеза
остается сложной. Это различие в точности того же характера,
что и обсуждавшееся нами в параметрическом случае в 22.4.
30.3 Ясно, что C0.1)—не более чем повторение общей по-
постановки задачи проверки гипотез; мы всего лишь выразили
гипотезу через ф. р. вместо плотности. Какой в этом смысл? Не
собираемся ли мы повторить уже пройденный путь?
Имеются несколько причин для новой формулировки. Ме-
Методы параметрических гипотез, развитые ранее, были по необ-
необходимости связаны с гипотезами, состоящими в наложении од-
одного или нескольких ограничений (см. 22.4) в пространстве па-
параметров; они не дают никаких средств для проверки такой ги-
гипотезы, как (б) в 30.2, где не налагается никаких ограничений
на параметры и мы проверяем непараметрическую гипотезу, что
функция распределения генеральной совокупности принадлежит
к заданному (бесконечному) семейству распределений. В таких
случаях и даже в тех случаях, когда гипотеза налагает одно
или больше ограничений, как в (а) или (в) в 30.2, новая фор-
формулировка гипотезы в форме C0.1) приводит нас к новым мето-
методам. Дело в том, что интуиция заставляет нас ожидать, что
распределение совокупности выборочных значений в целом бу-
будет близко следовать истинной ф. p. F(x). Естественно поэтому
попытаться использовать выборочное распределение как сред-
средство для проверки C0.1), и мы увидим, что в наиболее важных
критериях согласия именно это и делается. Кроме того, «опти-
«оптимальные» критерии, которые мы строили для параметрических
гипотез Яо, определялись свойствами их функций мощности про-
против альтернативных гипотез, отличавшихся от Яо только значе-
значениями параметров, фиксированных при Яо. Кажется по мень-
меньшей мере правдоподобным, что критерий, основанный на выбо-
выборочном распределении, будет иметь удовлетворительные свой-
свойства мощности против более широкого (бесконечного) класса
альтернатив, хотя он может и не быть оптимальным против ка-
какой бы то ни было из них.
Критерии отношения правдоподобия и Пирсона
для простой гипотезы До
30.4 Эти два известных метода проверки согласия исполь-
используют очень простой прием. Мы рассмотрим его сначала в том
случае, когда F0(x) полностью определена, так что гипотеза
C0.1) проста.
Предположим, что область значений величины х произволь-
произвольным образом разбита на k взаимно непересекающихся классов.
(На практике они обычно выбираются как последовательные
560
ГЛАВА 30
интервалы в области значений х, хотя это и не обязательно*)).
Тогда, поскольку FQ(x) известна, мы можем вычислить вероят-
вероятности попадания наблюдения в каждый из классов. Если обо-,
значить их рои i — 1,2, ..., k, а наблюденные частоты в k клас-
сах через я,-
k
2ft<==/l
i
то гц имеют мультиномиальное рас-
л.* /
пределение (см. 5.30), и из E.78) мы видим, что функция прав-
правдоподобия равна
k
L (nv п2 пк\ р01, р02, .... рок) ее П Pol- C0-2)
С другой стороны, если истинная функция распределения есть
F\(x), где F\ может быть любой ф. р., мы можем обозначить ве-
вероятности в k классах через рц, i = 1,2, ..., k, и ФП тогда бу-
будет равна
'12 Plkj^Upil-
п2 , nk\pn, p
Теперь мы легко можем иайти критерий отношения правдоподо-
правдоподобия для гипотезы C0.1) при сложной альтернативной гипотезе
Я,: F(x) = Fl(x).
Функция правдоподобия C0.3) достигает максимума, когда мы
подставляем вместо рн МП-оценки рн = щ/п. Статистикой ОП
для проверки Но против Н\ будет, следовательно,
\
Т
(я
,, п2,
C0.4)
11
Гипотеза Яо отвергается, если значение / достаточно мало. Точ-
Точное распределение статистики C0.4) неизвестно. Однако мы
знаем из 24.7, что если верна Яо, то при /г->оо величина —2 log/
распределена асимптотически как %2 с k—1 степенями свободы
(так как имеется г — k — 1 независимых ограничений pti, по-
скольку 2 Рн —
1=1
30.5 Однако C0.4) —это не та классическая статистика кри-
критерия, которая была предложена Карлом Пирсоном A900) для
этой ситуации. В этой процедуре, которая была уже получена
в примере 15.3, используется асимптотическая й-мерная нор-
нормальность мультиномиального распределения величин /г4 и тот
факт, что при гипотезе Яо квадратичная форма в показателе
*) Выбор k и классов будет обсуждаться ниже, в 30.20—23, 30.28—30,
Сейчас мы считаем их произвольными.
(I)
КРИТЕРИИ СОГЛАСИЯ
561
этого нормального распределения имеет распределение %2 с чис-
числом степеней свободы, равным ее рангу k—1. В примере 15.3
мы нашли, что эта квадратичная форма в используемых теперь
обозначениях равна *)
C0-5)
Уайз A963, 1964) исследовал ошибку приближения, возни-
возникающего, когда C0.5) считают распределенной как xf_,, и по-
показал, что ошибка особенно мала, когда прО{ равны или близки
между собой, — тогда можно не требовать, чтобы они были боль-
большими (см. 30.22, 30.30 для сложной гипотезы Яо).
Из C0.4) мы имеем
к
— 2 log I = 2 2 я, log (rii/npoi). C0.6)
1=1
Таким образом, эти две различные статистики C0.5) и C0.6)
имеют асимптотически одинаковое распределение при Яо. Более
того, когда верна Яо, эти статистики асимптотически эквива-
эквивалентны, так как если мы обозначим At=
1E°l
TO
=2 ^ {(я, - npot) + npot} { Д, —i Д? + О (я-^) } =
i
=2
Д?
и поскольку
— O, то
- 2 log I = 2 {npm&* + О (я-'/2)} = ХЦ1 + О (п-4% C0.7)
При малых п эти статистики различаются. Статистика Пир-
Пирсона C0.5) может быть преобразована к виду
Pai
(Зо.8)
*) Следуя практике последнего времени, мы обозначаем через X2 стати-
статистику критерия и оставляем символ х2 Д-1Я обозначения распределения, о ко-
котором мы так часто упоминали. Прежние авторы пользовались одним и тем
же обозначением %2 как для статистики, так и для распределения.
"¦НШ
562
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
563
более простому для вычислений; но запись C0.5) имеет перед
C0.8) то преимущество, что в ней явно фигурируют разности
между наблюденными частотами гц и их гипотетическими ожи-
ожиданиями прш, и сами эти разности, очевидно, представляют ин-
интерес. Соответствующее упрощение C0.6) неудобно для вычис-
вычислений.
Выбор критической области
30.6 Поскольку Но отвергается при малых значениях /, из
C0.7) следует, что при использовании C0.5) в качестве стати-
статистики критерия гипотеза #о должна отвергаться, когда X2 ве-
велико. По этому вопросу в литературе не было полной уверен-
уверенности, и более ранняя практика состояла в том, чтобы отвергать
Но как при больших, так и при малых значениях X2, т. е. при-
применять не односторонний, а двусторонний критерий. Например,
Кокрэн A952) поддерживает эту практику на том основании,
что причиной чрезвычайно малых значений X2 являются скорее
всего численные ошибки в вычислениях; или в других случаях
такие значения возникают из-за того, что частоты щ смещены,
возможно не намеренно, с тем, чтобы сблизить их с гипотетиче-
гипотетическими ожиданиями npoi.
Нет сомнения, что точность вычислений следует проверять,
но это можно, по-видимому, делать более прямыми и эффек-
эффективными методами, чем исследование полученного значения X2.
В конце концов, нет никакой уверенности в том, что умеренное
и приемлемое значение X2 было вычислено с большей точ-
точностью, чем очень малое. Второе соображение Кокрэна более
убедительно, но ясно, что в этом случае мы рассматриваем дру-
другую и более редкую гипотезу (что сбор наблюдений подвержен
умышленной или неумышленной нерегулярности), которую
нужно точно сформулировать, прежде чем мы можем опреде-
определить наилучшую критическую область для ее, проверки (см.
Стьюарт A954а)). Оставляя в стороне такие нерегулярности,
мы используем в качестве критической область больших значе-
значений X2. Это будет оправдано с точки зрения асимптотической
мощности в 30.27.
30.7 Существенным моментом в критериях максимального
правдоподия и Пирсона является переход к задаче о мульти-
номинальном распределении. Необходимость группировки дан-
данных по классам приводит к потере некоторого количества ин-
информации, особенно если наблюдаемая величина непрерывна.
Однако с этим недостатком связано и соответствующее достоин-
достоинство: нам нет необходимости знать значения индивидуальных
наблюдений, как только мы имеем k классов, для которых мо-
могут быть вычислены гипотетические poi- На самом деле вовсе не
обязательно должна наблюдаться какая-то случайная величи-
величина — мы можем применять любой из двух критериев согласия,
даже если исходные данные относятся к не числовой классифи-
классификации. Это иллюстрируется примером ЗОЛ.
Пример 30.1
В некоторых классических экспериментах с селекцией горо-
гороха Мендель наблюдал частоты различных видов семян, полу-
получаемых при скрещивании растений с круглыми желтыми семе-
семенами и растений с морщинистыми зелеными семенами. Они
приводятся, ниже вместе с теоретическими вероятностями по
теории наследственности Менделя.
Семена
Круглые и желтые
Морщинистые и желтые
Круглые и зеленые
Морщинистые и зеленые
Наблюденная
частота n.i
315
101
108
32
я = 556
Теоретическая
вероятность
poi
9/16
3/16
3/16
1/16
1
Формула C0.8) дает
Г2_ 1 16f 315*
А ~ 556 1Di
101*
108"
32*
= -^-- 19 337,3-556 = 0,47.
При (k—1) =3 степенях свободы таблицы распределения %2
показывают, что вероятность значения, превышающего 0,47, ле-
лежит между 0,90 и 0,95, так что действительно между наблюде-
наблюдениями и теорией имеется очень хорошее согласие: критерий
любого размера а ^ 0,90 не отвергал бы эту гипотезу.
Для статистики максимального правдоподобия формула
C0.6) дает после заметно больших вычислений значение
—2.log / = 0,48, очень близкое к значению X2.
Сложная гипотеза Но
30.8 Ограничиваясь теперь статистикой критерия Пирсона
C0.5), мы рассмотрим ситуацию, возникающую, когда прове-
проверяемая гипотеза сложна — критерий ОП остается асимптотиче-
асимптотически эквивалентным, когда верна #0 (см. упражнение 30.11).
564
ГЛАВА 30
Предположим, что известна функциональная форма Fq(x), но
что некоторые (или, возможно, все) параметры остаются неиз-
неизвестными, как в (б) или (в) пункта 30.2. Новым в мультино-
мультиномиальной формулировке пункта 30.4 является теперь то, что
теоретические вероятности ро* не поддаются непосредственному
вычислению, так как они зависят от s (<.k — 1 по предполо-
предположению) неизвестных параметров 0ь 02, ..., 9S, совокупность
которых мы обозначим 6. Таким образом, мы должны записы-
записывать их как poi(Q). Чтобы двигаться дальше, мы должны оце-
оценить 6 некоторым вектором оценок t и использовать C0.5) в
форме
npoi (<)
1=1
Ясно, что это меняет задачу о распределении статистики, так
как теперь p<a(t) сами являются случайными величинами, и
совсем не очевидно, что асимптотическое распределение X2 бу-
будет иметь ту же форму, что и в случае простой гипотезы Яо.
Действительно, член щ — npOi(t) не обязательно имеет нулевое
математическое ожидание. Мы можем тождественно переписать
X2 как
-2п{щ- npoi (9)} {poi (t) - poi (9)}]. C0.9)
Из теории мультиномиального распределения мы знаем, что
асимптотически
щ - npOi (9) ~ сп1!2,
так что первый член в квадратных скобках в C0.9) имеет поря-»
док п. Если мы имеем также
Д>|(')-А«(в) = о(я'/2), C0.10)
то второй и третий члены будут меньшего порядка, чем п, и
будут асимптотически пренебрежимы, так что асимптотическое
поведение выражения C0.9) определяется тогда его первым
членом. Однако и- это выражение содержит еще случайную ве-
величину npQi(t) в знаменателе, но с той же степенью приближе-
приближения мы можем заменить ее на прО1(в). Мы видим, таким обра-
образом, что если выполняется C0.10), то статистика C0.9) ведет
себя асимптотически точно так же, как C0.5),— она имеет рас-
распределение %2 с k — 1 степенями свободы. Однако, если
«хорошо ведут себя» как функции от t, то их отличие от
КРИТЕРИИ СОГЛАСИЯ
565
будет того же порядка, что и отличие t от 9. Тогда во всех прак-
практических ситуациях C0.10) требует, чтобы
t-Q = o(n-1'2). C0.11)
Соотношение C0.11), как правило, не выполняется, так как мы
обычно имеем оценки с дисперсиями и ковариациями порядка
/г, и тогда
C0.12)
В этом «регулярном» случае, следовательно, приведенное выше
рассуждение теряет силу. Но оно остается в силе в тех случаях,
когда оценки имеют дисперсии порядка п~2, что, как мы видели,
характерно для оценок параметров, определяющих граничные
точки области значений случайной величины (см. примеры 14.8,
14.13 и 32.11). В таких случаях, следовательно, для применения
C0.8) не требуется никакой новой теории. Более распростра-
распространенный случай, когда выполнено C0.12), требует дальнейшего
исследования.
30.9 Чтобы упростить наше обсуждение, мы приведем сна-
сначала иной вывод асимптотического распределения C0.5) в слу-
случае простой гипотезы, принадлежащий Фишеру A922а).
Предположим, что имеются k независимых пуассоновских
случайных величин, из которых г-я имеет параметр npOi. Вероят-
Вероятность того, что первая величина примет значение п\, вторая п2
и т. д., равна
Р (я,, п2, ..., nk) = Ue~nPoi inpu)nilnt\ = e-VUPof/n.U C0.13)
Рассмотрим теперь условную вероятность наблюдения этих зна-
значений при фиксированной их сумме ^rii = n. Сумма k незави-
симых пуассоновских случайных величин сама имеет распреде-
распределение Пуассона с параметром 2 npoi = n (см. пример 11.11).
Таким образом, вероятность того, что эта сумма равна п, есть
Р{^щ = п) = е-ппп1п\. C0.14)
Теперь мы можем получить требуемую условную вероятность:
Р{пь п2, .... пк
Р(п1
2, ..., пк)
п\
¦(?•'¦
Pol
№. C0.15)
566
ГЛАВА 30
Мы видим, что C0.15) есть в точности мультиномиальное рас-
распределение величин щ, на которых основана наша процедура.
Таким образом, в качестве альтернативы к выводу асимптотиче-
асимптотического распределения X2, данному в примере 15.3 (см. 30.5), мы
можем получить это распределение, рассматривая л, как зна-
значения k независимых пуассоновских случайных величин с пара^
метрами npOi, подчиненных условию 2 Щ = п. Согласно
меру 4.9 нормированная величина
_ n( - nPoi
C0.16)
асимптотически нормальна при /г-»-оо. Следовательно, при
П-+- оо
к
представляет собой сумму квадратов k независимых нормаль-
нормальных величин, подчиненных единственному условию ^щ—п,
i
что эквивалентно условию 2 (npoi)/2 xt = 0. Следовательно, со-
i
гласно примеру 11.6 X2 имеет асимптотически распределение %2
с k — 1 степенями свободы.
30.10 Польза этого второго доказательства состоит в том, что
в совокупности с примером 11.6, на который мы ссылались, оно
ясно показывает, что если наложить дополнительно s однород-
однородных линейных условий на tii, то все влияние этого на асимптотик
ческое распределение X2 будет заключаться в уменьшении числа
степеней свободы с (к — 1) до (к — s — 1).
Вернемся теперь к сложной гипотезе п. 30.8 в случае, когда
выполняется C0.12). Предположим, что мы выбрали в качестве
нашей совокупности t оценок параметра в оценки максимального
правдоподобия (или другие эквивалентные асимптотически эф-
эффективные оценки), так что t = о. В этом случае функция правдо-
правдоподобия L есть просто мультиномиальное распределение C0.15),
рассматриваемое как функция Qj, от которых зависят pOi. Таким
образом,
к
дРо1 1 /_1 о s
dQ,
р0{
и МП-оценки в этом регулярном случае — это корни s уравне-
уравнений, получаемых приравниванием C0.17) к нулю при каждом /,
Ясно, что каждое такое уравнение есть однородное линейное
соотношение между nt. Мы, таким образом, видим, что в этом
регулярном случае имеются s дополнительных ограничений, на-
КРИТЕРИИ СОГЛАСИЯ
567
лагаемых процессом эффективного оценивания параметра в
мультиномиального распределения, так что статистика C0.8)
имеет асимптотически распределение %2 с k — s — 1 степенями
свободы. Более строгое и подробное доказательство дается в
книге Крамера A946), см. также Бёрч A964b). Мы будем на-
называть в мультиномиальной МП-оценкой.
Влияние оценивания на распределение X2
30.11 Мы можем теперь, следуя Ватсону A959), рассматри-
рассматривать общую задачу о влиянии оценивания неизвестных парамет-
параметров на асимптотическое распределение статистики X2. Мы огра-
ограничимся случаем, когда выполнено C0.12), и для любой оценки
t параметра в запишем *)
t — В = п-ч*Ах+ 'о (n-ia), C0.18)
ил; — вектор {k X 1)
C0.19)
где А — произвольная матрица (s X
с г'-м элементом
п, —
определяемым так же, как в C0.16) для случая простой гипо-
гипотезы; мы предполагаем, что А выбрана так, чтобы
М (Ах) = 0. C0.20)
Из C0.18) и C0.20) сразу следует, что матрица рассеяния t,
V(t), имеет порядок ггх. Применяя разложение Тейлора к
ipoi(t) —PoiF)} в C0.9), мы можем написать
где при п -*• оо
(в)
! (в)}1/2
или, в матричной форме,
у = х - П1'2В (t — в) + О A),
где В — матрица (k X s) с (i, /)-м элементом
^ дРо1 @) 1
11
>о*@)}1/2*
C0.21)
C0.22)
*) Соотношение C0.18) возможно лишь для оценок, выражаемых через
частоты «1, ..., пк (см. C0.19)). Оценка t, зависящая от индивидуальных
значений наблюдений, как, например, обычная МП-оценка (см. 30.17), мо-
может не допускать такого представления. (Прим. ред.).
568
ГЛАВА 30
Подставляя C0.18) в C0.21), мы находим, что
у = A-ВА)х-\-о{\). C0.23)
30.12 В силу уравнения C0.19) лгг- имеют нулевые средние.
Согласно многомерной центральной предельной теореме при
п -> оо они имеют в пределе многомерное нормальное распреде-
распределение, и их матрица рассеяния равна, если обозначить временно
'"' через pi,
)', C0.24)
где p'/a— вектор (k XI) с i-м элементом {poi(9)}'/s. Из C0.23)
и C0.24) сразу следует, что уг также асимптотически нормаль-
нормальны с нулевыми средними и матрицей рассеяния
C0.25)
Таким образом, X2 = у'у распределено асимптотически как сум-
сумма квадратов k нормальных случайных величин с нулевыми
средними и матрицей рассеяния C0.25). Как мы знаем из
15.10—11, X2 имеет распределение %2 с г степенями свободы тогда
и только тогда, когда V(y) идемпотентна и г характеристических
чисел ее равны единице, a (k — г) — нулю, так что ее след равен г.
30.13 Теперь мы рассмотрим частные случаи C0.25). Прежде
всего, случай простой гипотезы, где не требуется никакой оцен-
оценки, можно формально получить, полагая А = 0 в C0.18). Тогда
C0.25) становится равной просто
V (у) = V (х) = / - (р>/2) (р</у. C0.26)
к
Так как (рш)' (р) = Ъ ры @) = 1, то, возводя матрицу C0.26)
в квадрат, мы видим, что она идемпотентна и ее след равен
(к—1). Таким образом, Хг в этомслучае имеет распределение
х|_х, как мы уже знаем из двух других доказательств.
30.14 Случай сложной гипотезы уже не столь прост. Пред-
Предположим сначала, как в 30.10, что используются мультино-
мультиномиальные МП-оценки 0. Мы ищем вид матрицы А в C0.8), ко-
когда t = 0. Из 18.26 мы знаем, что матрица, обратная к матрице
рассеяния 0, имеет асимптотически элементы
=1, 2,
C0.27)
КРИТЕРИИ СОГЛАСИЯ
569
Согласно C0.17) мультиномиальные уравнения МП дают
l\
dQ'dfii АЛ DmKdQidQt Poi ^0/ dfy /'
Беря математические ожидания в C0.28), мы находим
t k ft
т\ дв,дв[ \—п | Zi Pot dQj dQ[ Lk
C0.29)
Второй член в правой части C0.29) обращается в нуль, так как
ot- Таким образом, пользуясь C0.22),
д2
он Равен ШГдЩ
имеем
так что из C0.27)
или
Но из C0.18) и C0.24) мы имеем
C0.30)
A'. C0.31)
Здесь C0.30) и C0.31) —два различных выражения для одной
и той же матрицы.
Чтобы найти А так, чтобы выполнялось C0.30), заметим, что
C0.32)
так как ;-й элемент этого (s + 1) -вектора равен -gg-^j Ро<=О I >
\ ! «=1 /
и, следовательно, если А = GB', где G симметрична и не-
вырождена, то C0.31) дает GB'BG'. Если это должно быть рав-
равно C0.30), то мы имеем, очевидно, G= (B'B)-\ и окончательно
1В' C0.33)
в случае мультиномиальной МП-оценки. Тогда, пользуясь
C0.32), приводим C0.25) к виду
V (у) = {I - В {В'ВГ' В'}2 - (pV2) (р'/*)' =
= / - В (В'ВГ'В' — (р1/2) (р1/2)'. C0.34)
Возведением в квадрат можно показать, что эта матрица идем-
идемпотентна. Ее ранг равен ее следу, который, как в 19.9, дается
570
Глава зо
Г\
формулой
tr V (у) = tr {/ — (pi/*) (p'/2)'} _ tr В' В (В'ВГ
и в силу 30.13 это равно
tr V (у) = (k— l) — s.
Таким образом, X2 имеет асимптотически распределение 3c!_s_i»
как мы видели в 30.10.
30.15 Применяемый сейчас подход дает нам возможность
дальнейшего исследования: что случится с асимптотическим
распределением статистики X2, если применять какие-нибудь
оценки, отличные от в? Этот вопрос был впервые рассмотрен в
простейшем случае Фишером A928b). Чернов и Леман A954)
рассмотрели случай, представляющий особый интерес, когда
применяются МП-оценки, основанные на п индивидуальных на-
наблюдениях, а не мультиномиальные МП-оценки в, основанные
на k частотах л,, которые мы рассматривали до сих пор. Если
мы имеем значения п наблюдений, то ясно, что использование
этого знания при оценке в дает эффективную процедуру *), даже
если мы в критерии согласия собираемся пользоваться лишь
частотами k классов. Мы, однако, увидим, что статистика X2,
полученная таким образом, уже не имеет асимптотически рао
пределения %2.
30.16 Вернемся к общему выражению C0.25) для матрицы
рассеяния. Произведя умножение, мы перепишем его в виде
V(у) = {/ - (р1'2) (р1'2)'} -ВА{1- (р) (р1/2)'} -
. -{/ — (р1/2)(р1/2)'}л/В' + ВА{/-(р'/2)(р1/2)/}А'В'. C0.35)
Вместо того, чтобы находить характеристические числа Xi ма-
матрицы V(y), мы рассмотрим характеристические числа матрицы
J— V(y), равные 1 —К{. Мы запишем эту матрицу в виде
(р)(р*'2У + В [А{1 -
з)'} А'] В'
- 1DB'] +
+ [{/ - (Р1/2) (Р1/2)'} А' - у BD] В'. C0.36)
. *) Это. интуитивное представление оказывается неверным. Критерий,
использующий МП-оценку по я наблюдениям, прн различных альтернативах
может иметь как большую, так и меньшую мощность по сравнению с крите-
критерием, использующим оценку 8i см, Д. М, Чибисов A971), Теория вероят. и
ее примен. XVI, 3—20. {Прим. ред.)
КРИТЕРИИ СОГЛАСИЯ
571
После подстановки C0.31) C0.36) может быть переписано в
виде произведения двух блочных матриц:
в
(рУ2У
A{l-(ptl2)(pl'Y}~±.DB'
В'
Матрицы в правой части можно переставить, не изменяя ненуле-
ненулевых характеристических чисел. При этом их произведение из
матрицы (k X k) становится матрицей Bs -f- 1) X Bs + 1), кото-
которую, пользуясь C0.30) и C0.32), приводим к виду
X5
,-1
В'А' — у
. C0.37)
Одно из характеристических чисел матрицы C0.37) равно еди-
единице, a 2s остальных являются характеристическими числами
матрицы М, выделенной в ее правом нижнем углу. Если
k ^ 2s + 1, как почти всегда бывает в приложениях, то отсюда
следует, что C0.36) имеет k — 2s—1 нулевых характеристиче-
характеристических чисел, одно, равное единице, a 2s остальных являются ха-
характеристическими числами М. Таким образом, для самой ма-
матрицы V(y) мы имеем k — 2s—1 характеристических чисел,
равных единице, одно нулевое и 2s, являющихся дополнениями
до единицы характеристических чисел матрицы М.
30.17 Мы рассмотрим теперь задачу, введенную в 30.15.
Предположим, что для оценки в мы пользуемся МП-оценкой,
основанной на п индивидуальных наблюдениях, которую мы бу-
будем называть «обычной МП-оценкой» и обозначать В*. Мы знаем
из 18.26, что если f — функция плотности наблюдений, то мы
имеем асимптотически
^)}' C0.38)
и элементы в являются корнями уравнения
0, .?=1,2,...,*,
572
ГЛАВА 30
где L теперь — обычная (не мультиномиальная) функция прав-
правдоподобия. Таким образом, если 90—истинное значение, то мы
имеем разложение Тейлора
0 _
— I. 2
и, как в 18.26, получаем» пользуясь C0.38), что асимптотически
C0.39)
где 6— вектор истинных значений. Поскольку обе совокупности
МП-оценок состоятельны, —-^Р— будет в первом приближении
эквивалентно выражению C0.17) *), которое вследствие C0.22)
равно
и мы можем записать это в обозначениях C0.19) как
Таким образом, C0.39) принимает вид
и сравнение C0.40) с C0.18) показывает, что здесь
A=DB'.
C0.40)
C0.41)
*) Это утверждение и вытекающие из него формулы C0.40) и C0.41)
неверны, так, из C0.40) в силу C0.24) н C0.32) следует
п V (в*) == DB'V (x) BD' = DBBD',
что не совпадает с C0.38). Ошибочность рассуждения здесь связана с не-
невозможностью представления C0.18) для оценки в* (см. примечание на
стр. 567). Формула C0.42) н дальнейшие выводы в 30.18 тем не менее вер-
верны; доказательства см. в работах Чернова и Лемана A954) н Чибисова
(цит. на стр. 570). (Прим. ред.)
КРИТЕРИИ СОГЛАСИЯ
573
30.18 Матрица рассеяния C0.25) теперь принимает вид
V (у) = (I - BDB') {I - (рЧ*) (р'/*)'} (I - BDB'),
откуда, пользуясь C0.31), C0.32) и C0.41), получаем
У(9) = /-(р1/2)(р1/2)' — BDB'. C0.42)
Матрица C0.42) не идемпотентна, что проверяется возведением
ее в квадрат. Кроме того, все три матрицы в правой части не-
неотрицательно определены, и мы можем записать
где Р неотрицательно определена, так как D — матрица рас-
рассеяния асимптотически эффективных обычных МП-оценок, а С —
матрица рассеяния мультиномиальных МП-оценок, каждый из
диагональных элементов которой не может быть меньше соот-
соответствующего элемента D. Таким образом, C0.42) может быть
записано как
V (у) = J - (р1/2) (р'/2)' _ всв' + ВРВ'. C0.43)
Первые два члена в правой части C0.43) — это то, что мы по-
получили в C0.26) для случая, где не производится никакой оцен-
оценки, когда k—1 характеристических чисел V(y) равны единице
и одно равно нулю. Первые три члена дают C0.34), где при
применении мультиномиальных МП-оценок V(y) имеет k—s—1
характеристических чисел, равных единице, и s + 1 нулевых.
Вследствие неотрицательной определенности всех членов при-
приведение C0.43) к каноническому виду показывает, что харак-
характеристические числа C0.43) ограничены соответствующими ха-
характеристическими числами C0.26) и C0.34). Таким образом,
k — s — 1 характеристических чисел матрицы C0.43) равны
единице, одно нулю и s заключены между нулем и единицей,
как установлено Черновым и Леманом A954).
Из того факта, что при возрастании k две совокупности
МП-оценок § и 8' сближаются между собой, так что D-+C,
следует, что последние s характеристических чисел стремятся к
нулю при k-*- оо.
30.19 Итак, результат, который мы получили, состоит в том,
что X2 не имеет асимптотически х2-Распределения, когда для
оценки параметров используются вполне эффективные оценки
(обычного максимального правдоподобия). Однако распределе-
распределение X2 заключено между $|_, и %l_s_v и при возрастании k
они становятся столь близки между собой, что различием мож-
можно пренебречь, — это другое выражение для заключительного
утверждения в 30.18. Но при малых k использование распреде-
распределения xl_.s_i Для проверки гипотез может привести к серьезной
574
ГЛАВА 30
ошибке, так как вероятность превышения любого данного зна*
чения будет больше, чем мы предполагаем, s редко бывает
больше, чем 1 или 2, но при использовании обычной МП-оценки
полезно убедиться, что X'2 превышает оба критических значения
Для %l-s-\ и %t-r Таблицы распределения %2 показывают, что
для критерия с уровнем значимости а = 0,05 критическое зна-
значение при k — I степенях свободы превышает критическое зна-
значение при k — s— 1 степенях свободы, если s мало, приблизи-
приблизительно на Cs, где С убывает от примерно 1,5 при (k — s — 1) =
= 5 до примерно 1,2 при (k — s — 1) =30. При а = 0,01 соот-
соответствующие значения С равны приближенно 1,7 и 1,3.
Выбор классов для критерия X2
30.20 Вся асимптотическая теория критерия X2, которая об-
обсуждалась до сих пор, справедлива при любом определении k
классов, в которые группируются наблюдения, если только они
определяются безотносительно к результатам наблюдений. Вы-
Выделенное условие существенно, так как мы не предусматривали
возможности того, чтобы границы классов сами были случай-
случайными величинами. Однако обычной практикой является опре-
определение границ классов, а иногда даже выбор k по рассмотре-
рассмотрении общей картины, даваемой наблюдениями. Мы должны, сле-
следовательно, обсудить способы образования классов и затем
рассмотреть, насколько это влияет на развитую нами теорию.
Мы рассмотрим сначала определение границ классов, остав-
оставляя вопрос о выборе k на более позднее время. Если сама за-
задача обусловливает дискретный характер данных (как в приме-
примере 30.1, где было четыре естественных группы) или если мы
имеем выборку наблюдений из дискретного распределения, то
задача о границах классов возникает только в том смысле, что
мы можем решить (чтобы уменьшить k или чтобы улучшить
точность асимптотического распределения X2, как мы увидим
ниже в 30.30) объединить некоторые из теоретических частот
в дискретных точках. Действительно, если дискретное распре-
распределение имеет бесконечную область, как, например, пуассонов-
ское, мы вынуждены, если k не должно быть бесконечным, про-
производить объединение некоторых классов с чрезвычайно малы-
малыми, в большинстве, теоретическими частотами. Но проблема
границ классов наиболее остро возникает, только когда мы
имеем выборку из непрерывного распределения. В этом случае
нет никаких теоретических частот. Если мы предположим, что
k каким-то образом определено заранее, то как определять гра-
границы классов?
На практике решение обычно диктуется арифметическим
удобством: классы берутся покрывающими равные отрезки из*
Критерии согласия
S7S
менения варианты, за исключением крайних, где область изме-
изменения варианты бесконечна. Размер класса грубо определяется
дисперсией распределения, тогда как положение распределения
помогает определить, где должен быть центральный класс. Та-
Таким образом, если нам нужно было бы образовать 10 классов
для выборки, проверяемой на нормальность, мы могли бы грубо
оценить (возможно, на глаз) выборочные среднее х и стандарт-
стандартное отклонениея и взять в качестве границ классов х ± -x-sj, j —
= 1, 2, 3, 4. Тогда получились бы классы
(— оо, x~2s), (x — 2s,x—l,5s), (х — 1,5s, x — s),
(х — s, x — 0,5s), (x ~ 0,5s, x),
(x, x + 0,5s), (x + 0,5s, x + s), (x + s, x+l,5s),
(x+l,5s, * + 2s), B +2s, oo).
30.21 Хотя это и не очень точно определенная процедура,
.ясно, что она делает границы классов случайными величинами,
и заранее не очевидно, что статистика Хг, вычисленная для
классов, образованных таким способом, имеет то же асимптоти-
асимптотическое распределение, что и в случае, когда классы фиксиро-
фиксированы наперед. Однако интуиция подсказывает, что, поскольку
асимптотическая теория справедлива для любой совокупности
из k фиксированных классов, она должна быть справедлива и
когда границы классов определяются по выборке. То, что это
утверждение выполняется при определении границ классов ре-
регулярными оценками неизвестных параметров, было показано
для случая нормального распределения Ватсоном A957b) и
для общего случая непрерывных распределений Роем A956) и
Ватсоном A958, 1959) *).
Таким образом, мы можем пренебречь случайностью границ
интервалов, коль скоро дело касается асимптотического распре-
распределения X2 при гипотезе Но. Конечно, это повлияет на распреде-
распределения при малых выборках, но о точных размерах этого влия-
влияния еще ничего не известно. (Распределения X2 при малых вы-
выборках в случае фиксированных границ мы обсуждаем ниже, в
30.30).
Метод равных вероятностей для построения классов
30.22 Мы можем теперь непосредственно обратиться к во-
вопросу о том, как следует определять границы классов в свете
утверждения последнего абзаца в 30.21. Искать оптимальный
ред.)
') См. также работу Чибисова, цнт. в примечании на стр. 570. (Прим.
576
ГЛАВА 30
метод определения границ мы должны в терминах мощности
критерия; надо выбрать такую совокупность границ, которая ма-
максимизировала бы мощность для критерия данного размера.
К сожалению, метода, пригодного для этого, пока нет, хотя
можно надеяться, что недавнее возобновление интереса к тео-
теории критериев X2 будет стимулировать исследования в этой об-
области. Мы должны, следовательно, искать какие-то средства из-
избежать того неприятного факта, что имеется многообразие воз-
возможных совокупностей классов, каждая из которых будет
давать, вообще говоря, иной результат для тех же данных; нам
нужно правило, приемлемое и применимое для практики.
Одно такое правило было предложено Манном и Вальдом
A942) и Гамбелом A943): для данного k выбрать классы так,
чтобы все гипотетические вероятности pOi были равны l/k. Это
совершенно определенная и однозначная процедура. Она отли-
отличается арифметически от обычного метода, описанного в 30.20
(в котором классами служат интервалы изменения варианты
равной длины), тем, что нам приходится пользоваться табли-
таблицами, чтобы обеспечить равенство рОг- Для точного осуществле-
осуществления этого нужно, чтобы имеющиеся данные были не группиро-
группированы. Эта процедура иллюстрируется примером 30.2.
Пример 30.2
Кэнуй A959) приводит, с точностью до сдвига, 1000 случай-
случайных отклонений, подчиняющихся распределению
dF = exp(— x)dx, 0<лг<оо.
Первые 50 из них, упорядоченные по величине, равны: 0,01; 0,01;
0,04; 0,17; 0,18; 0,22; 0,22; 0,25; 0,25; 0,29; 0,42; 0,46; 0,47; 0,47-
0,56; 0,59; 0,67; 0,68; 0,70; 0,72; 0,76; 0,78; 0,83; 0,85; 0,87; 0,93;
1,00; 1,01; 1,01; 1,02; 1,03; 1,05; 1,32; 1,34; 1,37; 1,47; 1,50; 1,52;
1,54; 1,59; 1,71; 1,90; 2,10; 2,35; 2,46; 2,46; 2,50; 3,73; 4,07; 6,03.
Допустим, что мы хотим образовать четыре класса для кри-
критерия X2. Естественной группировкой с интервалами равной
длины была бы:
Значения варианты
о—о,5а
0,51 — 1,00
1,01 — 1,50
1,51 и более
Наблюденная
частота
14
13
10
13
50
Гипотетическая
частота
19,7
11,9
7,2
11,2
50,0
КРИТЕРИИ СОГЛАСИЯ
577
Гипотетические частоты получены из таблиц в Biotnetrika
Tables функции распределения величины f с 2 степенями сво-
свободы, представляющий собой удвоенную случайную величину с
указанным выше распределением. Мы находим X2 = 3,1 с 3 сте-
степенями свободы, значение, при котором гипотетическое распре-
распределение не отвергалось бы никаким критерием размера мень-
меньшего, чем а = 0,37; согласие между наблюдениями и гипоте-
гипотезой, следовательно, весьма удовлетворительное.
Рассмотрим теперь, как те же данные обрабатывались бы
по методу из 30.22. Сначала мы определяем значения гипоте-
гипотетической величины, разбивающие ее на четыре равновероятных
класса, — это, разумеется, квартили. Таблицы Biometrika Tables
дают значения 0,228, 0,693, 1,386. Теперь мы составляем
таблицу:
Значения варианты
0—0,28
0,29—0,69
0,70—1,38
1,39 и более
Наблюденная
частота
9
9
17
15
50
Гипотетическая
частота
12,5
12,5
12,5
12,5
50,0
Статистику X2 теперь легче вычислять, так как C0.8) сво-
сводится к
C0-44)
поскольку все гипотетические вероятности ро% = 1/&- Мы нахо-
находим, что X2 = 3,9; при таком значении X2 гипотеза не будет от-
отвергнута, если размер критерия не превышает 0,27. Это по-преж-
по-прежнему весьма удовлетворительный результат, но критерий с рав-
равными вероятностями кажется более критичным к гипотезе, чем
был первый критерий.
В этом примере не было параметров, подлежащих оценке.
Если нужно оценивать s параметров, мы неизбежно сталкиваем-
сталкиваемся с проблемой, рассмотренной в 30.15—19: при использовании
обычных МП-оценок применимы выводы п. 30.19.
30.23 Метод образования равновероятных классов для
^-критерия, обладая тем достоинством, что он устраняет не-
неопределенность в решении о границах классов, не обязательно
увеличивает мощность критерия, так как можно ожидать, что
19 М. Кендалл, А. Стьюарт
578
Глава зо
гипотеза согласия наиболее уязвима на краях области измене-
изменения варианты, и метод равных вероятностей вполне может при-
привести к потере чувствительности на краях, если только k не
будет достаточно велико. Это подводит нас к вопросу о том,
как следует выбирать k, и, чтобы обсуждать этот вопрос, мы
должны рассмотреть мощность Х2-критерия. Прежде всего мы
исследуем моменты статистики X2.
Моменты статистики критерия Я2
30.24 Мы предполагаем, как прежде, что при гипотезе Но
имеются гипотетические вероятности р<к, так что статистикой
является, как в C0.8),
Мы ограничимся простой гипотезой. Предположим теперь, что
истинные вероятности равны рц, г= 1, 2, ..., k. Тогда матема-
математическое ожидание статистики критерия равно
По формуле E.80) для моментов мультиномиального распреде-
распределения
М(п2) = приA-ри) + п2ри, C0.45)
откуда
k
. VI РнО — Ри) ,
1 — » \- i
РЩ
— 1
C0.46)
Когда справедлива гипотеза Но, это сводится к
M(Z2|tf0) = fc-l. C0.47)
Это точный результат, об асимптотической справедливости ко-
которого нам уже известно, так как X2 тогда распределена как
%l_v Если мы продифференцируем C0.46) по ри, подчиненным
условию 2/?н—1> то мы найдем, что при п—>-оо C0.46) до-
i
стигает минимума, когда ри = ро,-. Для любой гипотезы Н\, за-
задающей набор вероятностей рц ф роь мы, следовательно, имеем
асим птотически
М(*2|Я!)>&-1. C0.48)
Как и асимптотические рассуждения, основанные на статистике
ОП в 30.6, C0.48) указывает, что критическая область для
КРИТЕРИИ СОГЛАСИЯ
579
Х2-критерия состоит из больших значений, хотя это и не яв-
является окончательным аргументом, так как X2 при гипотезе #i
уже не имеет асимптотического распределения %2. На самом
деле этим распределением будет при условиях, даваемых далее
в 30.27, нецентральное распределение %2.
Даже дисперсия X2 сравнительно сложно зависит от pOi и
ри (см. упражнение 30.5). Однако в случае равных вероятно-
вероятностей (poi = l/k) асимптотическая дисперсия заметно упрощает-
упрощается, и мы находим (доказательство оставляем читателю в каче-
качестве упражнения 30.3)
D(*2|tf0) = 2(&-1), )
D(X2 \Н1)=2к2{Ър\1 + 2{п-Щр\-{2п-\) B рЦу j <30-49>
Из C0.46) мы имеем также в случае равных вероятностей
М(*2|Я,) = (&-1) + (,г-1)^2р2г- 1). C0.50)
Выражение C0.50) больше, чем [к — 1), при любом п.
Состоятельность и несмещенность критерия X2
30.25 Равенства C0.49) и C0.50) достаточны, чтобы пока-
показать состоятельность Х2-критерия с равными вероятностями.
Действительно, критерий состоит в сравнении значения X2
с фиксированным критическим значением, скажем са, на верх-
верхнем «хвосте» своего распределения. Когда справедлива гипо-
гипотеза Ни среднее и дисперсия X2 имеют порядок п. По неравен-
неравенству Чебышева C.95)
- М (X2) | .> A [D {Х2)\т) < 1/Я2.
C0.51)
Поскольку са фиксировано, оно отличается от М (X2) на вели-
величину порядка п, так что если нас интересует вероятность того,
что X2 отличается от своего среднего настолько, чтобы попасть
ниже са, то множитель X в левой части C0.51) должен быть
порядка п1/2, и, следовательно, правая часть имеет порядок пт1.
Таким образом,
lim P{X2<ca} = 0,
Л->оо
и критерий состоятелен против любой альтернативы Н\, задаю-
задающей неравные вероятности классов.
Общий Х2-критерий с неравными рог также состоятелен про-
против альтернатив, задающих хотя бы одно рц ф ро?, что понятно
интуитивно. Доказательство было дано Нейманом A949).
19*
580
ГЛАВА 30
30.26 Хотя Х2-критерий состоятелен (и, следовательно, асимп-
асимптотически несмещен), нет оснований ожидать, что он будет не-
несмещенным в общем случае против близких альтернатив при
малых п. Однако Манн и Вальд A942) показали, что критерий
с равными вероятностями является локально несмещенным.
Обозначим Р мощность критерия и разложим Р в ряд Тейлора
с k значениями 6г- = Pi—(I/&) в качестве аргументов. Мы
имеем тогда
Р(в„ в, е,) = Р@, о °>
ае;
ае,
C0.52)
где все производные берутся в точке @, 0, ..., 0), отвечающей
гипотезе Но. Для критерия размера а
Р@, 0, ..., 0) = а.
Далее, поскольку Р — симметричная функция аргументов 9,-, все
-^д7 равны между собой в точке @, 0, ..., 0), и то же верно для
Q2f> Q2p
и .: . Мы можем, следовательно, переписать C0.52) в виде
5
59,-
дв{
Р = а-
Далее,
дР
дв.
ае, аа.
C0.53)
Поэтому выражение C0.53) равно
д2р
ае, ае2
C0.54)
Мы можем найти значения производных второго порядка в
C0.54) непосредственно из точного выражения для мощности
, ,д! гР1'р> ¦ ¦ ¦ plk. C0.55)
ft,! я,! ... пк\ rir2 гъ, \ /
Поскольку &i = Pi — -г, мы находим из C0.55)
д2Р
дв]
д2Р
>е, эе,
где /¦„ = •
я!
k~n
„, C0.56)
и суммирование всюду, где это не
КРИТЕРИИ СОГЛАСИЯ
581
указано, производится по критической области X2 ^ са, кото-
которая в силу выражения C0.44) для X2 имеет вид
1=1
Величина — V n\fn есть усреднение п\ по критической обла-
области, и оно должно превосходить среднее значение п\ по всей
совокупности, равное -f-(l —г ~Ь т) в СИЛУ C0.45). Таким об-
образом,
2 fD|) C0.57)
где d > 0. Точно такими же рассуждениями, поскольку п\ по-
положительно, мы получаем -Уп,^ > у, или
2 «if« = а (я/Л) + е, C0.58)
где е > 0. Кроме того, мы, очевидно, имеем в C0.57) и C0.58)
d > е. C0.59)
В силу симметрии мы имеем
1
k(k
C0.60)
- = 0.
Пользуясь C0.57) —C0.60), получаем из C0.56)
1 Тд2Р д2Р j k aJL(i L4-— \—а— — а
k2 [ д&\ ae, ae2 J л - i ' а k \ k k j а k a\
C0.61)
Таким образом, второй член в правой части C0.54) положите-
положителен. Члены высших порядков, отброшенные в C0.54), содер-
содержат 9г в третьей и более высоких степенях и вблизи Но будут,
следовательно, меньше по модулю, чем член второго порядка.
Таким образом, Р ^ а вблизи Яо и критерий с равными ве-
вероятностями локально несмещен, что служит рекомендацией
для этой процедуры образования классов, так как никаких ре-
результатов такого рода для критерия X2 в общем случае неиз-
неизвестно.
Предельная функция мощности
30.27 Предположим, что, как и при обсуждении асимптоти-
асимптотической относительной эффективности в главе 25, мы позво-
позволяем Hi приближаться к Но при возрастании п со скоростью,
достаточной, чтобы мощность не приближалась к I. Положим
7
582
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
583
Pit—Poi — Citi-*12, где d фиксированы. Тогда X2 имеет асимп-
асимптотически нецентральное х2-РаспРеДеление с ^ — s — 1 степе-
степенями свободы (когда s параметров оцениваются посредством
мультиномиальных МП-оценок) и параметром нецентральности
я =
(Pit -
Put
C0.62)
Этот результат, впервые объявленный Эйзенхартом A938),
сразу следует из представления, указанного в 30.9—10; его до-
доказательство предоставляется читателю в качестве упражнения
30.4. Теперь, применяя лемму Неймана — Пирсона B2.6) к
B4.18), получаем, что наилучшая критическая область для
проверки Я = 0 представляет собой верхний «хвост» распре-
распределения X2.
Аппроксимация нецентрального %2 в 24.5 позволяет нам при-
приближенно оценить мощность Х2-критерия. Она дается тогда ин-
интегралом B4.30). Для а = 0,05 могут быть использованы таб-
таблицы Патнайка, описанные в 24.5.
Пример 30.3
Мы можем проиллюстрировать использование предельной
функции мощности, возвращаясь к задаче примера 30.2 и ис-
исследуя влияние удвоения k на мощность критерия с равными
вероятностями. Чтобы облегчить использование таблиц из Bio-
metrika Tables, мы в действительности выбираем четыре класса
с несколько неравными вероятностями:
Значения
0—0,3
0,3—0,7
0,7-1,4
1,4 и больше
0,259
0,244
0,250
0,247
"и
0,104
0,190
0,282
0,424
0,0240
0,0029
0,0010
0,0313
0,0927
0,0119
0,0040
0,1267
0,2353 = —
п
В этой таблице pOj- получены, как и раньше, из гамма-рас-
гамма-распределения с параметром 1, а рц — из гамма-распределения
с параметром 1,5. Для этих четырех классов и п = 50, как в
примере 30.2, мы находим, что параметр нецентральности
C0.62) равен Я = 0,2353-50 = 11,8. Для X2 с 3 степенями
свободы, когда а = 0,05, это дает мощность 0,83 по таблице
Патнайка.
Предположим теперь, что мы образуем восемь классов, раз-
разбивая каждый из имеющихся классов на два, с новыми рои
равными настолько, насколько это удобно для использования
таблиц. Мы находим:
Значения
0—0,15
0,15—0,3
0,3 -0,45
0,45—0,7
0,7 —1,0
1,0 —1,4
1,4 -2,1
2,1 и больше
"о*
0,139
0,120
0,103
0,141
0,129
0,121
0,125
0,122
0,040
0,064
0,071
0,119
0,134
0,148
0,183
0,241
Ci|-"o<J
0,0098
0,0031
0,0010
0,0005
0,0000
0,0007
0,0034
0,0142
(Pll-PoiJ/Ptt-
0,0705
0,0258
0,0097
0,0035
0,0002
0,0058
0,0272
0,1163
0,2590 = —
Для п = 50 теперь имеем Я = 13,0 с семью степенями сво-
свободы, и мощность при а = 0,05 приближенно равна 0,75 по
таблице Патнайка. Удвоение k увеличило Я, но лишь немного.
Мощность же на самом деле уменьшилась, так как при дан-
данном Я центральное и нецентральное %2-распределения сбли-
сближаются при возрастании числа степеней свободы (см. упражне-
упражнение 24.3), и здесь это влияет сильнее, чем увеличение Я. Од-
Однако п здесь слишком мало для того, чтобы делать надежные
заключения о мощности по предельной функции мощности, и,
возможно, следует сделать вывод, что удвоение- k повлияло на
мощность очень мало.
Выбор k в критерии с равными вероятностями *)
30.28 Манном и Вальдом A942) был получен следующий ре-
результат относительно выбора k. Пусть для проверки простой
гипотезы C0.1) с непрерывной ф. p. F0(x) по выборке объема п
применяется критерий X2 с k равновероятными классами. Обо-
Обозначим f(n,k, Д) минимум мощности критерия против класса
альтернативных ф. р.
Яд = {F (х): sup \F{x)- FQ(x) | > Д}.
— оо<А<оо
*) В оригинале п. 30.28 содержит вывод формулы C0.72) (см. приме-
примечание на стр. 585), которому трудно придать какой-либо смысл. Приводи-
Приводимый здесь текст п. 30.28 написан Д. М. Чибисовым. (Прим. ред.)
1
584
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
Для данных п и Д функция f(n,k,A) достигает максимального
значения, скажем /(/г,Д), при некотором k = k(n,A). Выберем
Д = Ап так, чтобы значение f(n,An) равнялось заданному Ро;
для определенности принимается Ро = 1/2. Оптимальным счи-
тается число классов kn = k(n, Д„), т. е. число /г, доставляющее
максимум функции f(n,k,&) при таком Д, для которого этот
максимум равен 1/2. Пусть G(x)—стандартная нормальная
ф. р. и da— решение уравнения G(da)= 1 —а. Теорема Манна
и Вальда утверждает, что при п-*- оо
S
kn ~ 4 /2 (n/da?<5.
C0.63)
Доказательство проводится по следующей схеме. Можно счи-
считать, что F0(x) = х при 0 ^ х ^ 1 (равномерное распределение
на @, 1)), а все альтернативные распределения также сосредо-
сосредоточены на @, 1) (см. 30.36). Если наблюдениям соответствует
ф.p. F(х), то X2 имеет приближенно нецентральное %2-распреде-
ление с v = k — 1 степенями свободы и параметром нецен-
тральности
X = nk
(=1
(ри ~ уJ =
C0-64)
(см. C0.62)), где pu = F(Uk)—F({i — \)lk). При этом (см.
B4.19))
MX2~v + A, DX2~2(v + 2A). C0.65)
Оптимальное kn должно возрастать с ростом п, и тогда стати-
статистика X2 асимптотически нормальна с параметрами C0.65).
Поэтому мощность критерия равна приближенно
v + da /271 Я,} - G
= Р (*• Л.)- C0-66)
Нетрудно проверить, что (d/dX)P{k, Я)> 0, и, таким образом,
для нахождения f(n,k,A) нужно найти ф. р. из Яд, которой
соответствует наименьшее Я. Рассмотрим эквивалентную за-
задачу: при фиксированном Я найти ф. p. F(x), для которой
sup | F (х) — х | = тах. Поскольку Я определяется только
о< *<i
значениями F(i/k), i = 0, 1,..., k, рассмотрим сначала
C0.67)
max r|-r) —¦
i
1=1
Пусть для простоты k четно. Тогда C0.67) достигает макси-
максимума при условиях 2 (ри — (l/k)J = X/nk и ^] (рн — (!/&)) = 0,
585
когда pl{ — (l/k) равны, скажем, б при г=1, ..., k/2 и равны
— б при i = k/2+ 1, ..., k. Согласно C0.64) 6= ± k~x (Я/«I/2;
в дальнейшем для определенности будем считать, что б > 0.
Это означает, что разность F(i/k) — (i/k) с ростом i возрастает
линейно при г = 0, ..., k/2 до значения kd/2 = (X/n)l/2/2 и затем
линейно убывает до нуля при i = fe/2 + I, ..., k. Теперь, не
меняя значений F(i/k), можно добиться наибольшего отклоне-
отклонения F (х) от х, если положить F(x) — F{i/k) при (i—\)jk<.
< х < //&. Тогда sup | -F (лс) — x \ достигается при х = (-5— -г) ~Ь 0
и равен Д == —1/ —Ь-т"- Отсюда находим, что Я=4«(Д—A/&)Jи
(«, *, А) « G
-C0.68)
Для нахождения kn нужно максимизировать по k аргумент
функции G в C0.68); это асимптотически эквивалентно макси-
максимизации его числителя. Дифференцируя по k, получаем
8nfA-_J.)_L__.
V k) k2
da
= 0.
Кроме того, условие P(n, An) = Po = 1/2 дает
4„ U--L -daV2(k-l)=0.
C0.69)
C0.70)
Из C0.69) и C0.70), пренебрегая различием между k и k—1,
получаем C0.63). При произвольном Ро можно аналогичным
образом получить из C0.68) и C0.69), что *)
V-/ d 4- П~1 (Р \\2'5
kn ~4 1/2 (п d° + °2 <~И°> ) . C0.71)
Следует заметить, что результат Манна и Вальда получен
из условия максимизации мощности против самых неблаго-
неблагоприятных альтернатив при заданном расхождении функций рас-
распределения. Если же иметь ввиду только достаточно «гладкие»
*) В оригинале для оптимального значения k получена формула
к-~ Ь\ .- v* , '' [ ', C0.72)
где коэффициент Ь связан с характером поведения альтернатив.
(Прим. ред.)
586
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
587
альтернативы, то оптимальное число k будет значительно
меньше. Качественно это можно объяснить следующим обра-
образом. Пусть распределения при Яо и Н\ задаются плотностями'
Ро(х) и р\{х) соответственно,причем р\{х)/ро(х) = 1 + n~i/2c(x).
Тогда (как и в 30.27) рн—poi = Ci«~1/2, где сг = \ c(x)po(x)dx
V
и Ai есть г-й класс-интервал. Параметр нецентральности C0.62)
будем обозначать Xk- По неравенству Коши — Буняковского
имеем
J c2(x)pQ{x)dx,
и, следовательно, Xk ^ Х^ з= Г с2 (х) р0 (х) dx. Предполагая пос-
последний интеграл конечным, нетрудно показать, что А*->А,о<>,
если k -> с» и все pOj-»-O. Пусть P(k,Xu)— мощность критерия
X2 с k классами, когда параметр нецентральности равен Хи-
Когда k невелико, нормальная аппроксимация, дающая C0.67),
недействительна, но характер поведения P(k,X) остается тем
же: P(k,X) возрастает по Я и убывает по к. Поэтому P(k,Xk),
будучи ограничена сверху функцией P(k, Яга), достигает макси-
максимума при некотором k, зависящем от скорости приближения Хи
к Яос (и не зависящем от п). Эта скорость определяется глад-
гладкостью функции с(х), и при достаточно гладких альтернативах
максимум P(k,Xh) может достигаться при небольших k. Ниже
приводятся данные из примеров 30.3, 30.4, дополненные резуль-
результатами вычислений для k = 2, 3 и 5, которые показывают, что
оптимальное значение k в этом случае равно 3 (или k ^ 4
ввиду возможных погрешностей вычислений и %2-аппроксима-
ции при п = 50).
k
р
2
8,7
0,83
3
10,9
0,84
4
11,8
0,83
5
12,4
0,81
8
13,0
0,75
15
13,7
0,64
Эти данные показывают также быстрое приближение %h к
Яоо, поскольку здесь Я» = 50[D/я) — 1] = 13,66 (нарушение не-
неравенства Ai5 <L в данном случае объясняется ошибками
округления при вычислениях в примере 30.4). По-видимому,
этот пример представляет крайний случай малости оптималь-
оптимального к, но он показывает, что для представляющих обычно ин-
интерес альтернатив теорема Манна и Вальда дает сильно завы-
завышенное значение к.
30.29 Мы заключаем, что k в случае равных вероятностей
следует увеличивать пропорционально п2/5 и что k должно быть
меньше, когда нас интересует область большой мощности (ко-
(когда G~1(Pq) велико), чем когда нас интересует область малых
значений мощности *).
Формула C0.63) приводит к значениям к, гораздо большим,
чем применяемые обычно. При увеличении л в 4 У 2 раз к
удваивается. Когда п = 200, к = 31 при а = 0,05 и k = 27
при а = 0,01, — эти значения близки к наименьшим значе-
значениям k, при которых вообще допустима нормальная аппрокси-
аппроксимация, Применяемая в наших рассуждениях (а также у Манна
и Вальда). В этом случае Манн и Вальд рекомендуют исполь-
использовать C0.63), когда п ^ 450 при а = 0,05 и когда п ^ 300
при а = 0,01. Можно видеть, что гипотетическая ожидаемая
частота каждого класса, равная n/k, возрастает, как п3/5, и рав-
равна примерно 6 и 8 соответственно, когда п = 200, а = 0,05 и
а = 0,01.
Уилльямс A950) сообщает, что оптимальное значение k
Манна и Вальда может быть уменьшено вдвое без серьезной
потери мощности в точке 0,50. Но следует помнить, что п и k
должны быть достаточно большими, чтобы C0.63) давало хоро-
хорошие результаты. Пример 30.4 иллюстрирует это положение, ко«
торое подтверждается также вычислениями, проделанными Хэм-
дэном A963) для критериев среднего значения в нормальном-
распределении.
Пример 30.4
Рассмотрим снова задачу примера 30.3. Мы получили там
для мощности значение, близкое к 0,8. Из таблицы нормаль-
нормального распределения G @,8) = 0,84. При Ь = 4, а = 0,05,
Ха = 1,64 формула C0.72) дает для оптимального значения к
вблизи этой точки значение **)
Г
*
= 3,2 «¦-'>
При п = 50 это дает приблизительно k = 15.
Предположим теперь, что мы пользуемся таблицами Bio-
metrika Tables для построения группировки по 15 классам с ве-
*) Этот вывод основан на C0.72). На самом деле имеет место противо-
противоположный характер зависимости к от Ро, см. C0.71). (Прим. ред.)
**) См. примечание на стр. 585. Применение C0.71) с Ро = 0,5 и Ро ==,
= 0,8 дало бы соответственно k = 18 и k = 21. (Прим. ред.)
588
ГЛАВА
КРИТЕРИИ СОГЛАСИЯ
589
роятностями рои приближенно равными между собой настолько,
насколько это удобно. Мы находим:
Значения
0—0,05
0,05—0,15
0,15-0,20
0,20—0,30
0,30—0,40
0,40—0,50
0,50-0,65
0,65—0,75
0,049
0,090
0,042
0,078
0,071
0,063
0,085
0,050
"и
0,008
0,032
0,020
0,044
0,047
0,048
0,072
0,047
0,034
0,037
0,012
0,015
0,008
0,004
0,002
0,000 '
Значения
0,75—0,90
0,90—1,1
1,1—1,3
1,3-1,6
1,6—2,0
2,0—2,7
2,7 и больше
"о*
0,065
0,074
0,060
0,071
0,067
0,068
0,067
"и
0,067
0,083
0,075
0,095
0,101
0,116
0,145
0,000
0,000
0,004
0,008
0,018
0,034
0,098
0,274 =А/л
Здесь Я = 13,7 и таблица Патнайка дает мощность 0,64 при
14 степенях свободы. Снова К увеличилось, но мощность умень-
уменьшилась из-за увеличения k. Мы не получили здесь оптимума.
При большом k (и, следовательно, большом п) увеличение k
не подавило бы таким образом эффект увеличения Я.
30.30 Мы не должны брать k слишком большим, поскольку
мультиномиальное распределение не может хорошо аппроксими-
аппроксимироваться многомерным нормальным, когда npOi очень малы.
Грубое правило, которым обычно пользуются, состоит в том,
что ожидаемые частоты {npoi) должны быть не меньше 5. Для
этого правила, по-видимому, нет общих теоретических основа-
оснований, и относительно него стоит сделать следующие два замеча-
замечания. Если распределение при Яо унимодально и обычным обра-
образом используются классы одинакового размера, то малые ожи-
ожидаемые частоты возникают только на «хвостах». Кокрэн A952,
1954) рекомендует принять гибкий подход; он проверил, что
для одной или двух ожидаемых частот допустимо уменьшение
до 1 и даже ниже, если X2 имеет по крайней мере 6 степеней
свободы, без ущерба для критерия с а = 0,05 или 0,01.
В случае равных вероятностей все ожидаемые частоты бу-
будут равны. Слэктер A966) показал, что даже для равных ожи-
ожидаемых частот, меньших единицы, аппроксимация остается хо-
хорошей. Процедура Манна — Вальда из 30.29 ведет к ожидае-
ожидаемым частотам, всегда большим, чем 5, при п ^ 200. Интересно
отметить, что в примерах 30.3, 30.4 применение этого ограниче-
ограничения исключило бы процедуру с 15 классами и была бы прием-
приемлема более мощная процедура с 8 классами, при которой ожи-
ожидаемые частоты имеют значения от 5 до 7.
Гёфдинг A965) показал, что если при проверке простой гипотезы Яо
(случай сложной гипотезы менее ясен) k остается фиксированным, тогда
как а-* 0 подходящим образом при гс->-оо, то критерий отношения правдо-
правдоподобия будет более мощным, чем А-критерий. Этот результат не выпол-
выполняется, если k возрастает с п, например, как в C0.72) в случае равных ве-
вероятностей.
Отметим, что асимптотический характер теории распределе-
распределения X2 не является недостатком в практических применениях,
поскольку мы обычно не занимаемся проверкой согласия, не
имея большой выборки.
Рекомендации для критерия X2
30.31 Мы резюмируем предыдущее обсуждение несколькими
практическими рекомендациями:
A) Если проверяемое распределение табулировано, приме-
применять классы с равными или примерно равными вероятностями.
B) Определять число классов, когда п превышает 200, при-
приближенно по формуле C0.72) с Ъ между 2 и 4.
C) Если требуется оценивать параметры, пользоваться
обычными МП-оценками в интересах эффективности*), но по-
помнить, что при этом происходит частичное возникновение степе-
степеней свободы C0.19), так что критические значения должны быть
повышены; если используются мультиномиальные МП-оценки,
то такого повышения не требуется.
Развитая выше теория неприменима вовсе, если по данным,
используемым для проверки согласия, оценивается функцио-
функциональная форма распределения (а не только параметры).
30.32 Помимо трудностей, связанных с критериями X2, кото-
которые мы уже обсуждали и которые не очень серьезны, эти кри-
критерии подвергались критике в двух направлениях. В обоих слу-
случаях критика касается мощности критерия. Во-первых, тот факт,
что существенным шагом является переход к задаче о мульти-
мультиномиальном распределении, влечет необходимость группировки
наблюдений по классам. Такая группировка должна вести к по-
потере информации, понимаемой в общем широком смысле, и мы
подозреваем, что эта потеря будет наибольшей, когда прове-
проверяется согласие с непрерывным распределением. Во-вторых, тот
факт, что статистика X2 основана на квадратах отклонений на-
наблюденных частот от гипотетических, влечет отсутствие чувстви-
чувствительности к характеру поведения знаков этих отклонений, кото-
который, очевидно, содержит информацию. Первая из этих критик
более радикальна, поскольку она должна, очевидно, привести
к поиску других статистик критериев, которые заменили бы X2,
и мы рассмотрим такие критерии после обсуждения второй кри-
критики.
*) См. примечание на стр. 570. (Прим. ред:)
590
ГЛАВА 30
Знаки отклонений
30.33 Рассмотрим, какого поведения отклонений наблюден-
наблюденных частот от гипотетических следует ожидать в некоторых
простых случаях. Предположим, что простая гипотеза задает
непрерывное унимодальное распределение с параметрами сдвига
Истинное распрейеяение и масштаба, равными,
/ скажем, среднему и стан-
10-распределение дартному отклонению, и
предположим, что гипоте-
гипотетическое среднее слиш-
слишком велико. Для любого
набора k классов вероят-
вероятности Рог будут очень ма-
малы при малых значениях
варианты, а затем очень
велики, как показано на
рис. 30.1. Поскольку при больших выборках наблюдаемые отно-
относительные частоты будут сходиться по вероятности к истинным
вероятностям, характерным поведением наблюдаемых отклоне-
отклонений будет серия положительных отклонений, за которой следует
серия отрицательных. Если гипотетическое среднее слишком
мало, то характер пове-
поведения будет обратным.
Предположим теперь,
что гипотетическое зна-
значение параметра масшта-
масштаба слишком мало. Тогда
картина будет такой, как
Значения варианты
Рнс. 30.1. Гипотетическое и истинное рас-
распределения, отличающиеся сдвигом.
Истинное , > „
распределение/ . \'1а~рпспределенив
на рис. 30.2. Мы видим,
Значения варианты
Рис. 30.2. Гипотетическое и истинное рас-
распределения, отличающиеся масштабом.
что характерным поведе-
поведением отклонений при
больших выборках теперь
будет серия положительных отклонений, за ней — серия отрица-
отрицательных и за ней — серия положительных. Если гипотетический
параметр масштаба слишком велик, то все эти знаки меняются
на обратные.
Разумеется, мы не применяем критерий X2, зная, что воз-
возможны лишь изменения в сдвиге и масштабе, так как тогда мы
можем найти более мощные критерии. Однако, когда возможна
ошибка как в параметре сдвига, так и в параметре масштаба,
рис. 30.3 показывает, что ситуация остается по существу той же
самой; мы по-прежнему будем иметь три (или в более сложных
случаях несколько больше) серии знаков отклонений. Более об-
общим образом, если истинные значения параметров отличаются
от гипотетических или если форма распределения отличается
КРИТЕРИИ СОГЛАСИЯ
591
Истинное
распределение
Но-распределение
Значения варианты
Рис. 30.3. Гипотетическое и истинное рас-
распределения, отличающиеся сдвигом и мас-
масштабом.
«гладко» от гипотетической формы, мы ожидаем, что знаки от-
отклонений будут собираться в подобного рода группы, а не рас-
распределяться случайно, как это было бы, если бы гипотетические
вероятности совпадали с истинными.
30.34 Это наблюдение наводит на мысль дополнить критерий
X2 критерием числа серий знаков наблюдений, в котором малые
числа образуют критическую область. Элементарная теория се-
серий, необходимая для этой цели, дается как упражнение 30.8.
Однако для ее корректно-
корректного применения мы долж-
должны сначала исследовать
взаимосвязь между кри-
критерием «серий» и крите-
критерием X2. Ф. Дэвид A947),
Сил A948) и Фрэзер
A950) показали, что,
когда справедлива Но,
эти критерии асимптоти-
асимптотически независимы (см.
упражнение 30.7) и что
при проверке простой ги-
гипотезы все последова-
последовательности знаков равновероятны, так что теория из упражнения
30.8 может быть скомбинирована с критерием X2, как указано
в упражнении 30.9.
Дополнение критерием «серий», по-видимому, полезно для
повышения чувствительности, когда проверяется простая гипо-
гипотеза, как было показано выше, при иллюстративном обсуждении.
Для сложной гипотезы, представляющей в связи с критериями
согласия особый интерес, когда все параметры должны оцени-
оцениваться по выборке, оно не имеет практического значения, так
как последовательности знаков отклонений, хотя и независимы
от X2, уже не равновероятны, как было в случае простой гипо-
гипотезы, и теория из упражнения 30.8, следовательно, неприменима
(см. Фрэзер A950)).
Другие критерии согласия
30.35 Мы обратимся теперь к обсуждению альтернативных
критериев согласия. Поскольку они направлены на то, чтобы из-
избежать потери информации от группировки, присущей крите-
критерию X2, для них не проходит упрощение, связанное с переходом
к мультиномиальному распределению, и мы должны ожидать,
что их теория будет более трудной. Прежде чем обсуждать наи-
наиболее важные критерии в отдельности, мы отметим их общие
черты.
592
ГЛАВА 30
Заметим, что, когда статистика X2 применяется для проверки
простой гипотезы, она распределена асимптотически как%|_,, ка-
какова бы ни была эта простая гипотеза, хотя ее точное распре-
распределение и зависит от распределения, задаваемого гипотезой.
Ясно, что такой результат достигается за счет привлечения
мультиномиального распределения и его сходимости к нормаль-
нормальному. Кроме того, то же самое справедливо и в случае сложной
гипотезы, когда применяются мультиномиальные МП-оценки,
в этом случае X2 -*xl_s_v какова бы ни была сложная гипотеза,
хотя здесь еще более ясно, что точное распределение Хг зависит
от рассматриваемой сложной гипотезы. Когда используются дру-
другие оценки (даже когда это эффективные обычные МП-оценки),
эти приятные асимптотические свойства не выполняются: даже
асимптотическое распределение X2 теперь зависит от характери-
характеристических корней матрицы C0.37), которые в общем случае
являются функциями как гипотетического распределения, так и
значений параметров 6.
Выразим эти результаты в следующей форме: в первых двух
случаях мы говорим, что распределение X2 асимптотически сво-
свободно от распределения (т. е. на него не влияет форма гипо-
гипотетического распределения или значения параметров), в то
время как в третьем случае оно не будет ни асимптотически
свободным от распределения, ни даже свободным от параметров
(т. е. свободным ст влияния параметров Fo, хотя и зависящим
от вида распределения Fo).
30.36 Мы увидим, что во всех наиболее важных критериях
согласия прямо или косвенно используется вероятностное ин-
интегральное преобразование, которое нам встречалось в различ-
различных ситуациях (например, 1.27, 24.11) как средство для преоб-
преобразования любого известного непрерывного распределения в пря-
прямоугольное распределение на интервале @, 1). В наших тепе
решних обозначениях, если мы имеем простую гипотезу, задаю-
задающую ф. p. F0(x), которой соответствует функция плотности fo(x),
х
то величина у = /0 (и) du — Fo (х) имеет равномерное распре-
деление на @, 1). Поэтому, если мы имеем п наблюдений Хг
и преобразуем их в у% посредством вероятностного интегрального
преобразования при известной F0(x), а затем используем функ-
функцию от уг для проверки отклонения z/i от равномерности, то рас-
распределение статистики критерия будет свободным от распреде-
распределения не только асимптотически, но и при каждом п.
Когда распределение задается сложной гипотезой, скажем
Fo(-*:|8i, 82, ..., 9S), где s параметров 6 подлежат оценке,
мы должны выбрать для этого 5 функций ti, ..., ts от xv.
КРИТЕРИИ СОГЛАСИЯ
593
Преобразованные случайные величины теперь равны
У1
i
— J
ts)du,
но они не независимы и не имеют равномерного распределения,
а их распределение, вообще говоря, будет зависеть как от гипо-
гипотетического распределения Fo, так и от истинных значений его
параметров, как было показано Дэвидом и Джонсоном A948).
Однако (см. упражнение 30.10) если F имеет только параметры
сдвига и масштаба и их оценки в должном смысле инвариантны,
то распределение yi будет зависеть от формы F, но не от его
параметров. Следовательно, при конечных п никакая статистика
критерия, основанная на уи не может быть свободной от распре-
распределения в случае сложной гипотезы согласия (хотя она может
быть свободной от параметров, если имеются только параметры
сдвига и масштаба). Разумеется, такая статистика по-преж-
по-прежнему может быть асимптотически свободной от распределения.
«Гладкие» критерии Неймана— Бартона
30.37 Первыми из критериев согласия, которые мы рассмот-
рассмотрим в качестве альтернатив к Хг, будут так называемые «глад-
«гладкие» критерии, разработанные впервые Нейманом A937а), рас-
рассматривавшим, насколько нам известно, только простую гипо-
гипотезу. При заданной Яо: F(x) — F0{x) мы преобразуем п наблю-
наблюдений Xi, как в 30.36, с помощью вероятностного интегрального
преобразования
=* J
t=l, 2, ..., л, C0.73)
и получаем п независимых наблюдений, распределенных равно-
равномерно на интервале @, 1), когда справедлива Но. В качестве
альтернатив к Но мы задаем отклонения от равномерности рас-
распределения у г, которые тем не менее остаются независимыми.
Нейман построил систему распределений, которые могли бы
гладко изменяться, отклоняясь от Я0-распределения (равномер-
(равномерного), и зависели бы от нескольких параметров. (Именно эта
«гладкость» альтернатив была перенесена на название самих
критериев.) Альтернативы, которые рассматривал Нейман, за-
задавались для всех yi функцией плотности
f (у | Hk) = с (в„ еа, ..., в») ехр { 1 + 2 9глг (у)} , C0.74)
0<У<1, *=1, 2, 3, ...,
594
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
595
где с — константа, которая обеспечивает равенство единице ин-
интеграла от C0.74), а Пг(у) —полиномы Лежандра, линейно пре-
преобразованные так, чтобы они были ортогональны на интервале
@, 1)*). Если положить z = у — -j. то этими полиномами до
четвертого порядка будут
no(z) = 1,
щB) = 3112-2г,
C0.75)
30.38 Теперь задача состоит в том, чтобы найти статистику
критерия для проверки Но против Нъ,- Можно видеть, что если
переписать семейство C0.74) в виде
?1, А = 0, 1, 2, ...,
C0.76)
считая 0О = 1. то оно включает в себя Яо. Мы хотим проверить
простую гипотезу
я0: е, = е2 = ... = е* = о, (зо.77)
или, эквивалентно,
н0:
C0.78)
*) Полиномы Лежандра, скажем Lr(z), обычно определяются формулой
и удовлетворяют условиям ортогональности
1
J
Lr{z)Ls(z)dz =
2г
r — s.
Следовательно, чтобы сделать их ортогональными на ( jr-, -=-), мы опре-
деляем полиномы itT(z) как щ (z) = Bг + 1)|/2 Lr Bz). Мы могли бы те-
теперь перейти к интервалу @,1), положив y = z-\-—. Но удобнее, как
в тексте, иметь дело с
_1_
3'
против сложной альтернативы, состоящей в отрицании этого.
Мы видим, что C0.76) образует экспоненциальное семейство, ли-
линейное по Qr и Яг- Функция правдоподобия п независимых на-
наблюдений равна
L {У I в) = {с (в)}" ехр { S 8Г 2 я, (у,)) . C0.79)
Выражение C0.79), очевидно, распадается на k сомножителей,
п
так что каждая из статистик tr — 2 яг (у,) достаточна для 8Г)
и мы, следовательно, можем ограничиться функциями от tr при
отыскании статистики критерия. Когда мы имели дело с линей-
линейными функциями от 0г в 23.27—32, мы видели, что та же функ-
функция от ?г дает РНМН критерий. Здесь нас интересует сумма
квадратов параметров, и кажется разумным использовать соот-
k
ветствующую функцию от tr, т. е. 2 t'r, в качестве статистики
критерия, хотя мы и не можем ожидать, что она будет иметь
такое же сильное свойство оптимальности. Это и была, с точ-
точностью до константы, статистика, предложенная Нейманом
A937а), который для обоснования ее выбора использовал асим-
асимптотические рассуждения. Пирсон A938) показал, что при боль-
больших выборках эта статистика эквивалентна критерию отношения
правдоподобия для гипотезы C0.78). Мы положим ur = n~'l2tr;
статистика критерия тогда равна *)
C0.80)
г=\
г=\ * 4=1
30.39 Так как иг = м/2 2 пг (уд, то по центральной предель-
ной теореме ит распределены асимптотически нормально со сред-
средними и дисперсиями, равными в силу C0.79)
C0.81)
C0.82)
М (иг) = я^М {лг (у)} = пЩг,
и иг некоррелированы, так как пг ортогональны. Таким образом,
статистика C0.80) асимптотически есть сумма квадратов неза-
независимых нормальных случайных величин с единичными диспер-
дисперсиями, у которых все средние значения равны нулю тогда и
*) Эту статистику обычно обозначают ч^; мы отказываемся от. этого
обозначения в соответствии с нашим соглашением употреблять латинские
буквы для статистик и греческие для параметров.
596
глава зо
КРИТЕРИИ СОГЛАСИЯ
597
только тогда, когда справедлива Но. Следовательно, р\ асимпто-
асимптотически имеет нецентральное х2"РаспРеДеление с к степенями
свободы и параметром нецентральности, равным согласно C0.81)
k
Я = п2 92. C0.83)
Отсюда сразу следует, что р\ определяет состоятельный (и, по
24.17, асимптотически несмещенный) критерий, как показал
Нейман A937а). Дэвид A939) нашел, что при гипотезе Но про-
простейшие статистики р\ и р\ достаточно хорошо аппроксими-
аппроксимируются (центральными) х2-распределениями с 1 и 2 степенями
свободы соответственно при п ^ 20.
Формулировка альтернативных гипотез
30.40 Выбор k, порядка системы альтернатив (и числа пара-
параметров, которыми выражается отклонение от Яо), должен быть
сделан до построения критерия. Ясно, что мы не хотим иметь
больше параметров, чем требуется для интересующих нас аль-
альтернатив, так как они будут «разжижать» критерий. К сожале-
сожалению, при проверке согласия часто не имеют в виду достаточно
определенных альтернатив. Это очень реальная трудность, ко-
которую можно сравнить с выбором числа классов в Х2-критерии.
В последнем случае мы нашли, что этот выбор может произво-
производиться в зависимости лишь от объема выборки и размера кри-
критерия; для нашей нынешней же ситуации еще не имеется доста-
достаточно ясного руководства.
30.41 В первой из серии статей Бартона A953, 1955, 1956),
на работах которого базируются следующие разделы, рассмат-
рассматривалась несколько иная общая система альтернатив. Вместо
C0.76) он определяет
k
f (У IHk) = 2 9глг(у), 0<г/<1, 6 = 0,1,2,..., C0.84)
где, как и прежде, Во = 1. Константа сF) теперь не нужна, так
как
' ~ 'г*г (У) \ dy = 1 + V 9Г I яг (у)dy = \, C0.85)
r=O
г=\
поскольку яо(у) si и я, ортогональны. Однако теперь надо
обеспечить, чтобы C0.84) было неотрицательно на интервале
@, 1), и это накладывает ограничение на возможные значения
6г. Таким образом, например, при k = 1 выражение для Я1, да-
даваемое C0.75), показывает, что мы должны ограничить 6i усло-
условием |9i| <; 3~'/2.
Теперь, если мы положим 9r = nrh%r, г ^ 1, то получим мно-
множество альтернатив, приближающихся к Но при п—* оо. Более
того, при п^*оо мы имеем
1 + и-1'2 2 Mr (У) ~ ехр { «~1/2 2 Mr (У) }.
так что асимптотическое распределение р\ при альтернативах
C0 76) будет применимо для C0.84) с 9Г = п~ЧАг. Для того
чтобы получить асимптотическое нецентральное х2-распределе-
ние статистики р\, в котором параметр нецентральности равен
теперь А.= 2^т> нам пришлось заставить Нк стремиться к Но
при д_»оо. Это в точности то же самое, что мы делали в 30.27,
чтобы получить соответствующий результат для критерия Х\
30.42 Если мы имеем в виду конкретное альтернативное рас-
распределение g(y), мы можем представить его через распределе-
распределение класса C0.84) следующим образом. Выберем параметры 9Г
в C0.84) так, чтобы минимизировать интеграл
= \[g(y)-f(y\Hk)fdy
5
Дифференцируя по 0r, находим необходимые условия минимума
= 0 при всех г,
и, пользуясь ортогональностью пт(у), получаем отсюда
М{я,&)|Я»} = ег при всех г. C0.87)
Пользуясь еще раз ортогональностью, получаем минимальное
значение C0.86) равным, как в обычной теории наименьших
квадратов,
Q2mia=
1 f ft |2
0 I r=l >
= f
- 1
C0.88)
r=l
598
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
599
Величина Qfllin неотрицательна по определению. Рассматри-
Рассматриваемая как функция от k, она не возрастает, и так как от k за-
k
висит только 2 9г. то Qmin-> 0 при k-*oo. Следовательно, при
подборе модели C0.84) для g(y) мы должны основываться на
степени приближения параметра А=29г к своеи верхней гра-
1 г=1
Вследствие того, что лг [у —к) при четных г являются четными
функциями (см. C0.75)) и g(y) также четна относительно зна-
значения 1/2 при нашей симметричной альтернативе, мы имеем
е2г=о.
При нечетных г мы должны вычислять отдельно каждый член.
Пользуясь C0.75), находим
г ' 1/2 Т
нице J g2{y)dy—\. Этот интеграл выражен в терминах ве- < 9 = [ 31/2 • 2zg (z) dz = З1/2 • 2 zh(x)dx =
личины, полученной в результате вероятностного интегрального ' ~1/2
личины, полученной в результате вероятностного интегрального
преобразования, и часто бывает удобнее оценивать его в терми-
терминах альтернативного распределения первоначальной величины х.
Назовем его h(x). Мы имеем тогда, поскольку g(y)dy =
= h (x) dx,
- C0-89)
Пример 30.5
Рассмотрим нормальное распределение
h (х | ц) = Bя)-1/2 ехр { - \ (х - цJ1, - оо < х < оо,
с Но: ц =0. Пользуясь C0.89), имеем
0
= Bл)/2
оо
= ехр (ц2) • Bя)/2 J ехр { - 1 (дс - 2цJ} d^ = ехр fa2).
Таким образом, мы должны сравнивать к= 2 9г с
Из C0.87)
C0.90)
1
ег = J яг (г/) g (у) dy.
[«Li
L "M1 jM
—oo I— oo
=3>/2-2
J I
oo ч
Л (и
Д„
где Д] — средняя разность Джини (см. упражнение 2.9), равная
2/я'/г в нормальном случае (см. 10.14), так что
r<*e.-i _ /j_y/2
L dp J — \ я; •
Таким образом, при малом отклонении d\x параметра ц вели-
величина 8i изменится на C/л) /2 d\i «» 0,98 d\i,, и, если мы приме-
применяем критерий р\ с 6j = C/лI/2 \i, мы видим из формулы C0.90),
что 82«C/л)М'2 будет лишь немногим меньше ее правой части,
и потеря эффективности при проверке отклонения среднего ц от
нуля в нормальном распределении будет мала. Это легко под-
подтвердить следующим образом. Согласно 30.41 р2 имеет асимпто-
асимптотически нецентральное распределение %2 с 1 степенью свободы
и параметром нецентральности пC/я)ц2, эквивалентным норми-
нормированному нормальному отклонению (Зп/я) 1/2ц. Наилучший кри-
критерий, основанный на выборке, использует нормальное отклоне-
отклонение ri'tp,. Множитель
C/яI/2 = 0,98
мало влияет на мощность при больших выборках.
Преимущество критериев р\, продемонстрированное здесь,
состоит в том, что при заданной альтернативе мы можем выби-
выбирать k так, чтобы получить более высокую мощность, чем с кри-
критерием X2,
600
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
601
30.43 Начиная с 30.37, мы ограничивались простой гипотезой
и негруппированными наблюдениями. Теперь мы перейдем к об-
обсуждению группировки данных в критериях р\ (что очень нужно
для практики ввиду необходимости производить вероятностное
интегральное преобразование над каждым наблюдением) и рас-
распространения критериев на сложные гипотезы, что, может быть,
еще более важно. Эти вопросы составляют основное содержание
второй и третьей работ Бартона A953, 1955, 1956). Замечателен
тот факт, что, как только произведено группирование, обнару-
обнаруживается близкая взаимосвязь между критериями р\ и крите-
критерием X2.
Предположим, что область значений варианты х разбита на
k классов, и пусть |* — медиана i-й по величине группы, считая
снизу. Очевидным аналогом C0.73) тогда служит
h
= J
,-!
где рои как и раньше, — гипотетические вероятности. Мы заме-
заменяем все ух одного класса значением у\ и пишем, как раньше
zrl = y\—1/2. Нам теперь требуется набор ортогональных по-
полиномов Рг{у'), которые будут играть ту же роль для группиро-
группированных данных, что и нормированные полиномы Лежандра для
негруппированных. Ввиду того, что альтернативная гипотеза
может быть теперь сформулирована в терминах переменной х как
г=0
мы после группировки по k классам получаем выражение для
вероятностей при альтернативе через гипотетические вероят-
вероятности:
Г J. 1
C0.92)
:1, C0.93)
t, г./-0, 1.2 А-1. t30-94)
Тогда C0.80) (с заменой k на k—1) вследствие C0.91) прини-
принимает вид
Естественно поэтому задать Рг(у') соотношениями
ft-1
ft-1 ( п
fe-1
что ввиду C0.93) равно
fe-l Ik \2
I I 0
r=0 I i=l
k-l I k
r=0
р\ЦрЛу\)\ -п.
Здесь суммируются квадраты взвешенных сумм величин
Ро?Рг(У'д с веСами nif(nPotI/2- Вследствие свойства ортогональ-
ортогональности C0.94) мы имеем
г=1
или, ввиду C0.8), в точности
__ V2
— Л •
C0.95)
30.44 Так же как р\_х совпадает вследствие C0.95) с X2,
критерии низших порядков р2г (г=1, 2, .... k— 2), как мы те-
теперь увидим, являются компонентами или разбиениями X2,
т. е. определенного вида функциями от асимптотически нормиро-
нормированных нормальных величин
X; =¦
1/2
которые мы теперь рассмотрим. Если обозначить
к.
Щ = 2 iriXu г = 1, 2, . . ., k,
(=i
и последним столбцом матрицы L — {lri} взять
C0.96)
то получим тождественно
= 0,
а если выбрать остальные элементы матрицы L так, чтобы она
была ортогональна, т. е.
б
2
;~l0, г =
то «г также будут асимптотически нормированными нормаль-
нормальными величинами и, вследствие ортогональности, асимптотически
независимыми. Поэтому сумма квадратов любых т (/п=1,2,...
... ,k— \) из аг (г = 1, 2,... k — 1) будет распределена так же,
как х2 с т степенями свободы, и не будет зависеть от любой
суммы, основанной на других иТ. Мы вернемся к задачам, свя-
связанным с разбиениями X2, в определенном контексте главы 33.
602
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
603
С этой точки зрения достоинство критериев р2, р\, ... с груп-
группированными данными состоит в подборе подходящих функций
от tji для получения критерия с наибольшей мощностью; они вы-
выделяют важнейшие компоненты X2.
30.45 Имея в виду замечания в 30.44, мы не будем удивлены
тем, что при переходе к сложным гипотезам теория группирован-
группированных критериев р\ близко напоминает теорию критерия X2, кото-
которая уже обсуждалась в 30.11—21. Как показал Бартон (см. Ват-
сон A959)), переносятся все принципиальные результаты: если
используются мультиномиальные МП-оценки, то число степеней
свободы уменьшается на количество оцениваемых параметров;
если способ группирования определяется по наблюдениям, то это
не вносит изменений (при условиях регулярности) в асимптоти-
асимптотические распределения.
Главная проблема при применении критериев р\ к сложным
гипотезам — это выбор k. Как мы отмечали в случае простой
гипотезы, при проверке согласия часто не имеют в виду опреде-
определенной альтернативы, — в противном случае лучше было бы при-
применить по возможности более специфический критерий. Ввиду
того, что большие выборки часто используются при проверке
согласия, так что группирование наблюдений является практи-
практической необходимостью, совпадение группированного критерия
Pl-\ с критерием X2 означает, что помимо задач о разбиениях,
общих для обоих типов критериев, между этими критериями нет
конкуренции.
Критерии согласия, основанные
на выборочной функции распределения
30.46 Все остальные распространенные критерии согласия яв-
являются функциями кумулятивного распределения выборки, или
выборочной функции распределения, определяемой как
Sn(x)
0,
Г
—
<¦
C0.97)
Здесь xiT) — порядковые статистики, т. е. наблюдения, упорядо-
упорядоченные так, что
Sn(x)—это просто относительное число наблюдений, не превос-
превосходящих х. Если F0(x) — полностью определенная истинная ф. р.,
из которой получены наблюдения, мы имеем для каждого значе-
значения х согласно усиленному закону больших чисел
Р { lim Sn (x) = Ро (х)} = 1,
C0.98)
и на самом деле имеются и более сильные результаты относи-
относительно сходимости выборочной ф. р. к истинной ф. р.
В определенном смысле C0.98) —это фундаментальное соот-
соотношение, на котором основана вся статистическая теория. Если
бы не выполнялось никакого соотношения такого рода, то слу-
случайная выборка не имела бы смысла. В нашем теперешнем кои-
тексте понятно, что критерий согласия может основываться на
любой мере расхождения между Sn(x) и F0(x). Мы теперь пред-
предположим, что FQ(x) непрерывна. Рассмотрим статистику
W* = J {Sn (х) - Fo (х)}2 dFQ (x),
C0.99)
которая была предложена Смирновым A936) после более ран-
ранних предложений Крамера и Мизеса. Из теории биномиального
распределения (пример 3.2) с р = F0(x) следует, что
М {Sn(х) - Fo{x)f = Fo (*) {1 - Fo(x)}/n.
C0.100)
Поэтому из C0.99) и C0.100) мы имеем
1
МПГ) = -
= ir D--4- =тпг. C0Л01)
и аналогично можно установить, что
D (W2) = М (W74) —
C0.102)
30.47 Можно заметить, что среднее и дисперсия статистики
W2 не зависят от Fa. На самом деле распределение W2 в целом
не зависит от Fo: этот критерий полностью свободен от распреде-
распределения при любом п. Это легко увидеть непосредственно, по-
поскольку если мы применим вероятностное интегральное преобра-
преобразование C0.73) к х, то мы сведем C0.99) к
C0.103)
т. е. задача проверки согласия сводится к проверке того, на-
насколько велико в выборке из равномерного распределения на
@, 1) отклонение выборочной ф. р. от ф. р. этого распределения,
604
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
605
Из C0.101) и C0.102) ясно, что при отыскании предельного
распределения следует рассматривать nW2 (нормирующий мно-
множитель здесь не равен п1/2, как обычно требуется по центральной
предельной теореме), тогда среднее и дисперсия имеют нулевой
порядок по п. Асимптотическая теория nW2 трудна, а точной тео-
теории для конечных п неизвестно. Смирнов A936) показал, что ее
предельная х. ф. равна
C0.104)
Ф (t) = lim M {exp (itnW2)} = ( —^
n-»oo ' I sin 1B/;
Андерсон и Дарлинг A952) преобразовали ср(/) к виду, пригод-
пригодному для численных расчетов, и табулировали обратную функ-
функцию для предельной ф. p. nW2. В таблице даны значения, кото-
которые nW2 превышает с вероятностями 0,001; 0,01@,01H,99*).
Как обычно принято, наиболее важными из этих значений для
целей проверки гипотез являются:
Размер критерия а
0,10
0 05
0,01
0,001
Критическое
значение nW2
0,347
0,461
0,743
1,168
Критическую область образуют большие значения nW2, что
очевидно из мотивировки критерия.
Маршалл A958) показал, что асимптотическое распределе-
распределение nW2 достигается чрезвычайно быстро, так что приведен-
приведенные выше критические значения достаточно точны уже при п = 3
Marshall A. W. A958), The small-sample distribution of пи„2
Ann Math. Statist. 29, 307).
Пирсон и Стефенс .A962) применили подгонку распределений Джонсона
типа Sb (см. 6.27—34) при я = 5, 10, оо для получения критических значений.
30.48 Для критерия W2, так же как для негруппированных
критериев р|, обсуждавшихся в 30.37—42, требуется вычислять
F0(x) для каждого отдельного наблюдения. Действительно, мо-
жно показать, что эта статистика может быть представлена в
виде
п
k SW21}2 C0Л05)
*) Эта таблица воспроизведена в Сборнике статистических таблиц. Пя-
Пятизначные таблицы самой предельной ф. p. nW2, а также предельной ф. р.
статистики Андерсона—Дарлинга (см. ниже, в 30.48) имеются в Таблицах
математической статистики. (Прим. реф.)
Критерий W2 рассматривался в случае сложной гипотезы с одним неиз-
неизвестным параметром Дарлингом A955). Тогда статистика критерия, вообще
говоря, больше не является свободной от распределения, как и следовало
ожидать из рассмотрений в 30.36. Исключение составляет случай, когда па-
параметр допускает оценку с дисперсией меньшего порядка, чем /г1; тогда
предельное распределение оказывается точно таким же, как и при простой
гипотезе (ср. 30.8, где мы встретились с тем же явлением для X2). Если
неизвестен параметр сдвига или масштаба, оцениваемый с дисперсией
порядка ге~', то предельное распределение будет свободным от параметра
(ср. 30.36).
Андерсон и Дарлинг A952, 1954) исследовали еще одну статистику кри-
критерия для простой гипотезы. Она дается формулой C0.99) с добавлением
множителя [Fo(x){l — -fo(^)}] под интегралом. Они табулировали критиче-
критические значения ее асимптотического распределения для а = 0,10; 0,05; 0,01.
П. Лыоис A961) дает точную таблицу этой ф. р. для и= 1 и п-*-ао и
оценки, основанные на выборочных экспериментах для п = 2A)8; сходи-
сходимость с асимптотической ф. р. чрезвычайно быстрая.
Ватсон A961) показал, что если видоизменить статистику nW2, полагая
1 Г 1 у
л | \sa (х) - Fo (х) - J {Sn (х) - Fo (*)} dFQ (х) dF0 (x),
U2
то n2U2 будет иметь точно такое же асимптотическое распределение, как
nD% даваемое в C0.132) ниже. Пирсон и Стефенс A962) и Стефенс A963,
1964) дают теоретические и эмпирические результаты о распределении U2.
Тайкыо A965b) использует распределение %2 для приближения распределе-
распределений Uz, а также W2.
Статистика Колмогорова
30.49 Мы теперь переходим к наиболее важному из общих
критериев согласия, отличных от X2. Подобно статистике Wz,
определенной в C0.99), он основан на отклонениях выборочной
ф. p. Sn{x) от полностью заданной непрерывной гипотетической
ф. р. ^оМ- Однако здесь используется более простая мера от-
отклонения— максимум абсолютной величины разности между
Sn(x) и Fq(x). Мы, таким образом, определим
A, = sup|Sn(je)-.F0(*)|. C0.106)
X
Из-за наличия модуля в определении C0.106) мы могли бы ожи-
ожидать трудностей в исследовании распределения Dn, но замеча-
замечательно, что асимптотическое распределение было получено Кол-
Колмогоровым A933), когда он впервые предложил эту статистику.
Нижеследующий вывод принадлежит Феллеру A948).
30.50 Мы прежде всего отметим, что распределение Dn пол-
полностью свободно от распределения, когда выполнена Нй. В этом
случае это можно видеть непосредственно, так как если начер-
начертить Sn(x) и F0(x) как ординаты, соответствующие абсциссе х,
то Dn будет просто значением наибольшего расхождения между
ними по вертикали. Ясно, что если мы сделаем любое взаимно
606
ГЛАВА 30
КРИТЕРИИ СОГЛАСИЯ
607
однозначное преобразование х, то оно не изменит расстояния по
вертикали в любой точке и, в частности, значение Dn останется
без изменения.
30.51 Теперь рассмотрим значения х10, *2о> •••. *n-i, о. опре-
определяемые равенством
Л)(**о) = Ш. C0.107)
(Если при каком-нибудь k C0.107) выполняется в пределах не-
некоторого интервала, то мы берем в качестве Хы> нижнюю гра-
границу этого интервала.) Пусть с—положительное число. Если
при некотором значении х
Sn(x)-F0(x)>c/n, C0.108)
то неравенство C0.108) будет выполняться для всех х из некото-
некоторого интервала, в правой граничной точке которого, х', оно обра-
обращается в равенство, т. е.
Sn (*') - Fo (*') = с/п. C0.109)
Так как по определению Sn(x)—ступенчатая функция, прини-
принимающая значения, кратные 1/п, а с — целое число, то из C0.109)
следует, что F0(x') кратно 1/я, и, таким образом, вследствие
C0.107) х'= хьо для некоторого k, так что C0.109) принимает
вид
Sn (хк0) — ^ о (xko) — cfn,
т.е. из C0.107)
S() (k + c)/n. C0.110)
По определению Sn(x) в C0.97) это означает, что в точности
k + с наблюденных значений х меньше хкй, являющегося гипоте-
гипотетическим значением, ниже которого должны были бы попасть k
наблюдений. Обратно, если х^+с) ^ Xko < %+c+o, то отсюда сразу
вытекает C0.108). Мы, следовательно, установили предваритель-
предварительный результат, что неравенство
Sa(x) — F0(x)>c/n
выполняется при некотором х тогда и только тогда, когда при
каком-нибудь k
*<*+«> <**о<*<*+е+п- C0.111)
Следовательно, мы можем ограничиться рассмотрением вероят-
вероятности того, что выполняется C0.111).
30.52 Мы обозначим событие C0.111) через Ah (с). Из
C0.106) мы видим, что статистика Dn будет превосходить с/п
тогда и только тогда, когда происходит по крайней мере одно из
2« событий
Л, (с), Ах(-с), А2(с), As(—c), ..,, Ап(с), А„(-с). C0.112)
Мы определим теперь 2п взаимно несовместных событий Ur и Vr.
Событие Ur происходит, если первым в последовательности
C0.112) осуществляется событие Ат(с), a Vr происходит, если
первым осуществляется Аг(—с). Очевидно,
C0.113)
Из определений Ац{с) и Ur, Vr имеем соотношения
Р {Ак (с)} = S [Р Ш Р {Ак (с) | Аг (с)} +
+ Р{Уг)Р{Ак(сIАг(-с)}],
Р {Ак (- с)} = S [P {Ur) Р {Лк (- с) | Аг (с)} +
+ P{V,}P{Ah(-c)\Ar(-c)}],
C0.114)
Из C0.111) и C0.107) мы видим, что P{Ak(c)} есть вероят-
вероятность того, что в п биномиальных испытаниях с вероятностью
k/n произойдут в точности k + с «успехов», т. е.
) i1^) • C0Л1б)
Аналогично, при г ^ k
п — г
n-(r-c)\(k-r
\— г + 2с }\п — г
k-r+2c
п-г
C0.116)
Соотношения C0.115) и C0.116) выполняются как для положи-
положительных, так и для отрицательных с. Применяя их, мы видим,
что C0.114) представляет собой систему из 2га линейных урав-
уравнений от 2п неизвестных P{Ur}, P{Vr}. Решив их и подставив
решение в C0.113), мы получили бы Р< Dn > -?•> для любого с.
30.53 Если мы теперь обозначим
то
Р {Ak (с)} = рк (с) рп_к (- сIрп @),
Р {Ак {с) | Аг (с)} = pfe_r @) рп.к (- с)/р„_г (- с),
Р {Лк {с) \АГ (- с)} = pk.r Bс) рп.к (- с)/р„_г (с),
C0.117)
C0.118)
608 ГЛАВА 30
так что если определить
КРИТЕРИИ СОГЛАСИЯ
609
C0.119)
и подставить C0.115) —C0.119) в C0.114), то это соотношение
принимает вид
k
Pk (С) = .2 [UrPk-r @) + VrP^r BС)],
V
.2
V
Pk (— с) = S [UrPk-r (- 2с) + yrpft_r @)].
г—\
C0.120)
Из системы C0.120) нам нужно найти
а п
г=1
Мы поэтому определим
k
Pk=-Z-7Z
C0.121)
г=\
г=1
2
так что из C0.121)
' "" Vr) + P {Vr}] = р„ + qn- C0.123)
Теперь мы введем производящие функции для ph и qu, а именно:
ОО ОО
gp (t) = 2 Pktk> Gq (t) = 2 qktk-
Если мы определим также производящие функции для uh, vh и
(для удобства) п~^2рк(с), а именно:
и
то из C0.122) получим соотношения
C0.124)
30.54 Мы рассмотрим теперь предельную форму C0.124). По-
Положим
с = znl/2,
и пусть п—* оо и с—* оо так, чтобы z оставалось фиксированным.
Мы видим из C0.117), что ри{с)— это просто вероятность
значения (k + с) для пуассоновской случайной величины с пара-
параметром k, т. е. вероятность того, что она превосходит свое сред-
среднее значение на c/k1'2 стандартных отклонений. Если kjn стре-
стремится к некоторому фиксированному значению т, то, поскольку
пуассоновское распределение сходится к нормальному,
полагая k = тп, с = zn1'2, имеем
1/2 / 1/2\ /л \ —1/2 I \ СХС\ 10&ч\
Так как G(/, с) — производящая функция для rrlJ2ph(c)y то
оо
G\е~*1п, zn1/2) =n-l<* 2 Pk(zni/2)e-ik'a,
и при нашем предельном переходе это выражение в силу C0.125)
стремится к
lim
оо
= Bn)~il2 \
-^-|3dm. C0.126)
Если мы продифференцируем. интеграл / в правой части
C0.126) по 22/2, то получим простое дифференциальное урав-
уравнение
t W2
решением которого является
C0.127)
Таким образом,
lim G {e'tln, znm) = B0/2 exp {-
Выражение C0.127) представляет собой четную функцию от г,
а следовательно, и от с.
Так как вследствие C0.120)
G (t, с) = Gu (t) G (t, 0) + Go (t) G (t, 2c),
G(t, —c) = Gu(t, —2c) + Gv(t)G{t,
(t, 2c), 1
f, 0). J
C0.128)
20 M.
лл, А. Стьюарт
610
ГЛАВА 30
четность C0.127) по с дает нам
lim Ga{e-^n)= lim Gv(e-t'n) =
р{()^
Hm G (в"'/» 0) + Ига (в"'/», 22re) ~ 1 +¦ exp {- фг*)Щ 1
согласно C0.127). Поэтому, применяя C0.127) и C0.129) в со-
соотношениях C0.124) и вспоминая, что
р„@)~Bшг)-1/2,
получаем
lim n~lGp (е-*1п) = lim /г-'G,, (е-*1») =
Я->оо п>оо
\2t
Это можно разложить в геометрический ряд
L <*) = (Щ112% (-1Г' ехр {- (8
C0.130)
т=\
С помощью такого же интегрирования, как в C0.126), можно
видеть, что L(t) есть одностороннее преобразование Лапласа
оо
J e~mtf(m)dtn от функции
о
оо
f («)= S(-lI" exp.{- 2r2z2/m}. C0.131)
Таким образом, C0.131) является результатом обращения любой
из предельных производящих функций рц или qh, первая из кото-
которых есть
ОО ОО
lim n-'Gp (e-'/«) = lim д J pke~tk>n = J (lim pk) e~tm dm.
В силу C0.113) и C0.123) нам требуется только значение
(Pn + qn). Поэтому мы полагаем в C0.131) k = п, т.е. т = 1,
и после умножения на два получаем наш окончательный резуль-
результат
lim^P{Dn>zn-l'2}=*2 2l(-l)r-1exp{—2r2z2}. C0.132)
Смирнов A948) табулировал функцию C0.132) (на самом деле ее до-
дополнение) для 2 = 0,28@,01J,50@,05K,00 с шестью десятичными знаками
КРИТЕРИИ СОГЛАСИЯ
611
или более. Это полностью покрывает эффективную область предельного
распределения.
30.55 Помимо вывода предельного результата C0.132) Колмогоров
A933) дал рекуррентные соотношения для конечных п, которые затем были
использованы для табулирования распределения Dn. Бирнбаум A952) дает
таблицы Р {Dn < с/п} с 5 десятичными знаками для « = 1AI00 и
с= 1AI5 и обратные таблицы значений О„, для которых эта вероятность
равна 0,95, для п = 2AMEK0A0) 100 и значений Dn, Для которых эта
вероятность равна 0,99, для п = 2AMEK0A0)80. Л. Миллер A956) дает об-
обратные таблицы*) для п = ' 1 100 и вероятностей 0,9, 0,95, 0,98, 0,99. До
этого Мэсси A950а, 1951а) дал P{Dn < с/п} для п = 5E)80 и некоторых
значений с ^С 9, а также обратные таблицы для ге= 1AJ0EK5 и вероят-
вероятностей 0,80, 0,85, 0,90, 0,95, 0,99.
Критические значения асимптотического распределения оказываются рав-
равными:
Размер критерия Критическое значение О„
0,05
0,01
1,6276«-1/2
причем эти значения всегда больше, чем точные значения при конечных п.
Точность приближения для этих значений а удовлетворительна при п = 80.
Доверительные границы для функции распределения
30.56 Поскольку распределение Dn свободно от распределе-
распределения и достаточно хорошо известно для всех п и поскольку в ка-
качестве меры расхождения используется максимальное абсолют-
абсолютное отклонение Sn(x) от F(x), мы можем обратить процедуру
проверки согласия и использовать Dn для установления довери-
доверительных границ для (непрерывной) функции распределения
в целом. Действительно, какова бы ни была истинная ф. p. F(x),
мы имеем, обозначая da критическое значение Dn. при размере
критерия а,
Поэтому мы можем обратить это в доверительное утверждение
Р {Sn (-*) — da < F (*)< Sn (x) + da при всех х} = 1 — a. C0.133)
Таким образом, мы просто располагаем полосу шириной ±da
вокруг выборочной ф. p. Sn(x), и с вероятностью 1 — а истинная
ф. p. F(x) лежит целиком внутри этой полосы. Это замечательно
простой и прямой метод оценки функции распределения. Ника-
Никакой другой критерий согласия не позволяет такого обращения
критерия в доверительный интервал, так как ни один критерий
*) Таблицы Смирнова ф. р. C0.132) и таблицы Миллера процентных
точек приведены в Таблицах математической статистики и Сборнике стати-
статистических таблиц. В последнем имеются также таблицы Бирнбаума для
Р {Dn < cjn}. (Прим. ред.)
20*
612
ГЛАВА 30
не использует такой прямой и просто интерпретируемой меры
расхождения, как Dn.
Из этой техники доверительных интервалов можно извлечь
полезные заключения относительно объема выборки, необходи-
необходимого для близкой аппроксимации функции распределения. На-
Например, из критических значений, приведенных в конце 30.55,
следует, что эмпирическая функция распределения выборки в
100 наблюдений с вероятностью 0,95 отстояла бы повсюду не
далее чем на 0,13581 от истинной ф. р. Для того чтобы она ле-
лежала повсюду в пределах 0,05 от истинной ф. р. с вероятностью
.0,99, потребовался бы объем выборки A,6276/0,05J, т. е. более
чем 1000*.
Нётер A963)- показал, что для дискретных распределений вероятность
в левой части C0.133) :> 1 — а. Таким образом, в этом случае критерий Dn
также консервативен.
30.57 Будучи основана на абсолютном значении, величина Dn
не позволяет строить односторонних доверительных интервалов
для F(x), но мы можем рассматривать только положительные
отклонения и определить
+ = sup{Sn(x)-F0(x)},
X
C0.134)
как было сделано Вальдом и Волфовицем A939) и Смирновым
A939а).
Чтобы получить предельное распределение D%, мы заново
проследим за рассуждениями в 30.51—54. Мы теперь рассматри-
рассматриваем только события Ak(c) cf>0e C0.112). UT определяется,
как и раньше, a Vr не рассматривается. C0.114) заменяется на
Р {Аи (с)} = 2 Р {Ur} P {Ак (с) | А, (с)},
а C0.128) —на
G(t, c) = Gu(t)G(t,O). C0.135)
Вместо C0.129) мы, следовательно, имеем, используя C0 127) и
C0.135),
lim Ga (е~«п) = ехр {- B/z2I/2}.
/1->оо
Первое уравнение в C0.124) справедливо, и мы получаем таким
же способом, как и раньше,
lim п-Юр (е~Щ = (~)'/2ехр {- (8tz2f2}. C0.136)
П->оо \ ¦" /
Снова из C0.127) видно, что C0.136) есть одностороннее пре-
преобразование Лапласа функции
КРИТЕРИИ СОГЛАСИЯ
и подстановка т = I, как и раньше, дает
lim P {Dt > гп~т} = ехр (- 2z2);
613
C0.137)
это результат Смирнова A939а). Соотношение C0.137) можно
переписать в виде
lim P {2n {Dtf < 2z) = 1 — ехр (- 2z2). C0.138)
Дифференцирование C0.138) по Bz2) показывает, что величина
у = 2п{рХ) имеет асимптотически экспоненциальное распреде-
распределение
Иначе говоря, 2г/ = 4п(?>?J имеет асимптотически распределе-
распределение х2 с 2 степенями свободы. Очевидно, в точности та же теория
будет справедлива, если мы рассмотрим только отрицательные
отклонения.
30.58 Бирнбаум и Тинджи A951) получили выражение для
точного распределения величины D% и табулировали значения,
которые она превышает с вероятностями 0,10, 0,05, 0,01, 0,001,
для п = 5, 8, 10, 20, 40, 50, Как и для ?>„, асимптотические зна-
значения превышают точные и разности между ними малы при
п = 50*).
Мы можем, очевидно, использовать Dn для получения одно-
односторонних доверительных областей вида P{Sra (*) — d?^F (x)j =
= 1 — а, где dt — критическое значение Dn.
Сравнение статистики Колмогорова с X2
30.59 В общем случае ничего не известно о поведении стати-
статистики Dn, когда при проверке сложной гипотезы согласия подле-
подлежат оценке параметры, хотя применение этой статистики для про-
проверки нормальности изучалось (см. 30.63). Ясно, что в этом слу-
случае она не будет больше свободной от распределения (см. 30.36),
и в этом ее существенный недостаток по сравнению с Х2-крите-
рием. Однако она имеет то преимущество, что позволяет строить
доверительные интервалы для функции распределения при усло-
условии лишь, что последняя непрерывна.
*) При а ^ 0,2 с большой точностью da «* d^p, где da и d? — крити-
критические значения статистик Dn и ?>^. Поэтому для получения процентных
точек .D* могут быть использованы таблицы процентных точек Dn (см.
30.55 и примечание на стр. 611). (Прим. ред.)
614
ГЛАВА 30
Вследствие сходимости Sn(x) к истинной ф. p. F(x) с вероят-
вероятностью 1 (см. C0.98)) критерий Dn состоятелен против любой
альтернативы G(x) ф F(x) ¦*). Однако Мэсси A950b, 1952) дал
пример, в котором этот критерий смещен (см. упражнение 30.16).
Он также установил нижнюю границу для мощности критерия
при больших выборках, приводимую ниже.
30.60 Обозначим F\ ф. р. при альтернативной гипотезе Яь
Пусть F0(x), как и ранее,— ф. р., подлежащая проверке, и
A = sup\Fi(x)~F0(x)\. C0.139)
X
Если da, как и ранее, — критическое значение Dn, то искомая
мощность равна
P = P{sup\Sn(x)-FQ(x)\>da\H1}.
х
Это вероятность осуществления неравенства при каком-нибудь х.
Ясно, что она не меньше, чем вероятность его осуществления
при любом фиксированном значении х. Выберем то значение Ха,
при котором Fo и F\ наиболее удалены, т. е.
Д = Л(*Д)-Л>(*д)- C0Л4°)
Таким образом, мы имеем
или
(xA)^Fo(xA) + da\Hl}. C0.141)
Далее, Sn(x&) имеет биномиальное распределение с вероят-
вероятностью Fi(x&), равной вероятности попадания левее хА. Таким
образом, мы можем приблизить правую часть C0.141), пользуясь
нормальным приближением к биномиальному распределению,
т. е. асимптотически
Р > 1 - Bя)-1/2 J
exp (-
du, C0.142)
причем в C0.142) и далее значения Fo и F\ берутся в точке Хд.
Если F\ задана, то C0.142) и есть искомая нижняя граница мощ-
*) Для утверждения о состоятельности критерия ?>„ соотношения
C0.98) недостаточно, а требуется равномерная сходимость Sn(x) к F(x);
с другой стороны, сходимость с вероятностью 1 можно заменить сходи-
сходимостью по вероятности. Иначе говоря, требуется, чтобы ?>„-*- 0 по вероят-
вероятности. (Прим. ред.)
Критерии согласия
615
ности. Ясно, что при п^*оо оба предела интегрирования возра-
возрастают. Если
da< 1^0-^.1 = А, C0.143)
то оба они стремятся к + оо, когда Fo > F\, и к — оо, когда
Fo < Ft. Таким образом, интеграл будет стремиться к нулю и
мощность — к 1. Когда п возрастает, da стремится к нулю, так
что C0.143) всегда рано или поздно будет выполнено. Следова-
Следовательно, мощность —*-1, и критерий состоятелен.
Если F[ не полностью задана, мы можем все же получить
(худшую) нижнюю границу для мощности из C0.142). Так как
Fi(l —Fi)^ 1/4, мы имеем для достаточно больших п
Р > 1 - Bл
Г1/2
0
J
ехр
- 1 и2) du,
и, пользуясь симметрией нормального распределения, при
Fq < F\ это можно записать так:
—Bл)~1/2 J exp ( — ~u2)jdu. C0.144)
Граница C0.144) зависит только от максимального отклоне-
отклонения Д.
Бирнбаум A953) получил близкие верхние и нижние границы для мощ-
мощности D* в терминах Д.
30.61 Используя C0.144) и вычисления, проделанные Уилль-
ямсом A950), Мэсси A951) сравнивал значения Д, при которых
асимптотические мощности критериев X2 и Dn достигают 0,5.
При размере критерия а = 0,05 критерий Dn может отличать
с мощностью 0,5 отклонение Д примерно вдвое меньшее, чем то,
которое может отличать критерий X2 с той же мощностью; даже
при п = 200 отношение этих Д равно 0,6, и оно все время убы-
убывает в пользу Dn, когда п растет. При а = 0,01 критерии очень
близки по своим качествам. Поскольку это сравнение основано
на грубой нижней границе C0.144) для мощности ?>„, мы долж-
должны заключить, что ?>„ — гораздо более чувствительный критерий
для проверки согласия с непрерывным распределением.
Кац и др. A955) указывают, что если используется про-
процедура равных вероятностей Манна — Вальда из 30.28—29, то
критерию X2 требуется Д порядка пг21Ъ, чтобы достичь мощности
1/2, в то время как для Dn требуется Д порядка п~112. Таким об-
образом, требуемый объем выборки для ?>„ имеет асимптотически
616
ГЛАВА ЗД
КРИТЕРИИ СОГЛАСИЯ
617
порядок п415 по сравнению с п для критерия X2, и Dn асимпто-
асимптотически гораздо более эффективен—в действительности отно-
относительная эффективность X2 будет стремиться к нулю при воз-
возрастании п.
Подробный обзор теории W2, Dn и родственных им крите-
критериев дан Дарлингом A957).
Вычисление Dn
30.62 Если мы строим доверительные пределы для неизвест-
неизвестной ф.р. F(x), то не требуется никаких вычислений помимо про-
простого расчета Sn(x) и построения границ, отстоящих на ±da
от нее. Однако при использовании Dn для проверки гипотез нам
придется находить F0(x) для каждого наблюденного значения х,
что является довольно трудоемкой процедурой, даже когда
Fo(x) хорошо табулирована. Однако, поскольку статистикой
критерия служит максимальное отклонение Sn(x) от FQ(x), ча-
часто бывает возможно посредством предварительного исследова-
исследования данных выделить интервалы, в которых можно ожидать боль-
больших отклонений. Если начальные вычисления проделываются
только для этих значений, то вычисления можно остановить, как
только будет найдено одно отклонение, превосходящее da. (Та-
(Такое сокращение вычислений невозможно для статистик, анало-
аналогичных W2, которые зависят от всех отклонений.)
Дальнейшее заметное сокращение работы может быть до-
достигнуто, как в следующем примере, принадлежащем Бирн-
.бауму A952).
Пример 30.6
Обрабатывается следующая выборка из 40 наблюдений, где
наблюдения расположены в порядке возрастания: 0,0475; 0,2153;
0,2287; 0,2824; 0,3743; 0,3868; 0,4421; 0,5033; 0,5945; 0,6004; 0,6255;
0,6331; 0,6478; 0,7867; 0,8878; 0,8930; 0,9335; 0,9602; 1,0448; 1,0556;
1,0894; 1,0999; 1,1765; 1,2036; 1,2344; 1,2543; 1,2712; 1,3507; 1,3515;
1,3528; 1,3774; 1,4209; 1,4304; 1,5137; 1,5288; 1,5291; 1,5677; 1,7238;
1,7919; 1,8794.
Мы хотим проверить, с а = 0,05, является ли ф.р. F0(x)
этих наблюдений нормальной со средним 1 и дисперсией 1/6.
По таблицам Бирнбаума A952) для п = 40, а = 0,05 находим
da = 0,2101. Рассмотрим наименьшее наблюдение xw. Чтобы
быть приемлемым, значение F0(*(n) должно лежать между 0 и da,
т. е. в интервале @, 0,2101). Наблюденное значение хA) равно
0,0475, и из таблиц нормальной ф. р. мы находим значение
Fo(X(d) =0,0098, входящее в указанный интервал, так что ги-
гипотеза не отвергается этим наблюдением. Далее, она не может
быть отвергнута последующими наблюдениями до тех пор, пока
мы не дойдем до %>, для которого либо (а) г'/40— 0 2101 >
> 0,0098, т. е. ?> 8,796, либо (б) F0(x{i)) > 0,2101 + 1/40, т. е.
Х{г) > 0,7052 (снова из таблиц). В правой части (б) прибав-
прибавляется 1/40, потому что мы знаем, что Sn(x^))~^. 1/40 при i> 1.
Из наших данных имеем л<г)!>0,7052 при i>14. Следовательно,
теперь нам нужно испытать ? = 9 (из неравенства (а)). Здесь
мы находим интервал принятия для Fo(#(9))
{Sa(x{9))-da, SB(*(„>)
= (9/40 -0,2101, 8/40 + 0,2101) =
= @,0149, 0,4101).
По таблицам находим значение Fo(*(9)) = Fo@,5945) = 0,1603, яв-
являющееся приемлемым. Чтобы отвергнуть Но, мы теперь требуем
либо
t/40 - 0,2101 > 0,1603, т. е. i > 14,82,
либо
F0(x{i))> 0,4101 + 1/40,. т.е. x(i) > 0,9052, т.е. г 22=17.
Мы поэтому переходим к i = 15 и т. д. Читатель может прове-
проверить, что только шесть значений i= 1, 9, 15, 21, 27, 34 требуют
в этом случае вычислений. Гипотеза принимается, так как в
каждом из этих шести случаев значение Fo лежит в доверитель-
доверительном интервале; она была бы отвергнута, а вычисления останов-
остановлены, если бы какое-нибудь значение оказалось вне этого ин-
интервала.
Критерии нормальности
30.63 В заключение этой главы мы кратко упомянем о за-
задаче проверки нормальности, т. е. задаче проверки, принадле-
принадлежит ли ф. р. выборки к семейству нормальных распределений,
причем параметры не заданы заранее. Конечно, любой общий
критерий согласия для сложной гипотезы может быть использо-
использован и для проверки нормальности, и в этом отношении никакого
нового обсуждения не требуется. Однако распространенной
практикой является проверка наблюденных моментных отноше-
отношений by и Ь<х или простых функций от них на согласие с их рас-
распределениями, соответствующими гипотезе нормальности (см.
12.18 и упражнения 12.9, 12.10), и такие критерии иногда назы-
называют «критериями нормальности». Это очень свободное слово-
словоупотребление, и лучше называть их критериями асимметрии и
эксцесса соответственно (см. 32.24 ниже). Гири (например,
A947)) разработал и исследовал иной критерий эксцесса,
основанный на отношении выборочного среднего отклонения
618
ГЛАВА 30
к стандартному отклонению, который табулирован в Biometrika
Tables, так же как и ]/й, и Ь2 *).
Кац и др. A955) рассматривают распределения Dn и W2
для проверки нормальности, когда два параметра (^, о2), оце-
оцениваются по выборке посредством (х, s2). Предельные распре-
распределения свободны от параметров (поскольку это параметры
сдвига и масштаба — см. 30.36), но не получены в явном виде.
Сообщается о некоторых выборочных экспериментах, которые
дают эмпирические оценки для этих распределений.
Шапиро и Уилк A965) построили новый критерий для про-
проверки нормальности, основанный на регрессии порядковых ста-
статистик на их ожидаемые значения, пользуясь теорией из
19.18—20, и провели обширные выборочные эксперименты для
нахождения его распределения.
УПРАЖНЕНИЯ
30.1 Показать, что если прн проверке сложной гипотезы используется
несостоятельная совокупность оценок t, то статистика X2 -*¦ оо при п -*¦ оо.
(См. Фишер, 1924с.)
30.2 Пользуясь C0.33), показать, что матрица М, определяемая в
C0.37), при использовании вектора мультиномиальных МП-оценок в сво-
сводится к
и что М идемпотентна с trAf = .s. Этим подтверждается результат 30.10 и
30.14, что X2 распределен асимптотически, как %&_s_ii когда используется в.
(Ватсон, 1959.)
30.3 Показать, исходя из предельной совместной нормальности niy что
при я—э-оо дисперсия статистики X2 для простой гипотезы в случае равных
вероятностей (ро« = Ilk) равна
где рц, i=l, 2, ..., k, — истинные вероятности классов. Проверить, что это
сводится к значению 2(k— 1), когда
Рц = Poi = 1/*.
(Манн и Вальд, 1942.)
30.4 Получить результат из 30.27 о нецентральном %2 для распределения
статистики X2 при альтернативной гипотезе.
(См. Кокрэн, 1952.)
*) Эти таблицы воспроизведены в Таблицах математической статистики,
(Прим. ред.)
КРИТЕРИИ СОГЛАСИЯ
619
30.5 Показать, исходя из моментов мультиномиального распределения
(см. E.80)), что точная дисперсия статистики Хг для простой гипотезы
дается формулой
nD(X2)=2(ra-l) I 2 («-2)
-te
Рог
(Патнайк, 1949.)
30.6 Для той же альтернативной гипотезы, что и в примере 30.3, а имен-
именно гамма-распределения с параметром 1,5, с помощью Biometrika Tables
получить значения рц для группировки на четыре класса с неравными ве-
вероятностями примера 30.2. Подсчитать параметр нецентральности C0.62.)
для этого случая н показать сравнением с примером 30.3, что группировка
с неравными вероятностями потребовала бы примерно на 25% большего
объема выборки, чем группировка с равными вероятностями, чтобы достичь
той же мощности при этой альтернативе.
30.7 k независимых стандартных нормальных величин xj подчинены с
k
однородным линейным ограничениям. Показать, что S = 2 */ распреде-
/=•
лено независимо от знаков Xj. Показать, что если с = 1 и это ограничение
k
есть 2 */=0> то все последовательности знаков равновероятны (за исклю-
чением двух: все положительны и все отрицательны, которые не могут
произойти), но что это, вообще говоря, не так при с >• 1. Вывести отсюда,
что любой критерий, основанный на последовательности знаков отклонений
(«i — npoi) наблюденных частот от гипотетических, асимптотически незави-
независим от критерия Х%, когда справедлива гипотеза Но-
(Ф. Дэвид, 1947; Сил, 1948; Фрэзер, 1950.)
30.8 М элементов одного вида и JV элементов другого расположены
в случайном порядке (М, N > 0). Серия определяется как подпоследователь»
ность элементов одного вида, непосредственно перед которой и после кото*
рой стоят элементы другого вида. Пусть R — число серий во всей последо-
вательности B <; R ^ М + N). Показать, что
M +
M
и что
М (Д) = 1 +
2MN
M + N
D(R)
2MN BMN — М — N-
(M + iVJ(M+W-1)'
(Стивене A939); Вальд и Волфовиц
A940). Свед и Эйзенхарт A943) та-
табулировали распределение R для
М < iV < 20.>
620
ГЛАВА 30
30.9 Пользуясь упражнениями 30.7 и 30.8, показать, что если имеются
М положительных н N отрицательных отклонений (at — npai), то мы можем
использовать критерий серий в дополнение к критерию X2 для проверки
простой гипотезы. Пользуясь упражнением 16.4, показать, что если Pi — ве-
вероятность получить значение Хг не меньшее, чем наблюденное, а Рг — ве-
вероятность получить значение R не большее, чем наблюденное, то
U = —2 (log Pi + log Рг) распределено асимптотически, как %z с 4 степенями
свободы, и большие значения U образуют критическую область составного
критерия.
(Ф. Дэвид, 1947.)
30.10 Пусть xi, X2, ..., хп — независимые случайные величины с одним
И тем же распределением f(X\Qi,Q2). 0i и 02 оцениваются статистиками
U{xt,Xi,...,xn), h(xi,xz хп). Показать, что случайные величины
I
не независимы и их распределение зависит, вообще говоря, от f, 0i и 0г;
но что если 0! и 02 — параметры сдвига и масштаба соответственно, a tt,
h — в подходящем смысле инвариантные оценки, то распределение t/i не за-
зависит от 0j и 02, а только от вида /.
(Ф. Дэвид и Джоисон, 1948.)
30.11 Показать, что при проверке сложной гипотезы статистика X2, ис-
использующая мультиномиальные МП-оценки, асимптотически эквивалентна
статистике критерия отношения правдоподобия, когда справедлива На-
30.12 Показать, что статистика критерия согласия Неймана C0.80) экви-
эквивалентна при больших выборках критерию отношения правдоподобия для
простой гипотезы C0.78).
(Пирсон, 1938.)
30.13 Проверить значения среднего и дисперсяи C0.81), C0.82).
30.14 Доказать формулу C0.102) для дисперсии №2.
30.15 Проверить, что nW2 может быть представлено в виде C0.105).
30.16 Показать с помощью чертежа, что в задаче проверки простой гипо-
гипотезы, задающей ф. p. Fo(x), при простой альтернативе Fi(x), удовлетворяю-
удовлетворяющей условиям
^i М < Fо (х), когда F0 (х) < da,
Fi (x) —Fo(x) в остальных случаях,
критерий Dn (с критическим значением da) может быть смещенным.
(Мэсси, 1950b, 1952.)
30.17 Берутся га наблюдений ит, имеющих равномерное распределение на
интервале @,1), которые разбивают этот интервал на я+1 отрезков с,-,
я+1
где с,- > 0 и
ci = 1- Эти
упорядочиваются так, что c(i> ^ еB)
С(„+1). Показать, что неотрицательные случайные величины
l — (И + 1) СA),
gj = (га + 2 - /) (с(/) - си_{)), 1 = 2, 3 п + 1;
л+1
Si =
КРИТЕРИИ СОГЛАСИЯ
621
имеют распределение dFg = я! dgi ... dgn и что неупорядоченные с, имеют
то же самое распределение, так что dFc = nl dc\ ... dcn (при этом (я + 1)-я
величина в обоих случаях опущена, чтобы избежать сингулярности распре-
распределения). Вывести отсюда, что величины
г
распределены в точности как порядковые статистики и(г), г = 1, 2, ..., га
первоначальной выборки. Таким образом, любой критерий согласия, осно-
основанный на вероятностном интегральном преобразовании, может быть приме-
применен к wr. так же как и к и{г), полученным в результате преобразования..
(См. Дёрбин A961), где было най-
найдено с помощью выборочных экспе-
экспериментов, что односторонний крите-
критерий Колмогорова D~, примененный
к шг, имеет лучшие свойства мощно-
мощности, чем обычный двусторонний кри-
критерий Dn, при выявлении изменения
формы распределения.)
30.18 Пусть 9 — неизвестные параметры в задаче проверки сложной
гипотезы согласия для п наблюдений л:. Предположим, что t — минимальная
достаточная статистика для 0, имеющая менее чем я компонент, н что
имеется взаимно однозначное преобразование х в (*,«), где и не зависит
от t. Показать, что если значение t отбросить и заменить случайным наблю-
наблюдением f с распределением, отвечающим известному значению 0, то сово-
совокупность наблюдений х', полученная обратным преобразованием из (f, и),
имеет распределение, не зависящее от 0, так что гипотеза согласия стано-
становится простой.
(Дёрбин, 1961.)
ГЛАВА 31
УСТОЙЧИВЫЕ И СВОБОДНЫЕ
ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ
31.1 В ходе рассмотрения различных аспектов статистической
теории мы во многих случаях обнаруживали, что наибольший
прогресс может быть достигнут тогда, когда наблюдения полу-
получены из нормальной генеральной совокупности. Основная при-
причина этого — сферическая симметрия, характеризующая нор-
нормальность, но нас сейчас интересует не это. Вопрос, который мы
собираемся обсуждать, состоит в том, насколько оправданным
может быть применение этой так называемой «нормальной тео-
теории» в ситуации, когда распределения наблюдений на самом
деле не нормальны. Потому что в свете относительного обилия
теоретических результатов, относящихся к нормальному случаю,
возникает искушение рассматривать распределения как нор-
нормальные, если только не доказано противное, и использовать
стандартную нормальную теорию везде, где это возможно.
Возникает вопрос, насколько вероятно, что такие оптимисти-
оптимистические предположения нормальности могут привести к серьез-
серьезным ошибкам.
Для задач проверки гипотез мы можем сформулировать
проблему более точно в стиле нашего обсуждения подобных об-
областей в 23.4. Напомним, что там нашей целью было установить
размер критерия равным а независимо от значений некоторых
мешающих параметров. Теперь нас интересует вопрос, по суще-
существу, такого же рода, но относящийся к функциональной форме
распределения, а не к его неизвестным параметрам: чувствите-
чувствителен ли размер критерия а к изменениям формы распределения?
Статистическая процедура, нечувствительная к отклонениям
от предположений, лежащих в ее основе, называется «устойчи-
«устойчивой»*). Исследования устойчивости проводились многими ав-
авторами. Большое количество работ относится к дисперсионному
анализу, и мы отложим обсуждение этого до 3-го тома. Сейчас
мы ограничимся результатами, связанными с процедурами, ко-
которые нам уже встречались. Бокс и Андерсен A955) дают об-
общий обзор этого предмета.
*) В оригинале — «robust». Фраза в оригинале продолжается: «удачный
термин, введенный Боксом A953) и теперь имеющий всеобщее употребле-
употребление». В русской литературе установившегося термина нет. (Прим. ред.}
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 623
Устойчивость стандартных процедур «нормальной теории»
31.2 Начавшись с ранних экспериментальных исследований,
в первую очередь Э. Пирсона, изучение устойчивости продолжа-
продолжалось теоретическими исследованиями, среди которых работы
Бартлетта A935а), Гири A936, 1947) и Гейена A949—1951), по
существу, имеют аналогичную форму. Предполагается, что на-
наблюдения получены из генеральных совокупностей, определяе-
определяемых разложениями Грама — Шарлье или Эджворта, и попра-
поправочные члены к нормальной теории получаются в виде функций
от нормированных старших семиинвариантов, в частности х3 и
щ. Эти результаты могут быть, в общем, выражены утвержде-
утверждением, что критерии, касающиеся генеральных средних (т. е.
^-критерии Стьюдента для среднего значения нормального рас-
распределения и для разности средних двух нормальных распре-
распределений с одинаковыми дисперсиями), довольно нечувстви-
нечувствительны к отклонениям от нормальности, а критерии, касающиеся
дисперсий (т. е. /2-критерий для дисперсии нормального рас-
распределения, F-критерий для отношения дисперсий двух нормаль-
нормальных распределений и модифицированный критерий отношения
правдоподобия для равенства нескольких дисперсий в приме-
примерах 24.4, 24.6), очень чувствительны к таким отклонениям. Кри-
Критерии для средних устойчивы; в сравнении с ними критерии для
дисперсий следует считать неустойчивыми. У нас нет здесь места
для подробного вывода этих результатов, но их легко объяснить
в общих словах.
31.3 Ключевым моментом при выводе распределения f-ста-
тистики Стьюдента является независимость ее числителя и зна-
знаменателя, которая выполняется точно только для нормальных
исходных распределений. Если мы производим выборку из ге-
генеральной совокупности, отличной от нормальной, то централь-
центральная предельная теорема тем не менее дает нам, что выборочное
среднее и несмещенная оценка дисперсии s2 = k2 будут распре-
распределены асимптотически нормально. Более того, мы знаем из
правила 10 для выборочных семиинвариантов ^-статистик в
12.14, что
х B1) = Из/", C1.1)
%{2rls) = O(n-{r+s-l)). C1.2)
Так как
п
то для асимптотической корреляции между х и s2 мы имеем из
C1.1)
"¦ '¦ ' " -941. C1.3)
624
ГЛАВА 31
Если генеральная совокупность симметрична, то х3 и р в C1.3)
равны нулю, и, следовательно, х и s2 асимптотически незави-
независимы, так что нормальная теория будет справедлива для доста-
достаточно больших п. Если х3 Ф 0, то C1\3) будет меньше, когда щ
велико, но останется не равным нулю. Ситуацию, однако, спа-
спасает тот факт, что точное ^-распределение Стьюдента само при-
приближается к нормальному при я-*оо, так же как и, по цент-
центральной предельной теореме, распределение статистики
\'/2
C1.4)
поскольку s2 сходится по вероятности к о2. Оба предельных рас-
распределения совпадают.
Таким образом, каково бы ни было исходное распределение,
статистика C1.4) асимптотически нормальна, и, следовательно,
в пределе справедлива нормальная теория. Если исходное рас-
распределение симметрично, мы можем ожидать более быстрой схо-
сходимости к распределению, даваемому нормальной теорией (/-рас-
пределение Стьюдента). Это на самом деле и есть результат,
подтверждаемый подробными исследованиями: для малых вы-
выборок нормальная теория менее устойчива по отношению к от-
отклонениям асимметрии, чем к отклонениям эксцесса.
31.4 Аналогично обстоит дело для двухвыборочной /-стати-
/-статистики Стьюдента. Если две выборки получены из одной и той
же генеральной совокупности, отличной от нормальной, а мы
применяем нормальную статистику
1/2
C1.5)
то ковариация между (х{—х2) и членом в квадратных скобках
в знаменателе, который обозначим s2, дается формулой
cov = :
Я1-1
1
п2 —
Ч ~Н П% — 2 П\ П\ + /t2 — 2 t2 J /*1 + 12 — 2 \«2
тогда как соответствующие дисперсии равны
fi—JL"
D (Xl - х2) =
±), D
(х4
п2).
Корреляция, следовательно, равна асимптотически
И/2 , ! i
р =
/II,'
C1.6)
устойчивые и свободные от распределения процедуры 625
Снова, если хз = 0, асимптотическая нормальность влечет асимп-
асимптотическую независимость. Мы также видим, что р равно нулю,
если п\ = п.2- Во всяком случае, когда п.\ и п2 становятся боль-
большими, центральная предельная теорема приводит к асимптоти-
асимптотической нормальности выражения C1.5) и, следовательно, к со-
согласию с /-распределением Стьюдента.
И опять это в точности совпадает с результатами, получен-
полученными Бартлеттом A935а) и Гейеном A949—1951): если объемы
выборок равны, то даже асимметрия исходного распределения
вызывает малое отклонение от нормальной теории. Если исход-
исходное распределение симметрично, то критерий будет устойчив
даже при неодинаковых объемах выборок.
31.5 Для ^-критериев Стьюдента изучались также влияния более слож-
сложных отклонений от нормальности. Хюрениус A950) рассматривал выборку из
составного нормального распределения; другие шведскне авторы, наиболее
поздним из которых является Закриссон A959), дающий ссылки на более
ранние работы, таюке рассматривали различные формы генеральных сово-
совокупностей, составленных из нормальных подсовокупностей. Роббинс A948)
нашел распределение t, когда наблюдения получены из нормальных распре-
распределений, отличающихся только средними. Для двухвыборочного критерия
Гири A947) и Гейен A949—1951) рассматривают случай, когда две выборки
могут происходить из различных генеральных совокупностей.
31.6 Когда мы переходим к критериям для дисперсий, кар-
картина становится совсем иной. Ключевым пунктом нормальной
теории во всех критериях для дисперсий является тот факт, что
л .
отношение z = 2 (xi — xJ/a2 распределено как %2 с п— 1 сте-
г=1
пенями свободы. Если мы рассмотрим выборочные семиинва-
семиинварианты величины k2 — v.2zl(n—1), то из A2.35) мы видим, что
DB) =
= 2 (п -
:Ч~(«-1)[2 4-Ч
C1.7)
тогда как из A2.36)
' л - 1 У»
п- 1
х B3) =
I «2
12х4х2
и(л-1)
4 (я - 2) xl
«(n-lJ
8*2
Z I
¦(«-О -4 +
+8
}¦
и аналогично для старших моментов из A2.37) — A2.39). Из
этих выражений становится ясно, что распределение г зависит
626
ГЛАВА 31
от всех нормированных семиинвариантных отношений х^/х|, х4/х|
и т. д. и что члены, содержащие эти отношения, имеют тот же
порядок по п, что и постоянные члены нормальной теории. Эти
дополнительные члены пропадают тогда и только тогда, когда
все высшие семиинварианты равны нулю, т. е. когда распреде-
распределение наблюдений нормально. В противном случае C1.7) пока-
показывает, что, хотя z распределено асимптотически нормально,
распределение z не будет асимптотически приближаться к/2-рас-
пределению, даваемому нормальной теорией. Здесь центральная
предельная теорема не спасает нас, так как распределение г
стремится к нормальному распределению, отличному от того,
которого мы хотим.
31.7 Поскольку х4 фигурирует в C1.7), а х3 — нет, следует
ожидать, что отклонение от нормального эксцесса будет ока-
оказывать большее влияние на распределение, и именно в этом со-
состоит результат, полученный после детальных выкладок Гейе-
ном A949—1951) для критериев %2 и отношения дисперсий.
Бокс A953) нашел, что расхождения с нормальной теорией уве-
увеличиваются, когда число сравниваемых дисперсий возрастает, и
его рассуждения достаточно просты, чтобы воспроизвести их
здесь.
Предположим, что k выборок объемов щ (i = 1, 2, ..., k)
извлечены из генеральных совокупностей, имеющих одну и ту
же дисперсию х2 и один и тот же коэффициент эксцесса
Y2 = v.Jk\.
Из C1.7) мы тогда имеем асимптотически для любой из вы-
выборок
( 1)A, C1.8)
где s?— несмещенная оценка для Хг- По центральной предель-
предельной теореме s\ асимптотически нормальна со средним и2 и дис-
дисперсией C1.8) и, следовательно, распределена так, как если бы
она была получена из нормальной генеральной совокупности и
основана на Ы{ = п{/A + -9-^2) наблюдениях вместо щ. Таким
образом, воздействие на модифицированный критерий ОП для
сравнения k нормальных дисперсий, приведенный в B4.44), со-
состоит в том, что — 2 log /*/Г 1 + -g- Y2), а не само —2 log/* рас-
распределено асимптотически как %2 с k — 1 степенями свободы.
Влияние этой поправки на распределение, даваемое нормаль-
нормальной теорией, может быть чрезвычайно сильным. В следующей
таблице мы приводим некоторые результаты вычислений Бокса
A953).
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 627
Истинная вероятность превышения критического уровня,
даваемого асимптотической нормальной]теорией для а =0,05
— 1
0
1
2
2
0,0056
0,05
0,110
0,166
3
0,0025
0,05
0,136
0,224
5
0,0008
0,05
0,176
0,315
10
0,0001
0,05
0,257
0,489
зо
0,061
0,05
0,498
0,849
Как видно из таблицы, отклонение от значения 0,05, соот-
соответствующего нормальной теории, возрастает с ростом |-у2j и
с ростом k при любом фиксированном Y2 Ф- 0.
31.8 Хотя результат 31.7 имеет асимптотический характер,
Бокс A953) показал, что аналогичные расхождения происходят
и при малых выборках. Поразительное отсутствие устойчивости
дисперсионного критерия заставило его рассматривать стати-
статистику /* из B4.44) как статистику критерия для эксцесса, и
он нашел, что чувствительность этого критерия имеет тот же
порядок, что и у общеупотребительных критериев, указан-
указанных в 30.63.
31.9 Наконец, мы кратко упомянем, что Гейен A949—1951) рассмотрел
устойчивость выборочного коэффициента корреляции г и фишеровского z-npe-
образования г к отклонениям от двумерной нормальности. Когда теоретиче-
теоретический коэффициент корреляции р = 0 и, в частности, когда случайные вели-
величины независимы, распределение г устойчиво даже при столь малом объеме
выборки, как 11; но при больших значениях р отклонения от нормальной
теории становятся заметными. Когда исходное распределение отлично от
нормального, z-преобразование остается асимптотически нормальным, но
скорость сходимости уменьшается. На среднее и дисперсию z, с точностью
до порядка Я, не влияет асимметрия исходных маргинальных распределе-
распределений, но влияние отклонений от нормального эксцесса может быть заметным;
в частности, дисперсия z чувствительна к форме ясходного распределения
даже при больших выборках, хотя математическое ожидание z медленно
приближается к своему нормальному значению, когда п растет.
Хотеллинг A961) применяет совершенно иной подход к задачам устой-
устойчивости и приводит полезный библиографический список.
Хубер A964) проводит общее исследование устойчивости оценок пара-
параметра сдвига; см. также Бикел A965) и Гастверт A966).
Нормализующие преобразования
31.10 Исследование устойчивости имеет своей целью выясне-
выяснение области применимости стандартных процедур нормальной
теории. Как мы видели, эта область может быть широкой или
чрезвычайно узкой, но на практике часто трудно решить, будут
ли стандартные процедуры приближенно справедливы или при-
приведут к неверному результату. Мы сейчас обсудим два других
628
ГЛАВА 31
подхода к ситуациям, когда не выполнены предположения нор-
нормальности.
Первая возможность состоит в том, чтобы искать преобразо-
преобразование, которое сделало бы распределение наблюдений более
близким к нормальному, так что к преобразованным наблюде-
наблюдениям была бы применима нормальная теория. Это преобразо-
преобразование может иметь вид, рассмотренный в 6.25—26, где мы нор-
нормализовали подбором полиномиального преобразования. Либо
мы сможем найти простое нормализующее функциональное пре-
преобразование (см. 6.27—35 и фишеровское г-преобразование ко-
коэффициента корреляции в A6.75)). Трудность в обоих случаях
состоит в том, что мы должны заранее знать первоначальное
распределение, чтобы найти, какое преобразование лучше при-
применить; такая информация может оказаться доступной в тео-
теоретическом контексте, таком, как исследование выборочного рас-
распределения статистики, но ее гораздо труднее получить, когда
интересующее нас распределение возникает в эксперименталь-
экспериментальной работе.
По счастью, преобразования, предназначенные для того,
чтобы стабилизировать дисперсию (т. е. чтобы сделать ее не
зависящей от некоторого параметра), часто служат и для нор-
нормализации распределения, к которому они применяются, — при-
примером этого может служить фишеровское г-преобразование ко-
коэффициента г. Упражнение 16.18 показывает, как знание связи
между средним и дисперсией распределения позволяет произ-
произвести простое преобразование, стабилизирующее дисперсию.
Такие преобразования чаще всего используются в дисперсион-
дисперсионном анализе, и мы отложим их подробное обсуждение до изло-
изложения этой темы в 3-м томе.
Свободные от распределения процедуры
31.11 Второй из альтернативных подходов, упомянутых в на-
начале 31.10, будет радикальным. Вместо того, чтобы держаться
за стандартные методы нормальной теории (либо потому, что
они устойчивы и приближенно применимы в случае отклонения
от нормальности, либо потому, что они становятся приближенно
применимы после преобразования наблюдений), мы теперь пол-
полностью отказываемся от них и ищем новый подход к нашим
проблемам. Можем ли мы найти статистические процедуры, ко-
которые были бы применимы в широком классе исходных распре-
распределений, скажем в классе всех непрерывных распределений?
Если можем, то они с необходимостью будут справедливы и для
нормальных распределений и наша устойчивость будет точной
и гарантированной. Такие процедуры называются свободными
от распределения, как мы уже видели в 30.35, поскольку их
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 629
применимость вовсе не зависит от формы исходных распреде-
распределений, если только они непрерывны.
Остаток этой главы и некоторые разделы двух последующих
глав будут посвящены свободным от распределения методам.
Прежде всего мы обсудим, в каком отношении находятся сво-
свободные от распределения методы к схеме «параметрический —
непараметрический», введенной в 22.3.
31.12 Ясно, что, если мы имеем дело с параметрической за-
задачей (например, проверкой параметрической гипотезы или
оценкой параметра), метод, которым мы пользуемся, может
быть и может не быть свободным от распределения. По-види-
По-видимому, не столь же очевидно, что даже в непараметрической за-
задаче метод также может быть и может не быть свободным от
распределения. Например, в главе 30 мы рассматривали кри-
критерии для сложной гипотезы согласия, представляющей собой
непараметрическую задачу, и нашли, что статистика критерия
не является даже асимптотически свободной от распределения
в общем случае, когда применяются не мультиномиальные
МП-оценки. Опять же, если мы используем выборочное момент-
ное отношение b2 = mjm\ как критерий нормальности, то это —
непараметрическая задача, но распределение Ь2 сильно зависит
от формы исходного распределения.
Однако большинство свободных от распределения процедур
было предназначено для непараметрических задач, таких, как
проверка гипотезы, что два непрерывных распределения равны
между собой, и поэтому в литературе установилась довольно
произвольная взаимозаменяемость терминов «непараметриче-
«непараметрический» и «свободный от распределения». Мы будем всегда упо-
употреблять их в тех совершенно различных значениях, которые мы
определили: «непараметрический» относится к задаче, а «сво-
«свободный от распределения» — к методу, используемому для реше-
решения задачи.
Свободные от распределения методы
для непараметрических задач
31.13 Ниже следуют основные классы непараметрических за-
задач, которые могут быть решены свободными от распределения
методами.
A) Задача двух выборок. Проверяемая гипотеза состоит в
том, что две генеральные совокупности, из которых мы имеем
случайные выборки наблюдений, одинаковы.
B) Задача k выборок. Это обобщение A) на k > 2 генераль-
генеральных совокупностей.
C) Случайность. Имеется ряд из п наблюдений над одной
случайной величиной, упорядоченной каким-то образом (обычно
630
ГЛАВА 31
ло времени). Проверяется гипотеза, что наблюдения получены
независимо между собой из одной и той же генеральной сово-
совокупности.
D) Независимость в двумерной генеральной совокупности..
Проверяется гипотеза, что двумерное распределение рабпадает-
ся на два независимых маргинальных распределения.
Все это — задачи проверки гипотез, и, действительно, дело
обстоит так, что большинство свободных от распределения ме-
методов относится к проверке гипотез, а не к оцениванию. Однако
мы можем находить свободные от распределения
Aа) Доверительные интервалы для различия в сдвиге двух
непрерывных распределений, в остальном одинаковых,
E) Доверительные интервалы и критерии для квантилей,
и
F) Толерантные интервалы для непрерывного распреде-
распределения.
В главе 30 мы уже рассматривали
G) Свободные от распределения критерии согласия,
и
(8) Доверительные интервалы для непрерывной функции
распределения.
Перечисленные выше категории содержат основную массу
работы, проделанной до сих пор по не зависящим от распреде-
распределения методам, хотя, как мы увидим, они и не исчерпывающи.
Очень полная библиография по этому предмету дана Сэвид-
жем A962).
31.14 Читатель, вероятно, заметил, что задачи A) — C) в
31.13 однотипны, поскольку они касаются проверки тождествен-
тождественности нескольких одномерных непрерывных распределений, и'
у него, возможно» возник вопрос, почему с ними объединена за-
задача D). Причина этого в том, что, видоизменяя задачу D),
можно прийти к задачам A) — C). Мы здесь кратко опишем
эту связь, оставляя подробности до тех пор, пока не перейдем
к конкретным критериям.
Предположим, что в задаче C) мы приписываем значениям
х числа, характеризующие порядок их расположения, и рас-
рассматриваем эти числа как наблюдения над случайной величи-
величиной у. Задача C) тогда сводится к проверке независимости х
и у, т. е. к частному случаю задачи D). Предположим теперь,
что в задаче D) мы разбили на две части область значений
второй случайной величины, скажем z, и что мы полагаем у = 1
или 2 в зависимости от того, в какую из частей попадает на-
наблюдение г. Если мы теперь будем проверять независимость х
и у, то задача D) сведется к задаче A), так как если х не
зависит от .^-классификации, то распределения х для у = 1 и
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЕ ПРОЦЕДУРЫ 631
для у — 2 должны быть тождественны. Аналогично мы сводим
задачу D) к задаче B), разбивая область значений z на k > 2
классов, придавая значения г/=1,2, ..., k и проверяя неза-
независимость х и у.
Построение свободных от распределения критериев
31.15 Как строить свободные от распределения критерии для
непараметрических задач? При обсуждении критериев согласия
в главе 30 мы уже встречали два метода: один состоял в приме-
применении вероятностного интегрального преобразования, которое
для простых гипотез дает свободный от распределения крите-
критерий; второй состоял в сведении задачи к задаче о мультино-
мультиномиальном распределении, как в случае критерия X2, — в сле-
следующей главе мы увидим, что этот последний способ в своей
простейшей форме служит для построения критерия (так назы-
называемого критерия знаков) для задачи E) из 31.13. Но важней-
важнейшие классы свободных от распределения критериев для задач
A) — D) основываются на других методах, которые мы теперь
рассмотрим.
Если мы ничего не знаем о форме исходных распределений,
кроме, возможно, того, что они непрерывны, мы, очевидно, не
можем найти подобных областей в пространстве выборок теми
методами, которые применялась для параметрических задач в
главе 23. Однако продвижение все же возможно. Прежде всего
мы произведем некоторые необходимые изменения в наших оп-
определениях достаточности и полноты.
При отсутствии параметрической формулировки мы должны
связывать эти определения непосредственно с исходными ф. р.;
в то время как раньше мы называли статистику t достаточной
для параметра 6, если была возможна факторизация A7.68),
мы теперь определим семейство С распределений, и пусть 6 —
просто некоторая переменная, которая служит индексом для
членов этого семейства. Имея это в виду, будем называть стати-
статистику t достаточной для семейства С, если для всех 9 имеет ме-
место факторизация A7.68). Аналогично, определения полноты и
ограниченной полноты семейства распределений в 23.9 остаются
в силе для непараметрических ситуаций, если в качестве 9 взять
индексную переменную для членов семейства.
31.16 В примерах 23.5 и 23.6 мы видели, что совокупность
порядковых статистик t = (x(d, .%), ..., xw) является достаточ-
достаточной статистикой в некоторых параметрических задачах, хотя и
не обязательно минимальной достаточной статистикой. Интуи-
Интуитивно очевидно, что t всегда будет достаточной статистикой,
если все наблюдения получены из одного и того же распреде-
распределения, так как в этом случае мы не теряем никакой информа-
632
ГЛАВА 31
ции, упорядочивая наблюдения. (Очевидно также, что t будет
минимальной достаточной статистикой, если о форме исходного
распределения ничего не известно.). Если исходное распределе-
распределение непрерывно, мы отмечали в 23.5, что подобные области мо-
могут всегда быть построены посредством перестановки координат
пространства выборок для критериев, размер которых кратен
(п\)-1. Такая перестановка оставляет совокупность порядковых
статистик без изменений. Если относительно формы исходного
распределения не известно ничего, то ясно, что мы не можем
получить подобных областей никаким другим способом. По-
Поэтому из результата 23.19 следует, что совокупность порядковых
статистик ограниченно полна для семейства всех непрерывных
Ф-р.*).
Следовательно, мы видим, что, если нам нужно строить по-
подобные критерии для таких гипотез, как в задачах A) — D) в
31.13, мы должны пользоваться критериями перестановок, кото-
которые основываются, по существу, на том факте, доказанном в
11.4 и очевидном из симметрии, что каждое упорядочение вы-
выборки из непрерывной ф. р. имеет одну и ту же вероятность
(я!). При этом еще остается вопрос, каким критерием пере-
перестановок следует пользоваться для данной конкретной гипо-
гипотезы.
Эффективность свободных от распределения критериев
31.17 Поиск свободных от распределения процедур вызван
желанием расширить область применимости наших выводов.
Мы не можем ожидать, что большой выигрыш в общности бу-
будет достигнут без некоторой потери эффективности в конкретной
ситуации; иными словами, мы не можем ожидать, что свобод-
свободный от распределения критерий, выбранный без знания формы
исходного распределения, будет так же эффективен, как и кри-
критерий, которым мы пользовались бы, если бы знали это исход-
исходное распределение. Но использовать это как аргумент против
свободных от распределения процедур было бы явно ошибоч-
ошибочным: именно отсутствие информации относительно исходного
распределения заставляет нас пользоваться свободными от рас-
распределения методами. Единственная «справедливая» мера эф-
эффективности для свободного от распределения критерия — это
та, которая дается другими свободными от распределения кри-
критериями. Мы должны, естественно, выбирать наиболее эффек-
эффективный из имеющихся таких критериев.
Но в каком смысле должны мы говорить об эффективности?
Даже в параметрическом случае РНМ критерии редки, и мы
*) То, что она на самом деле полна, доказано непосредственно, напри-
например, в книге Лемана A959); этот результат принадлежит Шеффе A943b).
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 633
не можем надеяться найти свободные от распределения крите-
критерии, которые были бы наиболее мощными против всех возмож-
возможных альтернатив. Мы, таким образом, приходим к тому, чтобы
исследовать мощность свободных от распределения критериев
против параметрических альтернатив к проверяемым непарамет-
непараметрическим гипотезам. Несмотря на парадоксальное звучание, в
этом нет никакого противоречия, и такая процедура имеет одно
большое практическое достоинство. Если мы исследуем мощ-
мощность против альтернатив, рассматриваемых в теории нормаль-
нормального распределения, мы получаем меру того, как много мы
можем потерять, пользуясь свободным от распределения крите-
критерием, когда предположения нормальной теории в действитель-
действительности справедливы (хотя, конечно, мы и не знали бы этого на
практике). Если дти потери малы, то это поощряет нас пожерт-
пожертвовать небольшой добавочной эффективностью методов стан-
стандартной нормальной теории ради расширения области примени-
применимости, связанного с использованием свободного от распределе-
распределения критерия.
Мы можем сделать еще один шаг в этом сравнении крите-
критериев нормальной теории с критериями, свободными от распре-
распределения. В некоторых случаях имеется возможность исследовать
относительную эффективность двух методов для широкого клас-
класса исходных распределений; и надо особенно отметить, что нет
никаких оснований ожидать, что метод нормальной теории бу-
будет сохранять свое преимущество в эффективности над свобод-
свободным от распределения методом, когда исходное распределение
в действительности не нормально. В самом деле, можно даже
предположить, что свободные от распределения методы меньше
пострадают от отсутствия нормальности, чем методы нормаль-
нормальной теории, основанные на этом предположении. Те немногочис-
немногочисленные исследования, которые были проведены до сих пор, по-
видимому, в целом подтверждают это предположение.
Критерии независимости
31.18 Подробное рассмотрение свободных от распределения
критериев для непараметрических гипотез, которое будет иллю-
иллюстрировать общие положения из 31.15—17, мы начинаем с за-
задачи D) из 31.13 — задачи независимости.
Предположим, что у нас имеется выборка из непрерывной
двумерной функции распределения F(x,y) с непрерывными
маргинальными функциями распределения 0{х), Н(у), состоя-
состоящая из п пар (х, у). Мы хотим проверить гипотезу
Яо: F(x, y) = G(x)H{y) при всех х, у. C1.9)
При гипотезе #о все п\ возможных упорядочений значений х
634
ГЛАВА 31
равновероятны, и независимо от х то же самое справедливо от-
относительно п\ упорядочений у, мы, следовательно, имеем (п!J
равновероятных точек в пространстве выборок. Однако посколь-
поскольку вопрос касается связи между хну, для нас играют роль
только различные способы соединения в пары п иксов и п игре-
игреков, и имеются п\ различных множеств Таких соединений (по-
(получаемых, например, если фиксировать значения у и брать пе-
перестановки значений х), имеющих равные вероятности (п\)~1.
Согласно 31.16 всякий подобный критерий размера а для Но со-
содержит ап\ = N способов соединения в пары (предполагается,
что N — целое положительное).
Каждое из п\ множеств таких пар содержит п значений
(х, у) (некоторые из которых могут, конечно, совпадать). Те-
Теперь спрашивается: какую функцию от (х, у) взять в качестве
статистики критерия?
Рассмотрим альтернативную гипотезу Ни состоящую в том,
что х и у имеют двумерное нормальное распределение с нену-
ненулевым коэффициентом корреляции р. Согласно A6.47) и A6.50)
мы можем тогда записать функцию правдоподобия в виде
L (х| Н,) = {2пахау A -
ехр {- 1{Т=
+ -ч-
. C1.10)
Различные способы соединения х и у в пары не влияют на
наблюденные средние и дисперсии х, у, s2K, s2y, но они воздей-
воздействуют на выборочный коэффициент корреляции г через член
i—i
в его числителе. Очевидно, наибольшее значение C1.10)
будет достигаться при любом р > 0, когда г сколь возможно
велико, и при любом р <С 0, когда г сколь возможно мало. По
лемме Неймана — Пирсона из 22.10 мы получаем наиболее мощ-
мощный критерий перестановок, выбирая в качестве нашей крити-
критической области множество тех соединений в пары, которые мак-
максимизируют C1.10), так как при гипотезе Яо все способы обра-
образования пар равновероятны. Таким образом, рассмотрение
нормальных альтернатив приводит к следующему критерию,
впервые предложенному из интуитивных соображений Питмэ-
ном A937b): отвергнуть Яо против альтернатив положительной
корреляции, если г велико, против альтернатив отрицательной
корреляции, если г мало, и против общих альтернатив отсут-
отсутствия независимости, если \г\ велико. Критическое значение в
каждом случае должно определяться по распределению г среди
п\ различных множеств пар, равновероятных при гипотезе Но.
устойчивые и свободные от распределения процедуры 635
Хотя корреляционный критерий Питмэна дает наиболее мощ-
мощный критерий перестановок для гипотезы независимости против
нормальных альтернатив, он, конечно, остается в силе (т. е.
имеет точный размер а) при любых альтернативах, и можно
предполагать, что он будет иметь достаточно хорошую мощ-
мощность в широком классе альтернатив, близких к нормальным.
Перестановочное распределение г
31.19 Поскольку
только
1=1
sxsy,
Ci.ii)
является случайной величиной при перестанов-
i
ках. Мы можем получить ее точное распределение, а следова-
следовательно и распределение г, путем перебора всех п\ возможностей,
но это становится слишком трудоемким на практике, когда п
велико. Вместо этого мы найдем аппроксимацию к точному рас-
распределению, подбирая распределение по его моментам. Сохра-
Сохраняя yi фиксированными и переставляя значения х, мы находим
М B xtyi) = 2 Hi
откуда согласно C1.11)
пху,
М (г) = 0.
C1.12)
Для удобства мы примем теперь за начало отсчета средние
(х, у). Имеем
t)=2 у*
cov
" */)=
+ пзух/(п - 1) = n2s2ys2x/(n - 1).
Поэтому C1.11) дает
=l/(«- 1).
C1.13)
Первые два момента г, даваемые формулами C1.12) и
C1.13), совсем не зависят от наблюденных значений (х, у).
636
ГЛАВА 31
Аналогичными методами находим, что
га — 2 { ki\'( k
МН =
1 +
(ге-2)(ге-3)
Зге(ге— IJ
C1.14)
где k обозначают ^-статистики наблюденных иксов, a k' обо-
обозначают й-статистики наблюденных игреков. Пренебрегая раз-
различием между А-статистиками и выборочными семиинвариан-
семиинвариантами, мы можем переписать C1.14) в виде
ге —2
ге(ге- IJ
C1.15)
где gi, g2 — меры асимметрии и эксцесса для иксов, a g[, g'2 —
то же для игреков. Если они фиксированы, то C1.14) можно
записать как
Таким образом, при п-+~оо мы имеем приближенно
МИ = 0, М (г4) = д2 3_ 1 . C1.17)
¦Моменты C1.12), C1.13) и C1.17) в точности равны мо-
моментам распределения A6.62)—симметричного точного распре-
распределения г в выборках из двумерного нормального распределения
с р = 0, что легко можно проверить интегрированием г2 и г4 в
A6.62). Таким образом, с хорошей степенью приближения пе-
перестановочное распределение г дается тем же выражением
В{(ге-2)/2, 1/2}
(l-r2)
in-4)l2
dr, -
C1.18)
и мы можем, следовательно, использовать C1.18) или эквива-
эквивалентный факт, что t= {(п — 2)г2/A — г2)}1'2 имеет распределе-
распределение Стьюдента с п — 2 степенями свободы, для реализации на-
наших критериев над г. В действительности C1.18) дает очень хо-
хорошее приближение даже при малых п, как можно было ожи-
ожидать из точного совпадения его первых двух моментов с момен-
моментами перестановочного распределения.
Сходимость перестановочного распределения и распределений нормаль-
нормальной теории к одному и тому же предельному нормальному распределению
была строго доказана Гёфдингом A952)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 637
31.20 Может показаться неожиданным, что перестановочное
распределение г, используемое при проверке непараметрической
гипотезы C1.9), так близко согласуется с точным распределе-
распределением A6.62), которое было получено в предположении незави-
независимости и нормальности х я у. Но следует обратить внимание
на то, что степень аппроксимации третьего и четвертого мо-
моментов перестановочного распределения г зависит от значений
g в C1.15): они становятся малыми, когда F(x,y) близко к нор-
нормальному. На самом деле мы сейчас наблюдаем, так сказать
с другого конца, явление, о котором говорилось в 31.9, а именно
устойчивость распределения г, когда р = 0.
Но если фактическое совпадение перестановочного распре-
распределения с распределением нормальной теории не является пол-
полной неожиданностью, то оно во всяком случае очень удобно и
приятно, так как мы можем по-прежнему пользоваться табли-
таблицами нормальной теории (в данном случае ^-распределения
Стьюдента) для свободного от распределения критерия непа.ра-
метрической гипотезы независимости.
Ранговые критерии независимости
31.21 Некоторое неудобство г как критерия независимости,
о котором кратко было сказано после C1.11), состоит в том,
что вычисление его точного распределения при малых значе-
значениях п (скажем, от 5 до 10) очень трудоемко. Причина этого
в том, что точное распределение г зависит от наблюденных зна-
значений (х, у), а они представляют собой, конечно, случайные ве-
величины. Несмотря на отличное приближение распределения рас-
распределением 31.18, представляет интерес выяснить, как эта
трудность может быть преодолена: это может быть полезно и
в других ситуациях, так как приближение к перестановочному
распределению не всегда бывает таким хорошим.
Наиболее очевидное средство устранения зависимости пере-
перестановочного распределения от случайно варьирующих наблю-
наблюдений состоит в замене значений (х, у) новыми значениями
(X, Y) (с коэффициентом корреляции R), определенными так,
чтобы перестановочное распределение R было одним и тем же
для каждой выборки (хотя, конечно, само R будет меняться от
выборки к выборке). Мы, таким образом, ищем набор условных
чисел (X, Y) для замены наблюденных (х, у). Как их следует
выбрать? (X, Y) не должны зависеть от фактических значений
(х, у), но они, очевидно, должны отражать порядковые соотно-
соотношения между наблюденными значениями х и у, так как нас ин-
интересует зависимость между этими случайными величинами.
Мы. таким образом, приходим к рассмотрению функций от
638
ГЛАВА 31
рангов х и у. Мы определяем ранг наблюдения у{ как его поло-
положение среди порядковых статистик, т. е.
ранг {#(*>} = 1.
Наше стремление рассматривать критерии, основанные на
рангах (называемые иначе «ранговыми критериями»), поддер-
поддерживается тем фактом, что ранги инвариантны при любых моно-
монотонных преобразованиях переменных. Любое такое преобразо-
преобразование оставляет инвариантной также гипотезу независимости
C1.9), и поэтому естественно использование рангов. Мы еще не
определили, какие функции от рангов использовать в каче-
качестве чисел (X, УJ; самая простая и очевидная процедура — ис-
использовать сами ранги, т. е. заменить наблюденные значения х
их рангами среди иксов, а наблюденные значения у — своими
рангами.
31.22 Действуя таким образом, мы находим коэффициент
корреляции R между п парами (X, У), где (ХиХ2, ..., Хп)—
перестановка первых п натуральных чисел, a (YUY2, ..., Yn) —
другая такая перестановка. Для получения перестановочного
распределения R мы можем, как и прежде, зафиксировать зна-
значения У и переставлять значения X, так как имеется только п\
различных и равновероятных наборов попарных соединений
(X, Y). Поэтому мы можем без потери общности упорядочить п
пар в любой выборке так, чтобы ранги У были расположены в
естественном порядке 1,2, ..., п. Если ранг X, соответствующий
значению Y = i, обозначить Х\, то мы получим выражение для
рангового коэффициента корреляции
<31Л9>
так как среднее и дисперсия первых п натуральных чисел рав-
равны соответственно у(/г + 1) и -^ (я2 — 1). Обычно R называют
ранговым коэффициентом корреляции Спирмена по имени зна-
знаменитого психолога, который ввел его более пятидесяти лет
назад в качестве замены для обычного коэффициента корреля-
корреляции; его обозначают обычно символом rs, которым мы теперь
и будем пользоваться. Так как
if, C1.20)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 639
то rs можно иначе определить формулой
C1.21)
которая обычно более удобна для вычислений.
31.23 Так как формулы C1.12)— C1.14) для точных момен-
моментов г справедливы для произвольных х и у, они справедливы,
в частности, для rs, определяемого формулой C1.21). Кроме
того, натуральные числа имеют вследствие симметрии нулевые
нечетные моменты относительно среднего. Отсюда следует, что
точное распределение rs симметрично и, следовательно, его не-
нечетные моменты равны нулю. Если мы подставим также значе-
значения &4, k\ в C1.14), мы получим для точных моментов выра-
выражения
М (г.) = М (г») = О,
D(r,)=
п~ 1
C1.22)
Однако, как показывают рассуждения пункта 31.21, точное
распределение rs может быть на самом деле табулировано раз
навсегда. Кендалл A962) дает таблицы распределения
2(Ij — iJ, случайной составляющей rs в C1.21), для п =
i
= 4AI0. («Хвосты» этих распределений воспроизведены в Bio-
metrika Tables*).) За этими пределами приближение C1.18)
вполне удовлетворительно для практических целей, что пока-
показывает следующая таблица, в которой сравниваются точные и
приближенные критические значения rs для размеров критерия
а = 0,05, 0,01 и п = 10.
Сравнение точных и приближенных критических значений rs
при я=10
Двусторонний
критерий
а = 0,05
а = 0,01
Точные критические
значения (из Кендалла
A962))
0,648
0,794
Приближенные крити-
критические значения из
C1.18)
0,632
0,765
*) Таблица из Biometrika Tables приведена в Таблицах математической
статистики. Полностью точное распределение ^(Xi — iJ для п = 2AI1
дано в Сборнике статистических таблиц. (Прим. ред.)
640
ГЛАВА 31
31.24 Мы выбрали г3 среди возможных ранговых критериев
независимости по причине его простоты; ясно, что любая ра-
разумная мера корреляции между х и у, основанная на их ран-
рангах, дает критерий независимости. Даниэле A944) определил
класс коэффициентов корреляции, включающий как обычный,
так и ранговые коэффициенты корреляции, и в дальнейшем по-
показал (Даниэле, 1948), что все они являются, по существу, ко-
коэффициентами беспорядка в том смысле, что если два значе-
значения у поменять местами так, чтобы они стали расположены в
том же порядке, что и соответствующие значения х, то вели-
величина любого коэффициента из этого класса увеличится. Мы рас-
рассмотрим вопрос об измерении беспорядка среди рангов х и у.
Предположим, как в 31.22, что ранги у (которые там обо-
обозначались Y) расположены в натуральном порядке 1, 2, ..., л
и что соответствующие ранги х, образующие перестановку чи-
чисел 1, 2, ..., л, равны Х\, Хг, . ¦ ¦, Хп. Естественный метод изме-
измерения беспорядка х-рангов, т. е. отклонения от порядка 1, 2, ...
..., л, состоит в подсчете числа инверсий между ними. Напри-
Например, при л = 4 в ^-ранжировке 3214 имеются три инверсии, а
именно 3—2, 3—1, 2—1. Число таких инверсий, которое мы бу-
будем обозначать Q, может изменяться в пределах от 0 до
¦wn(n—1), причем эти граничные значения достигаются соот-
соответственно на ^-ранжировках 1, 2, ..., л и л, (л — 1), ..., 1. Мы
можем, следовательно, определить коэффициент
t=l —
п(п- 1)
C1.23)
который распределен симметрично на отрезке (—1, +1) над
множеством из л! равновероятных перестановок и, следователь-
следовательно, имеет математическое ожидание 0, когда выполняется C1.9).
Коэффициент C1.23) рассматривался несколькими авторами (Фехнер,
Липпс) в период около 1900 г. и позже рядом авторов, особенно Линдебер-
гом, в 20-х годах (исторические подробности даются Крускалом A958)), но
впервые получил широкое применение после серии работ М. КендаЛла, на-
начинающейся с 1938 г. и собранной в монографии (Кендалл, 1962), к которой
следует также обращаться по вопросам использования t и rs как мер корре-
корреляции. Здесь мы рассматриваем их только в качестве свободных от распре-
распределения критериев для гипотезы C1.9).
31.25 Распределение коэффициента t, или, что эквивалентно,
числа инверсий Q над множеством л! равновероятных лг-ранжи-
ровок легко установить с помощью производящих функций.
Пусть f(Q, л)\п\ — функция частот для Q при объеме выборки п.
Мы можем произвести л! х-ранжировок для объема выборки п
из (л —1)! ранжировок для объема выборки (л—1), поме-
помещая новый ранг «до в любое возможное положение по отноше'
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 641
нию к имеющимся (л—1). (Таким образом, например, 2! ран-
ранжировок для л = 2
12
2 1
переходят в 3! ранжировок для л = 3
312 132 123
321 231 213.)
В любой ранжировке увеличение Q, вызванное этим процессом,
в точности равно числу рангов справа от точки, в которой поме-
помещается «л». Любое значение Q в л-ранжировке, таким образом,
представляет собой сумму л членов, соответствующих различ-
различным значениям Q в (л—1)-ранжировке. Это приводит к соот»
ношению
••• +f{Q~(n-l), л-1). C1.24)
Если теперь f(Q,n) есть коэффициент при 0Q в производящей
функции G(8, л), то из C1.24) следует, что
GF, /i) = GF, л- 1) + 9G(8, л- 1)+62GF, л- 1)+ ...
Повторным применением C1.25) мы находим
"-1- 1
G(9, n) =
8-
^1) G (9, 2), C1.26)
и так как мы непосредственно видим, что
G(e, 2)=i-e°+i-e1=
то C1.26) можно переписать как
5=1 '
C1.27)
Мы получим характеристическую функцию Q, добавляя мно-
множитель (л!)-1 и заменяя 8 на ехр (?6) в C1.27), так что
ф (9) = {/г! (е* - l)"} Ц (е«* - 1).
Следовательно, п. ф. с. Q равна
C1.28)
5=1
(9) = S log (е'°* - 1) - л log (ег9 - 1) - log (л!). C1.29)
5=1 -
' 21 М. Кекдалл, А^ Стьюарт
642 ГЛАВА 31
•Если мы всюду в C1.29) подставим
A /e
ews _ 1 == ems/22 Sh A
то C1.29) перейдет в
i- В B*—п) + S log sh (у IBs) - п log sh (-i- /в) - log(n!)=»
•Wl /5=1
— rtlog
5=1
C1.30)
пользуясь C.61), преобразуем C1.30) к виду
~ B.2l(ibfi -i
2/ B/)I
/=[ 5=1
C1.31)
где B%j — (ненулевые) числа Бернулли четного порядка, опре-
определенные в 3.25.
Беря коэффициенты при (i'6Jj7B/)! в C1.31), мы получаем
для семиинвариантов Q
= — п(п— 1),
¦*-¦?¦(!; •"-«)•
5=1
C1.32)
Вследствие C1.23) мы получаем отсюда семиинварианты
для самого коэффициента ранговой корреляции t:
C1.33)
Хо/ ===
Таким образом, t имеет распределение, симметричное отно-
относительно нуля, и
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ
643
31.26 Далее, C1.33) показывает, что x2j- имеет по «порядок
п
п~*1 2 s2/- Так как сумма имеет порядок rt2j+1, это значит, что
5=1
и, следовательно, нормированные семиинварианты равны
Таким образом,
C1.35)
и, следовательно, распределение t стремится к нормальному
с нулевым средним и дисперсией, определяемой C1.34). Сходи-
Сходимость к нормальному распределению чрезвычайно быстрая.
Кендалл A962) приводит точную функцию распределения (по-
(полученную из C1.24)) для /г = 4A) 10. За этими пределами
асимптотическое нормальное распределение может быть исполь-
использовано с малой потерей в точности *).
31.27 В 31.24 мы пришли к коэффициенту t из тех соображе-
соображений, что число инверсий Q является естественной мерой бес-
беспорядка в лг-ранжировке. При дальнейшем размышлении ка^
жется разумным придавать инверсиям различный вес; напри-
например, в х-ранжировке 24351 чувствуется, что инверсия 5—1 долж-
должна иметь больший вес, чем инверсия 4—3, поскольку она пред-
представляет более серьезное отклонение от натурального порядка
1, 2, .... п. Сам собой напрашивается простой способ взвеши-
взвешивания— посредством расстояния между рангами, образующими
инверсию; в приведенном только что примере это дало бы соот-
соответственно веса 4 и 1 двум инверсиям. Таким образом, если мы
положим
+ 1, если Xt > X/,
п C1-36)
О в противном случае,
то мы теперь хотим использовать взвешенную сумму инверсий
ijii — i) C1.37)
вместо нашей предыдущей суммы инверсий
C1.38)
*) Эта таблица воспроизведена в Таблицах математической статистики.
Точное распределение статистики Q для я = 2A) 12 дается в Сборнике ста-
статистических таблиц, (Прим. ред.)
21*
644
ГЛАВА 31
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 645
Однако использование C1.37) возвращает нас снова к rs
Мы оставляем читателю доказать в упражнении 31.5, что
так что согласно C1.21)
12V
я (я2— 1) '
C1.39)
C1.40)
что дает определение rs, аналогичное определению C1.23) для t.
37.28 Имеет место замечательный факт, состоящий в том,
что, несмотря на использование весьма различных методов взве-
взвешивания инверсий, Q я V, определяемые из C1.37), C1.38),
а следовательно, и статистики t и rs очень сильно коррелиро-
ваны, когда выполняется гипотеза независимости C1.9), — мы
предоставляем читателю в упражнении 31.6 получить настоя-
настоящее значение их коэффициента корреляции. Он убывает от 1
при п = 2 (когда t и rs эквивалентны) до своего минимального
значения 0,98 при я = 5 и затем возрастает к 1 при п-*-оо.
Таким образом, эти критерии асимптотически эквивалентны, ко-
когда справедлива гипотеза Но, а это вместе с результатом 25.13
означает, что с точки зрения асимптотической относительной
эффективности оба критерия обладают одинаковыми свойства-
свойствами. Даниэле A944) показал, что предельное совместное рас-
распределение t и rs, когда справедлива Яо, есть двумерное нор-
нормальное распределение.
31.29 В выборках из двумерной нормальной генеральной совокупности
высокая корреляция между t и га сохраняется, даже когда коэффициент
корреляции исходного распределения р ф 0; С. Дэвид и др. A951) показали,
что при п -*¦ оо t и rs имеют коэффициент корреляции, стремящийся к зна-
значению 3*0,984, если |р| < 0,8, и к 0,937, если р = 0,9.
.Гёфдииг A948а) показал, что / и rs . в самом общем случае имеют
асимптотическое двумерное нормальное распределение, но что их коэффи-
коэффициент корреляции сильно зависит от исходного двумерного распределения и
может в действительности равняться нулю.
Эффективности критериев независимости
31.30 Мы теперь исследуем асимптотические относительные
эффективности (АОЭ) трех рассмотренных критериев независи-
независимости по отношению к обычному выборочному коэффициенту
корреляции г, когда альтернативной гипотезой служит двумер-
двумерное нормальное распределение, как в C1.10). С помощью мето-
методов 23.27—36 мы видим, что г дает РНМН критерий для р === О
против односторонних и двусторонних альтернатив, — читателю
предлагается проверить это в упражнении 31.21. Так как со-
согласно 31.19 перестановочный критерий, основанный на г, асим-
асимптотически эквивалентен r-критерию нормальной теории для
независимости, мы видим, что его АОЭ по сравнению с этим
критерием равна 1.
31.31 Мы теперь выведем АОЭ критерия, основанного на ста-
статистике t, определенной в C1.23). По определению C1.36)
мы видим, что
hi! = -J 0 — siSn (xt — Xj) sign (y{ — у,)},
и, так как в сумме Q== У,2л Ч имеются ~о'п(п—'¦> членов,
t< 1
мы получаем для их среднего
М< Q
= Y A - М [sign(x,—xt) sign (у,- -
что вместе с C1.23) дает
C1.41)
= 1—2М
О
= М [sign (xt — Xj) sign (у, — yt)\.
Если х и у имеют двумерное нормальное распределение F с
коэффициентом корреляции р, то такое же утверждение верно
И ДЛЯ W = (Х{ — Xj) И Z — (yi — У}). ТаКИМ обрЭЗОМ,
оо оо
M{t) = M[sign(xi — xl)s\gn(y{ — y,)]= J J sign w sign zdF,
— ОО —ОО
и с помощью D.8) это приводится к виду
что можно переписать как
ОО ОО ОО ОО
4f П
— оо — оо
Hf- CL42)
—оо —оо
Внутренний двойной интеграл в C1.42) представляет собой
х. ф. F, равную
<р(*„ t2) =- ехр{ - ~{U + U+ 2pfifc) }. . ¦¦¦¦¦¦[
646
ГЛАВА 31
Подставляя это выражение и дифференцируя оставшийся
двойной интеграл по р, мы находим
. t.2)dt,dt2.
C1.43)
— ОО —ОО
Но двойной интеграл в правой части C1.43) легко нахо-
находится:
|ехр{-1(
-со
Таким образом, C1.43) принимает вид
V
так что
Кроме того, из C1.34)
C1.44)
C1.45)
тогда как для обычного коэффициента корреляции г согласно
B6.31)
Г-|-М(гI ->1, C1.46)
Lap Чр=о
а из 31.19
D(r)—-. C1.47)
Применяя B5.27) с т= 1, 6 = 1/2, из результатов C1.44) —
C1.47) получаем для АОЭ t по сравнению с г
At, r =
C1.48)
Согласно замечанию 31.28 C1.48) будет справедливо также для
АОЭ rs по сравнению с г — результат, принадлежащий перво-
первоначально Хотеллингу и Пэбсту A936).
31.32 Помимо результатов пунктов 31.30—31, относящихся к двумерным
нормальным альтернативам, имеется мало работ об эффективности крите-
критериев независимости, что связано в основном с трудностью задания альтер-
альтернатив к независимости при отсутствии нормальности. Достойным внимания
исключением является работа Конейна A956), в которой рассматривается
класс альтернатив к независимости, порождаемых линейными преобразова-
преобразованиями двух независимых величин. Ои находит, как и выше, что критерии t
и г, часто асимптотически эквивалентны и каждый из них по АОЭ близок
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 647
к критерию, основанному на выборочном коэффициенте корреляции г, и мо-
может даже (в случае двойного, экспоненциального распределения) превосхо-
превосходить его.
31.33 Недостатком всех критериев, которые мы рассматривали, является
то, что они ие обладают состоятельностью против любых отклонений от ги-
гипотезы независимости C1.9). Чтобы понять это, достаточно заметить, что
каждый из них основан, по существу, на том или ином коэффициенте кор-
корреляции, распределение которого не зависит от параметров сдвига и- мас-
масштаба, но будет зависеть от теоретического коэффициента корреляции р.
При отклонениях от независимости, для которых р =й= О, эти критерии будут
состоятельными. Но для распределений, отличных от нормальных, вполне
возможны ситуации, когда при отсутствии независимости р = 0 (см. 26.6),
и мы не можем ожидать от наших критериев состоятельности против таких
альтернатив. Имея это в виду, Гёфдинг A948b) предложил другой свобод-
свободный от распределения критерий для гипотезы C1.9), который состоятелен
против любого непрерывного альтернативного двумерного распределения с
непрерывными маргинальными распределениями. Гёфдинг табулировал рас-
распределение своей статистики для я = 5, 6, 7 и получил ее предельную х. ф.
и ее семиинварианты. (Предельная ф. р. дается в работе Блюма и др.
A961).) Он доказал также, что для этого класса альтернатив не существует
рангового критерия независимости, который был бы несмещенным для
любого размера а. = М/п\. Однако если допускается рандомизация в крити-
критической функции, то, как показал Леман A951), несмещенные ранговые кри-
критерии независимости, вообще говоря, существуют.
Критерии случайности против альтернатив тренда
31.34 Как мы отмечали в 31.14, проблема C) из 31.13, со-
состоящая в проверке гипотезы
Яо: F1(x) = F2(x) = ... =Fn(x) при всех х, C1.49)
когда имеется по одному наблюдению из каждого из п непре-
непрерывных распределений, упорядоченных согласно значениям не-
некоторой переменной у, эквивалентна проверке независимости х
и у. Поэтому любой из наших критериев независимости может
быть использован как критерий случайности. Однако, поскольку
переменная у обычно не является случайной величиной, а толь-
только упорядочивает распределения (по времени или как-нибудь
иначе), любое монотонное преобразование у играло бы ту же
роль, что и само у. Поэтому естественно ограничиться ранго-
ранговыми критериями случайности, так как ранги инвариантны при
монотонном преобразовании, оставляющем гипотезу C1.49) без
изменения. . ¦ . •
Манн A945) был, по-видимому, первым, кто понял, что ста-
статистика ранговой корреляции может быть использована не
только для проверки независимости, но и случайности, и пред-
предложил использовать t (хотя,, конечно, с таким же успехом мож-
можно было бы использовать rs) против класса альтернатив
Я,: F{ (*)-.< F2 (x)< ... <Fn (x) при всех х, . C1,50)
где наблюдения я* остаются независимыми:
648
ГЛАВА 31
Так как C1.50) утверждает, что вероятность наблюдению
попасть ниже любого фиксированного значения монотонно воз-
возрастает, когда мы продвигаемся по последовательности п
наблюдений, то Н\ можно назвать альтернативой тренда вниз.
Поэтому критическая область для критерия размера а состоит
из наибольших значений Q, числа инверсий, определенного в
C1.38), в количестве 100а процентов от числа всех возможных
значений Q.
31.35 Из C1.50) следует, что при i < /
<*/} = Y + eu' 0<et/<-j. C1.51)
Поэтому мы имеем согласно C1.38)
где Sn — сумма всех у п (п — 1) значений ег/.
Рассмотрим теперь дисперсию Q:
2
i < i
\= Ii D
J Kt
htl\=
k<t
cov(hihhkl). C1.53)
Ковариационные члены в C1.53) имеются двух видов. Все чле-
члены, содержащие четыре различных индекса, равны нулю, так
(п\
как случайные величины тогда независимы, и таких членов I 4 )•
Остальные члены отличны от нуля и содержат только три раз-
различных индекса, так что (/, /) и (k, l) имеют один общий ин-
индекс. Число таких членов имеет порядок ( „J— числа способов
выбрать три индекса из п. Следовательно, поскольку в первой
сумме в C1.53) только ! п^\ членов, мы можем написать
D(Q|tf,)=»O(n3). C1.54)
Из 31.26 следует, что статистика Q при гипотезе #0 распре-
распределена асимптотически нормально, и, таким образом, критиче-
критическая область критерия состоит асимптотически из значений Q,
превосходящих значение
{± у2, C1.55)
где член в фигурных скобках есть дисперсия Q (полученная из
C1.34) и C1.23)), a da— соответственно выбранное нормаль-
нормальное отклонение.
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 649
31.36 Из C1.52) и C1.55) мы видим, что
P{Q>Qoltf,}~P{Q-M(Q|tf,)>
> da [±п (я - 1) Bл + 5)] - S« | Я, }. C1.56)
Пользуясь C1.54), мы можем асимптотически переписать
C1.56) как
, C1.57)
где с — некоторая константа. Теперь мы наложим условие, что
я-з/25я_>оо C1.58)
X == da - en-Ms* -> oo C1.59)
при п -*¦ оо. Тогда
и X будет отрицательным, когда п достаточно велико. По нера-
неравенству Чебышева C.94) мы имеем a fortiori для отрицатель-
отрицательного X и любой случайной величины
P{x-M(x)>X{Dx)u2}^l-~. C1.60)
Таким образом, если выполняется C1.58), то C1.57), C1.59) и
C1.60) дают
Следовательно, этот критерий случайности состоятелен при
условии, что выполняется C1.58). Это довольно слабое требова-
требование, так как Sn состоит из п (п—1)/2 членов. Поэтому, если
для 8j,- имеется фиксированная ненулевая нижняя граница, то
C1.58) заведомо выполняется. Обычно рассматривают альтер-
альтернативы, при которых Ец является функцией только от расстоя-
расстояния \i — /|; если это возрастающая функция, то C1.58) заве-
заведомо выполняется.
Помимо более общего варианта этого результата, в кото-
котором e,j не обязательно имеют один и тот же знак, Манн A945)
получил также условие несмещенности критерия, которое по
существу совпадает с даваемым в упражнении 31.8.
37.37 Мы теперь рассмотрим альтернативу тренда специаль-
специального вида, когда среднее величины xt есть линейная функция
от i, а ее распределение нормально с этим средним и постоян-
постоянной дисперсией. Это обычная модель линейной регрессии с нор-
нормальными ошибками. Мы имеем
Xi = Pq -j- P]X -J- О/, (,01.01)
650
ГЛАВА 31
где ошибки 64 независимы и нормально распределены, а их дис-
дисперсия равна а2 при всех /. Проверка случайности эквивалентна
проверке гипотезы ^^
в C1.61). Мы найдем асимптотическую относительную эффек-
эффективность (АОЭ) критерия, основанного на t (или, что эквива-
эквивалентно, на Q), по сравнению со стандартным критерием, осно-
основанным на выборочном коэффициенте регрессии
ь =
-*)«-о
C1.63)
который представляет собой критерий отношения правдоподо-
правдоподобия для C1.62) и (поскольку #о налагает только одно огра-
ограничение) является РНМ при односторонних альтернативах, ска-
скажем pi < 0, и РНМН при двусторонних альтернативах 0i ф 0
(см. 24.27). Без потери общности мы полагаем о2 = 1. Из теории
наименьших квадратов имеем (см. примеры 19.3, 19.6)
М) D(b\H)
так что
ам (ft Iff.)
_ п (я2- 1) _п2_
12
12 "
C1.64)
31.38 Чтобы получить эквивалент C1.64) для критерия, ос-
основанного на t, нам потребуется производная от
2м(л,/). C1.65)
Согласно модели C1.61) (** — *,) имеет нормальное распреде-
распределение со средним Pi(i —/) и дисперсией 2. Следовательно,
М (hi,) = Р
1} = Р {xt > х,} =
Отсюда
C1.66)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 651
Из C1.65) и C1.66)
р,=о
12я
2я 6 —
Кроме того, из C1.34) и C1.23)
D (Q | Яо) = ~ п (п - 1) Bл + 5).
Из C1.67) и C1.68)
1/2
D(Q|tfo)
_/г2(/г2-1J
144я п(п —
72
C1.67)
C1.68)
¦5Г- C1-69)
Пользуясь C1.64) и C1.69), из B5.27) с т=\, 6 = 3/2 по-
получаем для АОЭ критерия Q по сравнению с b значение
'«0,98. C1.70)
Так же, как и раньше (см. 31.28), тот же результат выпол-
выполняется для коэффициента rs (или, что эквивалентно, для V);
непосредственный вывод АОЭ для V мы оставляем читателю в
качестве упражнения 31.9.
Оптимальные ранговые критерии независимости и случайности
31.39 Стоит отметить, что при нормальных альтернативах
ранговые коэффициенты корреляции t и rs даже более эффек-
эффективны как критерии случайности, чем как критерии двумерной
независимости, поскольку значения АОЭ, даваемые C1.70) и
C1.48), равны C/яI/3 и C/яJ соответственно. Но хотя оба эти
значения близки к 1, они не равны. 1, и остается вопрос, суще-
существуют ли для этих задач свободные от распределения крите-
критерии, для которых АОЭ по сравнению с наилучшим критерием
равна 1.
Для того чтобы ответить на этот вопрос, вернемся к нашим
рассуждениям в 31.21, где rs среди всех возможных ранговых
критериев было выбрано из-за простоты. В самом деле, мы ре-
решили заменить наблюденные значения варианты х их рангами;
Но поскольку АОЭ перестановочного критерия, основанного на
самих значениях варианты, равна 1 при нормальных альтерна-
альтернативах (см. 31.30), следует ожидать, что оптимальная эффектив-
эффективность сохранится, если мы заменим значения варианты функ-
функциями от их рангов, которые асимптотически полностью корре-
лированы со значениями варианты. Предположим теперь, что
652
ГЛАВА 31
после ранжировки наблюдений х мы заменяем их математиче-
математическими ожиданиями порядковых статистик в выборке объема п
из стандартного нормального распределения. Они образуют
вполне определенный набор условных чисел, называемых обыч-
обычно нормальными метками (normal scores); смысл их использова-
использования состоит в том, что при «-> оо корреляция этих чисел со зна-
значениями варианты стремится к 1, и мы получим оптимальные
ранговые критерии против нормальных альтернатив. Статистика
критерия, следовательно, имеет, вид
12 IE
и п) - \ (п
.| ^ Е
C1.71)
i=l
где Xi теперь — ранг значения х, соответствующего г-му наи-
наибольшему значению у, a E(s,n) —математическое ожидание x(S)
в выборке объема п из стандартного нормального распределе-
распределения. Пренебрегая постоянными, получаем, что C1.71) эквива-
эквивалентно критерию со статистикой
л), C1.72)
который, следовательно, имеет АОЭ, равную 1, при проверке
независимости или случайности против нормальных альтер-
альтернатив.
Бхучонгкул A964) получил подтверждение этого результата,
исследуя использование любых условных чисел в статистиках
критериев.
Использование нормальных меток в качестве условных чисел было пред-
предложено Р. Фишером и Ф. Иэйтсом во введении к их таблицам Statistical
Tables, впервые опубликованным в 1938 г. Свойства локальной оптимально-
оптимальности статистики критерия C1.72) были доказаны Гёфдингом A950) и Терри
A952). Прямое доказательство асимптотически полной корреляции между
математическими ожиданиями порядковых статистик и значениями варианты,
которые они заменяют, получается из теоремы Гёфдинга A953), утверждаю-
утверждающей, что для любой исходной ф. p. F(х) с конечным средним и любой дей-
действительной непрерывной функции g(x), которая ограничена по величине ин-
интегрируемой выпуклой функцией,
п ? ¦ .
lim - У g{E(m, л)} = \g[x)dF. C1.73)
m=I —оо
Последовательная подстановка g(x) —cosxt и g(x) = sin xt в C1.73) по-
показывает, что предельная х. ф. Е(т,п) совпадает с х. ф. распределения
F(jc), равной M{cos xt + i sin xt}.
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 653
Белл и Доксум A965) показали, что если вместо нормальных меток
E(s,n) использовать наблюдения Х(,) в некоторой выборке из п нормальных
отклонений, то мы получим те же асимптотические свойства во всех ситуа-
ситуациях, рассмотренных в этой главе. Преимущества этого заключаются в том,
что не требуется специальных таблиц и что критерии могут иметь точный
размер а; недостатком является то, что при малых объемах выборок мощ-
мощность этих критериев, по-видимому, ниже, чем у критериев нормальных ме-
меток. Джогдео A966) показал, что эти критерии имеют некоторые нежела-
нежелательные свойства.
Бриллинджер A966) указал, что совокупность упорядоченных значений
Х(8) максимально коррелирована со значениями г^ = о + 6М(^,)) при лю-
любом объеме выборки. Это следует из того факта, что коэффициент корреля-
корреляции между х($) и 2(s) равен корреляционному отношению х относительно
своих упорядоченных значений (см. B6.40) и B6.45)).
31.40 Помимо отыскания оптимальных ранговых критериев
против нормальных альтернатив, как в 31.39, мы можем также
поставить вопрос, имеются ли альтернативы, для которых дан-
данный ранговый критерий оптимален среди ранговых критериев.
Мы не будем заниматься этим вопросом здесь, так как это ис-
исследование было бы искусственным с нашей теперешней точки
зрения (см. 31.17), которая, по существу, рассматривает сво-
свободные от распределения процедуры как устойчивые замени-
заменители для стандартных процедур нормальной теории. Наши ин-
интересы поэтому ограничены сравнениями эффективности между
свободными от распределения методами и методами стандарт-
стандартной нормальной теории. Общее изложение ранговых критериев
имеется в.книгах Лемана A959) и Фрэзера A957) *).
31.41 Прежде чем закончить рассмотрение критериев случай-
случайности, заметим, что в литературе было предложено большое
количество таких критериев, ни один из которых не является
столь эффективным против нормальных альтернатив, как те,
что мы рассматривали. Однако некоторые из них заметно проще
для вычислений, чем r(S) и t, и лишь немногим менее эффектив-
эффективны. Они рассматриваются в упражнениях 31.10—31.12. Для
других критериев АОЭ была получена Стьюартом A954b, 1956).
Двухвыборочные критерии
31.42 Мы теперь рассмотрим задачу A) из 31.13. Имея не-
независимые "случайные выборки объемов п\ и п% из непрерывных
функций распределения Fi (x) и F2(x) соответственно, мы хо-
хотим проверить гипотезу
Яо: F1(x) = F2(x) при всех х. C1.74)
Как мы отмечали в 31.14, это эквивалентно проверке независи-
независимости величины х и фиктивной величины у, принимающей
*) См. также книгу: Я. Гаек, 3. Шидак, Теория ранговых критериев
(перев. с англ.), М., «Наука», 1971. (Прим. ред.)
554
ГЛАВА 31
только два различных значения. Имеются яГ+/г2 = я наблю-
наблюдений над парой (х, у).
Будем временно рассматривать п значений х размещенными
по п позициям, обозначаемым
1, 2, 3, .... л,; п,Ч-1, «2 + 2, .... п. C1.75)
При гипотезе Яо каждое из п\ возможных упорядочений значе-
значений х имеет одну и ту же вероятность, но независимо от выпол-
выполнения Яо пх\ перестановок позиций в первой выборке и п2\
перестановок позиций во второй выборке не влияют на распре-
распределение п значений по двум выборкам. Таким образом, имеются
п\1 (п\Ы2\) различных распределений по двум выборкам, соот-
соответствующих ( " I способам выбрать элементы первой выборки
из п значений.
31.43 Для гипотезы C1.74), в отличие от рассмотренных ра-
ранее гипотез C1.9) и C1.49), мы можем рассматривать класс
альтернатив гораздо более широкий, чем альтернативы нормаль-
нормальной теории, а именно:
Я,: F2 (х) = F, (х — 6) при всех х. C1.76)
В C1.76) утверждается, что два распределения отличаются толь-
только сдвигом. В терминах C1.76) гипотеза C1.74) принимает вид
Яо: 0 = 0, C1.77)
Мы будем называть C1.76) альтернативной гипотезой сдвига.
Следует заметить, что, хотя в C1.76) и входит параметр сдвига
8, гипотеза C1.77) является непараметрической согласно на-
нашему определению в 22.3, поскольку форма распределения F, (х)
не задана.
31.44 Чтобы предложить статистику для проверки Яо, мы вер-
вернемся к случаю нормальных альтернатив. Рассмотрим два нор-
нормальных распределения, отличающихся только сдвигом. Без по-
потери общности мы предполагаем, что их общая дисперсия а2
равна 1, а среднее первого распределения равно нулю. Функция
правдоподобия равна, следовательно,
L {х\ Я,) = Bя)~т " ехр 1 - у2 хи ~ Т 2 ^ ~ еJ =
s=l i=l J
C1.78)
Из C1.78) мы видим, что при 8 > 0 L(x|#,) достигает макси-
га,
мума, когда -2 хц принимает наибольшее возможное значение,
устойчивые и свободные от распределения процедуры 655
п,
и аналогично при 8 <: 0, когда 2j x2i принимает наименьшее
возможное значение. По лемме Неймана — Пирсона из 22.10
наиболее мощная критическая область будет содержать те из
I n ] равновероятных точек в пространстве выборок, которые
максимизируют Ь(х|Я,). Мы, таким образом, приходим к стати-
стике 2 x2i или, что эквивалентно, к среднему второй выборки
—
пг
X2i- Так как
п2х2 = пх и общее среднее х инва-
s=l
риантно при перестановках, то Хг определяет также значение Хи
и будет эквивалентным рассматривать х\ или х\ — х2. Для дву-
двусторонней альтернативы в =т^= 0 мы склонны использовать двусто-
двусторонний критерий «равных хвостов» над х2 — Х\ или эквивалент-
эквивалентный ему односторонний критерий над (xi—Х2J с критической
областью, образуемой большими значениями. Именно в такой
форме эта статистика критерия.была впервые исследована Пит-
мэном A937а).
Перестановочное распределение w
31.45 Статистика (xi — Х2J может принимать значения от
нуля до максимума, который достигается, когда каждый член
первой выборки равен х\ и каждый член второй выборки равен
х2- Мы тогда получаем для выборочной дисперсии объединенной
выборки, скажем sz, которая инвариантна при перестановках,
значение
ns2 = л, (х, - хJ + п2 (х2 -xf = ^ (х, - х2J.
Поэтому мы имеем
Следовательно, если мы определим
tbttbo i — — \о
W = —5-т (X, — ХоГ,
то для всех возможных выборок
C1.79)
?1. C1.80)
. 31.46 Чтобы получить перестановочное распределение стати-
статистики w при гипотезе Яо, перепишем ее тождественно как
w = —~ (Х\ — х) . (о 1.81)
656
ГЛАВА 31
В этом выражении при перестановках наблюдений изменяется
только х.\. Точное распределение Х\ может быть табулировано
путем перебора. Но, как ранее отмечалось в 31.19, этот процесс
становится трудоемким при возрастании п. Однако к выражению
C1.81) мы можем применить уже полученные результаты, чтобы
получить моменты ш, поскольку с точностью до множителя это
есть квадрат отклонения выборочного среднего от генерального
при выборке ti\ элементов из конечной совокупности, содержа-
содержащей п элементов. В A2.114) и A2.120) мы находим необходимые
нам математические ожидания, которые в наших теперешних
обозначениях имеют вид
C1.82)
X
Vi ' я?(я-1)(я-2)(я-3)
X {Зл (л, - 1) (я2 - 1) s4 + [л (я + 1) - 6л,л2] mj,
где га4 — выборочный четвертый момент объединенной выборки.
Отсюда
C1.83)
Ц
П
М (^ = щп2(п- 1)(я-2)(я —3) X
X {3/г,л2 (п - 6) + 6л + [л (л + 1) - 6л,/12] g2], C1.84)
где g2 — коэффициент эксцесса (mjs4)—3. Когда какое-либо из
чисел п\ или «2, а с ним и п, становится большим, C1.84) асимп-
асимптотически равно
i{?)} CL85)
где tij — объем малой выборки. Если и п\ и «2-*- °°, то C1.84)
равно
Таким образом, в особенности когда g мало, мы имеем
C1.87)
31.47 Выражения C1.83) и C1.87) представляют собой пер-
первые два момента относительно нуля бета-распределения первого
рода:
* 1 /о /1 \ifi{2)—2 *
В {1/2, (и/2)-1}
w
-1/2/1 _
0<ш<1, C1.88)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 657
и поэтому мы можем ожидать, что оно будет аппроксимировать
перестановочное распределение w. И действительно, Питмзн.
A937а, Ь) показал, что третьи моменты также близки и что ап-
аппроксимация является очень хорошей.
Рассмотрим теперь обычную статистику Стьюдента t2 для
проверки, различия в сдвиге двух нормальных распределений.
В наших теперешних обозначениях мы запишем ее как
C1.89)
п — 2 nxs\-\-
где s] и Sj — отдельные выборочные дисперсии. Пользуясь тож-
тождеством
ns2
мы видим из C1.79) и C1.89), что
w ¦¦
1 +
п — 2 "
C1.90)
Таким образом, мы имеем дело с монотонно возрастающей функ-
функцией от t2. Более того, в точной нормальной теории преобразова-
преобразование C1.90), примененное к распределению Стьюдента с v = n — 2,
дает в точности распределение C1.88). (На самом деле мы вы-
выполнили, по существу, это же преобразование при сведении функ-
функции распределения Стьюдента к неполной бета-функции в 16.11,
с той разницей, что там мы преобразовали к 1 — w и получили
C1.88) с 1-й вместо ш.)
Мы, таким образом, обнаружили точно так же, как в 31.19,
что приближением к перестановочному распределению при про-
проверке непараметрической гипотезы служит в точности распреде-
распределение из нормальной теории. В этом частном случае мы можем
согласно C1.90) применять ш, полагая (п — 2)ш/A — w) = t2 с
п — 2 степенями свободы. Для односторонних критериев, обсуж-
обсуждавшихся вначале, мы просто используем подходящий хвост t
вместо t2.
31.48 Широкая применимость t2 как аппроксимации, давае-
даваемой нормальной теорией, в этом примере, несомненно, объясняет-
объясняется действием центральной предельной теоремы, поскольку мы
имеем дело с разностью между средними; см. аналогичное об-
обсуждение устойчивости в 31.4.
Точно так же, как мы отмечали ранее в 31.30, асимптотиче-
асимптотическая эквивалентность распределений перестановочного критерия
и оптимального критерия нормальной теории влечет за собой,
что первый имеет АОЭ, равную 1, против нормальных альтерна-
альтернатив, в данном случае — сдвига. ~ ¦ ' :
658
ГЛАВА 31
Свободные от распределения доверительные интервалы
для параметра сдвига
31.49 Мы можем теперь использовать статистику критерия ш,
определяемую в C1.79), чтобы получать свободные от распреде-
распределения доверительные интервалы для параметра сдвига 0 в
C1.76). Потому что, каково бы ни было значение в, C1.76) озна-'
чает, что щ значений хн (i = 1,2, ...,п\) и п2 значений х-ц + 9
(i = 1,2,... ,п2) представляют собой две выборки из одного и
того же распределения Ft(x). Следовательно, для этих двух вы-
выборок применимо распределение статистики w, отвечающее гипо-
гипотезе #о. Обозначим ш@) значение ш, вычисленное для этих двух
выборок и являющееся, очевидно, функцией от 0. Пусть wa —
верхнее критическое значение w для критерия размера а, т. е.
Р{ш(е)<к>а}=1 — а. C1.91)
Вследствие C1.90) C1.91) эквивалентно соотношению . .
Р{г2FХ$=1-а, C1.92)
где t2 определено в C1.89). Знаменатель в t2 есть функция
только от выборочных дисперсий отдельных выборок и, следова-
следовательно, не зависит от в. Поэтому, применяя C1.89) к C1.92),
имеем
Р {[*, - (х2 + б)]2 < kl} = 1 - а, C1.93)
где
Таким образом, мы имеем из C1.93), каково бы ни было истин-
истинное значение в,
J = 1 - «, C1.95)
P{(*i - х2) - ?„< в <(х, - х2) +AJ = 1 - «
и C1.95) является доверительным интервалом для 6.
Если объемы выборок достаточно велики для того, чтобы
перестановочное распределение t2 хорошо приближалось распре-
распределением Стьюдента, мы получаем /а из таблиц последнего; в
противном случае нужно пользоваться точным перестановочным
распределением w и равенством C1.90). Разумеется, тогда мы
можем выбирать для нашего критерия или доверительного ин-
( п Г'
тервала только значения а, кратные I 1
Состоятельность к;-критерия
31.50 Используя результат последнего пункта, легко показать,
что w — состоятельный критерий для гипотезы C1.77) против
альтернативы C1.76) с 6=/=0 при условии, что F\(x) имеет ко-
конечную дисперсию. На самом деле, как показал Питмэн A948),
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 659
даже если F\.(x) и F2(x) имеют различные конечные диспер.сии
и различные средние, критерий w остается состоятельным.
Рассмотрим величину k2, определенную в C1.94). Если Ль
п2-*оо так, что П\/п2 — X, 0 < X < оо, то k2 сходится по вероят-
вероятна? + а|) 2 „ _,
ности к величине -ta, имеющей порядок п\ , тогда как
ni
согласно закону больших чисел х\ — х2 сходится к величине
М {xi)—М(х2), равной истинному значению параметра в, ска-
скажем 90. Соотношение C1.95) теперь показывает, что для любого
а доверительный интервал
/ = О*, — х2 — k, хх — х2 + k)
есть интервал значений 0, имеющий длину порядка л~1/2. Если
мы выберем а < е, то для любого 0i ф 9о
Игл Р{9,<=/}<е, C1.96)
и это всего лишь перевод на язык доверительных интервалов до-
доказываемого утверждения о состоятельности, так как е может
быть сколь угодно близко к нулю. Рано или поздно при возра-
возрастании п.\ интервал с вероятностью, стремящейся к 1, не будет
содержать 6Ь т. е. критерий для гипотезы 0 = 90 будет отвергать
6i Ф 0о- Это рассуждение делает также очевидным, что C1.77)
может быть заменено на Яо: 9 = 9о, если мы добавим прираще-
приращение 0о к каждому наблюдению второй выборки.
Ранговые критерии для задачи двух выборок
31.51 Точно так же, как в 31.21, когда мы обсуждали крите-
критерии независимости, мы и здесь, в задаче двух выборок, видим,
что, если мы хотим иметь возможность табулировать точное
перестановочное распределение статистик критерия для любого
я, мы должны исключить зависимость статистики критерия от
наблюденных значений, которые являются случайными величи-
величинами, и это приводит нас к использованию ранговых критериев,
которые особенно уместны здесь вследствие их инвариантности
относительно монотонных преобразований наблюдаемых вели-
величин, оставляющих инвариантной гипотезу C1.74). Снова про-
простейшая процедура состоит в том, чтобы просто заменить наблю-
наблюдения хг их рангами, т. е. упорядочить по величине П\ + щ = п
наблюдений и заменить значение Х\ его рангом Х\. Мы.тогда по-
получаем набор из п значений Xt, представляющий собой переста-
перестановку первых п натуральных чисел, из которых п\ относятся к
первой выборке и п2 — ко второй.
660
ГЛАВА 31
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 661
Поскольку, как мы указывали в 31.44, статистика w эквива-
эквивалентна использованию среднего значения первой выборки х\,
ранговый критерий, получаемый из w заменой наблюдений их
рангами, эквивалентен использованию
п,
S = 2и
C1.97)
суммы рангов первой выборки, что аналогично rs в C1.21), так
как и то и другое возникает из замены наблюдений рангами.
31.52 Теперь предположим, что мы ищем аналог статистики /,
определенной в C1.23), т.е., по существу, статистики Q, опреде-
определяемой посредством C1.38). Если гипотеза C1.74) справедлива,
следует, очевидно, ожидать, что наблюдения из первой и второй
выборок будут хорошо перемешаны, так что ранги первой вы-
выборки не будут иметь никакой тенденции скапливаться у какого-
нибудь или у обоих концов интервала от 1 до п. Определим ста-
статистику U, которая считает, сколько раз элемент первой выборки
превосходит элемент второй выборки, т. е.
п, «2
г т ^1 %^ i^ /Q 1 ПО\
и = 2mi .Zj iiij> (о1.Уо)
где hi}, как и раньше, определяется формулой C1.36). Стати-
Статистика 0 принимает значения от 0 до П\П2-
В то время как в случае критериев независимости имеется
реальный выбор между rs и t как статистиками критериев (хотя,
как мы видели, они и эквивалентны с точки зрения АОЭ), в двух-
выборочной ситуации статистики C1.97) и C1.98) функциональ_-
но связаны. Действительно,
C1.99)
Чтобы доказать C1.99), необходимо только заметить, что
2
Таким образом, мы можем пользоваться любой из статистик U
и S, какая удобнее. Как с теоретической, так и с вычислитель-
вычислительной точки зрения статистика U проще.
Статистика S была предложена иезависнмо многими авторами (истори-
(исторические подробности даются Крускалом и Уоллисом A952, 1953) и Крускалом
A957)) и называется обычно статистикой критерия Вилкоксона по имени
Вилкокхюна A945, 1947); некоторые авторы называют ее статистикой крите-
критерия Манна — Уитни по имени авторов, изучавших U несколько позднее
(Манн и Уитни, 1947); некоторые называют ее статистикой критерия суммы
рангов.
Распределение статистики критерия Вилкоксона
31.53 Мы приступаем к нахождению распределения стати-
статистики U, когда справедлива гипотеза C1.74). Мы можем полу-
получить ее х. ф. непосредственно из х. ф. статистики Q, даваемой в
C1.28). Потому что Q основана на у п(п— 1) возможных срав-
сравнениях между п наблюдениями, тогда как U основана на п.\Щ
сравнениях между первыми п\ и вторыми щ из них, при этом
Jr-я, (ttj — 1) «внутренних» сравнений для первой выборки и
— я, (п2— 1) для второй выборки исключаются. Мы можем за^
писать это соотношение символически как
C1Л00)
Поскольку при гипотезе Но компоненты в правой части C1.100)
взаимно независимы, мы имеем соотношение между характери-
характеристическими функциями (см. 7.18)
где первые три х. ф. суть х. ф. Q при объемах выборок, указывае-
указываемых индексами при ср, а Фи(8) —х. ф. U. Таким образом,
C1.101)
C1.102)
После логарифмирования получаем для п.ф.с.
^„ (в) = *„ (в) — -ФП1 (в) — Ч»„, (в),
где ip определено соотношением C1.30). Подставляя его в пра-
правую часть C1.102), находим
C1.103)
\s=i s=l s=l .
s=l
Семиинварианты U равны, следовательно,
C1.104)
662
ГЛАВА 31
В частности, мы находим
12
1).
C1.105)
Соотношение C1.104) показывает, что распределение U симмет-
симметрично, каковы бы ни были значения tii и п2. Вследствие C1.99)
распределение S имеет те же семиинварианты, за исключением
того, что ее среднее равно -jni (n + !)•
31.54 Точное распределение S или U может быть легко полу-
получено из соотношения между производящими функциями частот,
аналогичного C1.101),
GV(B) = ( * )"' G (9, n)l{G (9, /г,) G (9, п3)},
где Gu(Q)—п. ф. ч. для U, a GF, п) — п. ф.ч. для Q, полученная
в 31.25. Подставляя ее значение из C1.27), находим
П((Н-1)
„,
5=1
5=1
C1.106)
Коэффициент при Qv во втором сомножителе в правой части C1.106)
равен числу способов, которыми можно выбрать л4 из первых п натураль-
натуральных чисел так, чтобы их сумма была равна -г- nt {nt + l) + U. Мы обозна-
обозначим это число через f(U, щ, Пг), а накопленную сумму таких чисел — через
V
f(r,nbn2). C1.107)
Г =-? П, («! + 1)
Функция A(U, tii, oo) была табулирована Эйлером более двух веков
назад. Фнкс и Ходжес A955) дали таблицы, позволяющие вычислять
А (И, пи п2) для tii (которое без потери общности можно, .принять s^ti2)
^12 и любого пг. Ранее Уайт A952) табулировал критические значения S
для размеров критерия «равных хвостов» а = 0,05, 0,01 и 0,001 и rti+Яг^ЗО.
Другие таблицы указаны Крускалом и Уоллисом A952, 1953) и Фикс и
Ходжесом A955). Фердоорен A963) и Джейкобсон A963) приводят расши-
расширенные таблицы и поправки к имевшимся ранее таблицам *).
*) В Таблицах математической статистики воспроизведена таблица Фер-
доорена и даны приближенные формулы для вычисления критических значе-
значений U в области, не покрываемой таблицей. Таблица меньшего объема при-
приведена в Сборнике статистических таблиц, где даются, кроме того, таблицы
точного распределения U для Лг = 1 AI0, ii «S г*г- (Прим. ред.)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 663
31.55 Асимптотическая нормальность U при гипотезе Яо сразу
следует из C1.104). Если nt,n2->oo так, что 0 < lim niln% —
= к •< °°, будем без различия писать N для обозначения tii,n2
или п. Тогда %2j имеет, самое большее, порядок N2i+l, так что
(как мы и видели в C1.105)) %2 имеет порядок N3. Таким обра-
образом, ¦ -
^/(хзУ = О (N^-U) = О (Nl~i),
откуда
lim %2,/М' = 0. />¦!.
и распределение U сходится к нормальному со средним и дис-
дисперсией, указанными в C1.104), C1.105). Сходимость к нор-
нормальному распределению быстрая, и нормальное приближение
эффективно, когда п\ и «2 равны примерно 8.
Пользуясь общей теоремой, принадлежащей Гёфдингу
A948а), Леман. A951) показал, что U асимптотически нормаль-
нормально, если две выборки получены из различных непрерывных рас-
распределений Fu F2, a Hmrti/n2 = А ограничен, как и выше.
Леман A963) получил выражения для свободных от распределения до-
доверительных -интервалов, получаемых из статистики критерия Вилкоксона
методом пункта 31.49 (см.-упражнения 31.24, 31.25).
Состоятельность и несмещенность критерия Вилкоксона
31.56 Из приведенного в 31.50 доказательства состоятельности
ш-критерия, который переходит в критерий Вилкоксона, когда
значения варианты заменяются рангами, следует, что критерий
Вилкоксона состоятелен против альтернатив, при которых рас-
распределения наблюдений F\ и F% порождают различные средние
ранги в своих выборках. Ясно, что это произойдет тогда и только
тогда, когда вероятность р того, что наблюдение из F\ превосхо-
превосходит наблюдение из F2, отлична от 1/2. Этот результат, получен-
полученный Питмэном A948) и независимо более поздними авторами,
может быть доказан непосредственно, как указано в упражнении
31.16.
31.57 Если мы рассмотрим одностороннюю альтернативную
гипотезу, что распределение второй выборки «стохастически
больше», т. е.
Я,: F1(x)>F2(x) при всех х, C1.108)
то.нетрудно доказать, что односторонние критерии Питмэна и
Вилкоксона являются несмещенными против C1.108). На самом
деле Леман A951) доказал несмещенность любой подобной кри-
критической области для проверки гипотезы C1.74) против C1.108),
удовлетворяющей интуитивно желательному условию (С), что
664
ГЛАВА 31
при увеличении величины любого элемента второй выборки вы-
выборочная точка остается в критической области. Для любой пары
F\, F2 определим функцию h(x) равенством
F2(h(x)) = FAx), C1.109)
так что из C1.108) следует
h(x)>x.
C1.110)
Рассмотрим теперь две выборки, в которых п2 элементов вто-
второй выборки преобразованы из х% в h(Xi), а первая выборка оста-
оставлена без изменений. Мы видим из C1.109), что если преобразо-
преобразованные выборки подчиняются распределениям Fj и F2, то до пре-
преобразования их распределения были одинаковы. Если теперь об-
область в преобразованном выборочном пространстве имеет веро-
вероятность Р, то неравенство C1.110) и условие (С), принятое выше,
обеспечивают нам, что в непреобразованном выборочном про-
пространстве ее вероятность будет a =sj P. Поскольку а есть размер
критерия над непреобразованными величинами, а Р — его мощ-
мощность против C1.108), то мы видим, что критерий несмещен.
Условию (С), очевидно, удовлетворяют односторонние крите-
критерии Питмзна и Вилкоксона.
31.58 Если мы теперь рассмотрим общую двустороннюю аль-
альтернативную гипотезу
Я,: F1(x)^=F2(x) C1.111)
или даже более ограниченную альтернативу сдвига C1.76) с лю-
любым возможным знаком в, то критерий Вилкоксона, вообще
говоря, уже не будет несмещенным. Для альтернатив сдвига Ван
дер Ваарт A950, 1953) показал, что если п\ = п2 или общая
функция плотности симметрична относительно некоторого значе-
значения (не обязательно в), то первая производная функции мощно-
мощности, если она существует, равна нулю при 6 = 0, но даже в этом
случае критерий может не быть несмещенным.
АОЭ критерия Вилкоксона
31.59 Мы теперь ограничимся ситуацией сдвига C1.76) и най-
найдем АОЭ критерия Вилкоксона по сравнению с ^-критерием
Стьюдента (который является оптимальным критерием сдвига,
если F\ — нормальное распределение), когда Fx — произвольная
непрерывная ф.р. с конечной дисперсией.
Критерий t Стьюдента, определенный в C1.89), как изве-
известно, асимптотически эквивалентен использованию статистики
{х\ — х2), которая, какова бы ни была ф.р. F\, асимптотически
i i 1 \ — ~ 2
нормальна со средним —0 и дисперсией сг2 ( 1 1 =
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 665
Таким образом, мы имеем
D {(jex — х3) | в =-0}
па2 ш
C1.112)
Нам теперь нужно оценить аналог C1.112) для статистики Вил-
Вилкоксона U. Из определения U в C1.98) имеем
М (U) = щп2М (ha) = пхп2р,
где р — вероятность того, что наблюдение х\ из распределения
Fi{x) превосходит наблюдение х2 из распределения Fi(x-Q).
Пользуясь формулой A1.68) для ф.р. суммы двух случайных
величин (с заменой —у на у в аргументе Fi и перестановкой ин-
индексов 1, 2, чтобы получить ф. р. х2 — Х\), находим
откуда
со
= Я@)= J F1@ + x-
— оо
оо
-fg—- J ы*-е)
6=0
оо
\{f^x)fdx. C1.113)
Соотношения C1.113) и C1.105) дают
¦dM(U)
г г дМ (U)-\ у
Пользуясь B5.27), C1.112) и C1.114), имеем для АОЭ критерия
U Вилкоксона по сравнению с критерием t Стьюдента
Г оо
= 12сх2 J
I ОО
C1.115)
Этот результат принадлежит Питмэну A948).
31.60 Чтобы вычислить C1.115), нам требуется лишь значе-
значение интеграла
J {/,(*)}»Лс=М</,<*»• C1Л16>
Значение C1.116) легко находится для конкретных распределений.
666
ГЛАВА 31
Когда F\ нормальна, мы имеем
М {/,(*)} = BяаГ1/2м{ ехр[-i-
= BпоТУ2 [A - 2/0-1/2J,.,=_I/2 = (W)" *
Таким образом, из C1.115) в нормальном случае имеем
^,,=4^0,95. C1.117)
Этот результат не зависит от масштаба, как это и будет всегда,
поскольку oM{fi(x)} не зависит от масштаба. Поэтому мы всегда
можем изменить масштаб в C1.115), если это удобно.
31.61 Легко видеть, что выражение C1.115) может принимать
бесконечные значения (см. упражнение 31.18), Теперь нас инте-
интересует, существует ли ненулевой минимум, ниже которого оно не
может попасть. Мы будем минимизировать М {/(*)} при фикси-
фиксированном о2, которое можем принять равным единице.
Не теряя общности, примем также М (х) = 0. Таким обра-
зом, нам требуется минимизировать J P(x)dx при условиях
— оо
оо оо
Г x2f (x)dx = 1, f f(x)dx — 1. Пользуясь неопределенными
_оэ — оо
множителями Лагранжа Я, ц, мы получаем, что это эквивалент-
эквивалентно минимизации интеграла
{fHx)-2X^2~x2)f(x)}dx,
C1.118)
; Поскольку f(x) неотрицательна, C1.118) достигает минимума
при таком выборе f{x), когда
,{^-х2), х2^2 (з1л19)
(параболическое распределение). Определяя К и ц из условий
^ f(x)dx= ^ x2f(x)dx=l,
находим
откуда
! = 5, X = 3/B01/5).
з
C1.120)
C1.121)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 667
Таким образом, из C1.121) и C1.115) АОЭ для распределения
C1.119), C1.120) равна
ml Au,t=-108/125 = 0,864. C1.122)
31.62 Высокое значение C1.122) для минимума АОЭ крите-
критерия U Вилкоксона по сравнению с критерием t Стьюдента, ко-
которое было впервые получено Ходжесом и Леманом A956),
является хорошим свидетельством в пользу критерия U. В прак-
практических терминах оно означает, что при больших выборках
мы не можем потерять более 13,6% эффективности при исполь-
использовании критерия Вилкоксона вместо критерия Стьюдента для
альтернатив сдвига; с другой стороны, мы можем получить
большой выигрыш (см. упражнение 31.18, из которого можно
вывести, что для гамма-распределения с параметром р= 1
Ли, ( = 3). Если распределение в действительности нормально,
потеря эффективности составляет только около 5% согласно
C1.117). Ван дер Ваарт A950) показал, что если в нормальном
случае рассматривать отношения производных функций мощ-
мощности критериев Вилкоксона и Стьюдента, то их значения при
очень небольших объемах выборок мало отличаются от асимп-
асимптотических значений. Сандрум A953) вычислил приближенные
функции мощности в нормальном и равномерном случаях при
;ii = /г2 = Ю, которые подтверждают, в частности, в нормаль-
нормальном случае малость потери мощности, вызванной использова-
использованием критерия Вилкоксона вместо критерия Стьюдента. Диксон
A954) и Ходжес и Леман A956) приводят некоторые резуль-
результаты для малых выборок в нормальном случае, которые под-
подтверждают это. Уиттинг (I960), используя разложение Эдж-
ворта до порядка п~2, показал, что значение C1.117) для АОЭ
в нормальном случае сохраняется с большой точностью для
объемов выборок от 4 до 40.
Чанда A963) иашел высокую АОЭ даже для дискретных ге-
генеральных совокупностей. Нётер A967) показал, что критерий
и основанные на нем доверительные интервалы консервативны
для дискретных генеральных совокупностей. Хейнзм и Говин-
дараджулу A966) приводят точные вычисления мощности в
экспоненциальном и равномерном случаях.
Критерий, имеющий равномерно лучшую АОЭ
по сравнению с критерием Стьюдента
31.63 Хотя, как мы видели в 31.59—62, критерий Вилкоксона
имеет очень хорошие качества по сравнению с критерием Стью-
Стьюдента, можно найти еще лучший. Возвращаясь к нашему обсуж-
обсуждению в 31.39, мы можем, очевидно, получить АОЭ, равную 1,
против нормальных альтернатив сдвига, используя статистику w
668
ГЛАВА ЗГ
(или, что эквивалентно, среднее первой выборки х{), в которой
наблюдения заменены математическими ожиданиями порядко-
порядковых статистик в нормальных выборках, которые мы обозначим
E(s, n), как и в 31.39. Статистика критерия тогда эквивалентна
C1.123)
где Xt — ранг t-ro наблюдения первой выборки среди п наблю-
наблюдений. C1.123) обычно называют статистикой нормальных ме-
меток или статистикой критерия с\. Если мы положим
1, если s-e наблюдение принадлежит первой выборке,
О в противном случае,
то мы можем переписать C1.123) как
=-^У^Е(8, n)zs.
C1.124)
Гёфдинг A952) впервые показал, что ci-критерий имеет
АОЭ 1 при нормальных альтернативах. Терри A952) дал точ-
точное распределение ci для п{ + п2 ^ 10, а Клоц A964) получил
критические значения для п\ + п% ^ 20 при гипотезе C1.74).
Асимптотическая нормальность с\ (и широкого класса анало-
аналогичных статистик) для любых, распределений Fi, F2, когда
lim Л1/П2 отличен от 0 и оо, была доказана Черновым и Сэ-
виджем A958). Ясно, что
D (с\\Н0) указана в C1.133) ниже.
31.64 Для целей вычисления АОЭ с\ более удобно иное ее
определение. Определим функцию распределения объединения
исходных генеральных совокупностей
= ^-FAx)+-fF2(x) CI.125)
и ее выборочный аналог
Я» (*)=-? Sn. (*)+¦-¦¦*¦ S»,(*), C1.126)
где 5П, и S«s — выборочные функции распределения, опреде-
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 669
ленные в C0.97). Если мы введем также функцию Jn(x) с по-
помощью равенства
C1.127)
C1.128)
то можно определить с\ в интегральной форме:
оо
сх= J Jn{Hn(x)}dSni(x).
При /г-voo мы имеем из C1.125), C1.126) Нп{х)-+Н{х), в то
время как из C1.127) при слабых ограничениях (см. C1.73))
следует 1п(х)-+Ф~1(х)= J(x), где Ф — функция стандартного
нормального распределения. Таким образом, при п -*- оо имеем
из C1.128) при условиях регулярности
М(с,)= J
C1.129)
Ван дер Варден A952, 1953) предложил двухвыборочный критерий, в
котором вместо E(s, п) используются числа Л—Т~т)> асимптотически
эквивалентный критерию d (ср. C1.129)).
31.65 Если мы теперь рассмотрим альтернативы сдвига
C1.76) и продифференцируем C1.129) по параметру сдвига 9,
мы получим
оо
^il= f /'{#(*)}{-зд-Я(*)}<*/>,(*). C1-130)
— оо
Так как
мы имеем
Подставляя это в C1.130), находим
оо
^ж1^-^ I Г{#(*)}М*-е№(*). C1-131)
— оо
Поскольку Н(х)= Fi(x). при 6 = 0, из C1.131) следует
оо
^-^ J ''{рЛхМЛх)У<Ьс. C1.132)
670
ГЛАВА 31
При гипотезе Яо дисперсия с\ в силу C1.124) равна
• D(c,|tfo) = -VD У E(s, п)гЛ.
Здесь случайными величинами являются только zs; это
(О—1)-величины, принимающие значение 1 с вероятностью—,
но они не независимый каждая пара имеет корреляцию —г
вследствие симметрии. Таким образом,
(c,|tfo)
= -Т У
*. «)>2 D2S + У У Е E, п) Е (г, п) cov (z,, zr)
т^Г J
s=l
n
V
и поскольку Zi E (s, n) = 0 вследствие симметрии нормального
s=l
распределения, a Dz = — (l ——I, to
n
D <c' iя») = Я(Я-1)Я1 S{? (s>n)}2- C
s=l
Это точное выражение. Когда /г->оо, вследствие C1.73)
\
D(c, |Я0)-
Таким образом, из C1.132) и C1.134) имеем
»» Г Г
¦г
C1.134)
C1.135)
Пользуясь B5.27), получаем из C1.135) и C1.112), что АОЭ
критерия С\ по сравнению с критерием t Стьюдента равна
12
Г °°
— J
1__со
2 J2
C1.136)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 671
В C1.136) мы положили а2 = 1, нормировав F\(x). Теперь мы
будем искать минимальное значение C1.136).
31.66 Вспомним теперь, что J(x) в C1.136) определена как
Ф~'(х), обратная функция к стандартной нормальной ф. р. По-
Поэтому
ф{/()} = лг. C1.137)
Дифференцируя обе части и обозначая ц>(х)=Ф'(х) функцию
плотности нормального распределения, имеем
//(х)— Ф {/(*)> •
так что
Из C1.137)
так что мы имеем уравнение в дифференциалах
C1.138)
]. C1.139)
Равенство C1.138) дает также
и интеграл в квадратных скобках в C1.136), следовательно,
равен
» J »«/(¦?
Чтобы минимизировать C1.136), нам нужно минимизировать
C1.140) при условиях нормировки
J /= 1. C1.141)
= 0, j x2dFl == J
Минимизация производится по Fi, не выписанному явно аргу-
аргументу функции / в C1.140). Это эквивалентно минимизации
по х как функции от /. Мы, следовательно, ищем монотонно
неубывающую функцию x(J), которая минимизирует C1.140)
при условиях C1.141).
31.67 Поскольку ф — ф. п. нормированного нормального рас-
распределения, то очевидно, что ограничения C1.141) удовлетво-
удовлетворяются, когда
JC (/) = /, C1.142)
и в этом случае C1.140) равно 1. Согласно C1.139) это будет
иметь место, когда dFi(x)= c№(x), т. е. когда Fi нормальна.
672
ГЛАВА 31
Таким образом, мы проверили наше утверждение из 31.63
о том, что в нормальном случае критерий С\ имеет АОЭ 1.
Чернов и Сзвидж A958) показали, что C1.142) является
в действительности единственным решением нашей задачи ми-
минимизации, т. е. что / > 1 для любой ф. p. Fi, отличной от нор-
нормальной, так что минимальная АОЭ критерия с\ по сравнению
с критерием t равна 1. Мы приводим только эвристические рас-
рассуждения, ведущие к этому результату. Будем использовать
представление x(J) = / + p(J).
Если выполняется C1.141), мы имеем
1 = D/ = D {х (/)} = D/ + D {р (/)} + 2 cov {/, р (/)},
и, следовательно,
cov{/,
C1.143)
причем равенство в C1.143) достигается тогда и только тогда,
когда p(J) постоянна. В силу C1.141) М{р(/)}=0, так что
C1.143) обращается в равенство, только когда р(/)==0. Этот
случай, рассмотренный в C1.142), мы оставим в стороне. Мы
хотим минимизировать выражение C1.140), равное М j х, ,„ >.
Предположим, что x(J) строго возрастает, так что лг'(/)>0.
Тогда, пользуясь упражнением 9.13, имеем, исключая вырож-
вырожденный случай равенства,
x'(J)
М {х' (/)} 1 + М 0>' (/)} '
Но из C1.143) следует при определенных условиях, что
М {//(/)}<; 0, так как если / и p(J) имеют отрицательную кова-
риацию, то «средний наклон» рA) должен быть отрицательным.
Поэтому, если p(J) не равно тождественно нулю, то
и, следовательно, x(J) = J дает единственный минимум АОЭ.
Микульский A963) показал при некоторых условиях регулярности, что
никакое другое распределение, кроме нормального, не обладает этим заме-
замечательным свойством, что эффективность наилучшего рангового критерия по
сравнению с наилучшим критерием для сдвига превышает единицу всегда,
когда распределение наблюдений отличается от того, которое предполага-
предполагалось при построении критериев.
Д. Кокс A964) рассматривал аналогичные применения экспоненциальных
меток, полученных в упражнении 19.11.
31.68 Из результата пунктов 31.63—67 следуют важные вы-
выводы. Критерий С\ свободен от распределения (т. е. полностью
устойчив), и по сравнению с критерием стандартной нормаль-
нормальной теории, основанным на статистике t Стьюдента, устойчи-
устойчивость которого можно считать лишь достаточно хорошей, его
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 673
наименьшая АОЭ равна 1. Трудно поэтому найти подходящую
ситуацию, когда было бы оправдано общепринятое использо-
использование критерия Стьюдента для проверки сдвига между двумя
выборками, если объемы выборок достаточно велики. Крите-
Критерий t не имеет заметного преимущества (даже в нормальном
случае, для которого он оптимален) при объемах выборки 4
или 5 с а, близким 0,05 (см. Клоц A964)).
Применение критерия с\ требует очень небольших затрат
труда. Для этого нужно вычислить
У\ Е{ХЬ, п]
w/. |г"_(л(я-1) )'/2 а
{D (е, | Я о)}'/2
1/2
и обратиться к таблице стандартного нормального распределен
ния. В таблицах Фишера и Изйтса даются значения 2 {Е (s, я)}2
5=1 .
для п= 1AM0 с четырьмя десятичными знаками и значения
E(s,n) с двумя знаками. Хартер A961а) приводит все E(s,n)
с пятью десятичными знаками для п = 2A) 100B5J50E0L00.
[га Т 1/2
— V {Е (s, л)}2 =0,97 и в дальнейшем
s==l J
стремится к 1, как видно из формулы, следующей за C1.133),
так что этот множитель может быть опущен, и тогда нормиро-
нормированная статистика критерия сводится к
Ходжес и Леман A963) показали, что из критериев Вилкоксона и нор-
нормальных меток могут быть получены устойчивые оценки, имеющие такие же
эффективности, как АОЭ критериев (см. также Хёйланд A965)). Рамачан-
драмурти A966) дает вид этих оценок, которые устойчивы к различию в мас-
масштабе и, следовательно, применимы для общей задачи о двух средних.
Прэтт A964) изучал влияние неизвестного различия в масштабе на раз-
размер критериев Вилкоксона, нормальных меток, Стьюдента и других крите-
критериев сдвига. Асимптотически критерий Стьюдента заметно более устойчив
лишь при Я1М2, очень близком к 1, и даже тогда его преимущество мало,
если параметры масштаба отличаются не более чем в 2 раза.
31.69 Были предложены и другие критерии для задачи двух выборок,
хотя теперь их несколько заслонили критерии Вилкоксона и а. Критерий
Вальда и Волфовица A940) (см. упражнение 30.8), основанный на числе
серий, имеет то преимущество, что ои состоятелен против общих альтерна-
альтернатив C1.111), если \\тп\1пг отличен от 0 или <». Смирнов A939b) предложил
критерий, основанный на максимуме абсолютной разности d между двумя
эмпирическими функциями распределения, и показал, что а/1 1
22 М, Кендалл, А. Стьюарт
674
глава з1
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 675
имеет то же предельное распределение C0.132), что и ?>„« . Сходимость
эмпирических ф. р. к теоретическим обеспечивает состоятельность критерия
против альтернатив C1.111). Нижняя граница для его мощности может быть
получена точно так же, как для Dn в 30.60, но критерий может быть сме-
смещенным (см. упражнение 30.16 для критерия Dn).
Леман A951) предложил критерий, который, как он показал, всегда яв-
является несмещенным.
Хотя о мощности этих критериев известно довольно мало, ясно, что
они менее эффективны против нормальных альтернатив сдвига. Действи-
Действительно, Муд A954) показал, что критерий Вальда — Волфовица имеет АОЭ,
равную нулю, против нормальных альтернатив различия в сдвиге или мас-
масштабе.
Альтернатива различия в масштабе
F2 (x)
Mi)-
е>о,
C1.144)
При которой мы проверяем Яо: 9=1, эквивалентна альтернативе сдвига
для логарифмов величин, если они неотрицательны. Но в общем случае
нужно искать новые критерии против альтернатив C1.144). Муд A954)
предложил критерий
«1
свободный от распреде-
i\
ления, и показал, что в нормальном случае его АОЭ по сравнению с опти-
оптимальным критерием отношения дисперсий равна 15/Bя2) « 0,76. Для других
распределений его АОЭ принимает значения от 0 до оо. Если C1.144) заме-
заменить более общей альтернативой
F2(x-lx)=F1{(x-v)/e),
C1.145)
где \х и v — неизвестные (мешающие) параметры сдвига, критерий Муда
остается асимптотически свободным от распределения, если \х' и v предвари-
предварительно оцениваются выборочными медианами (см. Крауз A964)).
Мы можем получить АОЭ, равную 1, против нормальных альтернатив,
применяя критерий отношения дисперсий к нормальным меткам E(Xi,n) (см.
Кейпон A961), где использовалась асимптотически эквивалентная статисти-
статистика, определяемая формулой C1.123) с E(Xi,n), замененными их квадрата-
квадратами). Клоц A962) использовал квадрат преобразования посредством обрат-
обратной нормальной ф. р., что дает также асимптотически эквивалентный крите-
критерий (ср. критерий Ван дер Вардена в 31.64), и табулировал критические
значения этой статистики для 8 ^ п.\ + п2 ==: 20. Рагхавачари A965а, Ь) под-
подтвердил, что АОЭ критерия Клоца изменяется от 0 до оо в зависимости от F
в C1.144), и показал, что его асимптотические свойства против C1.144) со-
сохраняются и против C1.145), когда ц, v подходящим образом состоятельно
оцениваются по выборкам, при условии, что F симметрична и достаточно
регулярна.
Сиджел и Тьюки A960) предложили критерий для различия в масштабе,
имеющий то же самое Яо-распределенне, что и критерий Вилкоксона (по-
(поскольку он использует совокупность рангов; онн приписываются наблюде-
наблюдениям в соответствии с их расстоянием от концов упорядоченного ряда), но
его АОЭ равна лишь 6/я2 = 0,61 в нормальном случае, как показал Клоц
A962).
Ван Эден A964) дает условия состоятельности этих и других масштаб-
масштабных критериев. Тамура A963) показал, что против нормальных альтернатив
масштаба АОЭ критерия Муда может быть повышена до 0,92 применением
пятых степеней вместо квадратов в его определении и что для критерия,
эквивалентного критерию Сиджела — Тьюки, АОЭ может быть повышена до
0,96 использованием очень малых степеней рангов вместо самих рангов.
В работе Мозеса A963) содержится общее обсуждение критериев раз-
различия в масштабе.
^-выборочные критерии
31.70 Обобщение двухвыборочных критериев на задачу k
выборок (задача B) в 31.13) не вызывает затруднений. На ос-
основе независимых выборок, состоящих из пр наблюдений
(/>==!> 2, ..., k), где 2 пр = п, проверяется гипотеза, что
p=i
k ^ 2 непрерывных функций распределения одинаковы, т. е. ги-
гипотеза
Яо: F, (х) = Fo (х) = .. . = Fk (x) при всех х. C1.146)
В параметрической теории все Fv предполагаются нормальными
с одной и той же неизвестной дисперсией о2 и различными сред-
средними 9Р, так что
Я,: Fp(x) = F(x — вр), р=1, 2, .... ft, C1.147)
где не все 0Р равны между собой. Тогда C1.146) принимает
вид
Яо: ер = 0 при всех р. C1.148)
Критерий отношения правдоподобия для C1.148) в нормальном
случае основан на статистике
F=
р=1
Р=1 У=1
(где хр есть среднее р-й выборки, а х — среднее всей выборки
в целом), которая имеет распределение отношения дисперсий
(F) с (k— 1, л — k) степенями свободы. Это следует непосред-
непосредственно из общей теории отношения правдоподобия главы 24 и
представляет собой простейший случай дисперсионного ана-
анализа, который мы будем рассматривать в томе 3. При (п — &)->-
->¦ оо получаем (см. 16.22 G)), что
S = S пр (хр -
имеет асимптотически распределение
боды.
C1.149)
с k — 1 степенями сво-
сво22*
676
ГЛАВА 31
Как показал Гейен A949—1951), этот критерий чрезвычайно
устойчив к отклонениям от нормальности, и общее обсуждение
устойчивости процедур дисперсионного анализа будет прово-
проводиться в томе 3. Здесь мы рассмотрим только свободные от рас-
распределения заменители для критерия нормальной теории.
31.71 Поскольку C1.147) очевидно, является обобщением
альтернативы сдвига C1.76) в случае двух выборок, естествен-
естественно искать обобщения двухвыборочных критериев на k выборок.
Мы рассмотрим два различных подхода к этой задаче. Во-пер-
Во-первых, предположим, что мы просто заменили наблюдения х их
рангами X. Статистика C1.149) тогда принимает вид
C1Л5°)
приводясь к статистике Вилкоксона, когда k = 2. Крускал и
Уоллис A952, 1953) предложили статистику Я = (п—l)S/n,
большие значения которой составляют критическую область.
Они показали, что она имеет асимптотически распределение
%!_i, как и в параметрическом случае. При k = 3, пр ^ 5 они
табулировали ее точное распределение в окрестности критиче-
критических значений для а = 0,10, 0,05, 0,01 *). Крускал A952) пока-
показал, что Я-критерий состоятелен против любой альтернативной
гипотезы, при которой наблюдение из какого-нибудь из распре-
распределений имеет вероятность ф\/2 превзойти случайное наблюде-
наблюдение из k распределений, взятых вместе. Это обобщает условие
состоятельности критерия Вилкоксона в 31.56.
Пури A964) рассматривал статистику, полученную заменой наблюдений
любым множеством условных чисел; он дал условия ее асимптотической
нормальности и получил ее АОЭ, которая не зависит от k. В отношении кри-
критерия Н это означает, что его АОЭ дается тем же выражением C1.115), что
и для критерия Вилкоксона (см. Эндрюс A954)), а анализ из 31.60—61
применим без изменений к критерию //. Если вместо рангов используются
нормальные метки, мы получаем обобщение критерия с4 из C1.124), АОЭ
дается формулой C1.136) и согласно 31.66—67 она не меньше 1, как и
раньше.
31.72 В задаче двух выборок мы видели в 31.52, что при
выводе статистики критерия было безразлично, заменять ли на-
наблюдения рангами или считать число инверсий между выбор-
выборками. В случае k выборок это не одно и то же. Мы теперь рас-
рассмотрим подход, использующий инверсии, и увидим, что он при-
приводит к статистике, отличной от Я из 31.71.
Предположим, что статистика U из C1.98) вычисляется для
каждой пары выборок, причем всего таких пар — k (k — 1); обо-
*) Эта таблица воспроизведена в Сборнике статистических таблиц.
(Прим. реф.)
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 677
значим через Upq значение, полученное для р-й и <?-й выборок
(р, <? = 1, 2, . . . , k; p ф <?), и положим
<7=р+1
C1.151)
Мы теперь легко можем обобщить теорию из 31.53. Соотно-
k
шение C1.100) заменяется на Qn — 2iQn -\-U, что приводит
к соотношению между х. ф.
(9)/П ( C1.152)
Фи (9) = Ф» (9)/П Ф»р (9).
являющемуся аналогом C1.101). Для п. ф. с. U мы находим,
соответственное C1.103)-,
p=i
oo
V
\ n k "-p I
;s-ss и-
, 5=1 p=\ s=\ J
Семиинварианты U равны, следовательно,
C1.153)
= T ( ~ 2 rt
p=i
C1.154)
В частности,
K2 — -ЧК*
C1.155)
31.73 Предельное распределение U выводится так же, как
в 31.55. Если пр -*- оо так, что п/пр остаются ограниченными при
всех р, то, обозначая через N любое из пр или п, мы видим,
что 5<2j имеет самое большее порядок N2i+\ а х2 — порядок N3.
Поэтому n2j/nl имеет порядок самое большее Nl~> и стремится
к нулю при всех / > 1, так что U асимптотически нормально со
средним и дисперсией, даваемыми в C1.154), C1.155). Джонк-
хир A954) показал, что если хотя бы два из k объемов выбо-
выборок стремятся к бесконечности так, что п/пр, п/пд остаются
рграниченными, то распределение U по-прежнему сходится к
678
ГЛАВА 31
нормальному — это можно понять из того, что U есть сумма
¦я- k (k—1) (не независимых) статистик Вилкоксона UPg. Если г
объемов выборок, г ^ 2, стремятся к бесконечности, то
-о г (г— 1) из UPq будут стремиться к нормальности и преобла-
преобладать в U.
Джонкхир A954) табулировал точное распределение V для
выборок равных объемов т. Его таблица покрывает значения
k = 3, т = 2AM; k = 4, т = 2AL; k = 5, т = 2, 3; k = 6; т = 2.
За этими пределами нормальное приближение удовлетворитель-
удовлетворительно при равных объемах выборок. Даже при очень неравных
объемах выборок нормальное приближение кажется удовлетво-
удовлетворительным для практических целей, когда п ^ 12.
Терпстра A952), предложивший ^-выборочный ^/-критерий
и получивший х. ф. и предельное распределение, приведенные
выше, дал необходимые и достаточные условия для состоя-
состоятельности критерия. Если вероятность того, что наблюдение из
р-го распределения превосходит наблюдение из q-vo, равна
(см. C1.51))
а взвешенная сумма ePq равна
то условиями состоятельности (когда п->оо и п/пр ограничены
при всех р) критерия, использующего большие значения U в ка-
качестве критической области, будут: A) 5п>0, B) (kn)~3l2Sn->- oo.
Они являются непосредственным обобщением условия C1.58)
для состоятельности Q при проверке случайности против тренда
вниз.
31.74 Насколько нам известно, эффективности й-выбороч-
ных критериев Н и U не сравнивались. Трудность здесь в том,
что формы их предельных распределений различны; при фикси-
фиксированном k статистика Н имеет нецентральное %2-распределе-
ние, a U — асимптотически нормальное, когда справедлива ги-
гипотеза Но, а также предположительно при общего вида альтер-
альтернативах. Кажется правдоподобным, что (/-критерий будет дей-
действовать наилучшим образом, когда альтернативы имеют вид
C1.147) с 0i < 92 < ... < 9ft, или в более общей ситуации, ко-
когда C1.147) заменяется на
F, (х) <F2{x)< ... < Fk (x) при всех х. C1.156)
C1.156) можно назвать упорядоченной альтернативной гипоте-
гипотезой- Бартоломью A961) показал, что критерий V асимптот»»
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 679
чески очень эффективен, когда 9, расположены на равных рас-
расстояниях и все Пг равны между собой. Критерий Я, с другой сто-
стороны, кажется более эффективным против более общих классов
альтернатив.
Хогг A962) дает метод построения свободных от распределения /fe-выбо-
рочных критериев из двухвыборочиых критериев.
Критерии симметрии
31.75 Во всех гипотезах, обсуждавшихся в этой главе, мы
существенно были связаны с п независимыми наблюдениями
(обычно над одной вариантой х, но, в случае проверки незави*
симости, над вектором (х, у)). Наши гипотезы требовали, чтобы
некоторые из этих наблюдений были одинаково распределены,
и далее проверялись некоторые гипотезы относительно их функ-
функций распределения. Мы нашли (см. 31.16), что для построения
подобных критериев для наших гипотез мы должны ограни-
ограничиться перестановочными критериями, теория распределения
которых придает равные вероятности каждому из п\ упорядоче-
упорядочений наблюдений.
Следствием этой процедуры является то, что полученные
нами критерии остаются в силе, если гипотезы, которые мы рас-
рассматривали, заменить непосредственно гипотезой, что совмест-
совместная функция распределения наблюдений инвариантна относи-
относительно перестановок ее аргументов. Например, рассмотрим двух-
выборочный критерий для гипотезы
Но: Fl(x) = F2(x) при всех х, C1.157)
когда имеются случайные выборки объемов П\ и п2 соответ-
соответственно из этих двух распределений и п = П\ -4- п2. Обозначим
через G совместную функцию распределения п наблюдений. За-
Заменим Но гипотезой симметрии
Н'о: G(xu x2 xn) = G(zh z2, ..., zn), C1.158)
где z\, ..., zn—любая перестановка Х\, ..., хп. Тогда любой
подобный критерий, имеющий заданный размер при гипотезе
C1.157), останется таковым и при гипотезе C1.158). Это не
значит, что свойства оптимальности критерия будут одними и
теми же для обеих гипотез, — обсуждение этого имеется у Ле-
мана и Стейна A949). Однако это означает, что любой крите-
критерий для гипотезы C1.157) не может быть состоятельным против
альтернативной гипотезы C1.158).
Практические ситуации, для которых подходят гипотезы
симметрии, встречаются часто. Поскольку мы до сих пор не об-
обсуждали этой задачи даже в параметрическом случае, мы нач-
начнем с краткого рассмотрения последнего в простейшей ситуации.
680
ГЛАВА 31
Парный ^-критерий
31.76 Предположим, что варианты Х\ и х2 имеют совместно
нормальное распределение со средними и дисперсиями (ц,, of),
(|i2, af) соответственно и коэффициентом корреляции р. Мы
желаем проверить сложную гипотезу
Но: Дззц, — ц2 = 0 C1.159)
на основе т независимых наблюдений над (х\,х2). Рассмотрим
величину у = Х\ — х^. Она распределена нормально, со средним
А и дисперсией о2 = о^ + о\ — 2ро1о2. Мы имеем т наблюдений
над у и можем, следовательно, проверить Но с помощью обыч-
обычного критерия t Стьюдента для среднего, примененного к разно-
разностям хи — x2i, i = 1, 2, ..., т. Эта процедура применима и при
р = 0, когда Х\ и Х2 — независимые нормальные величины, и
в этой ситуации критерий является частным случаем критерия,
даваемого формулой B1.51) с п\ = п2 = т.
31.77 Теперь упростим пример из 31.76, полагая о2{ = о\.
Совместное распределение F{x\,x2) тогда симметрично по х\ и
Х2 с точностью, возможно, до их средних. Когда справедлива
гипотеза Но, мы имеем полную симметрию. Мы можем, следо-
следовательно, записать C1.159) как
Но: F(xu x2)=F(x2, x{) при всех хх, х2. C1.160)
Это типичная гипотеза симметрии, которую можно формально
представить в общем виде C1.158), записывая G как произве-
произведение т сомножителей (по одному для каждого наблюдения
над (xi,x2)).
Мы теперь отказываемся от нормальной теории пункта 31.76
и ищем свободные от распределения методы проверки непара-
непараметрической гипотезы C1.160) для произвольной непрерывной
ф. p. F. Если взять, как и раньше, разности у = Х\ — х2, то мы
видим, что Но влечет симметрию распределения у относительно
точки 0, т. е. если G — ф. р. у, то
Яо: G(y) = l-G(~y) при у. C1.161)
Мы, таким образом, свели гипотезу C1.160) о симметрии дву-
двумерной ф. р. по ее аргументам к гипотезе C1.161) о симметрии
одномерного распределения относительно заданной точки, нуля.
Ясно, что эта гипотеза интересна и сама по себе (т. е. нас мо-
может просто интересовать симметрия отдельной варианты), и мы
переходим к изложению проблемы в этой форме.
31.78 Гипотеза C1.161) означает, что любое наблюденное
абсолютное значение у, |г/,|, имеет равные вероятности проис-
происходить от положительного или отрицательного значения у. Та-
Таким образом, имеется 2П равновероятных выборок, образую-
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 681
щихся, если придавать каждому наблюденному |г/^| поочередно
знаки плюс и минус и объединять все \уг\ любым возможным
способом. Мы создаем основу для построения критерия пере-
перестановок, переставляя знаки, приписанные каждому \уг\, и те-
теперь нам нужно выбрать статистику критерия. Если мы рас-
рассмотрим альтернативу, что наблюдения нормальны со средним
9=7^=0, то найдем, как в 31.18 и 31.44, что наиболее мощный
критерий перестановок основан на сумме наблюденных у* (со
своими настоящими знаками, конечно). Мы отложим рассмот-
рассмотрение этого критерия (предложенного Фишером A935а)), по-
поскольку он является частным случаем дисперсионного анализа,
который мы будем обсуждать в главе 37, том 3.
31.79 Фишеровский критерий симметрии эквивалентен ис-
использованию суммы \уг\ по наблюденным положительным зна-
значениям (поскольку сумма всех |г/,| одна и та же для каждой
из 2п перестановок). Для построения рангового критерия сим-
симметрии мы можем заменить наблюдения рангами и получить
критерий симметрии Вилкоксона, основанный на сумме рангов
величин \yi\, взятой по положительным наблюденным значе-
значениям, или мы можем использовать эквивалент критерия с\, ос-
основанный на математических ожиданиях порядковых статистик
из положительной половины нормального распределения. Эти
три критерия симметрии при нормальных альтернативах сдвига
имеют по сравнению с ^-критерием АОЭ, равные 1, 3/я и 1 соот-
соответственно, точно так же, как и двухвыборочные критерии сдви-
сдвига. При малых выборках оба ранговых критерия имеют высокую
эффективность против нормальных альтернатив (Клоц A963));
Клоц A965) рассматривал и другую меру эффективности. Кри-
Критерий симметрии Вилкоксона не сохраняет своей высокой мощ-
мощности при некоторых не нормальных альтернативах (с «длин-
«длинными хвостами»), но он все же лучше, чем критерий Стьюдента,
хотя и хуже, чем критерий знаков (Арнольд A965)), который
будет рассмотрен в 32.6.
Мак Корнак A965) приводит обширные таблицы критиче-
критических значений для критерия симметрии Вилкоксона*).
Влияние дискретности: поправки на непрерывность
и совпадения
31.80 В ряде случаев как в этой главе, так и в других мы
приближали дискретные распределения (в теперешнем контек-
контексте — перестановочные распределения статистик критериев) их
непрерывными предельными формами. Это приближение часто,
*) Таблица точного распределения статистики критерия симметрии
Вилкоксона для я = 3AJ0 имеется в Сборнике статистических таблиц.
(Прим. ред.) ¦ ' '
682
ГЛАВА 31
хотя и не всегда (см. Плэкетт A964) и 33.27 ниже) может быть
улучшено применением поправки на непрерывность, которая
сводится к следующему простому правилу: когда последова-
последовательные дискретные вероятности в точном распределении свя-
связаны с точками 2ь 22, 2з, то вероятность в точке z2 считается
относящейся к интервалу (-у (zt + z2), у (s2 + г3) 1. Таким обра-
образом, когда мы хотим найти значение ф. р. в точке z2 с помощью
непрерывной аппроксимации, мы в действительности ищем ее
значение в точке B2 + 23)/2.
31.81 Имеется еще один вопрос, связанный с непрерыв-
непрерывностью, который мы должны обсудить здесь. Наши гипотезы
относились к наблюдениям из непрерывных ф. р., и это озна-
означает, что для любой пары наблюдений вероятность их точного
совпадения равна нулю и что мы, следовательно, можем пре-
пренебречь этой возможностью. Поэтому мы на протяжении этой
главы предполагали, что наблюдения могут быть упорядочены
без совпадений, так что ранговые статистики были определены
однозначно. Однако на практике наблюдения всегда округляют-
округляются до нескольких значащих цифр, и поэтому совпадения будут
иногда появляться. Аналогично, если истинные функции распре-
распределения наблюдений на самом деле не непрерывны, а прибли-
приближенно представлены как непрерывные ф. р., будут появляться
совпадения. Как преодолеть эту трудность получения ранжи-
ранжировки при наличии совпадений?
В литературе обсуждались два метода обращения с совпа-
совпадениями. Первый состоит в том, чтобы упорядочить совпавшие
наблюдения случайным образом. Его достоинством является
простота, он не требует новой теории, но при этом мы, очевидно,
жертвуем информацией, содержащейся в наблюдениях, и мож-
можно ожидать, что он будет менее эффективен, чем второй метод,
состоящий в том, что каждому из группы совпавших наблюдений
приписывается средний ранг этой группы. Достоинства обоих
методов исследовались довольно мало, но Путтер A955) пока-
показал, что критерий Вилкоксона при случайном разделении сов-
совпадений имеет меньшую АОЭ, чем когда придаются средние
ранги. Крускал и Уоллис A952, 1953) и Крускал A952) обсу-
обсуждают совпадения в Я-критерии.
До появления дальнейшей информации метод среднего ранга
кажется более общеупотребительным. К сожалению, при этом
методе пропадает отмечавшееся нами свойство ранговых кри-
критериев, что их точные распределения могут быть табулированы
раз и навсегда. Потому что если используется метод среднего
ранга для разделения совпадений, то на сумму множества ран-
рангов это не влияет, но, скажем, их дисперсия изменяется. Пере-
Перестановочное распределение при малых объемах выборок теперь
УСТОЙЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ
683
зависит от количества и размеров наблюденных совпадений, и
это затрудняет табулирование. Кендалл A962) дает подробные
описания и указания относительно необходимых поправок для
ранговых коэффициентов корреляции и близких к ним статистик
(включая статистику Вилкоксона); другие обсуждения попра-
поправок были упомянуты выше.
31.82 Наконец, мы видели в 31.56 и 31.62 и увидим снова в
32.9 и 32.13, что если распределение наблюдений дискретно, то
методы, основанные на предположении непрерывности, оказы-
оказываются консервативными.
УПРАЖНЕНИЯ
31.1 Пользуясь таблицами распределения %2, проверить значения истин-
истинных вероятностей в таблице в 31.7.
31.2 Проверить, что распределение C1.18) имеет моменты C1.12), C1.13)
и C1.17).
31.3 Пусть г — коэффициент корреляции, определенный в C1.11), и мы
применяем к наблюденным значениям х и у преобразование X = ti(x),
Y = h(y) и вычисляем коэффициент корреляции R между преобразованными
значениями (X, У); тогда каждая из nl равновероятных перестановок дает
некоторые значения г, R. Показать, что коэффициент корреляции между г
и R по п\ перестановкам дается формулой
С (г, R) = С, (х, X) С2 (у, Y),
т. е. что коэффициент корреляции совместного перестановочного распределе-
распределения наблюденного коэффициента корреляции и коэффициента корреляции
преобразованных наблюдений равен просто произведению коэффициента кор-
корреляции между х и его преобразованием на коэффициент корреляции между
у и его преобразованием.
(Даниэле, 1944.)
31.4 Вывести четвертый момент рангового коэффициента корреляции,
приведенный в C1.22), из общего выражения в C1.14).
31.5 Показать, что C1.21) и C1.40) являются альтернативными опреде-
определениями C1.19), путем доказательства тождеств C1.20) и C1.39).
31.6 Пользуясь определениями C1.37), C1.38), показать, что коэффи-
коэффициент корреляции в совместном распределении t и га по п\ равновероятным
перестановкам в случае независимости равен 2(я-}- 1)/{2лBл + 5)} ' .
(См. Даниэле, 1944.)
31.7 Из непрерывного двумерного распределения получена выборка из п
пар (х, у). Пусть х и у—выборочные медианы х и у; определим статистику
п
и = 2 sign (xi — х) sign {i/i — у)-
Как можно использовать и для проверки гипотезы независимости х и </?
Показать, что его АОЭ по сравнению с выборочным коэффициентом корре-
корреляции против альтернатив двумерной нормальности равна 4/я2. (Это так
называемый критерий срединной корреляции (medial correlation test).)
(Бломквист, 1950.)
684
ГЛАВА 31
31.8 В 31.36, пользуясь результатом упражнения 2.15 и симметрией рас-
распределения Q, показать, что достаточным условием для того, чтобы критерий
случайности, имеющий размер а, был строго несмещенным против альтерна-
альтернатив C1.51), является
Sn>\n(n-\)-(\ -а){-~я(я- 1)-QO},
где Qo — критическое значение Q, определенное в C1.55).
(См. Манн, 1945.)
31.9 Показать, что соотношение C1.69) выполняется как для Q, так и
для статистики V, определенной в C1.37), и что, следовательно, rs как кри-
критерий случайности имеет ту же АОЭ, что и другой коэффициент ранговой
корреляции t.
31.10 В задаче проверки гипотезы случайности C1.49) против альтерна-
альтернатив нормальной регрессии C1.61) рассмотреть класс статистик критериев
S = 2iwijhij, где сумма содержит л/2 членов (л кратно 6), причем каждый
из индексов принимает л/2 различных значений и все индексы различны, а
w — веса. Таким образом, в S входят л/2 сравнений между независимыми
парами наблюдений.
Показать, что S-статистикой с максимальной АОЭ по сравнению с Ь в
C1.63), C1.64) является
п/2
5, = 2 (n-2k+\)hk,n-k + \
и ее АОЭ равна
(Д. Кокс и Стьюарт, 1955.)
31.11 В упражнении 31.10 показать, что если вместо S! мы используем
форму с равными весами
то АОЭ уменьшится до C/2яI/3 « 0,78, но что максимальная АОЭ, дости-
достижимая для S-статистики, все веса в которой 1 или 0, равна A6/ЭяI'3 « 0,83,
п/з
и это есть АОЭ статистики S3— У\ h 2 . В S3 входят только л/3
ft=1 k, — n+k
сравнений между «начальными» и «последними» наблюдениями.
(Д. Кокс и Стьюарт, 1955.)
я; 2
31 12 Определим статистику для проверки случайности В = 2 s'Sn (xi ~ *)•
(=1 -
где * —медиана выборки объема п (п четно). Показать, что ее АОЭ против
нормальных альтернатив в точности такова же, как у S2 в упражнении 31.11.
(Д. Кокс и Стьюарт, 1955; см. Браун
и Муд, 1951.)
31.13 Из непрерывного распределения со средним ц и дисперсией а2 из-
извлечены независимо N выборок, каждая объема п, и наблюдениям приданы
ранги от 1 до л в каждой выборке. Для Nn объединенных вместе наблюде-
УСТОИЧИВЫЕ И СВОБОДНЫЕ ОТ РАСПРЕДЕЛЕНИЯ ПРОЦЕДУРЫ 685
ний вычисляется коэффициент корреляции между значеииями варианты и со-
соответствующими рангами. Показать, что при iV -»- оо он стремится к
где Д — коэффициент средней разности Джини, определяемый в B.24) и
упражнении 2.9. В частности, показать, что для нормального распределения
п ~ Х\ 3 V/2
так что
С = lim Сп
п->оо
C/я)
1'2
0,98.
(Стьюарт, 1954с.)
31.14 Пользуясь (а) теоремой, что корреляция между эффективной
оценкой и другой оценкой равна корню квадратному из эффективности по-
последней (см. A7.61)), (б) соотношением между эффективностью оценки и
АОЭ, приведенным в 25.13, (в) теоремой Даниэлса из упражнения 31.3 и
(г) последним результатом из упражнения 31.13, получить результаты об
АОЭ рангового коэффициента корреляции rs (а следовательно, и t) как кри-
критерия независимости C1.48) и как критерия случайности C1.70), а также
получить АОЭ критерия суммы рангов Вилкоксона против нормальных аль-
альтернатив C1.117).
(Стыоарт, 1954с.)
31.15 Получить дисперсию статистики Вилкоксона, даваемую в C1.105),
рассматривая среднее выборки из /г4 целых чисел, извлеченной из конечной
генеральной совокупности, образованной первыми п натуральными числами.
(Крускал и Уоллис, 1952, 1953.)
31.16 Для двухвыборочной статистики Вилкоксопа U в 31.56 показать,
что, каковы бы ни были распределения наблюдений Fit гг.
ь пг
оо с
где N означает любое из п\, п% п. Вывести отсюда, что, когда
фиксированным п\1щ, критерий состоятелен, р ^ф 1/2.
(Питмэн, 1948.)
31.17 Показать, что для логистического распределения из упражнения
17.5 АОЭ критерия Вилкоксоиа по сравнению с критерием t Стьюдента для
сдвига равна я2/9.
(Это вместе с результатами упражнения 17.5 и 25.13 означает, что' кри-
критерий Вилкоксона является асимптотически наилучшим. Кейпон A961) пока-
показал, что это справедливо в общем случае для локально наиболее мощных
ранговых критериев, каковым критерий Вилкоксона является в данном
случае.)
31.18 Для распределения
dF = ехр (-х) хр~Ых/Т (р), 0<х<оо, р > 1/2,
показать, что АОЭ критерия Вилкоксона по сравнению с критерием t Стыо-
дента для различия в сдвиге между двумя выборками равна
А=
686
ГЛАВА 31
и это монотонно убывающая функция от р. Проверить, что Аи, t > 1,25 при
р ^ 3. Показать, что при р-»-1/2 Av,t—*-°° и что при р-*- оо Аи, <-»-3/я
в согласии с C1.117).
31.19 Показать, что Я-критерий из 31.71 при k = 2 сводится к критерию
Вилкоксона с критической областью, поровну распределенной между обоими
«хвостами» статистики критерия.
31.20 Пользуясь результатом из 25.15 об АОЭ двух статистик критериев
с предельными нецентральными ^-распределениями, имеющими одинаковое
число степеней свободы и параметры нецентральности, зависящие от рас--
стояния от Но, установить, что fe-выборочиый Я-критерий из 31.71 имеет по
сравнению со стандартным F-критерием в нормальном случае АОЭ, равную
C1.115).
(См. Эндрюс, 1954.)
31.21 Показать, что при проверке гипотезы р = 0 для двумерной нор-
нормальной генеральной совокупности выборочный коэффициент корреляции г
дает РНМН критерии против одно- и двусторонних альтернатив.
31.22 Показать, что критерий Вилкоксона имеет по сравнению с крите-
критерием t Стыодента АОЭ, равную 1, против альтернатив сдвига для прямо-
прямоугольных распределений.
(Питмэи, 1948.)
31.23 Пользуясь C1.115), C1.136) и C1.138), показать, что АОЭ крите-
критерия Вилкоксона по сравнению с критерием с\ для альтернатив сдвига равна
12[f rf,a»Wf
/, {x)f dx
и что, следовательно,
О < AUt Ci < 6/я.
(Ходжес и Леман A961) показали,
что оба равенства достижимы.)
31.24 Показать, что интервалы C1.95), основанные на двухвыборочной
статистике Вилкоксона U, определяемой в C1.98), равны {D(Ua),
D(nin2 + 1 — Uа)}, где P{U<Ua\ Я0} = а/2, a D(r) есть r-я наименьшая
из tiin2 разностей (xlt—x2j).
(Леман, 1963.)
31.25 Показать, что критерий Вилкоксона для симметрии, рассмотренный
в 31.79, дает для параметра симметричного распределения свободные от рас-
распределения доверительные интервалы j A {Wa), А I— я (я — 1) + 1 — Wa) >,
где Wa—нижнее критическое значение критерия с «равными хвостами», а
А(г) есть r-е наименьшее из п(п—1)/2 средних (Xi+Xj)/2, i < j = 1,
2 п.
(Леман, 1963.)
ГЛАВА 32
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ
СТАТИСТИК
32.1 В главе 31 мы нашли, что простые и чрезвычайно эф-
эффективные критерии перестановок для некоторых непараметри-
непараметрических гипотез' могут быть получены путем использования ран-
рангов, отражающих соотношения порядка между наблюдениями.
В настоящей главе мы сначала обсуждаем использование самих
порядковых статистик для построения свободных от распреде-
распределения процедур для непараметрических задач E) и F), пере-
перечисленных в 31.13. Затем мы рассматриваем применения поряд-
порядковых статистик в других (параметрических) ситуациях. На-
Напомним читателю, что общая теория распределений порядковых
статистик была рассмотрена в главе 14 и что теория несмещен-
несмещенного оценивания с минимальной дисперсией параметров сдвига
и масштаба посредством линейных функций от порядковых ста-
статистик была дана в главе 19. Очень полезный общий обзор ли-
литературы по порядковым статистикам был дан Уилксом A948),
обширную библиографию которого дополняет более поздняя
библиография Ф. Дэвида и Джонсона A956). Изложение мно-
многих разделов теории с обширными таблицами дается у Сархана
и Гринберга A962). Обзор теории «выборочных промежутков»
(разностей между последовательными порядковыми статисти-
статистиками) дается Пайком A965).
Критерий знаков для квантилей
32.2 Так называемый критерий знаков для значения кванти-
квантили непрерывного распределения был, по-видимому, первым из
когда-либо использовавшихся свободных от распределения кри-
критериев*), но современный интерес к нему берет начало с ра-
работы Кокрэна A937).
*) Тодхантер A865) ссылается на его использование в простой форме
Джоном Арбетнотом (врач королевы Анны, а ранее учитель математики)
для обоснования «Аргумента в пользу божественного провидения, взятого
из постоянной регулярности, наблюдаемой в рождении обоих полов» A710—
1712); Арбетиот был известен своим остроумием, им написана сатира «Искус-
ртво политической лжи».
686
ГЛАВА ЗГ
и это монотонно убывающая функция от р. Проверить, что Аи, t > 1,25 при
р ^ 3. Показать, что при р->-1/2 Аи, «-*-<» и что при р -*¦ <х> Аи, <->-3/я
в согласии с C1.117).
31.19 Показать, что Я-критерий из 31.71 при k = 2 сводится к критерию
Вилкоксона с критической областью, поровну распределенной между обоими
«хвостами» статистики критерия.
31.20 Пользуясь результатом из 25.15 об АОЭ двух статистик критериев
с предельными нецентральными ^-распределениями, имеющими одинаковое
число степеней свободы и параметры нецентральиости, зависящие от рас-
расстояния от Но, установить, что fe-выборочиый Я-критерий из 31.71 имеет по
сравнению со стандартным F-критерием в нормальном случае АОЭ, равную
C1.115).
(См. Эндрюс, 1954.)
31.21 Показать, что при проверке гипотезы р = 0 для двумерной нор-
нормальной генеральной совокупности выборочный коэффициент корреляции г
дает РНМН критерии против одно- и двусторонних альтернатив.
31.22 Показать, что критерий Вилкоксона имеет по сравнению с крите-
критерием t Стьюдейта АОЭ, равную 1, против альтернатив сдвига для прямо-
прямоугольных распределений.
(Питмэн, 1948.)
31.23 Пользуясь C1.115), C1.136) и C1.138), показать, что АОЭ крите-
критерия Вилкоксона по сравнению с критерием cj для альтернатив сдвига равна
{/, (x)Y dx Г
<P{/[^U)]}J
, = 12
и что, следовательно,
(Ходжес и Леман A961) показали,
что оба равенства достижимы.)
31.24 Показать, что интервалы C1.95), основанные иа двухвыборочиой
статистике Вилкоксона U, определяемой в C1.98), равны {D(Ua),
D (n,n2 + 1 — Uа)}, где Р {U < Uа | Яо} = а/2, a D(r) есть r-я наименьшая
из/iin2 разностей (хц—*2j).
(Леман, 1963.)
31.25 Показать, что критерий Вилкоксона для симметрии, рассмотренный
в 31.79, дает для параметра симметричного распределения свободные от рас-
распределения доверительные интервалы j A {Wa), А \-<гп(п— 1) + 1 —
где Wa— нижнее критическое значение критерия с «равными хвостами», а
А(г) есть г-е наименьшее из п(п—1)/2 средних (х* + Xj)/2, t</=l,
2 п.
(Леман, 1963.)
ГЛАВА 32
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ
СТАТИСТИК
32.1 В главе 31 мы нашли, что простые и чрезвычайно эф-
эффективные критерии перестановок для некоторых непараметри-
непараметрических гипотез' могут быть получены путем использования ран-
рангов, отражающих соотношения порядка между наблюдениями.
В настоящей главе мы сначала обсуждаем использование самих
порядковых статистик для построения свободных от распреде-
распределения процедур для непараметрических задач E) и F), пере-
перечисленных в 31.13. Затем мы рассматриваем применения поряд-
порядковых статистик в других (параметрических) ситуациях. На-
Напомним читателю, что общая теория распределений порядковых
статистик была рассмотрена в главе 14 и что теория несмещен-
несмещенного оценивания с минимальной дисперсией параметров сдвига
и масштаба посредством линейных функций от порядковых ста-
статистик была дана в главе 19. Очень полезный общий обзор ли-
литературы по порядковым статистикам был дан Уилксом A948),
обширную библиографию которого дополняет более поздняя
библиография Ф. Дэвида и Джонсона A956). Изложение мно-
многих разделов теории с обширными таблицами дается у Сархана
и Гринберга A962). Обзор теории «выборочных промежутков»
(разностей между последовательными порядковыми статисти-
статистиками) дается Пайком A965).
Критерий знаков для квантилей
32.2 Так называемый критерий знаков для значения кванти-
квантили непрерывного распределения был, по-видимому, первым из
когда-либо использовавшихся свободных от распределения кри-
критериев*), но современный интерес к нему берет начало с ра-
работы Кокрэна A937).
*) Тодхантер A865) ссылается на его использование в простой форме
Джоном Арбетнотом (врач королевы Анны, а ранее учитель математики)
для обоснования «Аргумента в пользу божественного провидения, взятого
из постоянной регулярности, наблюдаемой в рождении обоих полов» A710—
1712); Арбетнот был известен своим остроумием, им написана сатира «Искус-
ртво политической лжи».
688
ГЛАВА 32
Предположим, что ф. р. наблюдений есть F(x) и что
F(Xp) = p, C2.1)
так что Хр есть р-квантиль этого распределения, т. е. значение,
ниже которого лежит 100 р процентов распределения. Для лю-
любого р, 0 <; р < 1, значение Хр есть характеристика положения
распределения. Мы хотим проверить гипотезу
Но: Хр = х0, C2.2)
где х0 — некоторое заданное значение. (Если для удобства при-
принять Хо за начало отсчета, то мы хотим проверить равенство Хр
нулю.)
32.3 Если имеется выборка из п наблюдений, то мы знаем
что выборочная функция распределения будет сходиться по
вероятности к ф. р. наблюдений. Отметим соотношение между
порядковыми статистиками хт, х{2), ..., х{п) и гипотетическим
значением Хр, подлежащим проверке. Сосчитаем, сколько на-
наблюдений в выборке попадает ниже хй, т. е. образуем статистику
— x(i)) = 2 h (х0 —
l=\
C2.3)
где (см. C1.36))
2>0,
0,
Статистика 5 считает число положительных значений среди раз-
разностей (х0— Xi), и поэтому критерий, основанный на S, назы-
называется критерием знаков*). Сразу видно, "что S имеет бино-
биномиальное распределение, поскольку 5 есть сумма п независимых
наблюдений над @ — 1)-случайной величиной h(x0 — х) с
Обозначим Р{х < х0} = Р. Гипотеза C2.2) сводится к
Яо: Р = р, C2.4)
и мы просто проверяем гипотезу о биномиальном параметре Р.
Нас могут интересовать односторонние или двусторонние аль-
альтернативы к C2.4).
Если мы больше ничего не знаем относительно ф. p. F(x), то
интуитивно очевидно, что мы не можем получить ничего луч-
*) Вследствие непрерывности ф. р. наблюдений событие xt—хв = 0 мо-
может произойти лишь с вероятностью нуль. Если такие «совпадения» проис-
происходят на практике, наиболее мощная процедура состоит в том, чтобы игно-
игнорировать эти наблюдения при проверке гипотезы, как было показано Хемел-
рейком A952) (см. 31.81).
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
689
шего, чем S, в качестве статистики критерия, и мы находим из
биномиальной теории (см. упражнение 22.2 и 23.31), что для од-
односторонней альтернативы Н{:Р>р критическая область, со-
состоящая из больших значений S, является РНМ, а для двусто-
двусторонней альтернативы Н2:Рфр двусторонняя критическая об-
область является РНМН.
В наиболее важном для практики случае, когда р = 1/2 и мы
проверяем медиану распределения, мы имеем для S симметрич-
симметричное биномиальное распределение и РНМН критическая область
против Н2 симметрична.
Формальное доказательство этих результатов данов книге Лемана A959).
32.4 Таким образом, при малом объеме выборки п таблицы
биномиального распределения достаточны как для определения
размера критерия знаков, так и для определения его мощности
против любого конкретного альтернативного значения Р, а сле-
следовательно, и его функции мощности для альтернатив Н\
или Н2. Когда п возрастает, сходимость биномиального распре-
распределения к нормальному позволяет нам сказать, что
E — пРI{пР(\—Р)}1/2 имеет стандартное нормальное распре-
распределение. Если мы пользуемся поправкой на непрерывность, как
в 31.80, то это сводится к замене \S — пР\ на \ S — пР \—j при
выполнении критерия.
В случае медианы, когда мы проверяем гипотезу Р = 1/2,
сходимость к нормальности настолько быстрая, что здесь, ско-
скорее всего, вовсе не потребуются специальные таблицы, поскольку
нам нужно только сравнить значение
(И-Я-Т)/(Т»'В) C2.5)
с подходящим стандартным нормальным отклонением. Кокрэн
A937) дает точные критические значения для п<150 и размера
критерия а = 0,05, Диксон и Муд A946) —для п =^100 и а —
= 0,25, 0,1, 0,05 и 0,01, и Маккиннон A964) — для га = 1 A) 1000
и а = 0,50, 0,10, 0,05, 0,02, 0,01 и 0,001 *.
Мощность критерия знаков для медианы
32.5 Приближенная мощность критерия знаков также легко
устанавливается с помощью нормальной аппроксимации. Пре-
Пренебрегая поправкой на непрерывность, указанной в 32.4, по-
поскольку она мала при больших выборках, мы видим, что кри-
критической областью одностороннего критерия для Р = 1/2 против
*) Таблицы критических значений имеются также в Таблицах матема-
математической статистики и Сборнике статистических таблиц. (Прим. ред.)
690
ГЛАВА 32
1/2 является
где da — подходящее нормальное отклонение для критерия раз-
размера а. Следовательно, функция мощности приближенно равна
оо
J
1/2/J ,
C2.6)
где G{x}—нормальная ф. р. Из C2.6) сразу следует, что при
п -> оо мощность->-1 для любого Р> 1/2, так что критерий со-
состоятелен. Аналогично находим, что функция мощности двусто-
двустороннего симметричного критерия с критической областью
1
равна
= G
р ~ i) ~ Т
C2.7)
и.стремится к 1 для любого Р ф 1/2 при п—*оо. Этим устанав-
устанавливается состоятельность двустороннего критерия против общих
альтернатив.
Диксон A953b) табулировал мощность двустороннего критерия знаков
для размеров критерия a ^ 0,05, a ^ 0,01, п, изменяющегося от 5 до 100, и
Р = 0,05@,05H,95. Мак Стьюарт A941) дает таблицу минимального объема
выборки, который требуется для достижения заданной мощности против дан-
данного значения*). Гиббоне A964) исследовал влияние отклонения от нор-
нормальности на мощность одностороннего критерия знаков.
Критерий знаков в симметричном случае
32.6 Функции мощности C2.6) и C2.7) выражаются через
значение Р, задаваемое альтернативной гипотезой. Если мы те-
теперь желаем рассматривать эффективность критерия знаков в
конкретных ситуациях, нам нужна дальнейшая конкретизация
ред.)
*) Эта таблица приведена в Сборнике статистических таблиц. {Прим,
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
691
распределения. Если мы вернемся к первоначальной формули-
формулировке гипотезы C2.2) и ограничимся случаем медианы Хо<5, ко-
которую будем обозначать М, то наша задача состоит в проверке
гипотезы
Яо: М = М0. C2.8)
Если функция распределения наблюдений, как и раньше, равна
F(x), а ф. п. равна f{x), то мы имеем для значения Р
= J f(x)dx.
C2.9)
Предположим, что нас интересует относительная эффектив-
эффективность критерия знаков, когда известно, что ф. p. F симметрична,
так что ее среднее и медиана М совпадают. Мы можем в этой
ситуации проверять гипотезу C2.8), пользуясь в качестве стати-
статистики критерия выборочным средним х. Если F имеет конечную
дисперсию а2, то х асимптотически нормально со средним М и
дисперсией о2/п, и при больших выборках оно эквивалентно ста-
статистике Стьюдента
х—М
где s2 — выборочная дисперсия. Для х мы имеем
М (jc | AT) = 1, D (х | М) = о2/п,
дМ
так что
—0(*\Щ "о- C2Л°>
Для статистики критерия знаков нам будет удобно принять М
Ма—М
за начало отсчета, так что
= nP = n J f(x)dx
и, следовательно,
Кроме того,
dM(S\ M)
дМ
±n.
Таким образом, в первоначальной системе отсчета
dM(S\ М) \2
д М J м=м„ л
D (S | Мо)
C2.11)
692
ГЛАВА 32
Из C2.10), C2.11) и B5.27) находим, что эффективность кри-
критерия знаков равна
As,x = 4e*{f(M)}2 C2.12)
— результат, принадлежащий Питмэну.
32.7 Ясно, что C2.12) не имеет ненулевой нижней границы,
как это было для АОЭ критериев Вилкоксона и Фишера —
Иэйтса в главе 31, поскольку мы можем иметь для медианной
ординаты f(M) =0. В нормальном случае f (M) = Bяа2)/2, так
что C2.12) принимает значение 2/я. Поскольку мы проверяем
здесь симметрию относительно Мо, мы можем, как указано
в 31.78, использовать критерий Вилкоксона, имеющий АОЭ, рав-
равную 3/я в нормальном случае и всегда превышающую 0,864. Та-
Таким образом, имеется мало оснований, за исключением про-
простоты, чтобы рекомендовать пользоваться критерием знаков в
качестве критерия симметрии относительно заданной медианы:
в такой ситуации эффективнее проверять выборочное среднее.
Критерий знаков полезен, когда мы хотим проверять гипотезу
о медиане без предположения симметрии.
Диксон A953b) табулирует эффективность мощности двустороннего кри-
критерия знаков в нормальном случае (и дает ссылки на раиние работы, в част-
частности, Уолша). Он показывает, что относительная эффективность (т. е. об-
обратная величина отношения объемов выборок, требуемых для критерия зна-
знаков и критерия t Стыодеита для достижения одинаковой мощности при
равных размерах критериев и против одних и тех же альтернатив, — см.
25.2) убывает при возрастании объема выборки, размера критерия или рас-
расстояния Р от 1/2.
Уиттинг A960) использует разложение Эджворта до порядка пгг и по-
показывает, что эта аппр.оксимация второго порядка дает результаты для АОЭ,
мало отличающиеся от C2.12).
Свободные от распределения доверительные интервалы
для квантилей
32.8 Совместное распределение порядковых статистик непо-
непосредственно зависит от ф. р. наблюдений (см., например, A4.1)
и A4.2)), и, следовательно, точечная оценка квантилей распре-
распределения с помощью порядковых статистик не является свобод-
свободной от распределения. Замечательно, однако, что пары порядко-
порядковых статистик могут быть использованы для построения сво-
свободных от распределения доверительных интервалов для любой
квантили распределения. ч
Рассмотрим пару порядковых статистик %> и лг(8)( г < s, в вы-
выборке из п наблюдений из непрерывной ф. p. F(x). Формула
A4.2) дает для совместного распределения Fr = F(x^) и Fs =
F()
выражение
(Fs -
dFr dFs
B(r, s-r)B(s, n — s+
C2.13)
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
693
р-квантиль Хр распределения F(х) определяется равенством
C2.1). Интервал (%), X(S)) может накрыть Хр, только если
Fr ^ Р ^= Fs, и вероятность этого события равна
где первый интеграл относится к Fr. Это равно
р 1 р р
1 —а= J \dGr,s~ J JdGr,s,
0 0 0 0
и, поскольку Fr^ Fs, C2.14) можно переписать как
l
-ce=J j dGr,s- J \dGr,s.
C2.14)
C2.15)
о о
о о
Значения двойных интегралов в C2.15) легко найти. В первом
из них интегрирование по Fs охватывает целиком его область
изменения, и, следовательно, интеграл от 1 до р берется от мар-
маргинального распределения Fr, которое согласно A4.1) равно
Frr-l(l-Fr)n~rdFr t
В(г, я-г+1)
это бета-распределение первого рода, ф.р. которого есть просто
неполная бета-функция. Следовательно,
р 1 р
J j dGna=f dGr=Ip(r, n-r+l).
C2.16)
0 0
Во втором двойном интеграле в C2.15) мы делаем подстановку
u = Fr/Fs, v = Fs с якобианом v точно так же, как в 11.9, и
находим
Fs р р ( 1 _ n_s \
J J dGr.s-\ I J (Я0В(г,(Г-гТв(в.Я-а+°1) d" j
du \ v dv,
J J
0 0
О v 0
и после интегрирования по и по всей его области от 0 до 1 нам,
как и прежде, остается проинтегрировать маргинальное рас-
распределение, на этот раз Fs, от 0 до р. Таким образом,
f J dGr.a= j dGs = lp(s, n-s + l). C2.17)
о о
694
ГЛАВА 32
Подставляя C2.16), C2.17) в C2.15), получаем
}=1 -a = /p(r, rt-r+ l)-/p(s, n-s-f 1).
C2.18)
32.9 Мы видим из C2.18), что интервал (х^), x(s)) покрывает
квантиль Хр с коэффициентом доверия, который вовсе не за-
зависит от F(x), и мы, таким образом, имеем свободный от
распределения доверительный интервал для Хр. Поскольку
[р(а, Ь)=\—Ii-P(b,a), мы можем также записать коэффи-
коэффициент доверия как
1—o = /,_p(rt-s+l, s) —/,_р(л —r+ \,r). C2.19)
Вследствие связи неполной бета-функции с биномиальным раз-
разложением, приведенной в 5.7, C2.18) можно выразить как
г=0
1=0
C2.20)
где q = 1 — р. Коэффициент доверия равен, следовательно,
сумме членов бинома (q + р)п от (г+1)-го до s-ro включи-
включительно.
Если выбирать пару симметрично расположенных порядко-
порядковых статистик, tos —л — г-f-l и мы получаем в C2.18) —
C2.20)
= 1 - {/,_р (п - г + 1, г) + /р (п - г + 1, г)} = C2.21)
C2.22)
так что коэффициент доверия есть сумма п— 2r-f-1 централь-
центральных членов биномиального разложения, в котором по г членов
с каждого конца опущены.
Для любых значений ran коэффициент доверия, отвечаю-
отвечающий интервалу (х(г), х{п-г+1)), можно найти из C2.21), C2.22),
пользуясь, если необходимо, таблицами Tables of the Incomplete
Beta Function. Могут также быть использованы таблицы би-
биномиального распределения, указанные в 5.7. Упражнение 32.4
предоставляет читателю возможность попрактиковаться в вы-
вычислениях.
Шеффе и Тьюки A945) показали, что если распределение
наблюдений дискретно, то указанные выше доверительные ин-
интервалы покрывают Хр с вероятностью ^1 — а.
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
695
32.10 В частном случае медианы распределения X0,s фор-
формулы C2.21), C2.22) принимают особенно простой вид:
C2.23)
t=r
Эта процедура построения доверительного интервала для ме-
медианы была впервые предложена Томпсоном A936).
Маккиннон A964) дает таблицы для п= 1AI000 и а, на-
насколько возможно близких к 0,50, 0,10, 0,05, 0,02, 0,01 и 0,001.
Нэйр A940) дает аналогичные таблицы для п = 6A)81, ука-
указывая точное значение а, которое бралось насколько возможно
близким к 0,05 и 0,01 *).
Свободные от распределения толерантные интервалы
32.11 В 20.37 мы рассматривали задачу нахождения толе-
толерантных границ для нормальной ф. р. Предположим теперь, что
нам нужно строить такие интервалы, не делая никаких предпо-
предположений о форме распределения, помимо непрерывности. Нам
требуется найти случайный интервал (/, и) такой, что
C2.24)
где f(x) — неизвестная непрерывная функция плотности. Не
очевидно, что такая процедура, свободная от распределения,
возможна, но Уилкс A941, 1942) показал, что порядковые ста-
статистики X(r), x(s) дают свободные от распределения толерантные
границы, а Роббинс A944) показал, что это могут быть только
порядковые статистики.
Если положить / = Хр), и = X(S) в соотношении C2.24), то
мы можем переписать его в виде
Р [{F(X(S)) — F (x(r))} > у] = р. C.2.25)
Мы можем получить точное распределение случайной величины
F{X(s)) — F(х(г)) из C2.13) с помощью преобразования у =
= F(xia)) — F(X(r)), z = F(xiT)), имеющего якобиан 1. Тогда
C2.13) принимает вид
гг-у-г-'
_ у _ z)n
В (r, s — г) В (s, п — s + 1)
C2.26)
*) Для построения доверительного интервала для медианы могут быть
использованы таблицы критических значений критерия знаков, см. 32.4.
{Прим. ред.)
696
ГЛАВА 32
Проинтегрировав C2.26) по z по всей его области изменения
(О, 1—у), получим для маргинального распределения у выра-
выражение
1-У
dGs-r = В (г, s - г) В (s, n-s+ 1) J Zr l{l—y — z)
О
Положим 2= A —y)t; тогда C2.27) преобразуется в
dz. C2.27)
dG
i
!~г = В (г, s — г) В E, п. — s + 1) J * A-^) <" =
о
B(r, rt-S+1)
I/
"^ В (г, s — г) В E, я — s+ 1)
.s-r-l л —y)n-s+rdy
.-r.n^-s + r+7)' °<У<1' C2-28)
Таким образом, у = F(X(S)) — F(х(г)) имеет бета-распределение
первого рода. Если мы положим г = 0 в C2.28), а ^(^(о)) при-
примем равным нулю (так что x@) = —со), то C2.28) сведется к
A4.1), где вместо г написано s.
32.12 Из C2.28) мы видим, что C2.25) приводится к виду
C2.29)
что в терминах неполной бета-функции можно переписать как
Р {F (xis)) - F (x(r)) > Y} = 1 - 1У (s - г, п - s + г + 1) = р. C2.30)
Соотношение C2.30) для свободного от распределения толе-
толерантного интервала (%>, X(S)) содержит пять величин: y (ми-
(минимальная доля F(x), которую мы хотим накрыть), р (вероят-
(вероятность, с которой мы желаем это сделать), объем выборки п
и положения порядковых статистик в выборке, г и s. Если за-
заданы любые четыре из них, мы можем решить C2.20) относи-
относительно пятой. На практике Р и y обычно фиксированы как
уровни, требуемые постановкой задачи, а г и s выбираются сим-
симметрично, так что s = n — г+1. Тогда C2.30) сводится к
/v(n-2r+l,2r)=l-p.
C2.31)
Левая часть C2.31)— монотонно возрастающая функция
от п, и для любых фиксированных р, у, г мы можем выбрать п
достаточно большим, чтобы выполнялось C2.31). На практике
мы должны выбирать п как ближайшее целое число, npeBocxq-
некоторые применения порядковых статистик
697
дящее решение C2.31). Если г = 1, так что используются экс-
экстремальные значения выборки, C2.31) сводится к
1у(п— 1,2) = 1 — Р; C2.32)
этим определяется вероятность р, с которой размах выборки
из п наблюдений покрывает по меньшей мере долю y распреде-
распределения, из которого получена выборка.
Решение C2.20) (и его частных случаев C2.31), C2.32))
должно проводиться численно, с помощью таблиц Tables of the
Incomplete Beta Function или, что равносильно, таблиц бино-
биномиальной ф. р. (см. 5.7). Мёрфи A948) дает графики y как
функции от п для р = 0,90, 0,95 и 0,99 и г + {п — s+1) ==
= 1ANBI0EK0A0N0B0I00; они являются точными при
п ^ 100 и приближенными до п = 500.
Пример 32.1
Рассмотрим численное решение уравнения C2.32) относи-
относительно п. Его можно переписать как
v
о
= пуп-1 — (п—1)уп. C2.33)
Для значений р, у, требуемых на практике (обычно 0,90 или
больше), п настолько велико, что можно записать C2.33) при-
приближенно как
или
log п + (п - 1) log y = log {(I - P)/(l - y)>.
C2.35)
Производная левой части C2.35) по п равна A/«) + log y.
и при больших п левая часть C2.35) монотонно убывает по п.
Поэтому мы можем взять какое-нибудь пробное значение п,
сравнить левую часть с (фиксированной) правой частью C2.35)
и увеличить (уменьшить) п, если левая (правая) часть больше.
Значение п, удовлетворяющее приближенно C2.35), будет
больше того, которое удовлетворяет точному соотношению
C2.33), поскольку из правой части последнего был выброшен
положительный член уп, и мы безопасно можем использовать
C2.35) без уточнений, либо можем подставить C2:35) в C2.33)
и найти поправку, чтобы получить точное значение.
698 глава ы
Пример 32.2
Проиллюстрируем пример 32.1 конкретным вычислением. По-
Положим р = у = 0,99. Тогда C2.35) переходит в
log n + (n— 1) log 0,99 = 0,
поскольку правая часть, очевидно, равна нулю при р* = у. Мы
можем пользоваться логарифмами по основанию 10, так как
переход к натуральным логарифмам не меняет C2.35). Таким
образом, нам нужно решить уравнение
log-,o п— 0,00436 (п — 1) = 0.
Начнем с п = 1000. При этом значении левая часть отрица-
отрицательна, поэтому мы уменьшаем п до 500, тогда она становится
положительной. Мы далее продвигаемся следующим образом.
п.
1000
500
700
650
I°glO«
3
2,6990
2,8451
2,8129
0,00436 (га-1)
4,36
2,18
3,05
2,83
п
600
640
645
logI0«
2,7782
2,8062
2,8096
0,00436 (л-1)
2,61
2,79
2,81
Подставим теперь значение п = 645 в точное уравнение
C2.33). Его правая часть равна
645 @,99N44 - 644 @,99N45 = 1,004 — 0,992 = 0,012.
Левая часть этого равенства есть 1 — р = 0,01, так что согла-
согласие хорошее, и мы для всех практических целей можем брать
п = 645, чтобы получить 99-процентный толерантный интервал
для 99 процентов исходной ф.р.
32.13 Мы рассмотрели только простейший случай построения
свободных от распределения толерантных интервалов для од-
одномерного непрерывного распределения. Распространение на
многомерные толерантные области, включая разрывный случай,
было сделано в работах Вальда A943b), Шеффе и Тьюки
A945), Тьюки A947, 1948), Фрэзера и Уормлитона A951),
Фрэзера A951, 1953) и Кемпермана A956). Уилкс A948) дает
обзор результатов, имевшихся к тому времени. Уолш A962)
рассматривает симметричные непрерывные распределения. Гуд-
мэн и Мадански A962) рассмотрели свободные от параметра
и свободные от распределения толерантные пределы для экспо-
экспоненциального распределения.
Шеффе и Тьюки A945) и Тьюки A948) показали, что если
исходное распределение дискретно, то приведенные выше толе-
толерантные интервалы и области имеют вероятность 5э1 —а.
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
699
Точечное оценивание с помощью порядковых статистик
32.14 Как мы отмечали в начале 31.8, мы не можем полу-
получить свободных от распределения точечных оценок, пользуясь
порядковыми статистиками, так как их совместное распределе-
распределение существенно зависит от ф.р. F(x). Поэтому мы снова всту-
вступаем в область параметрических задач и ставим вопрос, как
можно использовать порядковые статистики в оценке парамет-
параметров. Имеются две существенно различные ситуации, в которых
могут рассматриваться порядковые статистики:
A) Мы можем сознательно использовать функции от поряд-
порядковых статистик для оценки параметров, зная даже, что эти
процедуры оценки неэффективны, ввиду простоты и скорости вы-
вычислений. (По существу, тот же вопрос в другой связи мьГ обсу-
обсуждали в примере 17.13.) В- 14.6—7 мы приводили некоторые
числовые данные, касающиеся эффективностей выборочной ме-
медианы и средины размаха как оценки среднего значения нор-
нормальной совокупности, а также оценки для стандартного откло-
отклонения нормальной совокупности, основанной на выборочной ин-
терквартильной широте. Эти три оценки служат примерами
легко вычисляемых неэффективных статистик.
B) По тем или иным причинам не все элементы выборки
могут быть в наличии при оценивании, и мы вынуждены исполь-
использовать оценку, являющуюся функцией лишь некоторых из них.
Таким образом, различие между A) и B) относится, по суще-
существу, к происхождению задачи. Формально, однако, мы можем
считать A) крайним случаем B), когда число недостающих
элементов выборки равно нулю.
Урезание и цензурирование
32.15 Прежде чем переходить к каким-либо деталям, мы
кратко рассмотрим обстоятельства, при которых могут отсут-
отсутствовать элементы выборки. Предположим сначала, что основ-
основная варианта х просто не может быть наблюдаема в какой-ни-
какой-нибудь части или частях ее области значений. Например, если х
есть расстояние от центра вертикальной круговой мишени фик-
фиксированного радиуса R, то мы можем наблюдать х только для
тех выстрелов, которые попали в мишень. Если мы не знаем
количества выстрелов, произведенных по мишени, скажем п,
то нам приходится просто считать m значений х, наблюдаемых
на мишени, полученными из распределения, сосредоточенного
на интервале от 0 до R. Мы говорим тогда, что распределе-
распределение х урезано справа в точке R. Аналогично, если мы опреде-
определим в этом примере у как расстояние попадания от вертикаль-
вертикальной линии, проходящей через центр мишени, то у может изме-
700
ГЛАВА 32
няться от —R до R, и его распределение дважды урезано. Ана-
Аналогично, мы можем иметь варианту, урезанную слева (напри-
(например, если наблюдения, меньшие некоторого значения, не реги-
регистрируются). В общем случае варианта может быть многократно
урезана одновременно в нескольких частях своей области изме-
изменения. Урезанная варианта ничем существенным не отличается
от любой другой, но она рассматривается отдельно, так как ее
распределение порождается исходной неурезанной случайной
величиной, которая может иметь обычный вид. Так, в упражне-
упражнении 17.26 мы рассматривали распределение Пуассона, урезан-
урезанное слева, чтобы исключить нулевую частоту.
Тьюки A949) и У. Смит A957) показали, что урезание в
фиксированных точках не меняет никаких свойств достаточно-
достаточности и полноты, которыми обладает статистика.
32.16 С другой стороны, рассмотрим снова наш пример с ми-
мишенью из 32.15, но теперь предположим, что мы знаем, сколько
выстрелов было произведено по мишени. Мы по-прежнему на-
наблюдаем лишь т значений х, попавших от 0 до R включительно,
но теперь мы знаем, что, помимо этого, существуют п — т — г
значений х и что эти значения превышают R. Другими словами,
мы наблюдаем первые т порядковых статистик хт, ..., х^т) в
выборке объема п. Про выборку тогда говорят, что она цензури-
рована справа в точке R. (Цензурирование есть свойство вы-
выборки, тогда как урезание есть свойство распределения.) Ана-
Аналогично, мы можем иметь цензуризование слева (например, при
измерении реакции на некоторый возбудитель может быть необ-
необходима некоторая минимальная реакция для того, чтобы изме-
измерение было вообще возможно) и двойное цензурирование, где
Г] наименьших и г2 наибольших значений в выборке объема п
не наблюдаются и для оценки имеются только остальные т =
= П — (Г] -f Г2) .
Цензурированные выборки различаются следующим обра-
образом. В приведенных примерах цензурирование возникало из-за
того, что значения варианты попадали за пределы некоторой
наблюдаемой области; цензурирование имело место в некоторых
фиксированных точках. Это называется цензурированием типа I.
Говорят, что происходит цензурирование типа II, когда фикси-
фиксированная доля объема выборки п цензурируется на нижнем
и/или верхнем концах области значений х. На практике цензу-
цензурирование типа II часто случается, когда наблюдаемая вариан-
варианта х представляет собой период времени (например, период вре-
времени до разрушения изделия, проходящего испытание), а время
на эксперимент ограничено. Тогда может быть решено прекра-
прекращать эксперимент, когда получены первые т из п наблюдений.
Отсюда видно, что цензурирование типа II обычно бывает
справа.
1
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
701
С точки зрения теории основное различие между цензуриро-
цензурированием типа I и типа II состоит в том, что в первом случае т
(число наблюдений) есть случайная величина, тогда как в по-
последнем случае оно фиксировано заранее. Соответственно теория
цензурирования типа II проще.
Конечно, одностороннее урезание или цензурирование есть
лишь частный случай двойного урезания или цензурирования,
когда один из концов распределения не ограничивается, в то
время как «обычная» ситуация является, так сказать, вдвойне
крайним случаем, когда совсем нет никаких ограничений.
32.17 К настоящему времени имеется обширная литература
по проблемам урезания и цензурирования. Подробное изложе-
изложение этого предмета заняло бы слишком много места. Поэтому
мы резюмируем результаты в пунктах 32.17—22 и предостав-
предоставляем читателю, интересующемуся этим предметом, следовать
литературным ссылкам. Мы классифицируем задачи оценивания
по трем основным группам.
(А) Оценки максимального правдоподобия. Решение любой
из задач может быть получено методом максимального правдо-
правдоподобия; обычно уравнения правдоподобия решаются только
итерационными методами. Например, если непрерывная вариан-
варианта с функцией плотности f(x\Q) дважды урезана в известных
точках а, Ь с а <. Ь, то функция правдоподобия, если сделано п
наблюдений, равна
f(x\Q)dx\ , C2.36)
причем знаменатель в C2.36) возникает из-за того, что урезан-
урезанная варианта имеет ф. п.
f(x,Q)H f(x\Q)dx.
I a
Максимум C2.36) может быть найден обычными методами.
Рассмотрим теперь ту же варианту, дважды цензурирован-
ную в фиксированных точках а, Ъ, так что не наблюдаются Г\
наименьших и г2 наибольших элементов выборки. Для этого
цензурирования типа I функция правдоподобия равна
Li(x\Q) ос
сс{ \f(x\Q)dxY JJ f(Xi\Q)\ j f(x\Q)dx j , C2.37)
и Г\ и /, разумеется, являются случайными величинами.
702
ГЛАВА 32
С другой стороны, если имеет место цензурирование типа II
с фиксированными Г\ и г2, то функция правдоподобия равна
Ln(x\Q)oc
ocj | f(x\Q)dx
п-г,
J f(xlQ)dx\ .C2.38)
C2.37) и C2.38) имеют в точности одинаковую форму. Они от-
отличаются тем, что пределы интегрирования в C2.38) случайны,
а в C2.37)—нет и что ги г2 случайны в C2.37), а в C2.38) —
нет. Однако для данной совокупности наблюдений это формаль-
формальное сходство позволяет применять одни и те же методы итера-
итерации для получения решений максимального правдоподобия.
Кроме того, при п-+со оба типа цензурирования асимптотиче-
асимптотически эквивалентны.
Б. Рао A958а) показал при некоторых условиях регулярно-
регулярности, что цензурирование всегда приводит к потере эффективно-
эффективности оценивания, но что для урезания это может быть и не так.
Это справедливо также, когда наблюдения группированы (Сва-
ми A962а)). См. упражнение 32.26.
Гальперин A952а) показал при условиях регулярности, ана-
аналогичных условиям в 18.16 и 18.26, что МП-оценки при цензури-
цензурировании типа II состоятельны, асимптотически нормальны и эф-
эффективны (см. упражнение 32.15).
Хартли A958) дает общий метод итерационного решения
уравнений правдоподобия для неполных данных (включая как
урезание, так и цензурирование) из дискретных распределений.
(Б) Несмещенные линейные оценки с минимальной диспер-
дисперсией. Второй подход состоит в том, чтобы искать линейную
функцию от имеющихся в наличии порядковых статистик, кото-
которая была бы несмещенной оценкой интересующего нас пара-
параметра с минимальной дисперсией. Для этого мы пользуемся ме-
методом наименьших квадратов в применении к упорядоченным
наблюдениям. Мы уже рассматривали теорию этого в случае,
когда имеются все наблюдения, в 19.18—21, и она может быть
непосредственно применена к случаю урезания при условии,
что вектор математических ожиданий и матрица рассеяния по-
порядковых статистик вычисляются по урезанному распределению,
а не по исходному распределению, над которым производилось
урезание. Практическая трудность здесь состоит в том, что эта
матрица рассеяния зависит от точек урезания а, Ь, так что не-
несмещенная линейная функция с минимальной дисперсией будет
меняться при изменении а и Ъ. Работ в этой области мало или,
может быть, нет совсем, по-видимому, из-за этой трудности.
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
703
Когда мы переходим к цензурированным выборкам, эта
трудность сохраняется при цензурировании типа I, так как мы
не знаем, сколько порядковых статистик окажется в пределах
цензурирования (а, Ь). Таким образом, оценка должна быть
определена отдельно для каждого значения гх и г2, а ее мате-
математическое ожидание и дисперсия должны вычисляться по всем
возможным Г\ и г2 с соответствующей вероятностью для каждой
комбинации. Снова мы не знаем случая, когда это было бы про-
проделано. Однако при цензурировании типа II такой проблемы не
возникает, так как гх и г2 фиксированы заранее, и мы всегда
знаем, какие (п — гх — г2) порядковых статистик имеются в на-
наличии для целей оценивания. Зная их математические ожидания
и матрицу рассеяния, мы можем непосредственно применить
теорию НК из 19.18—21. Кроме того, математические ожидания
и матрицу рассеяния всех п порядковых статистик требуется
вычислить лишь однажды для каждого п. Тогда для любых гь
г2 мы можем выбрать (п — гх — г2) математических ожиданий
имеющихся наблюдений и подматрицу, являющуюся их матри-
матрицей рассеяния.
Чернов и др. A967) получили общие формулы для того, чтобы
линейные комбинации функций от порядковых статистик да-
давали эффективные оценки параметров сдвига и масштаба в цен-
зурированных или нецензурированных выборках.
Рядом авторов были предложены более простые процедуры,
чтобы избежать вычислительных сложностей методов МП и НК.
Наиболее общие результаты были получены Бломом A958),
который построил «почти» несмещенные «почти» эффективные
линейные оценки, и Плэкеттом A958), который показал, что
МП-оценки для параметров сдвига и масштаба асимптотически
линейны и что линейные несмещенные МД-оценки асимптотиче-
асимптотически нормально распределены и эффективны. Таким образом, по
крайней мере асимптотически, эти два подхода смыкаются.
Гастверт A966) исследовал взаимосвязь между линейными
несмещенными МД-оценками и соответствующими асимптотиче-
асимптотически наиболее мощными критериями.
32.18 Мы теперь кратко изложим результаты, имеющиеся для
каждого из основных распределений, которые изучались с точки
зрения урезания и цензурирования; численные подробности
слишком обширны, чтобы приводить их здесь.
Нормальное распределение. Свами A962b) показал, что уре-
урезание всегда снижает эффективность, когда оцениваются и сред-
среднее и дисперсия, и A963) то же происходит обычно, когда на-
наблюдения группированы (см. Гранди A952)). Для одинарного
и двойного урезания оценивание методом МП рассматривалось
Коэном A950а, 1957), где были даны графики, облегчающие
итерационное решение уравнений МП; Коэн и Вудворд A953)
704
ГЛАВА 32
приводят таблицы, а Хальд A949) и Гальперин A952b) — гра-
графики для МП-оценивания в случае одинарного урезания. Итера-
Итерационные процедуры МП для случая одинарного и двойного цен-
цензурирования типа II даются Хартером и Муром A966а), где
имеется также обзор более ранних работ. МП-оценки имеют тен-
тенденцию давать несколько большую точность, особенно когда
цензурирование сильно несимметрично, чем несмещенные линей-
линейные МД-оценки, изучавшиеся Сарханом и Гринбергом A956,
1958), чья книга A962) содержит таблицы коэффициентов этих
оценок для всех комбинаций чисел цензурирования Г\ и гг, когда
п = 1AJ0. Линеаризованные МП-оценки, предложенные Плэ-
кеттом A958), имеют эффективность, всегда не меньшую чем
99,98% при п=10. Диксон A957) показал, что при оценке
среднего значения очень простая «обрубленная» *) оценка
п-1
имеет эффективность, всегда не меньшую, чем 99% при п =
= 3AJ0 и предположительно также при п > 20, тогда как
среднее «двух наилучших» наблюдений (т. е. тех, среднее ко-
которых есть несмещенная оценка с минимальной дисперсией)
имеет эффективность, медленно убывающую от 86,7% при п =
= 5 до своего асимптотического значения 81%. «Двумя наи-
наилучшими» наблюдениями являются приближенно Х{о,гтп) и
#(о,73п) (см. упражнение 32.14). Аналогичные простые оценки
стандартного отклонения о даются статистиками
и = 2 {x(n-i+D — *(*)}
с коэффициентами, обеспечивающими несмещенность, где сум-
суммирование включает 1, 2, 3 или 4 значения L Наилучшая ста-
статистика такого типа при оценке 0 всегда имеет эффективность
не меньшую 96%.
Диксон A960) показал, что если с каждой стороны цензу-
рировано по г наблюдений, то «винзоризованная» оценка сред-
среднего
[n-t-I
2 •
s=?+2
имеет эффективность по меньшей мере 99,9% по сравнению
с несмещенной линейной оценкой с минимальной дисперсией, а
*) В оригинале «trimmed». (Прим. ред.)
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
705
при одностороннем цензурировании i наблюдений (скажем,
справа) аналогичная оценка
пга =
1
п + а— 1
n-i-l
L- s=2
где а выбрано так, чтобы сделать та несмещенной, эффективна
по меньшей мере на 96%.
Некоторые общие результаты об эффективности обрубленных и винзори-
зоваиных оценок среднего для симметричных и симметричных унимодальных
распределений имеются у Бикела A965).
Уолш A950а) показал, что оценка процентной точки нор-
нормального распределения с помощью подходящей порядковой
статистики очень эффективна (хотя эта процедура оценки дей-
действительна на самом деле для любой непрерывной ф. р.) при
одностороннем цензурировании типа II, когда цензурирована
большая часть выборки.
Со A959) показал, что в выборках с односторонним цензу-
цензурированием типа II теоретическое среднее может быть оценено
с асимптотической эффективностью, не меньшей 94%, посред-
посредством линейной комбинации наблюдений, ближайших к точке
цензурирования (xi), и простого среднего остальных наблюде-
наблюдений, а теоретическое стандартное отклонение оценивается с
асимптотической эффективностью 100% с помощью суммы и
суммы квадратов остальных наблюдений.. Со приводит таблицы
соответствующих весов для п ^ 20. Для цензурированных вы-
выборок типа I Со A961) предложил простые линейные оценки
высокой эффективности.
32.19 Экспоненциальное распределение. Распределение
f(x) — exp{—(х — (х)/о}/о, ц-<л:<^со, было очень полно изучено
с точки зрения урезания и цензурирования, и причина этого —
в его важности для изучения долговечности некоторых изделий,
в частности электрических и электронных элементов. Очень пол-
полная библиография этой области испытаний на долговечность
дана Менденхоллом A958) и дополнена Говиндараджулу A964).
Оценивание а (с известным ц.) методом МП при односторон-
одностороннем урезании или цензурировании типа I справа рассматрива-
рассматривалось Димером и Вотоу A955) (см. упражнение 32.16). Их ре-
результаты обобщались на цензурированные выборки из смесей
•нескольких экспоненциальных распределений Менденхоллом и
-Хейдером A958). Для цензурирования типа II справа МП-оцен-
МП-оценка для о дана Эпстейном и Собелом A953), и оценка, являю-
являющаяся также несмещенной линейной МД-оценкой, — Сарханом
A955) (см. упражнения 32.17, 32.18).
23 М. Кендалл, А. Стьюарт
706
ГЛАВА 32
Сархан.и Гринберг A957) приводят для объемов выборки
до 10 таблицы коэффициентов несмещенных линейных оценок
с минимальной дисперсией для а отдельно и для (jj,, 0) совместно
для всех комбинаций цензурирования типа II на краях. Не-
Несмещенные оценки с минимальной дисперсией, основанные на
одной или двух порядковых статистиках, даются Хартером
A961b), Сарханом и др. A963) и Сиддики A963); такие же
оценки, основанные на трех, четырех и пяти порядковых стати-
статистиках,— Куллдорфом A963), где приводится и некоторая об-
общая теория. См. также Лорент A963). Салех A966) получил
оценки, основанные на k порядковых статистиках.
32.20 Распределение Пуассона. Коэн A954) дает МП-оценки
и их асимптотические дисперсии для однократно и двукратно
урезанных и (типа I) цензурированных выборок из распределе-
распределения Пуассона и обсуждает ранние, менее общие, работы, относя-
относящиеся к этому распределению. Коэн A960b) приводит таблицы
и график для оценки методом МП, когда урезаются нулевые
значения. Тейт и Гоэн A958) получают несмещенную МД-оценку,
когда урезание производится слева, и в частном случае, когда
урезаны только нулевые значения, сравнивают ее с МП-оценкой
(смещенной) и простой несмещенной оценкой, предложенной
Плэкеттом A953) (см. упражнения 32.20, 32.22—32.24).
Коэн A960а) рассматривает МП-оценку пуассоновского па-
параметра и параметра Э, когда доля Э наблюденных значений «1»
ошибочно классифицирована как «0», и тот же автор A960с)
дает процедуру МП-оценивания, когда нулевые значения и
(ошибочно) часть значений «1» урезаны.
32.21 Другие распределения. Для гамма-распределения
с тремя параметрами
dF = Тр- ех.р {- а (х - (х)} {а (х - ц)}^1 d {a{x - (х)}
Чепмэн A956) рассматривает урезание справа и предлагает
упрощенные оценки для (а, Р) при известном (X и для (а, р, (х)
совместно. Коэн A950b) рассматривал оценивание методом мо-
моментов в случае урезания. Радж A953) и Ден Бродер A955)
рассматривали случаи цензурирования и урезания; последняя
¦работа касается оценки параметра при урезании на каждом
хвосте распределения. Уилк и др. A962) дают МП-оценки для
(а, р) при известном ц и для (а, р, ц) совместно в случае цен-
цензурирования типа II справа.
Сархан и Гринберг A959) рассматривают несмещенные ли-
линейные МД-оценки для равномерных распределений (см. упраж-
упражнение 32.25). Даунтон A966) рассматривает распределение
экстремальных значений, приведенное в упражнении 18.6. Говин-
дараджулу A966) делает то же самое для симметрично цензу-
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
707
рированного двойного экспоненциального распределения. Финни
A949а), Райдер A955), Сэмпфорд A955), Уилкинсон A961) и
>Шах A961) рассматривают однократно урезанные биномиаль-
биномиальное и отрицательное биномиальное распределения. Шах A961)
рассматривает дважды урезанное биномиальное распределение.
Хартер и Мур A966b) рассматривают локальное МП-оцени-
МП-оценивание для цензурированных выборок из трехпараметрического
лог-нормального распределения (с неизвестной начальной точ-
точкой); прямая МП-оценка бесконечна (см. упражнение 18.23).
Проверка гипотез в цензурированных выборках
32.22 В отличие от большого количества работ по оценива-
оцениванию, рассмотренных в 32.17—21, до сих пор очень мало сделано
по проблемам проверки гипотез в случаях урезания и цензури-
цензурирования. Эпстейн и Собел A953) и Эпстейн A954) обсуждают
критерии для цензурированных экспоненциальных распределе-
распределений; Ф. Дэвид и Джонсон A954, 1956) дают различные простые
критерии для цензурированных нормальных выборок, основан-
основанные на выборочных медианах и квантилях. Гальперин A961а)
дает простые доверительные интервалы для однократно цензу-
цензурированных экспоненциальных и нормальных выборок. Гехан
A965а, Ь) (см. также Гальперин (I960)) распространил крите-
критерий Вилкоксона на цензурированные выборки. Гастверт A965)
получил асимптотически наиболее мощные ранговые критерии
для цензурированных выборок.
Выпадающие наблюдения
32.23 В последних разделах этой главы мы кратко рассмот-
рассмотрим задачу, с которой в тот или иной момент встречается
каждый практический статистик, а возможно, и большинство
ученых-практиков. Задача состоит в том, чтобы решить, не полу-
получено ли одно или более из наблюдений из генеральной совокуп-
совокупности, отличной от той, которая порождает остальные наблюде-
наблюдения; она отличается от обычной задачи двух выборок тем, что
мы не знаем заранее, какие наблюдения могут быть из другой
совокупности, — если бы мы знали, то, разумеется, могли бы
применить двухвыборочную технику, которая рассматривалась
в предыдущих главах. Здесь же нам нужно выяснить, имело
ли место вообще такое «засорение» выборки.
Постановка этой задачи обычно вызывается подозреваемой
ошибкой инструмента или записи; ученый исследует свои дан-
данные обычным путем и подозревает, что некоторые (обычно
только одно) из наблюдений имеют слишком экстремальные
(высокие или низкие или и то и другое) значения, чтобы быть
23*
708
ГЛАВА 32
в согласии с предположением, что они порождены тем же рас-
распределением. Теперь нужен какой-нибудь объективный метод,
позволяющий решить, основательно ли это подозрение.
Поскольку подозрение ученого вызвано поведением на хво-
хвостах наблюдаемого им распределения, то «естественные» крите-
критерии, которые напрашиваются сами собой, основаны на поведении
экстремальных порядковых статистик и, в частности, на их от-
отклонении от некоторой характеристики положения для неподо-
неподозреваемых наблюдений, либо (особенно когда подозреваются
и «высокие» и «низкие» ошибки) сам выборочный размах мо-
может быть использован в качестве статистики критерия. По-
Поэтому, например, Ирвин A925) исследовал распределение
(%>) — Х(Р-\))/а в выборках из нормальной генеральной совокуп-
совокупности (см. также Пирсон A926) и Силлито A951)), а Стьюдент
A927) рекомендовал пользоваться размахом для проверки вы-
выпадающих наблюдений.
Начиная с этих ранних обсуждений задачи, в этом же на-
направлении была проделана большая работ, причем практически
всюду рассматривался только случай нормального распределе-
распределения. Теперь ясно, что распределение экстремальных наблюдений
чувствительно к форме исходного распределения (см. главу 14),
так что эти процедуры вряд ли могут быть устойчивы к откло-
отклонениям от нормальности, но, вообще говоря, трудно сделать что-
нибудь иное, чем принятие нормальности, так как то же возра-
возражение ввиду неустойчивости было бы справедливо и для любого
другого исходного распределения.
32.24 Фергюсон A961), следуя Диксону A950), выдвигает
две общие альтернативные гипотезы. Модель А (гипотеза от-
отличия в сдвиге) состоит в том, что п независимых нормальных
наблюдений х,- имеют общую дисперсию о2 и средние М (хг) =
= (х + о Aav-.где а— известные константы, не все равные между
собой, а (vi, V2, ..., vra) — неизвестная перестановка чисел от
1 до п. Модель В (гипотеза отличия в масштабе) состоит в том,
что Xi независимы и нормальны с общим средним ц и диспер-
дисперсиями D (Xi) = a2 exp (Aavj). В каждой из моделей мы проверяем
гипотезу Но: А = 0.
Рассматривая только критерии, инвариантные относительно
изменений положения и масштаба, Фергюсон A961) показал,
что в модели А с неизвестным ц локально наиболее мощный
критерий для Но против односторонней альтернативы Н\\ А > 0
основан на V^u выборочном коэффициенте асимметрии. Боль-
Большие значения У~Ъ~Х являются критическими, если fa{a), третья_
fe-статистика значений а, положительна, и малые значения Vbx
являются критическими, если kz{a) < 0. Если (как и бывает в
задачах о выпадающих наблюдениях) п — / значений а равны
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
709
нулю и 1/п < 1/2, то h{a) > 0, так что большие значения \fbx
всегда являются критическими, если выпадает менее половины
" наблюдений. Для двусторонней альтернативы Н[: Д Ф 0 крите-
критерий, основанный на выборочном коэффициенте эксцесса Ь2, яв-
является локально наиболее мощным несмещенным, причем кри-
критическими являются большие или малые значения, когда
k4(a) > 0 или <0 соответственно. Если п — / значений а рав-
равны нулю, то ki (а) > 0, когда IIп ^ 0,21, так что большие зна-
значения Ь2 всегда являются критическими, если выпадают менее
чем 21% наблюдений. Для модели В, где имеет смысл только
односторонняя альтернатива Н\. А > 0, поскольку малые изме-
изменения масштаба в задачах о выделяющихся наблюдениях бы-
бывают только вверх, локально наиболее мощный критерий осно-
основан на больших значениях Ь2, каковы бы ни были а (так что
здесь допускается любое число выпадающих наблюдений).
Однако «локально» наиболее мощный означает «вблизи
д = 0», так что требуется еще свидетельство эффективности
этих критериев при больших сдвигах. Кроме того, у этих кри-
критериев имеется сильный конкурент с тех пор, как Полсон A952)
и Кудо A956) показали, что для модели А с не более чем од-
одним выпадающим наблюдением вероятность правильно отверг-
отвергнуть выпадающее наблюдение максимизируется, если использо-
использовать в качестве критерия стьюдентизованное экстремальное от-
отклонение (см. Томпсон A935), Пирсон и Чандра Секар A936))
__ x(n) x
или /, = •
Hi)
C2.39)
(где s2 — оценка о2 по всем имеющимся наблюдениям) для од-
односторонних альтернатив А > 0 или А < 0 соответственно.
То же свойство справедливо для стьюдентизованного макси-
максимального абсолютного отклонения
/тах = max {tn, /,}, C2.40)
используемого против двусторонних альтернатив Д#0 в моде-
модели А, а также (Фергюсон A961)) против Д>0 в модели В.
Фергюсон A961) провел выборочные эксперименты в моде-
модели А, основанные на 25000 случайных нормальных отклонений,
последовательно объединяемых в выборки объема л = 5EJ5,
с одним выпадающим наблюдением, отличающимся от осталь-
остальных на а(аI5а. Среди односторонних критериев tn оказался
несколько лучше, чем V^\> тогда как Ъ2 и tmax как двусторон-
двусторонние критерии отличались очень мало.
В Biometrika Tables даны 0,95- и 0,99-квантили для }/Г1Г1 при п ^ 25
и для &2 при п > 200. Фергюсон A961) оценивает нх квантили с помощью
выборочного эксперимента для п = 5EJ5. Куисенберри и Дэвид A961)
табулировали распределение /( (*п) и /та?-
-Hi
710
ГЛАВА 32
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
711
32.25 Диксон A950, 1951) рассматривал отношения вида—— L1L-
xin-s) ~ х(\)
в качестве критериев и проводил выборочные эксперименты для исследова-
исследования их мощностей. Когда а известна, он нашел, что нормированное экстре-
экстремальное отклонение
(илн «1
хA)
и нормированный размах
C2.41)
C2.42)
имеют примерно одинаковую мощность. Дэвид и др. A954) табулировал
процентные точки стыодентнзованного размаха
g= *<">¦"" *<'>,. C2.43)
Распределение статистики C2.43) табулировано также в упрощенном случае,
когда ее числитель н знаменатель получены из независимых выборок, в
Biometrika Tables Пэчерсом A959) и Хартером A960) *). Распределение ста-
статистики C2.39) с тем же упрощением табулировано в Biometrika Tables
Нэйром A948, 1952), Дэвидом A956), Пиллаи A959) и Пиллаи и Тиеизо
A959) (см. также Дэвид и Полсон A965)). Аналогичным образом распре-
распределение статистики C2.40) табулировано Гальпериным и др. A955). Энскомб
A960) исследовал влияние отбрасывания выпадающих наблюдений на по-
последующую оценку, главным образом когда о известно. Блисс и др. A956)
дали критерий размаха для браковки единственного выпадающего наблюде-
наблюдения среди k нормальных выборок объема га, а также таблицы к нему. Дру-
Другие критерии рассматриваются Граббсом A950) и Диксоном A950, 1951,
1953а).
Диксои A962, глава 10 Н книги Сархана и Гринберга A962)) дает об-
обширный обзор по этой теме, включая многие из упомянутых выше таблиц
и некоторые другие.
Очевидный путь повышения устойчивости критериев и оценок к нали-
наличию выпадающих наблюдений состоит в том, чтобы основывать их на «цен-
«центральной» части выборки, как, например, «обрубленные» и «винзоризован-
ные» оценки в 32.18 и критерии в 32.22.
Распределения, отличные от нормального
32.26 Один из немногих общих методов решения проблемы
выпадающих наблюдений принадлежит Дарлингу A952), ко-
который получил интегральную форму для х. ф. распределения
статистики
л
C2.44)
где п наблюдений х\ суть независимые одинаково распределен-
распределенные варианты с положительными значениями, распределение
*) Таблица этого распределения приведена в Сборнике статистических
таблиц. Таблицы распределений многих статистик критериев для выпадаю-
выпадающих наблюдений имеются в Таблицах математической статистики. (Прим.
ред.)
которых полностью задано. В частных случаях эта х. ф. может
быть обращена. Дарлинг далее подробно рассматривает случай
варианты, имеющей распределение %2. Здесь мы рассмотрим
только более простой случай равномерного распределения, в
котором результат Дарлинга может быть получен непосред-
непосредственно.
Предположим, что мы имеем наблюдения х\, Х2, ..., хп, рав-
равномерно распределенные на интервале @,0). Тогда мы знаем
из 17.40, что наибольшее наблюдение х(п) есть достаточная ста-
статистика для Э, а из 23.12 — что Х(П) есть полная достаточная
статистика. Следовательно, согласно результату упражнения
23.7 любая статистика, распределение которой не зависит от 0,
будет независима от х{п). Ясно, далее, что zn, определенная в
C2.44), имеет нулевую степень по Э. Таким образом, zn не за-
зависит от *(„) и условное распределение zn при фиксированном
Х(П) — такое же, что и безусловное (маргинальное) распределе-
распределение. Но при фиксированном x(n) любое Хг (xt <Z *(П)) распреде-
распределено равномерно на интервале @, Х(П)). Таким образом, xjx^)
при фиксированном x(n) имеет равномерное распределение на
интервале @, 1), и мы видим из C2.44), что zn распределено
в точности, как сумма п—1 независимых случайных величин,
распределенных равномерно на @, 1), плюс постоянная
1 (= xwlx(n)). Поскольку мы видели в примере 11.9, что рас-
распределение суммы п независимых равномерных случайных ве-
величин стремится к нормальному (и ее распределение в самом
деле близко к нормальному даже при п = 3), zn распределена
асимптотически нормально со средним и дисперсией, даваемы-
даваемыми точными выражениями
N1 (*„) = («-1I+1=у(«
C2.45)
Малые значения zn (отвечающие большим значениям х(п))
образуют критическую область для проверки гипотезы, что все
•наблюдения распределены одинаково, против альтернативы, что
наибольшее из них происходит из «выпадающего» распределе-
распределения.
32.27 Результат Дарлинга можно использовать для выявле-
выявления выпадающего наблюдения при любом полностью заданном
исходном распределении, сделав сначала вероятностное интег-
интегральное преобразование наблюдений (см. 30.36), приводящее
задачу к равномерному распределению на @, 1). Наименьшее
наблюдение х(\) можно проверять аналогичным образом, беря
дополнения до 1 этих равномерных величин и проверяя Х(П), как
раньше.
Басу A965) рассматривает выпадающие наблюдения для экспоненциаль-
экспоненциального распределения.
712
ГЛАВА 32
32.28 Мы должны теперь указать на возможность исполь*
зования свободных от распределения методов для решения за-
задачи о выпадающих наблюдениях без конкретных предположе-
предположений о распределениях. Ясно, что, если экстремальные наблюде-
наблюдения находятся под подозрением, это автоматически сводит на
нет любую попытку использовать для этой задачи обычный
двухвыборочный критерий, основанный на порядке рангов, ка-
какие рассматривались в главе 31. Однако если мы готовы пред-
предположить симметрию (непрерывного) исходного распределения,
то мы в состоянии кое-что сделать, так как мы можем тогда
сравнивать поведение наблюдений на подозреваемом «хвосте»
наблюдаемого распределения с поведением на другом «хвосте»,
который, как мы предполагаем, ведет себя хорошо. Таким об-
образом, при больших п мы можем рассматривать абсолютные
отклонения от выборочного среднего (или медианы) k наиболь-
наибольших и k наименьших наблюдений, ранжировать эти 2k значе-
значений и применить критерий симметрии, чтобы решить, можно ли их
считать однородными. Критерий будет приближенным, так как
центр симметрии неизвестен и мы оцениваем его посредством
выборочного среднего или медианы, но в остальном это просто
применение критерия симметрии (см. 31.78—79) к хвостам рас-
распределения. Если п достаточно велико, a k настолько велико,
чтобы иметь возможность разумно выбрать размер критерия а,
то эта процедура должна быть достаточно чувствительной для
практических целей.
По существу аналогичные, но более сложные критерии того,
следует ли считать группу из четырех или более наблюдений
выпадающей, были предложены Уолшем A950b).
32.29 Наконец, заметим, что свободные от распределения
методы проверки гипотез и оценивания подвержены меньшему
влиянию выпадающих наблюдений, чем методы, основанные на
предположениях о распределении, так как они используют по-
порядковые, а не метрические свойства наблюдений, как мы ви-
видели в главе 31.
УПРАЖНЕНИЯ
32.1 Для функции плотности f(x), принимающей наибольшее значение
в медиане М, показать, что АОЭ критерия знаков по сравнению с f-крите-
рием Стьюдента, приведенная в C2.12), никогда не меньше чем 1/3 и это
значение достигается, когда f(x) прямоугольна.
(Ходжес и Леман, 1956.)
32.2 Показать, что если п независимых наблюдений получены из одного
и того же непрерывного распределения F(x), то любая симметричная функ-
функция от них стохастически независима с любой функцией от их порядка ран-
рангов. Как следствие этого показать, что комбинация критерия знаков и кри-
критерия ранговой корреляции может быть использована для проверки гипотезы,
что F(x) имеет медиану Мо, против альтернативы, что либо наблюдения
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
713
одинаково распределены с медианой #М0, либо медиана имеет тренд вверх
(или вниз) для каждого последующего наблюдения.
(Сэвидж, 1957.)
32.3 Получить результат C2.12) для АОЭ критерия знаков в проверке
симметрии из эффективности выборочной медианы по отношению к выбороч-
выборочному среднему при оценке центра симметричного распределения (см. 25.13).
32.4 Показать, пользуясь C2.23), что при построении доверительных ин-
интервалов для медианы непрерывного распределения с помощью симметрично
расположенных порядковых статистик лг(г) и -c(n_r+i) при п — 30 указанные
ниже значения г дают указанные коэффициенты доверия.
1 -а
1 -а
8
9
10
11
0,995
0,98
0,96
0,90
12
13
14
15
0,80
0,64
0,42
0,14
32.5 Показать, что при проверке гипотезы Но: 6 = 8о против альтерна-
альтернативы Hi: 6 — 81 > во по выборке из га наблюдений из распределения
dF = — ехр {— | х — 6 |} dx, — оо ^ х ^ оо,
Односторонний критерий знаков является асимптотически наиболее мощным.
(См. Леман, 1959.)
32.6 На основе примера 32.1 показать, что размах выборки объема
ft = 100 из непрерывного распределения имеет вероятность, превышающую
0,95, покрыть не меньше чем 95% исходной ф. р., но что если мы хотим
покрыть не меньше чем 99% с вероятностью 0,95, то п должно быть прибли-
приблизительно 475 или более.
32.7 На основе примера 32.1 показать, что если мы хотим найти сво-
свободный от распределения толерантный интервал для доли у непрерывной
ф. р. с вероятностью J5, близкой к 1, то малое увеличение Р с 6i до В2
—j;
32.8 Пусть F (х, 0)— любая непрерывная ф. p., F(a|8)=0, FF|9)=l
и значения Хо, \и .-., л,,1+1 определены соотношением Z7 (Я^ | 0О) = г.
га + 1
где 8о — истинное значение 0. Рассмотрим выборку из п наблюдений и разо-
разобьем выборочное пространство на (л + 1) " частей, имеющих вероятности Р,,
т = 1, 2, .. . , (п -¦)- 1) ", плоскостями Xi = Xj, i = 1, 2, ... , п; / == 0, 1, ...
..., п -f- 1- Показать, что если t — любая асимптотически несмещенная оцен-
оценка 8, а tr — ее значение в некоторой произвольно выбранной точке r-й из
(га + 1)" частей выборочного пространства, то при га-»- оо
Ш
(Блом, 1958.)
32.9 Показать, что если dFjdQ — непрерывная функция от х в области
изменения х, стремящаяся к нулю на ее краях, и интеграл М (— ) >0
714
ГЛАВА 32
дх
то асимптотическая нижняя граница
существует, где f — ф. п.
для дисперсии несмещенной оценки, даваемая в упражнении 32.8, переходит
вМГД A7.24).
32.10 Показать, что при оценке среднего значения равномерного распре-
распределения с известным размахом результат упражнения 32.8 дает для диспер-
дисперсии асимптотическую границу Bл2)-1 и она достигается на выборочной сре-
. 1 . . .
дине размаха * == "о" (¦*(]) "г х(п))ш
32.11 Показать, что если dFjdQ, рассматриваемая как функцяя от xt
.. I a log f Y
имеет счетное число разрывов и М I—щ-*~ 1 существует, то асимптотиче-
асимптотическая граница дисперсии из упражнения 32.8 имеет порядок п~2.
32.12 Показать, что для выборок объема п из логистического распреде-
распределения
йР-е-*Aх/{1+е-хУ. -оо<х<оо,
х. ф. г-й порядковой статистикн *(г) равна
Г {г + it) Г (п — г + 1 — it)
»'W- Г(г)Г(я-г+1)
j имеет z-распределеиие Фишера
так что, из A6.29), у U(r) — log ——j
A6.26) с vi = 2r, V2 = 2(« — r-\-\), а следовательно, семиинварианты
равны при г > — (л + 1)
г-1
s=n—r+l
г-1
г—1
== 9
х«в-ТГ-6
s=n—r+l
r-1
s=l
s=l
(Плэкетт, 1958; А. Бирибаум и Дад-
мэн A963) —таблица средних значе-
значений и стандартных отклонений для
п = 1AI0EJ0, 50, 100; Гупта и
Шах A965)—таблица первых четы-
четырех моментов с набором квантилей
для распределений всех порядковых
статистик, когда п = 1AI0, и кван-
квантилей только для крайних и цен-
центральных порядковых статистик, ког-
когда «=11AJ5. Тартер и Кларк
A965) дают формулы для коварна-
цнй логистических порядковых стати-
статистик, табулированных для п sg 10
Б. Шахом A966).)
32.13 Непрерывное распределение имеет ф. p. F(x), и \ определяется со-
ртнощением ^(|)=р. Показать, разлагая х в ряд Тейлора относительна
Некоторые применения порядковых статистик 716
значения М {л(г)}, что в выборках объема п, когда п -*• оо, при г = [пр]
(Плэкетт, 1958.)
32.14 Показать, что в выборках из нормальной совокупности, если оцени-
оценивать ц статистикой
мы получим асимптотически минимальную дисперсию, выбирая i = 0,2703n.
Аналогично, если мы оцениваем а статистикой
то мы получим минимальную дисперсию, когда i = 0,0692n.
(Бенсон, 1949; эти результаты были
впервые даиы К. Пирсоном в 1920 г.;
см. также П. Мур A956).)
32.15 Показать (см. C2.37), C2.38)), что влияние цензурирования ана-
аналогично приданию дискретной вероятности исходному распределению /(*|6)
в каждой области, где производится цензурирование. Получить отсюда, что,
например, при цензурировании типа I выше фиксированной точки *о асимп-
асимптотическая дисперсия МП-оценки для 9 равна
D6 — 1
где
fdx.
(См. Гальперин, 1952а.)
32.16 Показать, что для выборки из распределения
dF~Qe~ex, 0<*<co; 9>0,
содержащей п + т наблюдений, из которых п измерены от 0 до фиксирован-
фиксированного значения хо, а т остальных, имеющие значения, большие *о, подверг-
подвергнуты цензурированию типа I, МП-оценка для 9 равна
в =
так что асимптотическая дисперсия 9 является монотонно убывающей функ-
функцией ОТ Хо.
(Димер и Вотоу, 1955.)
•ы
716
ГЛАВА 32
НЕКОТОРЫЕ ПРИМЕНЕНИЯ ПОРЯДКОВЫХ СТАТИСТИК
717
32.17 В упражнении 32.16 показать, что если производится цензурирова-
цензурирование типа II с фиксированным числом т выборочных порядковых статистик,
цензурнрованных справа, то МП-оценкой для А, = 1/6 будет
л = —
и что ее асимптотическая дисперсия равна
DX ~ Л2/
¦ тх,,
(Эпстейн и Собел, 1953.)
32.18 В упражнении 32.17 показать, что выражение для дисперсии Я
является точным при любом п и что А. есть несмещенная линейная МД-оцен-
ка для X.
(Сархан, 1955.)
32.19 Показать, что если распределение Пуассона с параметром 9 уре-
урезано справа, то не существует несмещенной оценки для 6.
(Тейт и Гоэн, 1958.)
32.20 Показать, что если урезание удаляет значения ^а, то для пара-
параметра б распределения Пуассона имеется несмещениая оценка
где пг — наблюденная частота значения г. Показать, что
г=0
и что несмещенной оценкой этой дисперсии является
(а + 1)(а + 2)па+2
Dt
= -Ц,
(См. Субрахманиам A965), где по-
показано, что / имеет эффективность
^90% по сравнению с МП-оценкой,
когда 6^1. Если а = 0, то i есть
оценка Плэкетта П953) и имеет эф-
эффективность ^95% при всех 6; см.
также Дж. Рой и Митра A957).)
32.21 Для выборки х\ хп показать, что
п n—i < 2
где
г=1
zr = rxir+l)- 2jX{s), r = 1,2 n-U
s=l
Вывести отсюда, применяя преобразование Хельмерта примера 11.3 к п. по-
порядковым статистикам в форме
г/г = гг/{/-(г+1)}1/2, /- = 1, 2, .... я-1; уп=*п112х,
что в выборках из стандартного нормального распределения совместная
функция плотности zr равна
(г+1)] ,
Определяя функции
r (*) = J ехр| —i- Г(
r-i (О Л,
показать, что функция распределения Рп («) величины и = *п — Зё удовле-
удовлетворяет соотношению
(Нэйр, 1948; Мак Кей A935) полу-
получил эквивалентный результат.)
32.22 В упражнении 32.20 показать, что МП-оценка является корнем
уравнения
где х — выборочное среднее, и
Вывести отсюда, что
lim nDQ = 2, lim nDQ = 1
e-»o e-»oo
и что nDQ никогда не выходит за эти пределы.
(См. Коэн, 1960b.)
32.23 Показать, что МП-оценка в упражнении 32.22 может быть пред-
представлена в виде
-^ е х = х —
г=1
r\
dx
г-1
(Ирвин, 1959.)
32.24 В упражнении 32.20 показать, что оценка числа наблюдений, вклю-
включая отсутствующие значения, дается отношением B *)/2 * (* ~"')• где
суммирования производятся от 1 до оо. Показать отсюда, как можно оце-
оценивать 9 итеративно.
(Ирвин, 1959; метод принадлежит
Мак Кендрику.)
718
ГЛАВА .32
32.25 В случае цензурированиых типа II выборок из равномерного рас-
распределения dF — dx/u, \i т-о"<;.х<|[ц + 7ро", показать с помощью C2.38),
что крайние наблюденные значения х^Г1+ц, х^п_г^ образуют пару достаточ-
достаточных статистик для ц н а. Вывести отсюда, что несмещенными линейными
МД-оценкамн для этих параметров являются
(я - 2г2 - 1) *(,1+1) + (я - Чг1 - 1) х{п_Гг)
т ¦
2(я —г, —г2—1)
я+
к их дисперсии равны
Ds--
П + 1) (я - 2гг - 1) + (я - 2г, - 1) (гг + 1)}
4 (га + 1) (п + 2) (п — г, — г2 — 1)
«Г* (г, + тг + 2)
я + 2)(я-г,-г2—1)'
что является обобщением примера 19.10.
(Сархан и Гринберг, 1959.)
32.26 Ссылаясь иа 18.16, показать, что если исходное распределение
f(x\0) урезано в точках а снизу и Ь сверху, то обратная величина асимпто-
асимптотической дисперсии 6 равна
2\
и стремится к предыдущему определению A8.30) при а ->—<х>, Ъ -»- +оо.
Показать, что Д^оо, «> (9) — Яд, j, (9) не обязательно положительна, но что
всегда
t^, «, (в) - J f dx I ^ fi (9) > 0, так что
Va /
мы можем ожидать
некоторого уменьшения асимптотической дисперсии МП-оценки, если только
урезание не слишком сурово.
(См. Б. Рао, 1958а.)
Г Л А В А 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
33.1 Большая часть этой книги была посвящена анализу на-
наблюдений, представленных в виде числовых значений. Однако
в главе 31 для проверки гипотез были использованы также ран-
ранговые статистики. Последние могут быть получены как из чис-
числовых значений наблюдений, так и из рангов, если измерения
получить трудно или даже невозможно. В настоящей главе рас-
рассматриваются категоризованные данные, т. е. данные, представ-
представленные в виде частот наблюдений, попавших в некоторые кате-
категории или классы. Мы, правда, уже имели дело с задачами
группировки значений варианты в классы, например, в связи
с вычислением моментов. Однако эта группировка производи-
производилась лишь для удобства вычислений, и, во всяком случае, мы
в основном имели дело с одномерными задачами. Сейчас же
мы будем специально заниматься вопросами, касающимися ста-
статистических связей (зависимости или взаимозависимости) между
двумя или более «переменными», выраженными в категоризован-
ной форме. Мы поставили слово «переменные» в кавычки, по-
поскольку оно здесь понимается в самом общем смысле.
Категоризованная «переменная» может представлять собой
просто подходящую классификацию числовой переменной по
группам С такой ситуацией мы уже знакомы. С другой сто-
стороны такая переменная может вообще не выражаться в терми-
терминах какой-либо исходной числовой переменной. Например,
можно классифицировать людей (а) по их росту, (б) по цвету
волос (в) по любимым киноактерам. В этом случае (а) будет
категоризацией числовой переменной, чего нельзя сказать о (б)
и (в) В свою очередь, (б) отличается от (в) тем, что цвет волос
может быть в принципе представлен на шкале, упорядоченной в
соответствии с пигментацией (от светлого к темному), тогда
как в случае (в) это невозможно. Конечно, можно предложить
различные виды классификации киноактеров, однако, по суще-
существу киноактеры никак не упорядочены. Классификация, или
категоризация, (б) является упорядоченной, а (в) - неупорядо-
неупорядоченной В качестве крайнего случая неупорядоченной класси-
классификации можно рассмотреть классификацию, заключающуюся
718
ГЛАВА .32
32.25 В случае цензурированиых типа II выборок из равномерного рас-
распределения dF = dx/a, ц «-0"<**=?гИ'"Ь"9~0"' показать с помощью C2.38),
что крайние наблюденные значения *(ri+i)> х^п_г^ образуют пару достаточ-
достаточных статистик для ц и ст. Вывести отсюда, что несмещенными линейными
МД-одеикамн для этих параметров являются
т ¦¦
(я - 2г2 - 1) *(,i+1) + (я - 2г; - 1) x{n_
ri)
2(n-rl-r2-
п+ 1
n — r i — r2 — 1
к их дисперсии равны
Dm = —
+ 1) (Я - 2г2 - 1) + (я - 2л, - 1) (г, + 1)}
4(я+1)(я + 2)(я-г,-г2-1)
г (п + гг + 2)
что является обобщением примера 19.10.
(Сархан и Гринберг, 1959.)
32.26 Ссылаясь на 18.16, показать, что если исходное распределение
f(x\Q) урезано в точках а снизу и Ъ сверху, то обратная величина асимпто-
асимптотической дисперсии 9 равна
«..«- ¦[( /Kir А\А-\
и стремится к предыдущему определению A8.30) при а->—<х>, 6->4-°°.
Показать, что Rl-ao, оо(.®) — R"a 6 @) ие обязательно положительна, но что
всегда
-оо, оо (9) — I f dx I i?a ft F) > 0, так что мы можем ожидать
некоторого уменьшения асимптотической дисперсии МП-оценки, если только
урезание не слишком сурово.
(См. Б. Рао, 1958а.)
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
33.1 Большая часть этой книги была посвящена анализу на-
наблюдений, представленных в виде числовых значений. Однако
в главе 31 для проверки гипотез были использованы также ран-
ранговые статистики. Последние могут быть получены как из чис-
числовых значений наблюдений, так и из рангов, если измерения
получить трудно или даже невозможно. В настоящей главе рас-
рассматриваются категоризованные данные, т. е. данные, представ-
представленные в виде частот наблюдений, попавших в некоторые кате-
категории или классы. Мы, правда, уже имели дело с задачами
группировки значений варианты в классы, например, в связи
с вычислением моментов. Однако эта группировка производи-
производилась лишь для удобства вычислений, и, во всяком случае, мы
в основном имели дело с одномерными задачами. Сейчас же
мы будем специально заниматься вопросами, касающимися ста-
статистических связей (зависимости или взаимозависимости) между
двумя или более «переменными», выраженными в категоризован-
ной форме. Мы поставили слово «переменные» в кавычки, по-
поскольку оно здесь понимается в самом общем смысле.
Категоризованная «переменная» может представлять собой
просто подходящую классификацию числовой переменной по
группам С такой ситуацией мы уже знакомы. С другой сто-
стороны такая переменная может вообще не выражаться в терми-
терминах 'какой-либо исходной числовой переменной. Например,
можно классифицировать людей (а) по их росту, (б) по цвету
волос (в) по любимым киноактерам. В этом случае (а) будет
категоризацией числовой переменной, чего нельзя сказать о (б)
и (в) В свою очередь, (б) отличается от (в) тем, что цвет волос
может быть в принципе представлен на шкале, упорядоченной в
соответствии с пигментацией (от светлого к темному), тогда
как в случае (в) это невозможно. Конечно, можно предложить
различные виды классификации киноактеров, однако, по суще-
существу киноактеры никак не упорядочены. Классификация, или
категоризация, (б) является упорядоченной, а (в) - неупорядо-
неупорядоченной В качестве крайнего случая неупорядоченной класси-
классификации можно рассмотреть классификацию, заключающуюся
720
ГЛАВА 33
просто в различении нескольких выборок (которые мы хотим
сравнивать по некоторой другой переменной).
33.2 Следует иметь в виду, что иногда две изучаемые пере-
переменные могут быть одной и той же переменной, наблюдаемой
в двух разных ситуациях (например, до и после некоторого со-
события) или в двух связанных между собой выборках (напри-
(например, отец и сын, муж и жена и т. д.). В таких случаях мы будем
говорить об однородных категоризациях. Разумеется, однород-
однородные категоризации могут принадлежать к любому из типов (а),
(б) или (в) пункта 33.1.
Связь в таблицах 2X2
33.3 Исторически очень большая часть литературы по ка-
тегоризованным переменным была посвящена задачам проверки
наличия и измерения взаимозависимости между двумя такими
переменными. Мы полностью оставляем в стороне задачу оце-
оценивания взаимозависимости в случае, когда переменные — слу-
случайные величины, вид распределений которых известен "или
предполагается известным. В случае двумерного нормального
распределения эта задача была рассмотрена в 26.27—33. Дру-
Другими словами, мы ограничиваемся непараметрическими зада-
задачами.
33.4 Рассмотрим вначале генеральную совокупность, в ко-
которой классификация произведена на основании наличия или
отсутствия некоторого признака А. Простейшая задача о взаи-
взаимозависимости возникает, когда имеется два признака А и В.
Если а обозначает отсутствие А и Р — отсутствие В, то количе-
количества попаданий в четыре возможные подгруппы могут быть в
очевидных обозначениях представлены таблицей
C3.1)
Эта таблица 2X2 (иногда называемая четырехклеточной
таблицей) часто будет записываться в уже встречавшейся нам
форме B6.58):
А
не-Л
Сумма
В
(АВ)
(аВ)
(В)
не-В
(W
(аР)
(Р)
Сумма
(А)
(а)
п
a
с
b
d
a+ с b
a ¦
с -
C3.2)
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
721
Если между Л и В не существует никакой связи, т. е. если
обладание признаком А не связано с обладанием признаком В,
то доля индивидов с признаком А среди индивидов, обладаю-
обладающих признаком В, должна быть равна доле индивидов с при-
признаком А среди индивидов, не обладающих признаком В. Таким
образом, по определению признаки независимы*) в данной со-
совокупности из п наблюдений, если
а+ с b + d '
Из C3.3), кроме того, получаем
C3.3)
а
а
с
+
а
+
Ь
с
Ь
Ь
с
d
+
с
+
d
d
d
с
а
Ь
+ d
п
+ с
п
+ d
a+b c+d
C3.4)
Соотношение C3.3) может быть также переписано в виде
равенства
Если теперь для какой-либо таблицы выполнено неравенство
а> (e + »He + c>t C3.6)
означающее, что доля А среди В больше, чем среди не-5, то
А и В называются положительно связанными или просто свя-
связанными. В случае выполнения противоположного неравенства
а <
Ь)(а+с)
C3.7)
мы будем говорить, что А н В отрицательно связаны.
*) Возможно, для выражения соотношения C3.3) лучше было бы ис-
использовать вместо слова «независимый» какое-нибудь более нейтральное
слово, скажем «несвязанный», поскольку C3.3) ие влечет стохастической
независимости числовых переменных, порождающих таблицу 2X2 (хотя
само это соотношение следует из стохастической независимости). Это раз-
различие аналогично различию между отсутствием корреляции и независимостью
(см. 26.10). Однако использование другого- термина ггротивореяшю- бы ието-
рической традиции; кроме того, могла бы возникнуть путаница между по-
понятием «несвязанный» («unassociated») и понятием «отрицательно связан-
связанный» («dissociated»), которое определяется далее в 33.4. Мы поэтому будем
продолжать использовать термин «независимый» в применении к категорн-
зованным переменным, как указывающий на «отсутствие связи».
722 ГЛАВА 33
Пример 33.1
В следующей таблице (Гринвуд и Юл, 1915, Proc. Roy. Soc.
Medicine, 8, 113) приведены 818 случаев, классифицированных
по двум признакам: наличию прививки против холеры (при-
(признак Л) и отсутствию заболевания (признак В).
Привитые
Непривитые
Сумма
Незаболевшие
276
473
749
Заболевшие
3
66
69
Сумма
279
539
818
Если бы признаки были независимы, то частота класса АВ
(включающего имеющих прививку и незаболевших) была бы
= 225. Наблюденная частота больше этой ве-
равна
279 X 749
818
личины. Следовательно, вакцинация положительно связана с
отсутствием заболевания.
Меры связи
33.5 Если ставить вопрос о выражении степени связи двух
признаков одним коэффициентом, то естественно потребовать,
чтобы были известны границы изменения этого коэффициента
и чтобы он принимал среднее или нижнее значение интервала
изменения в случае, когда признаки не связаны («независимы»).
Изменением положения и масштаба любой такой коэффициент
Можно заставить изменяться в интервале (—1, +1), тогда слу-
случай независимости будет соответствовать нулевому значению
коэффициента. Это удобно тем, что свойства определяемого ко-
коэффициента оказываются согласованными со свойствами обыч-
обычного коэффициента корреляции (см. 26.9). В некоторых случаях,
однако, более предпочтительным является интервал @, 1); то-
тогда нулевое значение соответствует случаю независимости.
Другим желательным свойством меры связи было бы ее воз-
возрастание при переходе от отрицательной связи к положитель-
положительной. Рассмотрим разность между наблюденной частотой и
частотой, полученной в предположении «независимости», для
клетки (АВ):
П — п (а + Ь) (а + с) _ ad -
be
C3.8)
Для постоянных маргинальных частот, очевидно, разность ме-
между наблюденной и «независимой» частотами в любой клетке
КАТЕГОРИЗО ВАННЫЕ ДАННЫЕ
723
равна ±D, тем самым D однозначно определяет отклонение от
независимости. Поэтому естественно потребовать, чтобы наш
коэффициент возрастал с возрастанием D.
33.6 Следуя Юлу A900, 1912), мы определим коэффициент
связи Q равенством
0_ ad-bc _ nD
^ ad + bc ad + bc ' {ОЭ.У)
Этот коэффициент равен нулю, если признаки независимы, т. е.
если D = 0, и может принимать значение +1, только когда
be = 0, т. е. в случае полной связанности (либо все А одновре-
одновременно являются В, либо все В одновременно являются А),
а значение —1, только когда ad = 0, т. е. в случае полной отри-
отрицательной связанности. Кроме того, Q возрастает с возраста-
возрастанием D. Действительно, вводя обозначение е = be/(ad), полу-
получаем
откуда
de ~ A +еJ <'и-
Поскольку произвольная dD/de также отрицательна, то dQ/dD
положительна. Юл предложил, кроме того, так называемый ко-
коэффициент коллигации
I be \i/2
1 + ( Ьс \Щ
+ \ad)
Но нетрудно показать, что
Q==-
-(ЬсI'2
J I
C3.10)
(dd. 11)
так что мы, по-видимому, ничего не выиграем, используя Y.
Легко видеть, что коэффициент коллигации удовлетворяет всем
нашим условиям.
Третий коэффициент, к которому мы вернемся позднее в
33.17, определяется формулой
C3.12)
Очевидно, что он равен нулю, когда D = 0, и возрастает с воз-
возрастанием D. Если V2 = 1, то мы получаем
(а + Ъ) (а + с) (b + d) (с + d) = (ad - beJ,
что дает
Aabcd -f- a2 (be + bd + cd) + b2 (ac + ad + cd) -f-
+ c°- (ab + ad + bd) + d2(ac + ab + be) = 0.
724
ГЛАВА 33
Так как ни одна из частот не может быть отрицательной, то это
уравнение имеет решение только в случае, когда по крайней
мере два из чисел а, Ь, с, d равны нулю. Случай, когда равны
нулю частоты из одной строки или из одного столбца, является
вырожденным. Остается, следовательно, рассмотреть случай
а = 0, d = 0 и случай b = 0, с = 0. В первом из них V = —1,
во втором V = +1. (Эти два числа служат для V границами.)
33.7 Можно заметить, что, в то время как |V|=1 только
при обращении в нуль двух частот в таблице 2X2. \Q\ и \Y\
принимают значение единица при обращении в нуль одной ча-
частоты. Здесь возникает вопрос об определении полной связи.
Будем говорить, что связь между А я В полная, если все А яв-
являются одновременно В, несмотря на то что не все В являются
одновременно А. Если все немые люди глухи, то это означает,
что существует полная связь между немотой и глухотой, хотя
есть много глухих людей, которые не являются немыми*). Ко-
Коэффициент V равен 1 только тогда, когда все А являются одно-
одновременно В и все В являются одновременно А, — условие, ко-
которое можно, если угодно, рассматривать как определение аб-
абсолютной связи.
Следует обратить внимание на то, что статистическая связь
отличается от связи в обычном смысле. В повседневной речи мы
говорим, что А и В связаны, если они достаточно часто встре-
встречаются вместе, а в статистике они считаются связанными толь-
только в том случае, если А встречается относительно чаще среди В,
чем среди не-5. Если 90% курящих страдают плохим пищева-
пищеварением, то мы не можем сказать, что курение и плохое пище-
пищеварение связаны, пока не будет показано, что среди некурящих
страдают плохим пищеварением менее чем 90%.
Стандартные ошибки коэффициентов
33.8 Теперь мы будем рассматривать таблицу 2 X 2 как вы-
выборку и найдем в предположении независимости стандартные
ошибки коэффициентов, определенных в 33.6.
Для обозначения дифференциала мы воспользуемся симво-
символом д вместо d, поскольку последний уже использован нами.
Получаем
де db , дс да dd
е b ' с a d '
откуда
Ре
е2
Da
cov (и, у)
C3.13)
*) Если следовать этому соглашению, то, вообще говоря, следует отли-
отличать полную связь между А и В от полной связи между В н А.
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
725
где и и v принимают значения а, Ь, с, d. Мы воспользуемся ре-
результатами, относящимися к мультиномиальному распределе-
распределению, для которого
г. а.{п-а)
Подставляя эти значения в C3.13), находим
De=re2^-+-jr + y + -j). C3.14)
Отсюда легко получаем
C3.15)
C3.16)
Выборочная дисперсия V может быть найдена аналогичным об-
образом, только выкладки будут длиннее. Мы получим
3 .„ f
~1V \
(q + b - с - d)>
В этих формулах предполагается, как это обычно делается
в теории больших выборок, что в выборочных дисперсиях могут
быть использованы сами наблюдаемые частоты вместо их мате<
матических ожиданий.
Частная связь
33.9 Введенные выше коэффициенты характеризуют связь
двух признаков в статистическом смысле, но для того, чтобы
выяснить, обусловлена ли эта связь некоторой причинной зави-
зависимостью, часто бывает необходимо, так же как это делалось
для корреляции в 27.1, рассмотреть связь в некоторых подсово-
подсовокупностях. Предположим, например, что замечена положитель-*
ная связь между прививкой и отсутствием заболевания. Напра-
Напрашивается вывод, что прививка предохраняет от заболевания, но
это не обязательно так. Возможно, что прививки чаще делаются
людям, которые принадлежат к более богатым классам и жи-
живут в лучших гигиенических условиях и которые, тем самым,
труднее поддаются заболеванию или меньше подвержены риску.
Другими словами, связь между А и В может быть обусловлена
связью обоих этих признаков с третьим признаком С (благо-
(благосостоянием). Поэтому мы рассмотрим связь А и В при условии,
что С фиксировано,
726
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
727
Связи в подсовокупностях называются частными связями.
По аналогии с C3.6) Л и В называются положительно связан-
связанными в совокупности С, если
МДПч (АС) (ВС)
(АВС) > r^j ,
C3.18)
где, например, (АВС) — число членов, обладающих признаками
А, В и С. Мы можем также определить коэффициенты частной
связи, коллигации и т. п.; например, коэффициент частной свя-
связи определяется равенством
C3.19)
П — (ЛВС) (сфС) - (ЛЕС) (аВС)
которое получается из C3.9) добавлением С ко всем символам,
представляющим частоты.
Пример 33.2
Следующий пример, хотя и не характерный для современной
генетической теории, представляет исторический интерес, так
как показывает ранние попытки применения численных методов
к изучению наследственности.
В Natural Inheritance Гальтона собраны сведения о цвете
глаз родителей и детей для 78 семей, содержащих не менее ше-
шести братьев или сестер. Обозначив светлоглазого ребенка Л,
светлоглазого родителя В, а светлоглазого прародителя С, про-
просмотрим каждое поколение и проследим, имеет ли светлоглазый
ребенок светлоглазого родителя и светлоглазого прародителя.
Число таких детей обозначим (АВС). Проведем такой подсчет
также для других сочетаний признаков. Например, символ
(А ру) будет обозначать число светлоглазых детей, имеющих
несветлоглазых родителей и несветлоглазых прародителей. В ре-
результате для восьми возможных групп было получено:
(АВС) = 1928, (аВС) = 303,
(АВу) =596, (aBY)=225,
(ЛрС)=552, (арС)=395,
(Ару) =508, (ару) =501.
Сначала обсудим вопрос: существует ли какая-либо связь меж-
между родителями и ребенком в отношении цвета глаз? Рассмотрим
группу прародитель — родитель (связь между 5 и С) и группу
родитель — ребенок (связь между Л и 5).
Доля светлоглазых среди детей светлоглазых прародителей
равна (ВСI(С) = 2231/3178 = 70,2%. Доля светлоглазых среди
детей несветлоглазых прародителей равна (Ву)/(у) = 821/1830 =
= 44,9%. Аналогично (АВ)/(В) = 82,7% и (ЛВ)/(Р) = 54,2%.
Очевидно, что в этой совокупности наблюдений существует по-
положительная связь между родителями и ребенком в отноше-
отношении цвета глаз.
Теперь рассмотрим соотношение между цветом глаз праро-
прародителей и внуков. Доля светлоглазых среди внуков светлогла-
светлоглазых прародителей равна (ЛС)/(С) = 2480/3178 = 78,0%, а среди
внуков несветлоглазых прародителей (Ау) / (у) = 1104/1830 =
= 60,3%.
Таким образом, связь между цветом глаз прародителей и
внуков также положительна. Можно представить эти данные в
виде таблиц: .
Признак
В
Сумма
А
2524
1060
3584
a
528
896
1424
Сум-
Сумма
3052
1956
5008
Признак
В
Сумма
С
2231
947
3178
У
821
1009
1830
Сум-
Сумма
3052
1956
5008
Признак
А
а
Сумма
С
2480
698
3178
У
1104
726
1830
Сум-
Сумма
3584
1424
5008
Коэффициенты связи и коллигации Q и Y равны:
Прародители — родители .
Родители — дети
Прародители — внуки . . .
0,260
0,336
0,209
Теперь возникает вопрос: определяется ли сходство между
прародителем и внуком только сходством между прародителем
и родителем и между родителем и ребенком? Чтобы это иссле-
исследовать, мы рассмотрим связи между прародителем и внуком в
частных совокупностях «светлоглазые родители» и «несветло-
«несветлоглазые родители», т. е. связи между Л и С для Вир.
Если рассматривать только светлоглазых родителей, то доля
светлоглазых среди внуков светлоглазых прародителей равна
(АВС)/(ВС) = 1938/2231 =86,4%, тогда как доля светлоглазых
среди внуков несветлоглазых прародителей (ABy)/(By) = 596/821 =
= 72,6%.
Если же рассматривать только несветлоглазых родителей, то
доля светлоглазых среди внуков светлоглазых прародителей
равна (ЛрС)/(рС) = 552/947 = 58,3%, а доля светлоглазых среди
внуков несветлоглазых прародителей равна (Лру)/(Ру)==508/1009 =
= 50,3%.
В обоих случаях имеется положительная частная связь. Та-
Таким образом, связь между прародителями и внуками не может
быть полностью обусловлена связью между прародителями и
728
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
729
родителями и связью между родителями и детьми. Полученные
результаты были истолкованы как указывающие на. существо-
существование наследственной связи между прародителями и внуками,
помимо наследственной связи между родителями и детьми.
Приведем соответствующие таблицы:
Таблица 33.1
Светлоглазые родители
Прародители
Виуки
АВ
аВ
Сумма
ВС
1928
303
2231
By
596
225
821
Сумма
2524
428
3052
Несветлоглазые родители
Прародители
Виуки
лр
ар
Сумма
PC
552
395
947
By
508
501
1009
Сумма
1060
896
1956
Коэффициенты связи и коллигации равны:
Qacb = 0,412, <2лсе = 0,159,
Yac.b = 0,216, У лее = 0,080.
33.10 Если рассматривается р различных признаков, то чис-
число частных связей может быть очень большим даже для умерен-
умеренных ^значений р. Мы можем, например, выбрать два признака
( ? ) способами и рассматривать их связи во всех возможных
подсовокупностях, определяемых остальными р — 2 признака-
признаками; число таких подсовокупностей равно Зр~2. Таким образом,
мы получаем ( п ) * ^"~ связей.
В действительности одной из главных трудностей в обработ-
обработке данных, характеризующихся множественной дихотомией
(или, более того, множественной политомией), является нали-
наличие большого числа таблиц с результатами.
Полезно привести в связи с этим следующий результат.
Обобщая определение D в C3.8), мы получаем
(АС) (ВС)
(С)
= (АВ)-
(А) (В)
(С) (Y)
(В)(С) (АС)
п
(А) (В) (С)*
(С) (у)
'ВС-
C3.20)
Таким образом, если А я В независимы в обеих совокупностях
(С) и (y), то DAB.C = DAB.y = 0 и C3.20) дает
| п Т) Г)
лв~!ШуТ ас вс'
C3.21)
т. е. А и В не будут независимы во всей совокупности, за исклю-
исключением случая, когда С не зависит от А или от В или от обоих
признаков в этой совокупности. Сравните этот результат с
B9.67) для частных корреляций, где из pi?.3 = 0 вытекает, что
Pi2 = 0, только если pi3 = 0 или ргз = 0.
Полученный результат показывает, что при объединении
двух совокупностей (С) и {у) могут возникнуть кажущиеся
связи, а действительные связи при этом могут оказаться скры-
скрытыми. Если Л и С, В и С связаны, то из C3.20) получаем
DAB = jcyj^yDAcDBc + DAB.c-\-DAB.y, C3.22)
так что если А и В положительно связаны в (С) и отрицатель-
отрицательно связаны в (у), то DAB может обратиться в нуль; это озна-
означает, что Л и В предстанут независимыми во всей совокупности.
Пример 33.3
Рассмотрим случай, когда одни больные подвергались лече-
лечению, а другие — нет. Пусть А означает выздоровление, а 5 —
лечение, и пусть таблица 2X2 имеет частоты:
А
а
Сумма
В
100
50
150
Р
200
100
300
Сумма
300
150
450
Здесь (ЛВ)= 100 =
_тл_ (Л) (В)
, т. е. признаки независимы. От-
Отсюда можно сделать вывод, что лечение нисколько не способ-
способствует выздоровлению.
Обозначим лиц мужского пола С, а лиц женского пола у.
Пусть частоты среди мужчин и женщин представлены табли-
таблицами:
Мужчины Жеищииы
АС
аС
Сумма
ВС
80
40
120
PC
100
80
180
Сумма
180
120
300
^y
<xy
Сумма
by
20
10
30
pY
100
20
120
Сумма
120
30
150
730
ГЛАВА 33
В группе мужчин получаем
п
4MB.с
а в группе женщин
(80X80)-A00X40)
— (80X80)+ A00X40) —
.y = ~ 0,429.
Теперь видно, что лечение и выздоровление положительно свя-
связаны в группе мужчин и отрицательно связаны в группе жен-
женщин. Кажущаяся независимость в объединенной группе возни-
возникает из-за того, что обе эти связи взаимно уничтожаются.
Встречаются еще более парадоксальные случаи. Две таб-
таблицы, имеющие связи одного знака, могут при объединении
дать таблицу со связью противоположного знака. Читатель мо-
может попробовать самостоятельно построить такой пример.
Вероятностная интерпретация мер связи
33.11 Теория рассмотренных нами в 33.5—10 мер связи, на-
начавшая развиваться после 1900 г., старалась описать силу связи
одним исчерпывающим коэффициентом. Однако, как мы уже
видели в 26.10 на примере коэффициента корреляции, не всегда
бывает разумно предполагать, что связь может быть адекватно
описана одним коэффициентом. Гудмэн и Крускал A954, 1959),
подробно изложившие историю развития мер связи и составив-
составившие очень полную библиографию, привели веские аргументы в
пользу выбора меры, допускающей интерпретацию в терминах
решаемой задачи. Они рассматривают в основном политомиче-
ские таблицы, т. е. таблицы с двумя или более классами по стро-
строкам и по столбцам. Мы вернемся к этому позже, в 33.35 и 33.40,
когда будем рассматривать политомию. Сейчас, однако, отме-
отметим, что при некоторых условиях коэффициентам Q и Y, опре-
определенным для таблицы 2X2, можно дать операционную интер-
интерпретацию.
33.12 Рассмотрим случайный выбор двух индивидов из со-
совокупности п индивидов, классифицированных в соответствии
с таблицей C3.1), так что каждый индивид попадает в одну из
четырех категорий таблицы. Пусть для i = 1, 2
at
, если индивид обладает признаком Л,
в противном случае,
+ 1, если индивид обладает, признаком В,
О в противном случае,
ч
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
731
Определим вероятности
ns=P{aobo=l}, п
Тогда коэффициент
C3.23)
равен вероятности я8/A— я*) того, что из двух индивидов, вы-
выбранных из популяции, один принадлежит к категории АВ,
а другой — к категории ар, минус вероятность я<г/A —ж) того,
что один из индивидов принадлежит к категории Лр, а другой —
к аВ. Используя обозначения C3.2), легко показать, что
у = (ad — bc)l{ad + bc)=*Q
(Q было определено в C3.9)). Таким образом, Q имеет прямой
вероятностный смысл, указанный выше.
33.13 Аналогичным образом рассмотрим случайный выбор
одного индивида из популяции и предположим, что требуется
(не зная ничего априори) угадать, обладает индивид призна-
признаком А или не-Л. Мы получим наилучшую оценку, если предпо-
предположим, что индивид принадлежит к группе, имеющей большую
из частот (Л) и (а) в C3.1); вероятность того, что наша оценка
правильна, будет согласно C3.2) равна
рт. = —
, с + d).
Аналогично, если надо угадать, обладает индивид признаком В
или не-В, то мы выберем группу, имеющую большую из частот
E) и (р); вероятность успеха при этом будет равна
Р.,
, = — max (а + с, Ь + d).
Таким образом, если нам надо в половине случаев угадать ка-
категорию Л, а в другой половине случаев категорию В, то вероят-
вероятность успеха будет равна -^(Рт. + Р-т)> а вероятность ошибки
я0 = 1 — -?• (рт. + р.т). C3.24)
Допустим теперь, что мы знаем категорию В индивида и нам
надо угадать категорию Л. Наилучшая оценка получится, если
мы выберем наибольшую по численности категорию в соответ-
соответствующем столбце таблицы. Вероятность успеха будет тогда
max (а, с) max (b, d) .,
равна ^—- или —. ) . ¦ для соответствующих столбцов.
Поскольку эти столбцы будут появляться в случайной выборке
732
ГЛАВА 33
с вероятностями (аЦ:с)/п и (b + d)/n соответственно, то ве-
вероятность, правильного оценивания категории А при заданной
категории В будет равна
пА=—{max(a, c)+ max(b, d)}.
C3.25)
Аналогично, вероятность правильного оценивания категории В
при заданной категории А равна
= — {max(a,
тах(с, d)}.
C3.26)
Если, как и в рассмотренном выше случае отсутствия информа-
информации, нам надо угадывать категории попеременно, то вероятность
успеха будет равна среднему из C3.25) и C3.26), а вероятность
ошибки будет равна
я, = 1 —-^{max(a,b) + max(a, c) + max(b,d) + max(c, d)}. C3.27)
33.14 Теперь, используя C3.24) и C3.27), мы введем коэффи-
коэффициент
к= По~п' , C3.28)
По
характеризующий относительное уменьшение вероятности ошиб-
ошибки, вызванное знанием одной категории при предсказывании
другой. Очевидно, п0 ^ щ, так что
¦0<Я<1. C3.29)
Юл A912) считал, что значение «разумной» меры связи не
должно меняться, если каждую строку и каждый столбец таб-
таблицы 2X2 отдельно умножить на произвольные положитель-
положительные константы. Используя этот принцип инвариантности, умно-
умножим строки и столбцы таблицы C3.2) на следующие константы:
первая строка: (cd)mjn,
вторая строка: (аЬ)т(п,
[l2l
первый столбец: (bd)[l2ln,
(
)[l2
второй столбец: (ас) \п.
Отбрасывая общий для всех частот множитель, преобразуем
таблицу C3.2) к виду
C3.30)
(айГ-
(ЬсI*2
\т
(be)*'*
(adI'2
1
Ym
1
2
1
2
•т
-т
т
КАТЕГОРИЗО ВАННЫЕ ДАННЫЕ
733
После некоторых очевидных преобразований можно пока-
показать, что любой коэффициент связи, удовлетворяющий принципу
инвариантности, должен зависеть только от «перекрестного от-
отношения» ad/bc. Меры Q и Y из C3.9), C3.10) -удовлетворяют,
очевидно, этому условию, а мера V из C3.12) не удовлетворяет!
Эдварде A963) выводит это условие из других предположений.
Принцип инвариантности Юла позволяет нам связать К из
C3.28) с Y. Допустим пока, что выполняется неравенство ad >
> be. В соответствии с C3.28) мы получаем для преобразован-
преобразованной таблицы C3.30)
2(ad)l'2-±m
1/2
Но так как [ad)
m
(bc)lf2 = 1 т, то
(adI* - (beI»
(ad) + (beI'2 "
C3.31)
Выражение C3.31) совпадает с определением Y в C3.10), од-
однако приняв, что ad > be, мы произвольно выбрали знак Y. Та-
Таким образом, вообще
Я = |У|, C3.32)
что придает вероятностный смысл величине У.
Асимптотические критерии независимости в таблицах 2X2
33.15 Мы будем считать теперь, что наблюденные частоты
в таблице 2X2 получены в результате случайного выбора, и
предположим, что в генеральной совокупности истинные вероят-
вероятности, соответствующие частотам a, b, c,'d, равны рц, pi2, рг\,
р22 соответственно. Будем записывать эти вероятности в виде
таблицы:
C3.33)
где /?i. = рц + pi2 и т. д. Предполагается, что выборка произво-'
дится с возвращением (или, что то же самое, что генеральная
совокупность бесконечна).
Ри
Р21
P.I
Ра
Р22
Р.2
Pi.
Рг.
1
734
ГЛАВА 33
Таблицу C3.2) мы перепишем, используя симметричные обо-
обозначения:
«11
«.1
«12
«22
«•2
«1.
«2-
п
Распределение выборочных частот дается мультиномиальным
распределением с общим членом
/ «! пП|1пп«л'»«п'|я C3 341
L-1 1 i i Г Pi \Р\О Ро\\ГО9 \ОО,ОЧ)
Пц1 tl\2l 121! n22-
Чтобы оценить р^-, найдем максимум правдоподобия по рц
при ограничении 2р*/—!• Если X — множитель Лагранжа, то
мы получаем
~— Л === О, ИЛИ /Zm === APj[,
Рм
и аналогично для трех других вероятностей. Суммируя все урав-
уравнения, находим К = п. Оценки рц имеют вид
C3.35)
Это как раз то, чего следовало ожидать. Полученные оценки не-
смещены.
Известно, и мы этим уже пользовались в 33.8, что дисперсии
и ковариации пц имеют вид
Dn{, = npit{l —
cov
, nkl) = — np(jpkt.
Это точные результаты. Мы также знаем (см. пример 15.3), что
совместное распределение пц стремится к многомерному нор-
нормальному распределению с такими дисперсиями и ковариа-
циями. Теперь мы можем также отметить, что асимптотическая
многомерная нормальность следует из того факта, что получен-
полученные оценки являются МП-оценками и что они удовлетворяют
условиям пункта 18.26.
33.16 Предположим теперь, что мы хотим проверить в таб-
таблице 2X2 гипотезу независимости
0: Р\1р22 == Р\2р2\' \OO.dO)
Эта гипотеза, разумеется, является сложной, с одним ограни-
ограничением и двумя степенями свободы. Будем считать рп и pi2 не-
¦ зависимыми переменными и выразим через них ргги р2г:
- - Рц A — Рп — Pl2) _ Pl2 A — Pll — Рп) /ОО О7\
РП + Р12 РМ + Р12
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
735
Если пренебречь константами, то логарифм функции правдопо-
правдоподобия, следовательно, равен
log L = Пп log рп + П12 log р12 + П21 log p-2i + П22 log /?22 ==
= «и log Рп + nl2 log р12 + ¦
+ «21 {lOg ри + lOg A — рп - р12) — log (pn + р12)} +
+ «22{lOgp12+lOg(l — Рп—р12)— lOg (pn + Pl2)}==
= «.1 log Ри + п.2 logp12 + n2. {log(l - р,.) - logp,.}.
Чтобы оценить параметры, напишем уравнения
d
д log L
312
п.2
Pi2
га2.
C3.39)
¦i.V-Pi.)'
откуда находим МП-оценки, соответствующие гипотезе Но,
р»=-г^Г' р»=-т-Г' C3-4°)
Соотношения C3.37) приводят к аналогичным выражениям для
P2i и р22- Таким образом, вероятности оцениваются через про-
произведения соответствующих маргинальных относительных частот.
Это оправдывает определения связи путем сравнения с такими
произведениями в 33.4—5.
Подставляя найденные МП-оценки в ФП, получаем
тогда как безусловный максимум ФП достигается при подста-
подстановке оценок C3.35), что дает
L (nif | рG) ее п^п^чг^п'^/п'1. C3.42)
Соотношения C3.41), C3.42) приводят к статистике критерия
отношения правдоподобия
Вводя обозначения np.f = ni/i-.jn =
C3.43) в виде
• C3-43)
можно переписать
736
ГЛАВА 33
33.17 Из общего результата пункта 24.7 следует, что
—2 log/ имеет асимптотически распределение %2 с одной сте-
степенью свободы. Это легко показать следующим образом. Обо-
Обозначая Da = пц — ец (см. C3.8)) и разлагая —2 log / до чле-
членов порядка ?>2( = D\i для всех i, j), получим
2 еЪ
C3.45) можно переписать в виде
(пц -
i !
еИ
= X2.
C3.45)
C3.46)
Таким образом, мы для одного частного случая доказали асим-
асимптотическую эквивалентность критерия отношения правдоподо-
правдоподобия и критерия согласия X2, о которой мы говорили в 30.5. Ра-
Равенство C3.46) можно было бы получить сразу, замечая, что
сложной гипотезе Яо соответствует набор гипотетических ча-
частот ец и что проверка независимости равнозначна проверке со-
согласия наблюдений с этими гипотетическими частотами. Как
и в 30.10, число степеней свободы равно числу классов D) без
единицы минус число оцениваемых параметров B), т. е. еди-
единице.
Легко показать, что статистика X2, определенная в C3.46),
тождественно равна nV2, где V — мера связи, определенная в
C3.12). Мы предоставляем читателю проверить это.
Точный критерий независимости: модели для таблицы 2X2
33.18 Критерии независимости, полученные в 33.15—17, яв-
являются асимптотическими относительно объема выборки п.
Прежде чем строить точные критерии независимости для таб-
таблицы 2X2, мы должны обратить внимание на некоторые осо-
особенности, впервые замеченные Барнардом A947а, Ь) и Пирсо-
Пирсоном A947).
Напомним, что математические ожидания в клетках таб-
таблицы 2X2 при гипотезе независимости двух категоризованных
переменных равны
i, У=1, 2,
C3.47)
т. е. зависят только от четырех маргинальных частот и от объема
выборки п. Поскольку сейчас мы хотим получить точные резуль-
результаты, мы должны ясно представлять, каким путем была обра-
образована таблица и как, в частности, были получены маргиналь-
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
737
ные частоты. Даже при фиксированном п мы имеем три возмож-
возможности в отношении маргинальных частот. Оба набора марги-
маргинальных частот могут быть случайными величинами, как это
имеет место в случае, когда выборка объема п берется из дву-
двумерного распределения и затем делится, образуя двойную дихо-
дихотомию. В другом случае один набор, маргинальных частот мо-
может быть фиксирован, поскольку такая классификация состоит
просто в различении двух выборок (скажем, мужчины и жен-
женщины), которые нужно сравнивать по другим признакам (ска-
(скажем, число- заболевших и не заболевших какой-то болезнью).
Если объемы обеих выборок определены заранее (например,
если мы хотим исследовать заданное число мужчин и женщин),
то мы получим один .фиксированный набор маргинальных ча-
частот и один переменный. Такое сравнение двух (или более) вы-
выборок по некоторому признаку часто называется проверкой од-
однородности двух (или k) выборок.
Наконец, возможен третий случай, когда оба набора марги-
маргинальных частот фиксированы заранее. На практике он встре-
встречается гораздо реже, чем два других. Читатель может прежде,
чем продолжить чтение, попытаться самостоятельно придумать
такую ситуацию. Классический пример (см. Фишер A935а))
относится к психофизическому эксперименту: субъект (чело-
(человек) подвергается п испытаниям на различение двух объектов
(например, масла и маргарина по вкусу). Каждый объект пред-
предлагается некоторое число раз (не обязательно одинаковое для
обоих объектов), и субъекту сообщаются эти числа. Разумный
субъект будет в этом случае стараться, чтобы маргинальные ча-
частоты его утверждений («масло» или «маргарин») совпали с
действительными частотами.
Пример 33.4
Чтобы лучше понять материал пункта 33.18, рассмотрим не-
несколько примеров. Таблица приведенного выше примера 33.1, ко-
конечно, не относится к последнему типу с двумя фиксированными
наборами маргинальных частот, однако без дополнительной ин-
информации непонятно, к какому из двух других типов она при-
принадлежит. Возможно, были исследованы 818 человек и распреде-
распределены в соответствии с таблицей 2 X 2. С другой стороны, воз-
возможно, что были проверены отдельно 279 сделавших прививку
и 539 не сделавших прививку и классифицированы на «заболев-
«заболевших» и «незаболевших». Можно также разделить две выборки,
включающие 69 заболевших и 749 незаболевших, на «сделавших
прививку» и «не сделавших прививку». Таким образом, суще-
существует три пути построения такой таблицы: один — двойная ди-
дихотомия и два других — соответствующие проверки однородно-
24 М. Кендалл, А. Стьюарт
738
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
739
сти. Для того чтобы сделать выбор между этими тремя вариан-
вариантами, необходимо знать, как в действительности проводились
наблюдения.
Для иллюстрации последнего типа, описанного в 33.18, мы
приводим искусственно составленную таблицу, относящуюся к
эксперименту по различению масла и маргарина.
Идентификация, сде-
сделанная субъектом
Масло Маргарин
Объект, представ- ( Масло 4
ленный в действи- <
тельности I Маргарин 11
11
14
15
25
15
25
40
¦ 33.19 У нас нет никаких оснований ожидать, что один и тот
же метод анализа может подойти для трех различных ситуаций,
описанных в 33.18 (хотя ниже, в 33.24, мы увидим, что если
речь идет о критерии независимости, то критерий для случая I
будет оптимальным в двух других случаях). Дадим теперь ве-
вероятностную формулировку этих трех ситуаций. Начнем с са-
самого простого случая, когда обе маргинальные частоты зафик-
зафиксированы.
Случай I. Обе маргинальные частоты фиксированы. В случае
выполнения гипотезы
я°: ^=Е?: C3-48)
вероятность осуществления таблицы
«II
П21
«.I
«12
«22
«.2
«I.
«2.
Я
C3.49)
при фиксированных маргинальных частотах равна
}/P{|}
П{\ПЛ\П2.\П.2\
nl nn\ nl2\ n2l\ n22l
• ;
Формула C3.50) симметрична относительно частот и относи-
относительно маргинальных частот, как это и должно быть вследствие
симметричности ситуации. Поскольку маргинальные частоты
фиксированы, то только одна из частот n.ij может изменяться
независимо. Не ограничивая общности, можно предположить,
что это пп. Тогда C3.50) можно рассматривать как распреде-
распределение Пц, которое оказывается гипергеометрическим (см. 5.18).
Действительно, C3.50) совпадает с гипергеометрической вероят-
вероятностью E.48), если произвести подстановки
N = n, п = п\., Np = n.u Nq = n.2, N — n = n2-,
/ = пц, n — \ = nn, Np — j = n2l, Nq — (n — j) = П22.
Среднее и дисперсия Пц согласно E.53) и E.55) равны
Величина пп распределена асимптотически нормально со сред-
средним и дисперсией C3.51). Таким образом, случайная величина
(п1.п.1п2.п.2 Y>
пЦп-1) )
C3.52)
асимптотически имеет стандартное нормальное распределение.
Заменяя (п — 1) на п, мы видим, что величина / эквивалентна
п'ьу (V определено в C3.12)), следовательно, величина t2 экви-
эквивалентна статистике X2, определенной в C3.46). Это свидетель-
свидетельствует о том, что общий асимптотический критерий пункта 33.17
применим в данной ситуации.
33.20 С помощью C3.50) мы можем вычислить точную ве-
вероятность любого заданного набора частот. Суммируя вероят-
вероятности, соответствующие «хвосту» распределения пц, можно по-
построить критическую область для точного критерия, впервые
предложенного Фишером. Эта процедура проиллюстрирована
на следующем примере.
Пример 33.5 (Данные из работы Иэйтса A934), принадлежащие
М. Хеллмэну).
В следующей таблице классифицированы 42 ребенка в зави-
зависимости от состояния их зубов и способа кормления.
Кормление грудью
Искусственное
кормление
Сумма
Нормальные
зубы
4
1
5
Зубы
с неправиль-
неправильным прикусом
16
21
37
Сумма
20
22
42
24*
740
ГЛАВА 33
Очевидно, здесь не могут быть зафиксированы обе маргиналь-
маргинальные частоты, однако в данный момент мы используем эти дан-
данные в иллюстративных целях, а позднее, в 33.24, увидим, что это
вполне оправдано.
Мы выберем в качестве Пц частоту с наименьшим диапазо-
диапазоном изменения, т. е. одну из двух частот, которым соответствуют
наименьшие маргинальные частоты. В нашем случае такой
(фиксированной) маргинальной частотой будет п.\ = 5, которой
соответствует изменение «ц от 0 до 5.
Вероятность того, что Щ\ = 0, согласно C3.50) равна
51371201221
42! 20! 01 5! 17!
Вероятность того, что пц = 1, 2, ..., легче всего получить,
умножая это значение соответственно на
5 X 20 4 X 19 3 X 18
1X18 ' 2X19 ' 3X20
И Т. Д.
Эти вероятности равны:
Число детей,
вскормленных
грудью н имеющих
нормальные
зубы (яп)
0
1
2
3
4
5
Вероятность
0,0310
0,1710
0,3440
0,3096
0,1253
0,0182
1,0001
Накопленная
вероятность
1,0001
0,9691
0,7971
0,4531
0,1435
0,0182
Для проверки гипотезы независимости против альтернативы,
что нормальность зубов положительно связана с грудным корм-
кормлением, мы будем использовать критическую область, состоя-
состоящую из больших значений пп (число детей с нормальными зу-
зубами, вскормленных грудью). У нас есть выбор между двумя
«разумными» значениями размера точного критерия. Для а =
= 0,0182 только Пц = 5 приводит к отклонению гипотезы; для
а = 0,1435 к отклонению гипотезы приводит пц = 4 или 5. Ве-
Вероятно, большинство статистиков использовало бы первую кри-
критическую область, что в нашем случае (пц = 4) соответствовало
бы принятию гипотезы о независимости.
33.21 Для точного критерия, основанного на C3.50), имеются таблицы.
Финни A948) приводит значения «2i (у него Ь), необходимые для отклоне-
отклонения гипотезы о независимости для значений «i., Пг. (или я.ь я.г) и Пц, ие
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
741
превосходящих 15, и для односторонних критериев размера а ^ 0,05, 0,025,
0,01, 0,005 с указанием точного размера в каждом случае. Таблица Финни
перепечатана в Biometrika Tables. Лача A953) продолжил таблицу Фннни
до «1-, «г- = 20*). Этн таблицы продолжены до /Ji., я2. = 40 Финни н др.
A963). Армсен A955) построил таблицы для односторонних и двусторонних
критериев размера а =^ 0,05, 0,01 и п ^ 50. Бросс н Кастен A957) построили
графики для односторонних критериев размера а = 0,05, 0,025, 0,01, 0,005
(илн двусторонних критериев размера 2а) с минимальной маргинальной ча-
частотой (скажем, n.i) ^50, основанные на аппроксимации гнпергеометриче-
(fl \ / ft \ ^'' / И \ ^21
• ) ( ' 1 ( 1 • Крн-
«п /\« / \« /
тические значения, даваемые графиками, являются консервативными, если
n.ijn не очень мало.
Случай II. Одна маргинальная частота фиксирована; одно-
однородность.
33.22 Мы будем записывать гипотезу (являющуюся теперь
гипотезой о равенстве вероятностей в двух совокупностях), как
и прежде, в форме C3.48), но теперь щ.-'ъ- Пг. зафиксированы,
а Пц, п2] — независимые случайные величины, так что частота
пл (и, следовательно, ее дополнение п.2)—случайная величина.
Мы проверяем гипотезу C3.48), рассматривая соответствующую
разность отношений
«1. «2-
При гипотезе эта разность асимптотически нормальна со
средним 0 и дисперсией
и ^.
Р2-
где р — гипотетическое общее значение -^-
Pi-
Несмещенной оценкой для^ рA—р) служит объединенная
оценка
« (п.Л [п.2\
п—1\п1\пГ
так что оценка дисперсии и равна
п(п— 1) \«ь п2
Таким образом, случайная величина
t _ а ~ М (в) __
(DuI/2
(п—
«21
«2-
{ (П — 1)«!.Я2.
C3.54)
*) Несколько расширенные по сравнению с указанными таблицы имеют-
имеются в книге Таблицы математической статистики. (Прим. ред.)
742
ГЛАВА 33
П
КАТЕГОРИЗО ВАННЫЕ ДАННЫЕ
743
распределена асимптотически нормально с нулевым средним
и единичной дисперсией. Мы видим, что C3.54) совпадает
с C3.52). Следовательно, асимптотические критерии совпадают
в этих двух случаях.
Однако при малых выборках критерии различны. Когда спра-
справедлива гипотеза, мы имеем теперь
\Р,
\Р,
а это есть определенная в C3.50) вероятность Pi, умноженная
на биномиальный коэффициент
*¦' A - р)п-К
Очевидно, что это должно быть так, потому что вероятности, со-
соответствующие фиксированной частоте п.у, умножаются теперь
на вероятность самой п.\. В отличие от C3.50), вероятность
C3.55) зависит от неизвестного параметра р и поэтому не мо-
может быть вычислена.
Случай III. Маргинальные частоты не фиксированы; двойная
дихотомия.
33.23 Теперь рассмотрим случай, когда п фиксировано, но
ни одна из маргинальных частот не фиксирована. Гипотеза те-
теперь состоит в двумерной независимости. Асимптотический кри-
критерий уже получен нами в 33.15—17. Точная вероятность появ-
появления частоты Пп теперь равна
рш = р{пп |щ., п.ь п}Р{/г.! \р, п}Р{щ. \р', п}, C3.56)
где р' — гипотетическое общее значение р\\1р.\ и р\ч]р-г- Произве-
Произведение первых двух сомножителей, стоящих в правой части
C3.56), эквивалентно C3.55), а третий сомножитель равен
Р{п,. \р', п} =
C3.57)
Выражение C3.56) зависит, таким образом, от неизвестных па-
параметров (р, р'), и его нельзя вычислить.
Оптимальный критерий для таблиц 2X2
33.24 Мы можем теперь доказать один замечательный ре-
результат (впервые полученный Точером A950)), утверждающий,
что точный критерий, основанный на вероятностях C3.50) слу-
случая . I, в действительности является РНМ несмещенным-крите-
несмещенным-критерием для случаев II и III. Доказывается он очень просто. Рас-
пределение пп C3.55) для случая II, соответствующее гипотезе
#о, содержит единственный мешающий параметр — гипотетиче-
гипотетическое общее значение pnlpu и pzilpi- Легка Проверить, что когда
гипотеза Но выполнена, объединенная оценка 6 = ——.—- = -^1
п\. ~г п2. п
достаточна для р. В силу 23.10 она полна и ее распределение
имеет линеаризованную экспоненциальную форму B3.17). Та-
Таким образом, согласно 23.30—31 односторонние и двусторонние
РНМН критерии для Но должны быть основаны на условном
распределении пц при фиксированном п.и т. е. (поскольку п\.
уже фиксировано) на C3.50). См. упражнение 23.22.
Аналогично, в случае III имеется два мешающих параметра
(р, р') в C3.56), для которых пара статистик (—, -~) сов-
совместно достаточна и полна при гипотезе Но. Таким образом,
снова в силу 23.10 и 23.30—31 РНМН критерий для #о должен
быть основан на условном распределении лц при заданных
(п.и Пи), т. е. на C3.50).
Итак, условное распределение случая I (все маргинальные
частоты фиксированы) дает РНМН критерии как для случая
однородности, так и для случая двойной дихотомии.
Следует заметить, что эти результаты выполняются строго,
только если допускается рандомизация для получения критериев
любого размера а; дискретность распределений в таблице 2X2
ограничивает выбор размеров критерия (см. пример 33.5, а так-
также 20.22). Если, однако, частоты не очень малы, то обычно для
условного точного критерия, основанного на C3.50), имеется
по крайней мере одно «разумное» значение а, так что трудность
является скорее теоретической, нежели практической.
33.25 Хотя один и тот же критерий подходит для всех трех
ситуаций, он может иметь разные функции мощности, посколь-
поскольку альтернативы для независимости, очевидно, различны в этих
трех ситуациях. Для случая II (однородность) Беннетт и Сюй
A960), пользуясь таблицами Финни и Лача (см. 33.21), по-
построили графики функции мощности. Патнайк A948) получил
приближения, пригодные для больших объемов выборок; см.
также Хеннан и Харкнесс A963). Пирсон и Меррингтон A948)
осуществили выборочные эксперименты е целью получения
функции мощности точного и асимптотического критериев в слу-
случае I (все маргинальные частоты фиксированы). Харкнесс и
Катц A964) провели сравнение функций мощности для трех
случаев; см. также Харкнесс A965).
33.26 Берджер A961) построил асимптотические %2-крите-
рии для проверки равенства мер связи в двух таблицах 2X2.
Им рассмотрены три меры связи: (а) отношение pnlpw (см.
C3.33)); (б) коэффициент Q, определенный в C3.9); (в) мера
744
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
745
связи, эквивалентная коэффициенту V, определенному в C3.12),
Гудмэн A936а) дает обобщение на случай k таблиц 2X2, а
также A964а) приводит другие методы, основанные на пере-
перекрестном отношении ad/bc. См. также 33.62 ниже.
Поправка на непрерывность в асимптотическом х2-критерии
33.27 Для улучшения непрерывной аппроксимации C3.52)
точного дискретного распределения C3.50) в случае I Иэйтс
A934) предложил поправку на непрерывность, аналогичную
упомянутой в 31.80. Эта поправка (при использовании C3.12))
состоит в том, что в выражении
X2^nV2 = n(ad~Jfy[n sr C3.58)
(a -f- b) (b + с) (b + d) \c + d) x
I
член (ad — be) в числителе заменяется на I ad — bc\—g-n, что
сводится (если ad > be) к увеличению b и с на 1/2 и уменьше-
уменьшению а и d на 1/2. Таким образом, статистика критерия с поправ-
поправкой имеет вид
п\ I ad — be | —к-п
V2 I ^ -
Л° — (a + b) (a + c) (b + d) (c + d) *
Эффект от поправки рассматривается в примере 33.6.
C3.59)
Пример 33.6
В примере 33.5 мы нашли, что вероятность неравенства
«и ^ 4 равна 0,1435. Сравним этот результат с результатом,
полученным с помощью асимптотического х2-РаспРеДеления с
одной степенью свободы. Пользуясь таблицей примера 33.5,
получаем следующее значение для C3.58):
Х 42
Л — 42 20-22- 5-37
Из таблицы 46 Приложения находим Р {X2 ^ 2,386} = 0,122
(более точное значение равно 0,1224). Мы нашли, однако, ве-
вероятность, связанную с двусторонним критерием, поскольку X2
есть квадрат нормального отклонения. Для сравнения с точным
критерием надо разделить 0,1224 на 2, что дает значение 0,0612,
являющееся, конечно, довольно плохим приближением для точ-
точного значения 0,1435.
Если же мы воспользуемся поправкой на непрерывность, то
согласно формуле C3.59) получим следующее подправленное
значение Хс-
42-F8-21J
20-22-5-37 ~~
Соответствующая вероятность согласно таблице ^-распределе-
^-распределения равна 0,2854. Разделив 0,2854 на 2, мы получим значение
0,1427, являющееся отличным приближением для точного зна-
значения 0,1435.
Кокрэн A954) считает, что величина X2 с поправкой на непрерывность
служит адекватным приближением для точного критерия при n^s 40, а если
ни одна из гипотетических частот не меньше 5, то прн п ^ 20.
В случаях II и III поправка на непрерывность не улучшает приближе-
приближения C3.52) для C3.55) и C3.56) (см. Плэкетт A964)).
Лэнкастер A949а) изучил эффект от поправок на непрерывность в слу-
случаях, когда складывается несколько значений X2, соответствующих разным
таблицам. В такой ситуации не следует применять поправку на непрерыв-
непрерывность к каждому значению X2, поскольку это может привести к значитель-
значительному смещению. Лэнкастер показывает, что если исходные таблицы не мо-
могут быть объединены, то лучше всего сложить значения Хг, вычисленные без
поправок на непрерывность. Аналогичные результаты для односторонних
критериев получены Иэйтсом A955).
Таблицы г X с: измерение связи
33.28 Мы рассмотрим теперь более общую ситуацию, когда
две переменные классифицированы на две или более категорий.
Обобщая введенные обозначения, мы будем записывать таблицу
г X с в виде
C3.60)
В более ранней литературе таблицы C3.60) называются
таблицами сопряженности. Общие рассмотрения пунктов 33.1—2
относятся также и к этой более общей категоризации двух пере-
переменных.
Задача измерения связи в такой таблице представляет
серьезные трудности, связанные с существом задачи. В главе 26
мы пришли к выводу, что в случае числовых вариант может
оказаться невозможным описать сложную схему взаимозависи-
взаимозависимости одним коэффициентом. Это справедливо и в данной си-
ситуации. Наиболее успешные шаги в этом направлении были
связаны с более или менее явными предположениями относи-
относительно природы распределения исходных вариант.
33.29 Если бы две переменные в C3.60) были независимы,
то частота в клетке на пересечении i-й строки и /-го столбца
«11
«21 ¦
"rl
«•1
«12 •
«22 '
nr2 ¦
П.2 ¦ •
¦ • «I,
' П2с
• nrc
• n-c
«1-
«2-
«r-
Я
746
ГЛАВА 33
была бы равна ni.ti.jfn. Следовательно, отклонение от независи-
независимости в этой клетке таблицы измеряется величиной
LJ{j==tlij — ni.n.j/n, \oo.Ol)
являющейся обобщением C3.8). Мы можем определить коэф-
коэффициент связи в терминах так называемой квадратичной со-
сопряженности ljD2itl(n..n ) и записать обобщение C3.46) в виде
(зз.62)
Если выполнена гипотеза о независимости, то величина X2
имеет асимптотически х2-распределение, что легко понять с точ-
точки зрения проверки согласия, как в 33.17. Число степеней сво-
свободы в данном случае равно числу классов минус 1, минус чис-
число параметров, т. е.
33.30 Сама величина X2 не очень подходит в качестве меры
связи, поскольку верхняя граница X2 стремится к бесконечности
при возрастании п. Следуя Карлу Пирсону A904), мы опреде-
определим коэффициент
C3.63)
который будем называть коэффициентом сопряженности Пир-
Пирсона. Основанием для его введения служит тот факт, что если
двумерное нормальное распределение с параметром корреляции
р представлено в виде таблицы сопряженности, то Р2-*-р2 при
увеличении числа категорий в таблице. Однако при конечных
г и с коэффициент Р имеет недостатки. Он обращается в нуль,
как это и должно быть, при полной независимости, и наоборот,
если Р = 0, то X2 = 0, так что каждое отклонение Dtj равно
нулю. Очевидно, что 0 ^ Р ^ 1. Однако Р не имеет одного и
того же для всех случаев верхнего предела, т. е. не удовлетво-
удовлетворяет одному из требований, сформулированных в 33.5. Рассмот-
Рассмотрим, например, «квадратную» таблицу с г=с, в которой от*
личны от нуля только элементы главной диагонали. Тогда щ.=
5= n.i »= пц для всех i, и поэтому согласно C3.62)
так что в соответствии с C3.63)
р —
г _ 1 \ 1/2
КАТЕГОРИЗОВАННЫЁ ДАННЫЕ
747
Таким образом, даже в случае полной связи (см. 33.7) значе-
значение Р (достигающее в этом случае максимума) зависит от чис*
ла строк и столбцов в таблице.
Чтобы исправить указанный недостаток, Чупров предложил
другую функцию от X2:
- C3-64)
которая, когда г = с, достигает значения +1 в случае полной
связи, как это было выше, однако не обладает этим свойством,
когда г ф с. Действительно, легко показать точно так же, как
и выше, что максимальное достижимое значение X2 равно
nmin(r—\,с—1) (оно достигается, когда все частоты лежат
на самой длинной диагонали таблицы), и, таким образом, дости-
достижимая верхняя граница для Р равна
Г min(r — 1, с — 1) у/2
t l+min(r-l, с-1) / '
l+min
тогда как для Т она равна
( min(r — 1, с —1) 11/2 Г min(r— 1, с— 1) }Ш
1Л(г - 1) (с - 1)]1/2 / ~{ max (г- 1, с-1) )
Следуя Крамеру A946), определим коэффициент
— [
n(r-l, с-I)
который может всегда достигать +1. Очевидно, С=Т для
квадратной таблицы и С>Т в остальных случаях, хотя раз-
разница не очень велика, если г и с отличаются не очень сильно.
Заметим также, что
Р2_ [(*• - О (с - 1)]1/а
Т2 ~~
так что при увеличении п следует ожидать, что Р будет больше
Г, если выполнена гипотеза независимости (при которой мате-
математическое ожидание X2 равно (г— 1) (с— 1)). Рзаность Р—Т
часто бывает значительной. См. упражнение 33.4.
Пример 33.7
В следующей таблице (из Гилби (W. H. Gilby), Biometrlka
8, 94) дано распределение 1725 школьников, классифицирован-
классифицированных A) в соответствии с качеством их одежды и B) в соответ-
соответствии с их умственными способностями. Во втором случае были
использованы следующие градации: А — умственно отсталый,
В — медлительный и тупой, С — тупой, D — медлительный, но
умный, Е — достаточно умный, F — явн© способный, G — очень
способный.
748
ГЛАВА 33
Таблица 33.2
^-^ Способности
Как одевается^"^^
Очень хорошо ,
Хорошо
Сносно
Очень плохо
Сумма
А н В
33
41
39
17
130
С
48
100
58
13
219
D
113
202
70
22
407
Е
209
255
61
10
535
F
194
138
33
10
375
G
39
15
4
1
59
Сумма
636
751
265
73
1725
Нас интересует связь между одеждой и способностями. Сна-
Сначала были вычислены «независимые» частоты /гг-.п.,/п. Напри-
Например, частота п\.п.\\п равна 636X130/1725 = 47,030, а соответ-
соответствующее ей слагаемое nD2nJnl-n#1 в C3.62) равно
C3 - 47,930J/47,930 = 4,651.
Сумма 24 таких слагаемых оказалась равной X2 = 174,92.
Можно вычислить X2 быстрее, если воспользоваться крайней
правой частью равенства C3.62), т. е.
{2 Л
У —У 1 . C3.66)
Эта операция очень быстро выполняется с помощью счетной
машины. Для этого сначала квадрат каждой частоты в i-й стро-
строке делится на сумму частот этой строки, а затем полученные
частные в /-м столбце делятся на сумму исходных частот этого
столбца. Мы должны сначала получить
ЗЗ2
636 '
412
751 '
482
636 '
1002
751 '
ИЗ2
636 '
2022
751 '
2092
636 '
2552
751 '
1942
636 '
1382
751 '
392
636 '
152
751
и еще две аналогичные строки, а затем разделить столбцы на
130, 219 и т. д. Останется лишь вычесть 1 из суммы полученных
24 чисел и умножить результат на 1725 (=«), чтобы получить
C3.66). Рекомендуем читателю проверить вычисления, исполь-
используя оба метода.
Получив Л = 174,92, мы находим по формулам C3.63) —
C3.65) коэффициенты
174,92 у/а _
J
Т=
1725
1ЯГ
1725 C X 5I/2 1
174'92
174,92 J
-0.162, С
1725X3/
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
749
Соотношение между этими коэффициентами такое, какого и
следовало ожидать, принимая во внимание замечания, сделан-
сделанные в конце 33.30: С немного больше Т, а Р почти в два раза
больше, хотя верхняя граница для Р равна C/4I/2= 0,866 про-
против C/5I/2= 0,880 для Т (и, конечно, 1 для С). Таким образом,
верхние границы для Я и Г в данном случае почти одинаковы,
однако Р создает впечатление значительно более сильной связи
между переменными. В упражнении 33.3 аналогичные резуль-
результаты получаются для других данных.
Все три коэффициента являются монотонными функциями
от X2, поэтому мы можем проверять независимость, используя
непосредственно X2. В нашем случае X2 = 174,92. Так как чис-
число степеней свободы равно (г— I) (с— 1) = 15, то полученное
значение заведомо превосходит критические значения, обычно
используемые на практике. Например, для размера критерия
а = 0,001 критическое значение равно 37,697.
Модели для таблицы гХ с
33.31 При рассмотрении мер связи в таблице гХс необхо-
необходимо различать исходные модели аналогично тому, как было
сделано для таблицы 2X2 в 33.18—23. С. Рой и Митра A956)
непосредственно обобщили рассмотрение трех типов таблиц
(оба набора маргинальных частот фиксированы, один набор
фиксирован, ни один набор не фиксирован) на случай таблицы
г X с, не встретив при этом никаких новых трудностей. Они по-
показали также (что было сделано нами для таблиц 2X2), что
при выполнении гипотезы независимости величина X2, опреде-
определенная в C3.62), асимптотически распределена как %2 с
(г—1)(с— 1) степенями свободы для всех трех моделей. Ин-
Интуитивно ясно, что различия между моделями при гипотезе не-
независимости асимптотически исчезают, поскольку все марги*
нальные частоты, являющиеся случайными величинами, стре-
стремятся по вероятности к своим математическим ожиданиям.
Точный анализ таблицы гХс в духе пункта 33.20 приводит
к довольно трудоемким вычислениям. Фримэн и Холтон A951)
рассматривают детально этот метод.
Стандартные ошибки коэффициентов и X2
33.32 Коэффициенты связи являются монотонными функ-
функциями от X2, поэтому их стандартные ошибки можно получить
с помощью A0.14), исходя из стандартной ошибки X2. Напри-
Например, стандартная ошибка величины (X2)'1*, к которой (если пре-
пренебречь константами) сводятся C3.64) и C3.65), с точностью
750
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
751
до величин порядка п~т равна
~т
Ml
4Х2
C3.67)
где X2— генеральное значение X2, т. е. значение C3.62), вычис-
вычисленное исходя из частот генеральной совокупности. Очевидно,
что первое приближение C3.67) справедливо только при Х2ф0,
т. е. оно не выполняется, если две категоризованные перемен-
переменные независимы в генеральной совокупности. Причина этого в
том, что выборочная величина X2 стремится по вероятности
к генеральному значению X2, а поскольку X2 ^ 0, то распреде-
распределение X2 имеет особенность, когда X2 = 0, и его дисперсия
имеет порядок гг2 (см. аналогичный результат, относящийся
к квадрату коэффициента множественной корреляции, в 27.33).
К счастью, мы можем не рассматривать случай независимости,
поскольку тогда для критерия можно использовать непосред-
непосредственно X2. Если мы хотим оценить ненулевые генеральные ко-
коэффициенты Г и С, выражаемые через -X2 формулами, анало-
аналогичными C3.64), C3.65), и найти стандартные ошибки оценок,
то получим
l
DX2,
1
4я2[(г-1)(с-1)]Г2
1
4«2[min(r- 1, с-I)]2 С2
ТФО, j
СфО.
C3.68)
Для коэффициента Пирсона C3.63) в случае независимости
возникает аналогичная трудность, поскольку
/ дР у п2
\ д (X2) j ~ 4Х2 (п + X2K '
так что мы можем написать лишь
DP =
4Х2 (п + X2K
DX2, если X2 ф 0.
C3.69)
Выражение C3.69), в отличие от C3.68), не может быть запи-
записано в терминах одного только генерального коэффициента Р.
33.33 Согласно 33.32 для получения требуемых стандартных
ошибок нам достаточно вычислить только дисперсию X2, кото-
которая в случае зависимости имеет довольно сложный вид. Для
таблицы с фиксированными маргинальными частотами она
была вычислена К. Пирсоном A915), а также (с большей точ-
точностью) Янгом и Пирсоном A915, 1919), которые получили раз-
разложение до членов порядка 1/яЛ Кондо A929) дал разложения
для среднего и дисперсии до порядка lfn2, когда маргинальные
частоты случайны, и показал, что в случае независимости дис-
1/1
Персия имеет порядок 1/п2. (Точная дисперсия X2 в случае не-
независимости вычислена Холдейном A939)—частный случай
его результата сформулирован в упражнении 33.9.) Формулы
для дисперсии очень длинны, поэтому мы приведем только пер-
вое приближение, полученное К- Пирсоном A915):
Если подставить C3.70) в C3.68), C3.69) и заменить X2, Т, С
на X2, Т, С, то мы получим требуемые стандартные ошибки.
33.34 Сумма в правой части C3.70) отличается от опреде-
определения X2 C3.62) только тем, что знаменатель возведен в квад-
квадрат. Если все маргинальные частоты возрастают с возраста-
возрастанием п, то доминирующим слагаемым в правой части C3.70)
будет среднее слагаемое в фигурных скобках, так что асимпто-
асимптотически можно оценивать дисперсию X2 величиной АпХ2/п=4Х2.
Это можно понять и непосредственно. В условиях пункта 30.27
X2 асимптотически имеет нецентральное распределение х2 (в дан-
данном случае с v = (г — 1) (с — 1) степенями свободы и парамет-
параметром нецентральности C0.62), где рй% обозначают «независимые»
частоты). Согласно упражнению 24.1 дисперсия такого распре-
распределения равна
2 (v + 2Я) = 2 J (f —
При больших п первым членом в правой части можно прене-
пренебречь*), второй же оценивается выражением
п;.п.,/п2
Таким образом, основное слагаемое в стандартной ошибке X2
порождается асимптотическим нецентральным ^-распределе-
^-распределением величины X2. Полезно заметить, что параметр нецентраль-
нецентральности X распределения X2 оценивается самой величиной X2, так
что использование величины X2 и ее стандартной ошибки экви-
эквивалентно нахождению приближенных границ для X. Балмер
A958) рассматривает доверительные границы для X112, есте-
естественного параметра «удаленности».
Подстановка DX2 = 4Х2 в C3.68) дает после упрощений при-
приближения
*) За исключением случая независимости, когда второй член равен
нулю, — это и есть особенность, упомянутая в 33.32 выше.
752 ГЛАВА 33
Другие меры связи
33.35 Вряд ли можно считать, что хотя бы один из коэффи-
циентов C3.63) — C3.65) является удовлетворительной мерой
связи. Основной причиной служит то, что эти коэффициенты
не имеют простой вероятностной интерпретации (см. Блейлок
A958)). Несколько более легко интерпретируемых мер были
предложены Гудмэном и Крускалом A954, 1959). Мы уже ви-
видели в 33.11—14, что две из предложенных ими мер сводятся
в случае таблицы 2 X 2 к двум общепринятым мерам связи.
Для общей таблицы г X с это не так, и коэффициенты Гудмэ-
на — Крускала не являются функциями от X2 в отличие от мер,
рассмотренных до сих пор. Так, обобщая подход пунктов
33.13—14, они определяют генеральный коэффициент, равный
относительному уменьшению вероятности неправильного пред-
предсказания одной переменной при известной второй, а также сим-
метризованный коэффициент, учитывающий предсказуемость
в обе стороны. Для упорядоченных классификаций подход
пункта 33.12 обобщается аналогичным образом — мы коснемся
этого вопроса в связи с рассмотрением упорядоченных таблиц
в 33.40 ниже. Гудмэн и Крускал A963) получили формулы для
стандартных ошибок некоторых своих коэффициентов для раз-
различных выборочных моделей. См. также Гудмэн A964b).
Лэнкастер и Хэмдэи A964), обобщая тетрахорический метод из
26.27—29, предлагают полихорический метод оценивания коэффициента кор-
корреляции для таблицы /¦ X с- Этот метод использует две системы из (г—1)
н (с—1) ортонормальных функций (см. 33.44—45) и требует применения
вычислительной машины, но зато ои дает значительно лучшие результаты,
чем определенный в C3.63) коэффициент Р, сводящийся, по существу (см.
33.34), к приравниванию величины X2 к своей асимптотической величине в
случае двумерного нормального распределения, равной Л/р2A—р2), и ча-
часто дающий неоправданно низкие оценки.
Можно определить статистику отношения правдоподобия, асимптотиче-
асимптотически эквивалентную X2, как это делается в 30.5 и упражнении 30.11. Габриэл
A966) показывает, как с помощью такой статистики можно проверять гипо-
гипотезы, связанные с подмножествами сравниваемых категорий и совокупностей
(см. рассмотрение совместных процедур проверки гипотез в 35.54, 35.63
(том 3)).
Упорядоченные таблицы: ранговые меры связи
33.36 Если существует естественное упорядочение (см. 33.1)
категорий в строках и столбцах таблицы г\с, то мы встре-
встречаемся с новой ситуацией, которая не проявлялась в таблице
2X2, потому что в случае двух категорий два возможных по-
порядка категорий могут при любой мере связи только привести
к изменению ее знака. В случае же трех или более категорий
знание того, что категорий упорядочены, дает статистическую
информацию, которую можно использовать при измерении
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
753
связи. Обычно мы не можем установить какой-либо метрики
для категорий; мы знаем, что категории упорядочены, скажем,
от более «высокого» к более «низкому» значению исходной пе-
переменной, однако мы не можем поставить им в соответствие
никаких числовых значений. В таких случаях мы можем приме-
применить, возможно несколько неожиданно, ранговую статистику t,
рассмотренную в 31.24. Действительно, можно рассматривать
таблицу гХс с общим числом наблюдений я как способ ран-
ранжирования я объектов по двум переменным, для одной из кото-
которых можно различать только г рангов, а для другой с рангов.
С этой точки зрения маргинальные частоты в таблице суть
числа наблюдений, «совпавшие» (см. 31.81) в различных ран-
рангах. Случаю, когда нет ни одного «совпадения», соответствует
таблица с маргинальными частотами, равными единице.
33.37 Измерение связи представляется теперь как задача из-
измерения корреляции между двумя ранжировками. Для этого
может быть использован любой из коэффициентов t и rs, опре-
определенных в C1.23) и C1.40), однако мы рассмотрим только
первый из них.
Здесь возникают некоторые проблемы, связанные с тем, что
нас теперь интересуют ранжировки с большим числом совпаде-
совпадений. Во-первых, мы уже не можем определить коэффициент
ранговой корреляции с помощью простой системы меток 0—1,
как при определении Нц в C1.36), так как теперь имеется три
возможности вместо двух. Поэтому мы положим
atj
f +1, если xt < xh
= { 0, если Xi — Xf,
I —-1, если Xi > xh
+ 1, если yt<yb
если Xi—xh bij = \ 0, если У1=У],
{ yyh
1—1, если ус > у,.
Наша мера ранговой корреляции будет основана на сумме
5 = 2 а„Ьч, I, / = 1, 2, ..., я; / ф /. C3.71)
Если мы хотим нормировать сумму S так, чтобы она прини-
принимала значения в интервале (—1, +1) и достигала крайних зна-
значений в случаях полной отрицательной и положительной свя-
связанности, удовлетворяя тем самым требованиям пункта 33.5,
то мы имеем несколько возможностей.
A) Если бы не было ни одного совпадения, то ни одна
из величин ац и Ьц не была бы равна 0 и сумма C3.71) изме-
изменялась бы от —п(п—1) до +я(я—1) включительно. Мерой
связи тогда служило бы отношение S/{n(n—1)}. Читатель мо-
может убедиться, используя определения ац, Ьц и Ьц, что это
отношение совпадает с t из C1.23). Если некоторые из ац, Ъ^
754
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
755
равны нулю, то эта мера, которую мы запишем в виде
S
C3.72)
не может больше достигать ±1; ее истинные границы изменения
зависят от числа нулей.
B) Если переписать знаменатель C3.72) для случая, когда
нет совпадений, в виде п(п—1) =| 2ai/ 2 ^/} (такая за-
запись показывает, что t является коэффициентом корреляции
между двумя наборами меток (см. Даниэле A944)), то мы мо-
можем определить коэффициент
* — ul . C3.73)
Коэффициенты ta и tb совпадают, если нет нулевых меток, в
противном случае знаменатель C3.73) меньше знаменателя
C3.72), так что tb > ta. Несмотря на это, tb не может, вообще
говоря, достигать ±1, так как неравенство Коши BагА-/У ^
.^2^, 2 b2j превращается в равенство, только когда наборы
меток а.ц, bij пропорциональны, а для этого в данном случае все
наблюдения должны быть сосредоточены на положительной или
отрицательной главной диагонали таблицы. Если ни одна из
маргинальных частот не равна нулю, то это значит, что tb мо-
может достигать ±1 только для квадратной таблицы (т. е. таб-
таблицы г X г)-
C) Для прямоугольной таблицы г X с (г Ф с) величина
2#г/^*/ достигает своего максимума, когда все наблюдения
лежат в клетках самой длинной диагонали таблицы (т. е. диа-
диагонали, содержащей т = min (r, с) клеток) и насколько воз-
возможно поровну распределены между этими клетками. Читатель
может проверить, что если я кратно т (что мы можем предпо-
предположить, поскольку обычно я велико, а т жало), то этот макси-
максимум равен п2(т—1)/т. Таким образом, третья мера опреде-
определяется формулой
я* 2 aifiii
'-—srtbnr- C3-74)
Коэффициент t0 может достигать ±1 для любой таблицы г У, с,
если не считать незначительного эффекта, возникающего, ко-
когда п не кратно т. Для больших п, как следует из C3.72) и
C3.74), U примерно равно mtjim— 1).
33.38 Если и маргинальный столбец и маргинальная строка
состоят из примерно равных между собой частот, то коэффи»
циенты tb и te отличаются мало. Действительно,
и, аналогично,
тель tb равен
2
тогда как знаменатель tc равен
о т — 1
г
=п2—2 «о-* Таким образом, знамена-
C3.75)
• <33-76>
C3.77)
Если все частоты я.р в маргинальном столбце равны, а также
равны все частоты яр. в маргинальной строке, то C3.76) при-
приближенно равно
C3.78)
C3.78) совпадает с C3.77), если таблица квадратная (г = с =
= т), в противном же случае C3.78) больше и, следователь-
следовательно, tb меньше. С другой стороны, когда маргинальные частоты
не равны точно, суммы квадратов возрастают и, следовательно,
знаменатель tb C3.76) убывает.
Следующий пример (см. также Кендалл A962)) иллюстри*
рует вычисление коэффициеитов.
Пример 33.8
В представленной ниже таблице нас интересует связь между
дальностью зрения правым и левым глазом.
Для вычисления числителя всех коэффициентов t каждая
частота умножается на все частоты к юго-востоку от нее со
знаком плюс и на все частоты к юго-западу со знаком минус.
Клетки той же строки и того же столбца не учитываются. (Нет
необходимости применять процедуру к последней строке табли-
таблицы, поскольку ниже нее ничего нет.) Выражение 2 ОцЬ{/ равно
756
ГЛАВА 33
Таблица 33.3
3242 мужчин 30—39 лет — служащих Королевских артиллерийских заводов
Великобритании A943—1946): дальность зрения
невооруженным глазом
„^^^ ' Левый глаз
Правый глаз ~ __^
Высшая степень
Вторая степень
Третья степень
Низшая степень
Сумма
Высшая
степень
821
116
72
43
1052
Вторая
степень
112
494
151
34
791
Третья
степень
85
145
583
106
919
Низшая
степень
35
27
87
331
480
Сумма
1053
782
893
514
3242
удвоенной сумме таких слагаемых, потому что мы можем иметь
как i < /, так и i> /. Для нашей таблицы получаем
821D94+ 145 + 27+ 151 + 583 + 87 + 34+ 106 + 331) +
+ 112A45 + 27+583 + 87+ 106 + 331 — 116 — 72 — 43)
и т. д. При переходе к нижней части таблицы число слагаемых
в скобках убывает. Читателю предлагается проверить, что после
сложения слагаемых в скобках мы получим
821 • 1958+ 112- 1048+ 85-(—465)+ 35-(-1744) +
+ 116- 1292 + 494,992+ 145- 118 +27 • (-989) +72 -471 +
+ 151 -394+583-254+ 87-(—183) = 2 480 223.
Таким образом, числитель равен 2 о.цЬц = 4 960 446. Пользуясь
формулой C3.75), находим знаменатель /&:
[{32422 - A0522 + 7912 + 9192 + 4802)} X
X {32422 — A0532 + 7822 + 8932+5142)}]1/2 =
= [7 728 586 X 7 703 218]1/2.
Следовательно,
t 4 960 446 nfi4o
[7 728 586 X 7 703 218]1/2
С другой стороны, по формуле C3.74) находим
, 4 X 4 960 446
32422 X 3
= 0,629.
Итак, в данном случае, когда наибольшие маргинальные час-
частоты в каждом из двух наборов примерно в два раза больше
наименьших, tb лишь незначительно больше tc. Аналогичный
результат получается в упражнении 33.10, где максимальные
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
757
маргинальные частоты примерно в три раза больше мини-
минимальных.
33.39 Если не учитывать достижимости ±1, рассмотренной
в 33.37, основное отличие tb от tc состоит в том, что для стан-
стандартной ошибки U можно найти верхнюю границу (см. C3.81)
ниже) в случае выборки из я наблюдений с нефиксированными
маргинальными частотами, тогда как коэффициент tb в этой си-
ситуации является отношением двух случайных величин и его
стандартная ошибка неизвестна. Если маргинальные частоты
фиксированы, то h уже не будет отношением двух случайных
величин, однако его распределение изучено только в предполо-
предположении независимости двух категоризованных переменных в таб-
таблице. Конечно, если надо проверить независимость, то можно
ограничиться общим числителем 2 оцЬц. Детали, касающиеся
этого критерия, даются Кендаллом A962). Стьюарт A953) по-
показал, что верхние границы дисперсии tc могут быть использо^
ваны для проверки гипотез о разности двух значений, получен-
полученных для разных таблиц. Поскольку это довольно очевидно, то
мы не рассматриваем данный вопрос.
33.40 Гудмэн и Крускал A954) предложили меру связи для
упорядоченных таблиц, тесно связанную с коэффициентами t,
которые мы рассмотрели. Эта мера имеет вид
, C3.79)
-2 р-2 4-+
с
2 2
пРЧ
отличаясь от t только знаменателем.
Знаменатель tb в C3.75) тождественно равен
т. е. очень близок к
Сравнивая эту величину со знаменателем G, мы видим, что
последний практически всегда меньше. Легко видеть, что и
может достигать своих пределов ±1, если все наблюдения ле-
лежат на самой длинной диагонали таблицы. Таким образом, и
скорее ближе к U. Гудмэн и Крускал A963) дали стандартную
ошибку G и метод ее вычисления, а также получили простую
верхнюю границу
-211_=^1, C3.80)
758
ГЛАВА 33
где DG — знаменатель G в C3.79). Эту границу можно сравнить
с верхней границей для дисперсии tc:
C3.81)
Гудмэн и Крускал A963) показали на двух примерах, что G
имеет тенденцию быть больше tc, однако стандартная ошибка G
значительно меньше. Детали приведены в упражнении 33.11.
Если бы это было доказано в общем случае, то этот факт, на-
наряду с непосредственной интерпретируемостью G в терминах
отношений порядка в случайной выборке (G дает вероятность
того, что иксы расположены в том же порядке, что и игреки,
минус вероятность расположения в противоположном порядке
при условии, что нет совпадений, — см. 33.12 для случая 2 X 2),
сделал бы G стандартной мерой связи в случае упорядоченных
таблиц.
Эксперименты Розенталя A966) для малых выборок имеют целью про-
проверить приложимость асимптотической теории к G.
Методы, использующие заранее заданные системы меток
33.41 Возвращаясь к общему рассмотрению таблиц гХ^>
мы рассмотрим возможность введения метрики для категорий
таблицы. Приписывая числовые метки категориям каждой пе-
переменной, мы сведем задачу измерения зависимости и взаимо-
взаимозависимости к анализу обычной (группированной) двумерной
таблицы, подробно изученной в главе 26. Так мы сможем обыч-
обычным способом вычислить коэффициенты корреляции и регрес-
регрессии. Трудность заключается в выборе подходящей системы ме-
меток. Мы уже обсуждали этот вопрос с точки зрения ранговых
критериев в 31.21—24, где было показано, что для различных
систем «условных чисел» (т. е. «меток» в принятой терминоло-
терминологии) получаются различные критерии. В рассматриваемом слу-
случае трудности возрастают, так как строится мера, а не просто
критерий независимости.
Простейшая система меток использует наборы натуральных
чисел 1, 2 г и 1, 2, ... , с для категорий, соответствующих
строкам и столбцам. Можно использовать также наборы нор-
нормальных меток E(s,r) и E(s, с), рассмотренные в 31.39. При-
Пример 33.9 иллюстрирует эти процедуры.
Пример 33.9
Вычислим для данных примера 33.8 коэффициенты корре-
корреляции, используя системы меток пункта 33.41, При использо-
использовании натуральных чисел мы припишем метки 1, 2, 3, 4 катего-
категориям от «высшей» к «низшей» для левого глаза (х) и анало-
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
759
гично (поскольку таблица оказывается здесь квадратной) для
правого глаза (у). Мы получаем
S* = A052- I) -f- G91 -2)+ (919
2 у = A053 • 1) + G82 • 2) + (893
2 х2 = A052 • I2) + ... =20 167,
2#2 = (Ю53- р)+ ... =20 442,
-3)+ D80
• 3) + E14
4) = 7311,
4) = 7352,
2*1/= (821 • 1 • 1) + A12- 1 -2)+ ... =19 159.
Таким образом, коэффициент корреляции для системы меток,
использующей натуральные числа, равен
19 159 - 7311 • 7352/3242
г. =
[{20 167 — G311J/3242} {20 442 — G352J/3242}]1/2'
2579
*"C677.3772I/2~°'69'
Полученный результат не очень отличается от значений ранго-
ранговых мер tb = 0,64 и tc = 0,63, найденных в примере 33.8, чего,
впрочем, следовало ожидахь, принимая во внимание, что си-
система меток, использующая натуральные числа, тесно связана,
как мы видели в главе 31, с коэффициентами ранговой корре-
корреляции.
Предположим теперь, что мы используем нормальные метки
?A,4) =-1,029, ?B, 4) = -0,297,
В C, 4) = + 0,297, Е D, 4) = + 1,029,
полученные из Biometrika Tables (таблица 28). Находим
2*= 1.029D80- 1052)+ 0,297(919-791) = — 550,6,
2 У = 1.029 E14 — 1053) + 0,297 (893 — 782) = — 521,7,
2*2 = A,029J D80+ Ю52) +@,297J(919 + 791) = 1773,
2 У2 = A,029J E14 + 1053) + @.297J (893 + 782) = 1807,
2*# = A,029J (821 + 331 — 35 — 43) +
+ @,297JD94 + 583 — 145— 151) +
+ A,029) @,297) A16 + 112 + 106 + 87 — 72-34—85-27) = 1268,
получаем коэффициент корреляции для нормальных
откуда
меток
1268 - E50,6) E21,7)/3242
[{1773 - E50,6J/3242) {1807 - E21,7J/3242]}1/2
1179
A680- 1723I/2
= 0,69.
760
ГЛАВА 33
То же самое значение, с точностью до двух десятичных знаков,
было получено при использовании натуральных чисел. Прини-
Принимая во внимание значительное усложнение вычислений, связан-
связанное с нормальными метками, вряд ли стоит прибегать к ним,
по крайней мере при таком малом числе категорий, как 4.
33.42 Если уж вводить нормальную метрику в таблице г X с,
то разумнее было бы приписать категориям числовые значения,
которые соответствовали бы наблюденным частотам при вы-
выборе из нормального распределения. Так, в примере 33.9 следо-
довало бы вычислить «точки разбиения» стандартного нормаль-
1052 791
uoro распределения, соответствующие частотам
919 480
3242
919 480
324Т' 3242 ' и взять в качестве меток категории для левого глаза
средние четырех частей нормального распределения.
В данный момент мы не будем проводить вычислений, од-
однако ясно, что полученные метки будут отличаться от грубых
нормальных меток, использованных в примере 33.9. Мы вер-
вернемся к этой системе меток в 33.50 ниже.
На этом мы прекращаем изучение методов, в которых ис-
используются заранее выбранные системы меток, так как ясно,
что, добавляя «информацию» к таблице таким путем, мы де-
делаем некоторые предположения о распределениях, что может
привести к ошибкам в случае неправильности этих предположе-
предположений. Вообще же этого следовало бы избегать, предпочитая ис-
использование ранговых методов, рассмотренных в 33.36—40.
Иэйтс A948) первым предложил систему меток с натураль-
натуральными числами пункта 33.41, а Э. Уилльямс A952) дал общий
обзор методов, использующих метки.
Анализ таблиц с помощью наименьших квадратов
33.43 Если изучается зависимость одной категоризации
(скажем, соответствующей строкам) от другой, то можно избе-
избежать введения метрики для последней. Определим для каждого
наблюдения набор меток дг,- (i =1,2, ..., с—1) следующим
образом: дг* = +1, если наблюдение находится в г'-м столбце,
и Хг = 0 в противном случае. Совокупность с — 1 меток опре-
определяет для каждого наблюдения его столбец, при этом принад-
принадлежности наблюдения к с-му столбцу соответствует равенство
нулю всех с — 1 меток. Далее, если категоризация, соответ-
соответствующая строкам, имеет (или ей поставили в соответствие)
метрику, то можно применить обычный метод наименьших
квадратов главы 19 для анализа зависимости этой метрики от
меток х. При этом каждому лг4 будет соответствовать пара-
параметр 01. Никаких новых теоретических трудностей при этом не
возникает.
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
761
Выбор «оптимальных» меток: канонический анализ
33.44 Можно, однако, подойти к задаче введения меток для
категорий таблицы г'Хс (не обязательно упорядоченной) с со-
совсем другой точки зрения. Мы можем поставить вопрос: какие
метки надо сопоставить категориям, чтобы коэффициент корре-
корреляции между двумя переменными был максимальным? Оказы-
Оказывается, причем довольно неожиданно, что такие «оптимальные»
метки тесно связаны с преобразованием частот таблицы в час-
частоты двумерного нормального распределения. Сначала мы дока-
докажем одну теорему (Лэнкастер A957)) для несгруппированных
наблюдений.
Пусть хну имеют двумерное нормальное распределение
с коэффициентом корреляции р. Пусть х' = х'(х) и у' = у'(у) —
новые переменные, зависящие соответственно только от х и
только от у, для которых М{(х'J} и М{(у'J} конечны. Тогда
справедливо представление
x' = ao + axHl{x) + a2H2{x) + ..., C3.82)
где #г — полиномы Чебышева — Эрмита, определенные форму-
формулами F.21) и нормированные условием
оо
J Я?(х)a{x)dx=l,
— со
со
Ряд 2 а\ сходится. Так как коэффициент корреляции не ме-
меняется при изменениях положения и масштаба, то можно по-
ОО ОО
ложить ао = О и написать x'="^iaiHi, Sa'=l, и, анало-
оо оо
гично, у'=^EibiHi, 2^г = 1- В соответствии с 6.14 полином
¦ • t=i
Нг(х) равен коэффициенту при f/rl в разложении expitx—j
Поскольку математическое ожидание txp\tx — -^t2-\-uy—-иА
равно ехр(р/ы), то мы получим
f J Hr{x)Hs{y)fdxdy=\ (' r = S'
— оо —со
C3.83)
где f — плотность двумерного нормального распределения. Дис-
Дисперсии х' и у' в силу ортогональности Нт равны единице, так
что коэффициент корреляции равен
cov [х', у') =
C3.84)
762
ГЛАВА 33
Он меньше, чем |р|, за исключением случая а\ = Щ=\. Ос-
Остальные а и Ъ при этом обращаются в нуль. Таким образом,
максимум корреляции между х' и у' равен |р|, и теорема Лэн-
кастера формулируется следующим образом: если двумерное
распределение (х, у) может быть получено из двумерного нор-
нормального распределения с помощью преобразований хну
(каждого отдельно), то корреляция преобразованного распре-
распределения не может по абсолютной величине превзойти корре-
корреляции р двумерного нормального распределения.
33.45 Предположим, что мы ищем теперь вторую такую пару
преобразований хну, скажем х" и у". Если потребовать,
чтобы х" и у" были нормированы и некоррелированы с первой
парой (х1, у'), то из ортогональности разложений Чебышева —
оо оо
Эрмита х" = 2 CiHi(x), у" = 2 dtHi(y) будет следовать, что
»=i i=\
Cl = rf, = 0. Таким образом, мы получим х
оо
= 2 diHi и, аналогично C3.84),
«=2
1=2
у"=
cov(;t", /')=
i=2
C3.85)
C3.85) достигает максимума по абсолютной величине, только
когда с\ = d\ = 1, а все другие ст, dr равны 0. В этом случае кор-
корреляция равна р2. Можно перейти к следующим парам перемен-
переменных {х'",у"'), (*<IV>, #<IV>) и т. д., получая максимальные корре-
корреляции |р|3, р4 и т. д.
Преобразованные пары переменных называются канониче-
каноническими переменными. Мы показали, что r-я пара канонических
переменных имеет каноническую корреляцию \р\г. Из нашего
доказательства ясно, что сами канонические переменные яв-
являются просто формами Чебышева — Эрмита от двумерных нор-
нормальных переменных (х, у), т. е.
(*(Г),г/(Г)) = (Яг(*)> НАУ))- C3.86)
Лэнкастер A958) развивает дальше этот подход.
33.46 Результаты пунктов 33.44—45 применимы к несгруп-
пированным значениям двумерного распределения. На прак-
практике, имея выборку в виде упорядоченной таблицы г X с, не
представляет труда найти такие преобразования каждой из пе-
переменных, которые привели бы к одномерным нормальным мар-
маргинальным распределениям, — именно это предлагалось в 33.42.
Однако лишь по счастливой случайности эти преобразования мо-
могут дать двумерные нормальные частоты в самой таблице. Все
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
763
же теоретический смысл полученного результата ясен: стараясь
найти системы меток для каждой из категоризованных пере-
переменных, максимизирующие их корреляцию, мы, по существу,
стараемся получить двумерное нормальное распределение, опе-
оперируя только маргинальными частотами таблицы.
33.47 Предположим, что мы сопоставили категориям таб-
таблицы г X с метки хи уз (i = 1, 2, ..., г; / = 1, 2, ..., с). Не те-
теряя общности, можно считать их нормированными (нулевое сред-
среднее, единичная дисперсия). Мы имеем тогда
C3.87)
C3.88)
Dx = 2 пих\\п = Dy = 2 л.^/л =
COV (X, У) = СОГГ (ДГ, у) = 2 2
i I
Требуется максимизировать C3.88) по х и у при условии
C3.87). Вводя неопределенные множители Лагранжа, К и ц, мы
получим систему уравнений
Sn^,-bi.^=0, /=1, 2, ..., г, C3.89)
ЪпцХ1-\1П.1У1 = 0, j=l,2 с. C3.90)
i
Умножая C3.89) на Xi и суммируя по i, получаем А, = /?, где
R — корреляция, которую мы ищем. Аналогично находим, что
ц = R, и, следовательно, в силу C3.89), C3.90) приходим к си-
системе
2
C3.91)
Исключение хну приводит к детерминантному уравнению,
которое символически может быть записано в виде
Rnt. п
а
= 0.
C3.92)
Мы вернемся к этому уравнению при изучении канонических
корреляций в томе 3. Здесь достаточно лишь отметить, что R
можно выразить через частоты таблицы. Действительно, C3.92)
есть уравнение относительно R2 с несколькими корнями. В об-
общем случае имеется m = min(r, с) ненулевых корней, один из
которых всегда равен единице и который для нас не интересен.
Остальные m — 1 корней называются каноническими корреля-
корреляциями. Число ненулевых канонических корреляций не может
764
ГЛАВА 33
быть больше т— 1, поскольку ранг матрицы частот {пц} не пре-
превышает т. Нам нужен наибольший корень Ru Остальные с точ-
точностью до выборочных флуктуации являются, как мы видели
в 33.45, степенями наибольшего корня.
33.48 Из C3.92) следует, что если канонические корреляции
(корни C3.92)) равны Ru R2 Rm-U то
m—1 i
+ 2 ДЛ0* • C3-93)
В пределе, при стремлении т к бесконечности и измельчении
категорий таблицы гХс, C3.93) в силу 33.44—45 сводится
к тетрахорическому ряду
" C3.94)
где f— плотность двумерного нормального распределения. Фор-
Формула C3.94) является просто другой записью формулы B6.66),
которая отличается только множителем /! в знаменателе, по-
поскольку в B6.66) #j не были нормированы.
33.49 Вычислив с помощью C3.92) наибольшую канониче-
каноническую корреляцию /?ь можно сразу найти «оптимальные» наборы
меток, приводящие к этой корреляции. Вероятно, это легче всего
сделать, обращаясь к C3.91). Если умножить в C3.91) второе
уравнение на np//((/ip./it-.)I/2 п.,) и просуммировать по /, то оно
примет вид
Это можно переписать в виде
C3-95)
C3.96)
откуда ясно, что квадраты канонических корреляций служат
характеристическими корнями (г X г) -матрицы NN', где N —
*?oJRc?a (г*с) с элементами пц1{щ.п.))^. Действительно,
C3.96) в матричной форме имеет вид
NN'u = R2u, C3.97)
где ы —вектор-столбец размерности г с компонентами л^я'{2.
Так как ранг Ы, а следовательно и NN', не превосходит'm =
— min(r, с), то NN' имеет.в общем случае т ненулевых корней
как и утверждалось в 33.47. Легко проверить, что R2 = 1 всегда
является корнем. Соответствующий собственный вектор и имеет
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
765
компоненты (пр.) , т. е. для этого корня хР ^ 1. Оставляя в сто-
стороне этот корень, не имеющий отношения к задаче измерения
связи, мы рассмотрим наибольший характеристический корень
/?ь определяемый из C3.97). Соответствующий ему собственный
вектор Mi дает набор меток для первой канонической перемен-
переменной х. Аналогично, метки для первой канонической перемен-
переменной у даются собственным вектором V\, получаемым из соотно-
соотношения
N'Nv == R2v, C3.98)
где v — вектор-столбец размерности с с элементами г/n1'2. Не-
Ненулевые характеристические корни матрицы N'N, конечно, сов-
совпадают с корнями NN', т. е. равны квадратам канонических
корреляций. Нет необходимости, однако, решать как C3.97),
так и C3.98), достаточно решить одну из этих систем (есте-
(естественно выбрать ту, которая имеет меньший порядок, напри-
например NN', если г-<с), а затем найти другой набор меток с по-
помощью системы C3.91), которую мы перепишем в виде
C3.99)
Пример 33.10
Применим канонический анализ к данным примера 33.8. Пе-
Перепишем сначала таблицу, заменив маргинальные частоты их
квадратными корнями:
821
116
72
43
32,4345495
112
494
151
34
28,1247222
85
145
583
108
30,3150128
35
27
87
331
21,9089023
32,4499615
27,9642629
29,8831056
22,6715681
Построим теперь матрицу N, деля пц на произведение со-
соответствующих маргинальных квадратных корней, например,
821/C2,4345495 X 32,4499615). Получим
0,780047593 0,122720070 0,086406614 0,049230386
0,127892990 0,628109454 0,171043616 0,044069667
0,074284618 0,179664791 0,643554112 0,132884065
Q.053476184 0,053322330 0,154229180 0,666385924
C3.100)
766
ГЛАВА 33
В данном случае г = с, так что безразлично, работаем мы с
NN' или с N'N. Мы найдем
0,633424197 0,193793122 0,142143279 0,098290784
0,193793122 0,442076157 0,238281615 0,096718276
0,142143279 0,238281615 0,469617711 0,201730920
0,098290784 0,096718276 0,201730920 0,474119575
C3.101)
Вспомним, что сумма характеристических корней равна следу
матрицы, так что если след матрицы ненамного превышает 1, то
наибольшая каноническая корреляция должна быть мала. Это
служит хорошей предварительной проверкой. Здесь след больше
2, так что/?2 вполне может быть порядка 1.
Найдем теперь характеристические корни. Для этого надо
решить характеристическое уравнение
|ЛГЛГ-Я/| = О. C3.102)
Вычитая Я из каждого диагонального элемента NN' и расписы-
расписывая определитель получившейся матрицы, получаем уравнение
четвертой степени
Я4 — 2.01923764Я3 + 1.343416989Я2 —
— 0,355747132 Я + 0,031567594 = 0.
Поскольку один корень этого уравнения равен единице, в ле-
левой части можно выделить множитель (Я— 1):
(Я— 1)(Я3— 1,019237640А2 + 0,324179349Я — 0,031567783) =0.
Мы пришли к кубическому уравнению, которое решается стан-
стандартными методами. Его корни дают квадраты канонических
корреляций
= Я, = 0,48516,
= X2 = 0,34604,
= Аз = 0,18803.
C3.103)
Заметим, что значение R\ = 0,697 ненамного больше значения
0,69, полученного при использовании натуральных чисел и нор-
нормальных меток в примере 33.9.
Найдем теперь собственные векторы, соответствующие Х\.
Сначала решим систему уравнений для получения компонент и{:
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
757
Разделив затем компоненты и* вектора щ на я'{2, мы найдем
канонический набор меток для категорий, соответствующих
строкам:
С . 112\
- 1,307 \ •
+ 0,021 \
C3.104)
Х =
+ 0,739 Г
+ 1,362/
Канонические метки для у получаются с помощью C3.99). Так,
например,
г/!={821 -(—1,307)+ 116-0,021 + 72-0,739 +
+ 43 • 1,362}/{1052 • @,48516I/2}.
Отсюда находим набор меток
-1,309]
+0,040
+0,730
+ 1,406
C3.105)
Наборы меток C3.104) и C3.105), взвешенные в соответствии
с частотами по строкам или столбцам, дают нулевые средние,
однако их дисперсии не равны единице, так как характеристи-
характеристические векторы определяются с точностью до произвольной
масштабной константы.
33.50 Вспомним теперь интерпретацию теоремы Лэнкастера
в 33.46: выбор меток, которые приводят к максимальной кор-
корреляции между категоризованными переменными, по существу
эквивалентен преобразованию маргинальных частот таблицы
к одномерной нормальности с намерением получить двумерную
нормальность в таблице. Интересно в связи с этим использовать
для обработки данных примера 33.10 нормальную систему ме-
меток, описанную в 33.42. Мы тогда сможем увидеть, насколько хо-
хорошо согласуются метки, полученные для категорий, с канони-
каноническими метками в примере 33.10.
Пример 33.11
В примере 33.8 мы имеем следующие две совокупности
относительных маргинальных частот (в скобках даны соот-
соответствующие интервалы изменения стандартной нормальной
768" ГЛАВА 33
случайной величины, полученные из Biotnetrika Tables):
КДТЕГОРИЗОВАННЫЕ ДАННЫЕ
769
0,3245
0,2440
0,2835
0,1480
1,0000
Соответствующий
интервал
(—оо, —0,4551)
(-0,4551, +0,1726)
(+0,1726, +1,0450)
(+1.0450, +оо)
0,3248
0,2412
0,2755
0,1585
1,0000
Соответствующий
интервал
(_оо, -0,4543)
(-0,4543, +0,1662)
(+0,1662, +1,0006)
(+1,0006, +оо)
C3.106)
Среднее значение стандартной нормальной случайной вели-
величины в интервале (а*, Ь{), имеющем вероятность pi, равно
C3.107)
)~1/2
Мы пренебрегаем множителем BяI/2, поскольку нам нужна
только корреляция, а она не зависит от масштабного множи-
множителя. С помощью четырехзначных таблиц логарифмов находим
следующие значения меток:
Метки для строк
—2,778
-0,343
+ 1,432
+3,914
Метки для столбцов
—2,777
-0,350
+ 1,380
+3,825
В отличие от примера 33.10, полученные значения не будут точно
нормированными, даже если учесть отброшенный множитель
Bя)~1/2, поскольку в результате усреднения по интервалам стан-
стандартного нормального распределения возникает эффект группи-
группировки. Мы получаем следующие значения для сумм и сумм
квадратов (взвешенных, конечно, в соответствии с маргиналь-
маргинальными частотами):
Сумма
Сумма, квадратов . . . .
Среднее
Стандартное отклонение
Для строк
+98
17923
0,030
2,351
Для столбцов
—94
16984
—0,029
2,289
Нормированные
метки для строк
-1,194
-0,159
+0.596
+ 1,652
Нормированные
метки для столбцов
— 1,205
—0,140
+0,616
+ 1,684
Вычитание среднего и деление на стандартное отклонение
приводит к следующим значениям меток:
C3.108)
Значения C3.108) довольно плохо согласуются с C3.104),
C3.105).
Таким образом, метод, использованный в этом примере, дает
лишь грубое приближение к канонической системе меток.
Разбиение X2: канонические компоненты
33.51 Канонические корреляции, рассмотренные в 33.44—49,
тесно связаны с Х2-статистикой C3.62). Рассмотрим снова ма-
матрицу Ш', определенную в 33.49. Ее диагональные элементы
имеют вид
так что в силу C3.62) получаем
C3.109)
i 1
Вспоминая, что след матрицы равен сумме характеристических
корней и что характеристические корни NN' равны 1, R\, ...,
..., Rli-ъ получаем в соответствии с C3.109)
l+ ... +/&-.). C3.110)
Мы представили, таким образом, X2 в виде умноженной на п
суммы компонент, равных квадратам канонических корреляций.
Хотелось бы предположить, что компоненты в C3.110) сами
являются при гипотезе независимости асимптотически независи-
независимыми случайными величинами, распределенными по закону х2
с числом степеней свободы, равным для nRs
— (s+ l)) = r+c —2s-l.
Однако Лэнкастер A963) показал, что это не так.
25 М. Кендалл, А, Стьюарт
770
ГЛАВА 33
Пример 33.12
В примере 33.10 были найдены квадраты канонических кор-
корреляций C3.103). Поскольку в этом примере п = 3242, то в силу
C3.110) получаем
X2 = 3242 @,48516 + 0,34604 + 0,18803) = 3304,
что может быть проверено непосредственным вычислением для
примера 33.8.
33.52 Существует много (на самом деле бесконечно много)
других способов разбиения X2. Формальная структура таких раз-
разбиений дана в 30.44. Ответ на вопрос о том, интересно ли дан-
данное разбиение со статистической точки зрения, зависит от целей'
анализа. Прежде всего, следует заметить, что величина X2 сама
является компонентой другой величины, которую мы обозна-
п
чим Хт-
Мы отказываемся теперь от предположения об упорядочен-
упорядоченности таблиц, однако ограничимся случаем, когда переменные'
независимы, т. е. рц = Pi.p.j для всех i, /. Вероятности наблю-
денных частот пц в этом случае равны
п
П пн
ii
C3.111)
(ЗЗЛ12)
(ср. 33.23 для таблиц 2X2). Левая часть C3.112) и каждый из
сомножителей в правой части могут быть приближены распре-
распределением х2- Записывая
и используя разложение Стирлинга, находим, что левая часть
C3.112) асимптотически представляется в виде
log Р К, | Р1Г «} = const - ±
i.l
Таким образом, величина
г —
C3.113)
асимптотически распределена как сумма квадратов гс норми-
нормированных нормальных вариант, связанных одним ограничением
У\ У\п i = n, т. е. как у2 о, г с— 1 степенями свободы.
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
Аналогично, величина
асимптотически распределена как xr-i> величина
пр./
771
C3.114)
C3.115)
— как %с_р и, наконец, величина, которая нам уже знакома как
«обычный» X2 и которую мы теперь можем записать в виде
х%с = УУ
i 1
nt.n.{/n
C3.116)
асимптотически распределена как х2 с (г— 1) (с— 1) степенями
свободы. Соотношения C3.113) — C3.116) дают асимптотическое
разбиение
Х\ = Х% + Х2С + Х\с, C3.117)
которое в действительности лишь отражает представление
C3.112). Сумма чисел степеней свободы в правой части
C3.117) равна числу степеней свободы в левой, т. е.
гс _ 1 а (Г _ 1) + (С _ 1) + (г - 1) (с - 1). C3.118)
Таким образом, мы видим (как мы это уже видели в 33.29), что
(г — \) -\- (с — I) степеней свободы в правой части C3.118) по-
потеряны в «обычном» X2 {Х%с в настоящих обозначениях) вслед-
вследствие того, что вероятности оцениваются из самой таблицы. Если
бы эти вероятности были известны a priori, то можно было бы
использовать C3.113). Сказанное служит лишь одним из при-
примеров упомянутой в 19.9 потери степеней свободы вследствие
необходимости оценивания параметров.
Пример 33.13 (Лэнкастер, 1949b)
Для каждой комбинации признаков А (три категории) и В
(три категории) был осуществлен выборочный эксперимент, со-
состоявший фактически в наблюдении пуассоновской случайной
величины. Были получены следующие частоты:
3009 2832 3008
3047 3051 2997
2974 3038 3018
9030 8921 9023
8849
9095
9030
26974
25*
772
ГЛАВА 33
Это один из сравнительно нечастых случаев, когда известны
априорные маргинальные вероятности. В данном случае pt, =
= р .= 1/3, р;/=1/9 (i, / = 1, 2, 3). Пользуясь соотношением
C3.117), находим:
Компонента
у2
У2
v-2
Аг
Y2 У2 У2
лт лк лс
Значение
3,615
0,828
11,864
7,421
Степени
свободы
2
2
8
4
Критическое
значение при
а=0,05
5,991
5,991
15,507
9,488
Ни одно из трех значений X2R, X2, X2. не превосходит своей
выборочной границы, приведенной в последней колонке. Условия
эксперимента, по-видимому, были примерно постоянными.
Если бы мы не знали маргинальных вероятностей, то их при-
пришлось бы оценивать. Мы получили бы Xrc = 7,547 с 4 степе-
степенями свободы. Это значение отличается от значения 7,421 для
Х\ — Х%—Х% в приведенной выше таблице, однако разница
незначительна. Она появляется вследствие того, что разбиение
C3.117) справедливо лишь асимптотически.
33.53 Лэнкастер A949b), по существу с помощью метода
пункта 33.52, разбивает величину X2 для таблицы гХс на
(г—1)(с—1) компонент, каждая из которых имеет одну сте-
степень свободы. Каждая степень свободы соответствует некото-
некоторой классификации 2 X 2 из этой таблицы. Мы не приводим де-
деталей, однако метод легко понять из следующих двух примеров.
Рассмотрим таблицу 2X3
«И «12 «13
«21 «22 «23
Этой таблице, для которой X2 имеет 2 степени свободы, со*
ответствуют две таблицы 2X2:
C3,119)
«11
«21
«.1
«12
«22
«.2
Пи
«21
«•1
+ «12
+ «22
+ «.2
(«1^
(«21-
(«..-
h«J2)
f"«22)
h«.2)
«13
«23
"•3
«I.
«2.
n
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
773
Если обычным путем вычислить X2 для каждой из этих двух
таблиц 2X2, то сумма будет приближенно равна значению X2
для исходной таблицы 2X3.
Аналогично, для таблицы 3 X 3 с 4 степенями свободы полу-
получаем 4 таблицы 2X2:
(«11
(«11
«11
«21
+ «21
(«11
(«21
+ «12
+
+
+
(2
«12)
«22)
«21
«12
«22
+ «22>
+ «22)
(«11-
«13
«23
(«.3 4
«11
«21
f-«12
-ra23)
+ «12
+ «22
+ «21
«,
+ «22)
«1.
«9.
+ «2-
(«12 + «22)
«31
2
(«II + «12 + «21 + «22)
(«31 + «32)
C3.120)
«., -f ra.2
(«11 + «12 + «21 + 2) (raI3 + «2з)
(«3! + «32)
'33
Данная процедура является совершенно общей, однако сле-
следует помнить, что разбиения не. однозначны (поскольку порядок
строк и столбцов может вообще быть изменен). Компоненты ад-
аддитивны лишь асимптотически, как и в примере 33.13.
Лэнкастер A949b, 1950) и Ирвин A949) дают точный метод разбиения
Хг на (г—1) (с—1) компонент, соответствующих таблицам 2X2, однако
приближенное разбиение уже достаточно хорошо для практических целей;
см. упражнение 33.15. Кимбелл A954) упрощает вычисления, необходимые
для точного разбиения.
33.54 Другие типы разбиения X2 рассматриваются Кокрэном
A954) в обзоре, посвященном таблицам гХс (а также в действи-
действительности и критериям согласия), в котором обсуждаются, кроме
того, вопросы возможности анализа таблиц с малыми гипоте-
гипотетическими (при гипотезе независимости) частотами в одной или
нескольких клетках таблицы без нарушения х2-аппРоксимации
для X2. Он дает следующие рекомендации. Если только 1 клетка
из 5 или более или 2 клетки из 10 или более имеют гипотетиче-
гипотетические частоты, меньше 5, то минимальная допустимая гипотети-
гипотетическая частота равна 1. Если таких клеток больше, то обычно
774
ГЛАВА 33
допустима минимальная гипотетическая частота 2, если число
степеней свободы меньше 30. Для числа степеней свободы, боль-
большего 30, следует пользоваться точными средним и дисперсией,
вычисленными Холдейном A939), и считать X2 распределенным
асимптотически нормально с этими моментами.
Для упорядоченных таблиц Кэнуй A948) в неопубликован-
неопубликованной работе дает разбиение X2, которое выделяет компоненты
линейные, квадратичные и т. д.
Таблицы 2 X с: биномиальный критерий однородности
33.55 Частным случаем таблиц гХс, представляющим осо-
особый интерес, является таблица 2Хс, .в которой мы сравни-
сравниваем с выборок в отношении наличия или отсутствия некоторого
свойства. Общая формула C3.62) принимает в этом случае вид
C3.121)
где п., — объем j-й выборки и « = 2«/. как и раньше. Полез-
Полезные точные и приближенные методы вычисления C3.121) со-
содержатся в упражнении 33.21. Если мы обозначим р — п^./п
МП-оценку вероятности наблюдения «успеха», вычисленную по
данным таблицы, то C3.121) можно будет записать в виде
у2_у[(га'/-"-/рJ , {(*•/-"¦/)-"¦/(*-1>}21 у К--"^pJ
jU[ n.tp + n.s(\-p) J Zin.,p{\-p)-
C3.122)
Величина X2 распределена асимптотически как у} с с — 1 сте-
степенями свободы. Таким образом, критерий однородности с би-
биномиальных выборок, основанный на C3.122), по существу осно-
основан на сумме квадратов с биномиальных величин, каждая из
которых измеряется от своего математического ожидания (оце-
(оцененного в предположении независимости) и делится на свою
оцененную стандартную ошибку {п.ф(\—/5)}'/2. Число степеней
евободы равно с— 1, так как мы пользуемся оценкой математи-
математического ожидания, линейно зависящей от наблюдений. Если бы
независимо от наблюдений было известно его значение р, то мы
заменили бы /5 на р в C3.122) и получили бы полное число сте-
степеней свободы с для X2.
Армитедж A955) излагает теорию критериев для обнару*
жения тренда в исходных вероятностях таблицы 2 X с, которая,
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
775
по существу, является приложением к этой простой ситуации
методов ранжирования и введения меток, рассмотренных в об-
общем случае ранее в этой главе.
Пуассоновский критерий однородности
33.56 Посмотрим теперь, что происходит со статистикой
C3.122), когда гипотетическое биномиальное распределение
стремится к пуассоновскому в классическом смысле (см. 5.8),
так что n.j —*¦ оо, р —»0, n.jp —* К.
В этом случае мы имеем с независимых наблюдений пуассо-
новской случайной величины n.\j. Статистика C3.122) с р вмес-
вместо р принимает вид
C3.123)
и распределена асимптотически как f с с степенями свободы
(ср. 33.55). Если, как обычно, надо оценить X, то пользуются
полной достаточной несмещенной оценкой П\.\с = ti\, являю-
являющейся средним с наблюдений. Таким образом, критерий одно-
однородности для с пуассоновских величин, основанный на ста-
статистике
. — ЯЛ2
«1
C3.124)
имеет с — 1 степеней свободы. Одна степень свободы, как и в
случае статистики C3.122), теряется в результате оценивания.
Критерии этого и предыдущего пунктов принадлежат
Р. А. Фишеру и называются иногда дисперсионными критериями
для биномиального и пуассоновского распределений. Основа-
Основанием для этого служит то, что каждый из них основан на сум-
сумме с слагаемых, каждое из которых есть отношение квадрата
варианты, центрированной относительно ее оцененного сред-
среднего, к ее дисперсии, — в случае C3.124) пуассоновские гене-
генеральные среднее и дисперсия равны, так что fi\ служит оцен-
оценкой для обоих.
33.57 Кокрэн A954) дает детальное изложение и библиогра-
библиографию для биномиального и пуассоновского дисперсионных кри-
критериев и особенно для разбиения степеней свободы X2 в этих
случаях.
Оказывается, в частности, что дисперсионная статистика
C3.124) часто приводит к более мощному критерию для про-
проверки гипотезы о том, что выборка извлечена из пуассоновской
77б
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
777
совокупности, чем критерий согласия X2, основанный на группи-
группировке наблюдений в соответствии с частотами появления значе-
значений 0, 1, 2, ... Основной причиной этого служит то, что для
пуассоновского распределения с малыми значениями пара-
параметра Я наблюденные частоты ведут себя нерегулярно, начиная
с некоторого значения, равного примерно 4 или 5, если X рав-
равно 1 или меньше (см. таблицу 5.3 и пример 19.11). Таким об-
образом, если п Не слишком велико, критерий согласия может
иметь лишь небольшое число степеней свободы (порядка 5),
поскольку большие значения должны быть объединены в один
класс, так как критерий можно применять только при доста-
достаточно больших гипотетических частотах (см. 30.30). Эти рас-
рассуждения не относятся к дисперсионному критерию, число сте-
степеней свободы которого равно с— 1 (на единицу меньше числа
наблюдений) и который не требует никакой группировки, —
этот момент, возможно, не проявился отчетливо при построе-
построении критерия через посредство таблицы 2 X с, однако он непо-
непосредственно следует из C3.124). Таким образом, для «разум-
«разумных» объемов выборок дисперсионный критерий будет, по-види-
по-видимому, более мощным.
Поттхофф и Уиттннгхилл A966а, Ь) приводят другие статистики для
проверки однородности биномиальных, мультиномиальных и пуассоновских
распределений.
Армитедж A966) рассматривает моменты дисперсионного критерия X2 в
случае, когда выборка взята из расслоенной совокупности.
Таблицы с несколькими входами
33.58 До сих пор мы всюду, за исключением 33.9—10, рас-
рассматривали связи между двумя категоризованными перемен-
переменными; наша таблица гХс была Таблицей с двумя входами.
Естественно обобщить задачу на случай р ^ 3 категоризован-
ных переменных. Соответствующая таблица называется табли-
таблицей с несколькими входами или, иногда, сложной таблицей со-
сопряженности. Такие таблицы впервые были рассмотрены
К. Пирсоном A904, 1916) для случая многомерного нормаль-
нормального распределения. Если р-й переменной соответствует гр кате-
категорий, то мы получаем таблицу Г\ X Г2 X • • • X гр, которая фи-
физически может быть представлена только в р-мерном простран-
пространстве. В простейшем случае р = 3 мы можем представлять таб-
таблицу /"i X Г2 X гз в виде прямоугольного параллелепипеда со
строками, столбцами и «слоями», пересечения которых дают
клетки таблицы. Чтобы не пользоваться индексами, мы вместо
Г\ X г2 X га будем писать г X с X /• В действительности из мно-
многомерных таблиц только трехмерной было уделено более чем
формальное внимание в литературе, поскольку в случае р > 3
не возникает новых теоретических трудностей; однако, как мы
увидим, переход от двух измерений к трем требует новых рас-
рассмотрений.
Льюис A962) посвящает данному предмету обширный обзор.
33.59 Рассмотрим сначала подход пункта 33.52, в котором
проводилось разбиение таблицы с двумя входами /"Хс при ги-
гипотезе независимости. Если обозначить пцк наблюденную час-
частоту и pijh вероятность в клетке на пересечении i-й строки, /-го
столбца и &-го слоя, то гипотеза о полной независимости запи-
запишется в виде
= Pi.^.j.P..h' C3.125)
Яо:
где точка, как и прежде, означает суммирование по соответ-
соответствующему индексу. В случае двух входов мы получили раз-
разбиение C3.117), C3.118) на следующие компоненты: «строки»,
«столбцы» и «строки X столбцы» с числом степеней свободы
г—1, с—1 и (г—1)Х(с—1) соответственно. В рассматри-
рассматриваемом случае трех входов мы получаем следующие асимптоти-
асимптотически аддитивные компоненты:
Строки
Столбцы
Слои
СтрокиХстолбцы
СтрокиХслои
СтолбцыХслои
СтрокиХстолбцыХслои • -
Сумма
Компонента
v-2
ЛН
У2
ХС
У2
XL
v2
лпс
У2
XRL
v2
XCL
У2
ARCL
X2
Число степеней
свободы
г— 1
с — 1
/- 1
(г-1)(с-1)
(г-1)(/-1)
(с- 1)(/-1)
(г-1)(с-1)(/-1)
rcl — 1
C3.126)
Для таблицы 2X2X2 каждая компонента в C3.126) имеет
1 степень свободы.
Если представлять таблицу г X с X I в виде параллелепи-
параллелепипеда, то можно сказать, что рассеяние выражается прежде всего
в терминах ребер, затем в терминах граней и, наконец, в тер-
терминах содержимого таблицы.
Каждая из компонент в C3.126) легко вычисляется. Если
имеются гипотетические вероятности для каких-либо (или всех)
из pt_., р..., р..А, то соответствующие компоненты X2R, X2., X2L,
равны значениям статистики согласия X2 для маргинальных
778
ГЛАВА 33
распределений строки, столбца и слоя соответственно. Если
для какого-то случая неизвестны теоретические вероятности,
то соответствующая компонента тождественно равна нулю.
Вычислим теперь «обычную» статистику X2 для проверки неза-
независимости в каждой из трех таблиц с двумя входами. Из X2
для таблицы (г X с) вычтем (Х% + Х2С), из X2 для таблицы (г X О
вычтем (Х% + Xl) и из X2 для таблицы (с X 0 вычтем (Xc + X2L).
В результате мы получим Х%с, X\L и Хсь соответственно.
Вычислим, наконец, статистику X2 для проверки независимости
в таблице (г X с X 0. т- е- %т- Статистику X\cl теперь можно
получить с помощью вычитания.
Пример 33.14 (Лэнкастер A951), данные Робертса и др.)
Данные для крыс, классифицированных в соответствии с на-
наличием или отсутствием признаков А, В, D были представлены
в виде таблицы 2X2X2. Как и раньше, мы используем сим-
символы а, р, б для обозначения отсутствия признака.
Имеются следующие частоты:
(ABD) = 475, (ctBD) = 467,
(аВЬ) = 440,
1 = 462, (сф?) = 494,
(а96) = 427.
Мы образуем из них следующие три таблицы 2X2:
Признаки
Р
В
Сумма
а
921
907
1828
А
971
935
1906
Сумма
1892
1842
3734
Признаки
а
А
Сумма
б
867
969
1836
Признаки
Р
В
Сумма
D
961
937
1898
Сумма
1828
1906
3734
б
936
900
1836
D
956
942
1898
Сумма
1892
1842
3734
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
779
Гипотетические вероятности всех признаков равны 1/2. Та-
Таким образом, для А получаем
2 _ A828-3734/2J A906 - 3734/2J _ . g™. ,
Аа~ 1867' 18бГ 1,0^У4. F6.127)
Подобным же образом мы вычисляем остальные компоненты.
Они приведены в третьей колонке следующей таблицы:
Компонента
А
В
D
АВ
AD
BD
ABD
Сумма
Число
степеней
свободы
1
1
7
X2 с априорными
вероятностями
1,6294
0,6695
1,0295
0,1296
4,2517
0,1296
2,7863
10,6256
X* при оценке
параметров
0
0
0
0,1176
4,3426
0,1397
2,6904
7,2904
C3.128)
Для одной степени свободы 95-процентная точка распреде-
распределения х2 равна 3,84, а 97,5-процентная точка равна 5,02. Един-
Единственной компонентой, близкой к этим значениям, является
компонента AD, которая лежит между ними. Следовательно,
если вообще существует какая-то связь между факторами, то
следует искать связь между А и D. Однако гипотеза о незави-
независимости вряд ли нарушена. В самом деле, мы наводим Vad =
= {XadJiv = 0,03. Во всяком случае компонента ABD лежит
внутри выборочных границ, и если бы А и D были связаны,
то следовало бы ожидать большего значения компоненты ABD.
Кроме того, мы всегда при разбиении X2 должны помнить, что
разделение одного критерия на несколько критериев (здесь
на 7) увеличивает вероятность, что какая-нибудь компонента
выйдет за свои выборочные границы. В целом, по-видимому,
следует считать все три фактора независимыми (или настолько
слабо зависимыми, что не имеется определенного указания на
взаимозависимость).
Если бы априорные вероятности были не известны, а оцени-
оценивались по маргинальным частотам, мы получили бы значения X2,
приведенные в последней колонке C3.128). Эти значения, как
и должно быть, очень близки к предыдущим, и мы приходим
к тому же заключению.
Можно отметить, что мы могли бы иметь априорную ин-
информацию о некоторых вероятностях и не иметь ее о других.
780
ГЛАВА 33
В таком случае нам следовало бы оценить неизвестные вероят-
вероятности и поступать далее, как прежде.
33.60 Природа таблиц со многими входами позволяет рас-
рассмотреть большое количество гипотез, отличных от гипотезы
о полной независимости, сформулированной в C3.125). С. Рой
и Митра A956), проводя в отношении структуры таблиц с не-
несколькими входами такое же различие, какое мы проводили в
33.18 и 33.31 в отношении таблиц 2 X 2 и г X с, строят асимпто-
асимптотические критерии X2 для некоторых таких гипотез. Например,
нас может интересовать гипотеза
= ?i±JLl!Lt C3.129)
утверждающая, что в каждом из слоев таблицы с тремя вхо-
входами переменные, соответствующие строкам и столбцам, неза-
независимы. Это аналог равенства нулю частной корреляции между
строками и столбцами при фиксированном слое. Или нас может
интересовать гипотеза
Н2- Рт=Рц.Р..ь C3.130)
утверждающая, что классификация по строкам и столбцам, рас-
рассматриваемая как двумерное распределение, не зависит от слоя.
Это аналог равенства нулю множественной корреляции между
слоями, с одной стороны, и строками и столбцами — с другой.
Проводя суммирование в обеих частях C3.130) сначала
по /, затем по i, мы получаем
Pi.k = Pi..P..k C3.131)
и
Р.,к = Р.,.Р..к- C3.132)
Однако только из C3.131), C3.132) не следует C3.130). С. Рой
и Кастенбаум A956) исследовали вопрос о том, какая нужна
дополнительная гипотеза, чтобы из C3.131), C3.132) следовало
C3.130). Из-за математической трудности они не стали рас-
рассматривать естественную гипотезу
Pil- P-ik Pi-It
C3.133)
а вместо нее предложили
C3.134)
где а — произвольные положительные числа. Они показали, что
из C3.134) и C3.131), C3.132) следует C3.130). В упражнении
33.31 дается другое выражение для C3.133).
33.61 В соответствии с терминологией дисперсионного ана-
анализа (том 3) C3.134) является гипотезой о равенстве нулю
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
781
взаимодействия второго порядка в таблице. Эта задача была
впервые рассмотрена для таблицы 2X2X2 Бартлеттом A935b),
а для таблицы 2Х 2Х I Нортом A945). Лэнкастер A951) пред-
предложил иной метод, основанный на компоненте X\cl из C3.126).
Интерпретация этого метода как критерия для взаимодействия
второго порядка критически обсуждается Плэкеттом A962);
см. также полезное обсуждение аналогии с дисперсионным
анализом Дэррочем A962). Плэкетт предложил другой крите-
критерий, упрощенный затем Гудмэном A963b). Гудмэн A964с)
обобщил этот метод на взаимодействия любого порядка, рас-
рассмотрел A963а) случай 2 X 2 X ^, Дал A964а) другие методы,
основанные на перекрестных отношениях, и дал A964d) прос-
простые методы проверки гипотез и получения доверительных интер»
валов для взаимодействий второго порядка.
Линдли A964) проводит байесовский анализ таблиц сопря-
сопряженности.
33.62 Бёрч A963) рассматривает МП-оцеиивание параметров таблицы со
многими входами. Ои также A964с) рассматривает критерий существования
частной связи в таблице 2 X 2 X h принадлежащий, по существу, Кокрэну
A954) и основанный иа статистике пц., приближенно нормальной со сред-
средним и дисперсией, полученными суммированием в C3.51) по / слоям. Если
6ft = log 2fe , то Но состоит в том, что б» = 0, и критерий будет
Pukpnk
РНМН против альтернативы #i: все 0А равны и положительны. Рассматри-
Рассматривается также вопрос об оценивании предполагаемого общего значения 0&.
Проверка гипотезы о равенстве 0а эквивалентна проверке гипотезы о взаимо-
взаимодействии второго порядка (см. 33.61). Бёрч обобщает теорию на случай таб-
таблиц /¦ X с X '•
Лэикастер A960) распространяет на таблицы со многими входами идеи
канонического анализа.
УПРАЖНЕНИЯ
33.1 Показать, что коэффициент связи Q больше по абсолютной вели-
величине коэффициента коллигации У, за исключением случая, когда оба равны
нулю или единице по абсолютной величине.
33.2 Вывести формулу C3.17) для стандартной ошибки V.
33.3 Для таблицы 3X4 (Amman, Zur Anthropologie der Badener)
Цвет глаз
Ai
Аг
А3
Сумма
Цвет волос
В,
1768
946
115
2829
в, | в3
807
1387
438
2632
189
746
288
1223
в,
47
53
16
116
Сумма
2811
3132
857
6800 = п
782
ГЛАВА 33
показать, что X2 = 1075,2 и что, следовательно, коэффициенты C3.63)—•
C3.65) имеют значения
Р = 0,3695, Т — 0,2541, С = 0,2812.
33.4 Показать, что для таблицы г X с коэффициент сопряжеииости Пир-
Пирсона Р равен коэффициенту Чупрова Т для двух значений величины Х2[п,
одно из которых равно нулю. Показать, что если Х2/п находится между
этими двумя значениями, то Р > Т, а если Х2/п превосходит большее из
значений, то Т > Р.
33.5 В следующей таблице приведены результаты экспериментов по им-
иммунизации крупного рогатого скота против туберкулеза.
Таблица 33.4
Данные из отчета об экспериментах Спалинджера
(Spahlinger) в Северной Ирландии A931—1934)
(Н. М. Stationery Office, 1935)
Привитые вакциной
Непривитые нли
привитые контроль-
контрольными средствами
Сумма
Число погибших
или серьезно
пострадавших
от туберкулеза
6
8
14
Число легко
пострадавших
или непостра-
непострадавших
13
3
16
Сумма
19
И
30
Показать, что для этой таблицы при гипотезе о независимости между
вакцинацией и восприимчивостью к туберкулезу Хг = 4,75, так что гипотеза
отвергается при а ^ 0,029; значение ос, получающееся при использовании
поправки иа непрерывность, равно 0,072, а точное значение, полученное ме-
методом пунктов 33.19—20, равно 0, 070.
33.6 Показать, что если объединить две строки и два столбца таблицы
г X с, то статистика X2 для проверки независимости в новой таблице не
может быть больше Хг для прежней таблицы, а вообще будет меньше.
33.7 Показать, что если / — нормированное р-мерное нормальное распре-
распределение с матрицей рассеяния V и маргинальными распределениями
/i, h, .... fv, то
flfi-U
dxp = -
1
- 1,
ГДе W=2I— V.
(К. Пирсон, 1904.)
33.8 Для таблицы с несколькими входами, основанной на классификации
нормированного р-мерного нормального распределения с корреляциями рц,
показать, что
log A + Ф2) = - ^ 1(>g
~-jiog\I~P\
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
783
где величина ф2 определена в упражнении 33.7, а Р — матрица с элементами
Pa, i ?* j, и 0, i = /. Пользуясь разложением логарифма, показать, что
(Лэнкастер, 1957.)
33.9 Для таблицы т X с с фиксированными маргинальными частотами
рассмотрим статистику
являющуюся взвешенной суммой вкладов строк таблицы в X2 в C3.62) с
весами, равными относительным частотам rii./n. Показать, что при гипотезе
независимости
МН = (с - 1)п(У -
Г2»2 (я2-s«?.)(S»?.-»
+ L (я-1)*(я-2)(п-3)
Показать, что если маргинальные суммы строк равны, так что щ. = п/г, то
Я=— X* и
г
мя
(«-!)/¦
ПН 2п»(я-г)(г-1)
так что
М (X2) -> (г - 1) (с - 1), D (X2) -> 2 (г - 1) (с - 1),
как это и должно быть, поскольку предельное распределение Х^ есть х2 с
(г— 1) (с — 1) степенями свободы.
(Смит, 1951, 1952; см. также Холдейи, 1939.)
784
ГЛАВА 33
33.10 Подобно тому, как это было сделано в примере 33.8, показать для
таблицы 33.5, что 2 ацЪц = 2 X 13 264 256, и получить отсюда значения
h = 0,658, tc = 0,63з!'
Таблица 33.5
7477 женщин 30—39 лет, служащих Королевских
артиллерийских заводов Великобритании A943—1946):
дальность зрения невооруженным глазом
^^^_^ Правый глаз
Левый глаз ^"~"~\^^
Высшая степень
Вторая степень
Третья степень
Низшая степень
Сумма
Высшая
степень
1520
234
117
36
1907
Вторая
степень
266
1512
362
82
2222
Третья
степень
124
432
1772
179
2507
Низшая
степень
66
78
205
492
841
1976
2256
2456
789
7477
33.11 Для таблиц 4-Х 4 примера 33.8 и упражнения 33.10 показать, что
коэффициент С, определенный формулой C3.79), принимает соответственно
значения 0,776 и 0,798 с максимальными стандартными ошибками C3.80),
равными 0,022 и 0,014. Показать также, что значения tc, равные 0,629 и
0,633, имеют максимальные стандартные ошибки 0,029 и 0,019 соответственно.
(Гудмэн и Крускал, 1963.)
33.12 Следующие данные (Чепмэн) связывают условия, при которых вы-
выполнялось домашнее задание (имеющие градации от лучших At до худших
А5), и оценку качества работы учителем (от лучшей Si до худшей В3):
в2
В3
Сумма
А,
141
131
36
308
А,
67
66
14
147
А, ¦
114
143
38
295
At
79
72
28
179
А,
39
35
16
90
Сумма
440
447
132
1019
Показать, сопоставляя категориям в качестве меток натуральные числа,
что коэффициент регрессии качества домашнего задания в зависимости от
условий его выполнения @,025 в этих единицах) находится внутри обычных
границ для выборочиых флуктуации относительно нуля (стандартная ошибка
равна 0,016).
(Иэйтс, 1948.)
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
785
33.13 Приведенная ниже таблица (A. R. Treloar) связывает состояние
зубов 135 женщин со средним ежедневным потреблением кальция каждой из
них:
Состояние
зубов
А
В
С
D
Среднее потребление кальция в день
(в граммах)
0-0,40
5
4
26
23
0,40-0,55
3
5
И
И
0,55-0,70
10
8
3
1
свыше 70
11
6
6
2
Показать, что канонические корреляции равны
R, = 0,56273, /?2 = 0,10869, #
= 0,00045,
так что
«#2 = 42,74984,
п#1= 1,59497,
пЦ\= 0,00003
X* = 44,34484.
Только первая из этих компонент X2 превосходит общепринятые критические
значения для х2- Показать далее, что канонические метки, соответствующие
Rt, равны:
Состояние зубов
А: -1,3880
В: -1,0571
С: 0,6016
D: 0,9971
Потребление кальция
0—0,40: 0,8397
0,40—0,55: 0,4819
0,55—0,70: —1,5779
свыше 0,70: —1,1378
Отметим, в частности, изменение в поведении меток, соответствующих
потреблению кальция, в точке 0,70, которое подтверждает вызванное дан-
данными впечатление о том, что существует верхний предел, после которого
увеличение потребления кальция не улучшает состояния зубов.
(Э. Уилльямс, 1952.)
33.14 В примере 33.10 показать, что
[0,633768533 0,192522708 0,146101456 0,092877193]
0.192522708 0,444704410 0,241885812 0,093129969
0,146101456 0.24L885812 0,474670557 0,200085907
0,092877193 0,093129969 0,200085907 0,466094141
и что из четырех характеристических корней этой матрицы один равен еди-
единице, а остальные имеют значения C3.103). Использовать C3.98) для не-
непосредственного вычисления меток у C3.105), а затем иайти метки х
C3.104), используя C3.99).
786
ГЛАВА 33
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
787
33.15 Для данных примера 33.13 показать, что четырем таблицам 2X2
C3.120) соответствуют компоненты
2,860
2,526
2,180
0,005,
сумма которых равна 7,571, тогда как для исходной таблицы 3X3
X* = 7,547.
(Лэнкастер, 1949b).
33.16 Использовать в 33.53 метод 33.52 для доказательства асимптотиче-
асимптотического разбиения X2 для таблицы 2 X 3 на компоненты C3.119) и показать,
что доказательство может быть обобщено на случай таблицы г X о.
(Лэикастер, 1949b.)
33.17 Для случая мультиномиального распределения
(Р1 + Рг+ ¦•¦ +Рг)п
определим
г=1, 2 г.
Показать, что в обозначениях частных корреляций и регрессий
.J = I1 - (Pi +
A.J =
- Pi) 0 ~ Pi)}'
Pl/.M ... m " -
Pm)Y
Показать также, что a>i/ffi, tt>2-i/<T:.i, Юз.ц/азц и т. д. асимптотически нор-
нормально распределены с нулевыми средними, единичными дисперсиями и ну-
нулевыми корреляциями. Показать далее, что rai*,.i2 ~ (a-i> = 0 и что, следова-
следовательно, первые k — 1 величии w дают разбиение Хг на k — 1 независимых
компонент.
(Лэнкастер, 1949b.)
33.18 Пусть С и D — ортогональные матрицы с рангами г и с соответ-
соответственно, и пусть (гс X г с) -матрица К есть их прямое произведение С X Я.
Пусть переменные
ХИ — (ni/ ~ nPt-P-i)li.nPi-P-i)V2
образуют вектор-столбец
Х — {Хц, *12. •••, Х1С, Хц, Х22, ..., Х2С, ..., ХГ[, Хгг, ..., Хгс}'.
Показать, что при подходящем выборе элементов С и D матрица Y = Кх
дает компоненты X2 для таблицы сопряженности г X с, причем у и соответ-
соответствует общей сумме, i/ia (k Ф 1)—суммам по столбцам, уы (k ф 1) — сум-
суммам по строкам, а оставшиеся элементы — остальным (г— 1)(с — 1) степеням
свободы (см. 33.52).
(Лэнкастер, 1951.)
33.19 В частном случае таблицы 3X3 в упражнении 33.18 положить
1 1 1
—2
VW
Для данных примера 33.13 найти матрицу значений у
О —0,812829 —0,409012 \
—1,834459 1,653094 1,471167 ],
—0,499424 —1,587173 —0,070020/
33.20 Показать, что для таблицы 2 X с с пх. = п%. статистика X2 прини-
принимает вид
-2-
Это статистика критерия для проверки однородности двух выборок равного
объема, классифицированных в соответствии с с категориями.
33.21 В таблице 2 X с предположим, что щ. > т„ и выберем неболь-
небольшие целые числа k, h, It > h ^ 1, такие, что kjh служит приближением для
Я1./П2- н, следовательно, разность (Ащ. — ktiz.) мала. Показать, что для этой
таблицы C3.121) можно записать точно следующим образом:
(А-
а приближенно, с относительной ошибкой, не превосходящей 1 —
в виде
/n-l - (ЛгаЬ - kn2.fl"\-
(Холдейн, 1955b.)
33.22 Для таблицы 2 X 1
25
1
26
80
15
95
38
12
50
52
8
60
9
0
9
21
7
28
33
6
39
24
2
26
30
7
37
51
7
58
56
3
59
419
68
487
использовать результаты последнего упражнения с h = 1, k = 6. Показать,
что точная формула дает для X2 значение 16,709, а приближенная — значе-
значение 16,393. Ошибка этого приближения равна 1,9%, тогда как верхняя гра-
граница этой ошибки равна 2,3%.
(Холдейн, 1955b.)
788
ГЛАВА 33
33.23 Показать (см. упражнение 33.20), что в таблице сопряженности
г X г можно проверить гипотезу о полной симметрии (т. е. На: рц = pju
i, j = 1, 2, ..., г, где pij — вероятность появления наблюдения в i-й строке
и /-м столбце) с помощью статистики
i ! ft)
асимптотически распределенной как х2 с -у г (г — 1) степенями свободы.
(Боукер, 1948.)
33.24 Показать, что в таблице г Xг с однородными категорнзациямн
(см. 33.2) можно проверять однородность двух маргинальных распределений
(т. е. Но: pi. = p.i, « = 1,2,...,/") с помощью квадратичной формы от
г—1 асимптотически нормальных переменных cli = (re,. —«.,), i = 1, 2, ...
..., /¦— 1,
r-i r-\
где V4i есть (г, /)-й элемент матрицы, обратной (г ¦
рассеяния V величин du элементы которой имеют вид
— 1)-матрице
Показать, что Q асимптотически имеет распределение х2 с г—1 степенями
свободы.
(Стьюарт, 1955b; Мадански A963)
рассматривает критерий отношения
правдоподобия для маргинальной од-
однородности в случае таблицы с не-
несколькими входами.)
33.25 Показать, что в таблице г X г гипотеза
Ра Рц
Я„:
Pi-P-i Pj.P.j
может быть проверена с помощью статистики
/, /=1, 2, .... г,
.п.
V =
распределенной асимптотически как х2 с л — 1 степенями свободы.
(Дёрбин; см. Гласе A954), стр. 234.)
33.26 Проверить значения компонент X2 в двух разложениях в C3.128),
используя метод, приведенный после C3.126).
33.27 Перегруппируем частоты примера 33.13, кроме 3018, в таблицу
2X2X2
3008 2974
3009 2832
3047 3051
2997 3038
КАТЕГОРИЗОВАННЫЕ ДАННЫЕ
789
(цифры справа соответствуют «слою», лежащему выше, а слева — лежащему
ниже). Считая гипотетические вероятности равными 1/2, получить следую-
следующее разбиение X2:
R
С
L
RC
RL
LC
RCL
X2
\
33.28 Пусть в таблице 2
(гипотетические
вероятности)
4,0115
1,1503
0,2540
2,7357
1,7372
1,3524
0,4690
11,7101
Х2Х2
X2 (параметры,
оцененные
по данным)
0
0
0
2,7824
1,7547
1,3607
0,5107
6,4085
(Лэнкастер, 1951.)
' = (Р2--) > м==(Р-2.) » ° — (Р--2) >
и пусть матрица М порядка (8 X 8) является прямым произведением матриц
( v v)x( u u)x( т *)'
[-V v!X{-u u)X{-t Tj-
Пусть, кроме того,
их — вектор-столбец
•)c212t
Показать, что элементы Мх служат компонентами (асимптотически незави-
независимых) случайных величин % для (тот же порядок; ср. C3.126))
Т, R, С, RC, L, RL, CL, RCL.
(Лэнкастер, 1951.)
33.29 Маргинальные вероятности pt., p.j таблицы г X с известны, и тре-
требуется оценить клеточные вероятности рц. Дана выборка из п наблюдений,
взятых из мультиномиального распределения с вероятностями рц. Показать,
что МП-оценки р\3 для pij находятся как решения системы (г—1)(с — 1)
уравнений
nic
г/
ii ic _ г/
P Pi P
-0,
1, 2. ..., r-1; 1=1, 2 с- 1.
Pii Pic Pn r-re
Показать также, что эти оценки являются модифицированными несмещен-
несмещенными МД-оценками для рц, получаемыми применением A9.59) к пц (i = 1,
2, ..., г—\; / = 1, 2, ..., с— 1); при этом в точной матрице рассеяния V
рц всюду заменяются на рц.
(Эль-Бадри и Стефан, 1955; см. так-
также Дж. Смит, 1947.)
790
ГЛАВА 33
33.30 В с различных ситуациях одни и те же п индивидов наблюдались
с целью выяснения наличия (значение 1) или отсутствия (значение 0) неко-
некоторого признака. Результаты были представлены в виде таблицы 2 X 2...
•.. X 2 = 2е. Обозначим Т} (/ = 1, 2, ..., с) общее число единиц в /-й си-
ситуации Hiij (i= 1, 2 2е)—число единиц среди с координат i-й клетки
таблицы. Показать, что если вероятность «единицы» одинакова во всех с
ситуациях, то статистика
(где суммирование в знаменателе ведется по всем непустым клеткам) асимп-
асимптотически распределена как х2 с с— 1 степенями свободы.
(Кокрэн, 1950; Мадански A963) об-
обобщает этот результат иа случай
таблиц ге.)
33.31 Определяя отношение Rij. = pi}.l(pt..p.}.) и, аналогично, Ri-ь, R.lh,
показать, что гипотеза C3.133) может быть записана в виде
с аналогичными выражениями для Нг в терминах Ri.k и R.ik, и показать,
что Я, является гипотезой о том, что каждое из этих трех отношений инва-
инвариантно относительно изменения опущенной категоризованной переменной.
ГЛАВА 34
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
Последовательные процедуры
34.1 В предыдущих главах, рассматривая задачи, связанные
с выборками, мы обычно предполагали объем выборки п фик-
фиксированным. Это могло происходить по разным причинам: или
мы выбирали п заранее; или вообще не могли выбирать п, на-
например, когда нам представлены результаты законченного экс-
эксперимента; или это могло быть обусловлено тем, что объем вы-
выборки определялся некоторым другим критерием, например, если
было решено проводить наблюдения в течение данного проме-
промежутка времени. Мы делали наши выводы, оставаясь в области,
где п постоянно. Например, находя стандартную ошибку неко-
некоторой оценки, мы делаем вероятностные утверждения, относя-
относящиеся к множеству выборок объема п. Можно было бы ска-
сказать, что наши формулы являются условными относительно п.
Ясно, что если п определяется некоторым способом, не связан-
связанным со значениями наблюдений, то такая трактовка справед-
справедлива.
34.2 Иногда, однако, объем выборки представляет собой слу-
случайную величину, зависящую от значений наблюдений. С од-
одним из таких простейших случаев мы уже сталкивались в при-
примере 9.13 (том 1, стр. 313). Предположим, что мы последова-
последовательно выбираем людей, чтобы определить относительное число
имеющих редкую группу крови. Вместо выбора, скажем, 1000
индивидуумов и подсчета числа представителей с этой группой
крови, мы можем предпочесть продолжать выбор до появления
20 таких случаев. Мы увидим позже, почему эта процедура
может быть предпочтительней, а на данном этапе примем на
веру, что она заслуживает рассмотрения. Производя выборки
по такой схеме, мы, несомненно, нашли бы, что число п, требуе-
требуемое для достижения фиксированного числа успехов, скажем 20,
заметно колеблется. Оно должно быть не меньше 20, но может
быть и бесконечным (хотя вероятность бесконечного продолже-
продолжения выборки равна нулю, так что почти наверное мы должны
рано или поздно остановиться).
790
ГЛАВА 33
33.30 В с различных ситуациях одни и те же п индивидов наблюдались
с целью выяснения наличия (значение 1) или отсутствия (значение 0) неко-
некоторого признака. Результаты были представлены в виде таблицы 2X2...
... X 2 = 2е. Обозначим Tj (/ = 1, 2, .... с) общее число единиц в /-й си-
ситуации и «j (»= 1, 2 2е) —число единиц среди с координат i-й клетки
таблицы. Показать, что если вероятность «единицы> одинакова во всех с
ситуациях, то статистика
1=1
(где суммирование в знаменателе ведется по всем непустым клеткам) асимп-
асимптотически распределена как х2 с с — 1 степенями свободы.
(Кокрэи, 1950; Мадански A963) об-
обобщает этот результат на случай
таблиц лс.)
33.31 Определяя отношение Rti. = рц./(рг..р.).) и, аналогично, 7?(.*, R.ik,
показать, что гипотеза C3.133) может быть записана в виде
#з: Rii.=={Piik/P..k)/{(Pi.k/P..k)(P.lk/P..k)}
с аналогичными выражениями для Нг в терминах Ri.k и R.jk, и показать,
что Н3 является гипотезой о том, что каждое из этих трех отношений инва-
инвариантно относительно изменения опущенной категоризованной переменной.
ГЛАВА 34
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
Последовательные процедуры
34.1 В предыдущих главах, рассматривая задачи, связанные
с выборками, мы обычно предполагали объем выборки п фик-
фиксированным. Это могло происходить по разным причинам: или
мы выбирали п заранее; или вообще не могли выбирать п, на-
например, когда нам представлены результаты законченного экс-
эксперимента; или это могло быть обусловлено тем, что объем вы-
выборки определялся некоторым другим критерием, например, если
было решено проводить наблюдения в течение данного проме-
промежутка времени. Мы делали наши выводы, оставаясь в области,
где п постоянно. Например, находя стандартную ошибку неко-
некоторой оценки, мы делаем вероятностные утверждения, относя-
относящиеся к множеству выборок объема п. Можно было бы ска-
сказать, что наши формулы являются условными относительно п.
Ясно, что если п определяется некоторым способом, не связан-
связанным со значениями наблюдений, то такая трактовка справед-
справедлива.
34.2 Иногда, однако, объем выборки представляет собой слу-
случайную величину, зависящую от значений наблюдений. С од-
одним из таких простейших случаев мы уже сталкивались в при-
примере 9.13 (том 1, стр. 313). Предположим, что мы последова-
последовательно выбираем людей, чтобы определить относительное число
имеющих редкую группу крови. Вместо выбора, скажем, 1000
индивидуумов и подсчета числа представителей с этой группой
крови, мы можем предпочесть продолжать выбор до появления
20 таких случаев. Мы увидим позже, почему эта процедура
может быть предпочтительней, а на данном этапе примем на
веру, что она заслуживает рассмотрения. Производя выборки
по такой схеме, мы, несомненно, нашли бы, что число п, требуе-
требуемое для достижения фиксированного числа успехов, скажем 20,
заметно колеблется. Оно должно быть не меньше 20, но может
быть и бесконечным (хотя вероятность бесконечного продолже-
продолжения выборки равна нулю, так что почти наверное мы должны
рано или поздно остановиться).
ГЛАВА 34
34.3 Процедуры, подобные этой, называются последователь-
последовательными. Их типичной особенностью является выборочная схема,
устанавливающая правило, по которому мы решаем на каждом
этапе, прекратить или продолжать выбор. В нашем примере
правило было очень простым: если испытание дало неблаго-
неблагоприятный исход, то. продолжаем выбор; если достигнут успех,
то также продолжаем выбор, за исключением случая, когда
в предыдущих испытаниях достигнуто 19 успехов: тогда выбор
прекращается. Решение в любой момент, вообще говоря, зави-
зависит от наблюдений, сделанных до этого момента. Таким обра-
образом, для последовательности значений Х\, х2, ..., хп объем вы-
выборки, при котором мы прекращаем выбор, зависит от иксов.
Именно этот факт является характерной особенностью последо-
последовательного анализа.
Последовательные методы начали развиваться во время вто-
второй мировой войны в основном Вальдом (работа которого пол-
полностью изложена в его книге, Вальд A947)) в США и одно-
одновременно Барнардом A946) в Англии.
34.4 Обычная ситуация, когда мы фиксируем объем выборки
заранее, может рассматриваться как очень специальный слу-
случай последовательной схемы. В этом случае выборочная про-
процедура такова: продолжать выбор до получения л членов не-
независимо от того, какие наблюдаются значения. Однако это
настолько вырожденный специальный случай, что в нем факти-
фактически теряется суть последовательного метода.
Если процедура останавливается с вероятностью единица,
то схему называют замкнутой. Если же существует ненулевая
вероятность того, что выбор может продолжаться неограничен-
неограниченно, то схема называется открытой. В этой главе мы не будем
серьезно рассматривать открытые схемы. Они имеют, очевидно,
меньшее практическое значение по сравнению с замкнутыми
схемами, и их обычно приходится редуцировать к замкнутым
схемам, устанавливая верхний предел для объема выборки. Та-
Такое усечение часто делает трудным точное определение их
свойств.
В литературе по этому вопросу не всегда единообразно ис-
используются термины. «Замкнутые» иногда означает «усечен-
«усеченные», так говорят применительно к схемам, в которых опреде-
определенное правило замыкания устанавливает верхний предел
объема выборки. Соответственно «открытые» иногда означает
«неусеченные».
Пример 34.1
В качестве примера довольно простой последовательной схе-
схемы рассмотрим выбор из (большой) популяции с долей успе-
успехов со. Мы будем продолжать выбор до получения m успехов.
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
793
после чего остановимся. Вряд ли нужно доказывать, что такая
схема замкнута. Вероятность того, что в бесконечной последо-
последовательности не появится пг успехов, равна нулю.
Вероятность m—1 успехов в первых п—1 испытаниях со-
совместно с успехом в /л-м испытании (см. 5.14—15) равна
, m+.l, ....
C4.1)
где % = 1—со. Это есть распределение объема выборки п. Про-
Производящая функция частот для п (с началом в нуле) дается
выражением
"" "" ' C4.2)
Отсюда получаем производящую функцию семиинвариантов:
Разлагая это выражение до члена t2, находим
m_
m A — ffl)
C4.3)
C4.4)
Таким образом, среднее значение объема выборки л равно
т/со. Из этого не следует, что т/п является несмещенной оцен-
оценкой для со. В действительности такая несмещенная оценка
дается выражением
р = (т_1)/(л-1),. C4.5)
потому что
= e»S(^l2-)<D'B"I5t'l"I"==<B- C4-6)
Дисперсия этой оценки в сжатой форме не выражается. В са-
самом деле,
n=m
б п=
/ i\ m I—m I itn—2.»*
= (« — I) CO X Г (I — I
C4.7)
"ii
794
Полагая и
М
ГЛАВА 34
«>t/{%(\ — 0). находим
I
_- 1)Й2 Гц»-»
о
,Г. , I ,
21x2
m(m + l
Отсюда, вычитая ш2, имеем
m(m+l)(m + 2
. . 1. C4.8)
J v '
C49)
Можно получить несмещенную оценку для Dp в простой и за-
замкнутой форме. Тем же путем, каким мы пришли к C4.6), по-
показывается, что
Следовательно,
Таким образом,
х-~ / т — 1 \2
DP U-ii
n
(m-
(я-
. (m —
(n-
!)(«-
D(«-
l)(m-
2) _
-2) _
(m-
= @2.
l)(n-
m) _
p*q
Я—2
m — q
C4.10)
Заметим что для больших п это выражение асимптотически
совпадает с соответствующим результатом для выборок фикси-
Р°ВОц1нка°коэффициента вариации величины р для данного
отрицательно-биномиального распределения имеет вид
p(m-q)W
{Р2A-Р)}1/2>
и для малых р она приближенно равна /т - 1. Таким обра-
образом для последовательного процесса относительная выбороч-
выборочная'вариация величины р приближенно постоянна.
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
795
Эта последовательная схема, часто называемая обратным биномиальным
выбором, впервые обсуждалась Холдейном A945) и Финни A949b). Найт
A965) сделал эту теорию единой для биномиального, пуассоновского, гипер-
гипергеометрического и экспоненциального распределений.
34.5 Выборка по качественному признаку занимает такое
большое место в последовательном анализе, что, прежде чем
переходить к более общим рассмотрениям, мы обсудим полез-
полезный графический метод представления процесса выбора.
I
\
\
\
\
\
\
\
\
\
X
Неудачи
Рис. 34.1.
В
Возьмем координатную сетку, как на рис. 34.1, и будем от-
откладывать число неудач на оси абсцисс, а число успехов — на
оси ординат.
Последовательный выбор может быть представлен на этой
сетке траекторией, выходящей из начала координат, причем
сдвиг вправо на один шаг соответствует неудаче Я, а один шаг
вверх отвечает успеху У. Например, траектория ОХ изображает
последовательность ННУНННУУННННУНУ. На этой диаграм-
диаграмме правило остановки эквивалентно некоторому барьеру. На-
Например, линия АВ задается уравнением У + Н = 9 и, таким
образом, соответствует случаю выборки фиксированного объе-
объема п = 9. Линия CD соответствует У — 5 и, следовательно, оп-
определяет правило остановки такого типа, как рассмотренное
в примере 34.1, с m =¦ 5. Траектория ОХ, изображающая вы-
выборку объема 15, является тогда одной из траекторий, которая
заканчивается в X. Если X представляет собой точку с коорди-
координатами (х,у), то число различных траекторий, соединяющих
О с X, равно числу способов, которыми х может быть выбрано
из (х + у). Вероятность достижения точки X есть вероятность
осуществления х успехов и у неудач, а именно
796
ГЛАВА 34
Пример 34.2. Разорение игрока
Одна из старейших задач теории вероятностей относится
к последовательным процессам. Рассмотрим двух игроков Л
и В и серию игр, в каждой из которых А выигрывает с вероят-
вероятностью со и В — с вероятностью 1 — со. Проигравший в каждой
игре платит победителю рубль. Если А начинает с а рублями,
а В с Ь. рублями, то каковы вероятности их разорения (игрок
считается разорившимся, когда он проигрывает свой послед-
последний рубль)?
Серии последовательных игр, подобные этой, могут быть
представлены на графике, аналогичном рис. 34.1. Мы можем
считать успехом победу игрока А в одной игре. Игра продол-
продолжается до тех пор, пока и Л и В имеют деньги, и прекращается,
когда А имеет а + Ъ (т. е. В проиграл всю свою начальную
сумму) или когда В имеет а + b рублей (А проиграл свою на-
начальную сумму). Поэтому границами, определяющими выбо-
выборочную схему, являются линии у — х = —а и у — х = Ь.
В О
1
О
У
У
у
у
/
X
/
м
р
/
у
у
у
у
У
У
у
у
у
Рис. 34.2.
Рисунок 34.2 служит иллюстрацией для случая а = 5, Ъ = 3.
Линий. АВ, CD наклонены под 45° к осям и проходят через точ-
точки с координатами Я == О, У'== 3 и Я = 5, У = 0 соответствен-
соответственно. Для любой-точки между этими линиями У—Н меньше,
чем 3, и Я—У меньше, чем 5. На линии АВ У — Я = 3, и если
траектория достигает, этой линии, то В, проиграв на три игры
больше-, чем А,- разоряется; аналогично, когда траектория до-
достигает CD, то разоряется игрок А. Таким образом, последова-
последовательная схема выглядит так: если точка лежит между линия-
линиями, то выбор продолжается;- если достигнута линия АВ, то вы-
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ 797
бор прекращается и разоряется игрок В; при достижении гоа-
ницы CD следует остановка и разорение игрока Л Р
Легко получить интересующие нас вероятности Пусть и
есть вероятность того, что, нмея х рублей, игрок Л' разорится
Рассматривая следующую игру, выводим уравнение
«л = сйцл+1 + Хи*-1 C4.11)
с граничными условиями
"о=1, иа+б = 0. C4.12)
Обшее решение уравнения C4.11) есть
где ti и t2 — корни квадратного уравнения
а именно:
t = 1
t =
Предположим, что со
их =¦
Если же со = 1/2, то решение имеет вид
_ а+ ь-х
х а + Ь ¦
В частности, в начале игры, когда х = а, при со = 1/2
__ ъ
U"~ а + Ь '
Х- Тогда, используя C4.12), находим
C4.13)
C4.14)
C4.15)
34.6 Подобные ситуации можно, очевидно, обобщать мно-
многими способами и, в частности, можно устанавливать различ-
различного типа границы. При этом замкнутая схема—это, по суще-
существу, такая схема, для которой достоверно, что граница будет
достигнута.
Пусть, например, схема задается так: если проигрывает Л
то он платит один рубль, если же проигрывает В, то он пла-
платит k рублей. Траектория на рис. 34.2, соответствующая такой
схеме, состоит тогда из шагов единичной длины, параллельных
оси абсцисс, и шагов длины k, параллельных оси ординат. Этот
пример дает нам возможность выделить момент, который по-
постоянно вносит трудность в математическую сторону последо-
последовательных схем: траектории могут не заканчиваться точно на
границе, а пересекать ее. Например, для к = 3 такой траекто-
798
ГЛАВА 34
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
799
рией является ломаная ОХ на рис. 34.2. После двух успехов и
пяти неудач мы приходим в точку Р. Следующий успех приве-
приведет нас в точку X, попадая в которую мы пересекаем границу
в точке М. Конечно, мы останавливаемся на том шаге,, при
котором граница достигается или пересекается. Существенный
момент данного примера заключается в том, что точная вероят-
вероятность достижения границы в точке М равна нулю. Фактически
эта точка недостижима. Позднее мы увидим, что из-за такого
отсутствия непрерывности иногда бывает трудно установить
точные и краткие утверждения об интересующих нас вероятно-
вероятностях. Мы будем называть такие ситуации «граничными эффек-
эффектами». В большинстве практически случаев ими можно прене-
пренебрегать.
Последовательные критерии для проверки гипотез
34.7 Применим идеи последовательного анализа к задачам
проверки гипотез и в первую очередь к различению двух гипо-
гипотез Но и Hi. Предположим, что эти гипотезы относятся к пара-
параметру 9, который может принимать значения 9о и 9i соответ-
соответственно, т. е. Но и Hi являются простыми гипотезами. Нам
нужно найти выборочную схему, делящую выборочное про-
пространство на три взаимно непересекающиеся области: (а) об-
область а>а, при попадании в которую выборочной точки мы при-
принимаем гипотезу Но (отвергаем Hi); (б) область <ог, при попа-
попадании в которую выборочной точки мы принимаем Н\ (и от-
отвергаем Но); (в) остальная часть выборочного пространства,
сос, — когда точка попадает в эту область, мы продолжаем
выбор.
Если в примере 34.2 принять разорение игрока А за Но, а
разорение игрока В за Н\, то областью соа будет область справа
от CD, включая саму линию; областью юг является область
выше АВ, включая саму линию; областью сос служит область
между линиями.
Оперативная характеристика
34.8 Вероятность принятия гипотезы Но, когда верна Hi,
есть функция от 9i. Обозначим ее K(Qi). Если схема замкнута,
то вероятность отвергнуть гипотезу Яо, когда Hi верна, равна
1—К(д\). Как функция от 9i для различных значений 9], она
является просто функцией мощности. Подобно предыдущему,
мы могли бы, конечно, все делать в терминах мощности, но в
последовательном анализе стало традицией иметь дело с самой
функцией K{Qi).
К (в), рассматриваемая как функция от 9, называется «опе-
«оперативной характеристикой» (ОХ) схемы. Откладывая ее по оси
ординат, а 9 — по оси абсцисс, получим «кривую оперативной
характеристики», являющуюся дополнением (до единицы)
функции мощности.
Средний объем выборки
34.9 Второй функцией, используемой для характеристики
последовательного критерия, является «средний объем выбор-
выборки» (СОВ). Это есть математическое ожидание объема выбор-
выборки я, требуемого для решения о принятии гипотезы Но или Hi
и, следовательно, для прекращения выбора. ОХ для Но и Ht
не зависит от объема выборки, а зависит только от постоянных,
заданных выборочной схемой в самом начале, до выбора. СОВ
измеряет объем наблюдений, требуемый при применении дан-
данной схемы.
Пример 34.3
Рассмотрим выборку из (большой) совокупности качествен-
качественных признаков с долей успехов со, и пусть и мало. Нас инте-
интересует возможность того, что (о меньше некоторого заданного
значения ©о- Такая задача часто встречается, например, в си-
ситуации, где производитель некоторого изделия желает гаранти-
гарантировать, что доля отказов в партии изделий не превосходит
некоторого фиксированного числа. Прежде всего рассмотрим
альтернативу toi > coo-
Возьмем очень простую схему. Если успех не появляется,
то мы продолжаем выбор до наперед заданного объема вы-
выборки «о и принимаем значение соо. Если же, однако, появился
успех, то мы принимаем ац и прекращаем работу.
Пусть со является истинной вероятностью успеха. Тогда
вероятность того, что мы примем гипотезу, равна A —(й)п* = %п°.
Это есть ОХ. Она представляет собой J-образную кривую,
монотонно убывающую от ю = 0 до <о== 1. Два наших конкрет-
конкретных значения даются просто ее ординатами- в точках <оо и со,.
Общий смысл ситуации требует, чтобы мы принимали мень-
меньшее из ш0 и ©I, если успех не появился, и большее,, если успех
появился. Пусть и0 — меньшее число. Тогда вероятность ошибки
первого рода а равна 1 — %J°, а вероятность ошибки второго
рода р равна х?°. Если мы поменяем местами <оо и <ор то
а-ошибка будет I — х*% а р-ошибка Хо°> и они °бе больше, чем
в предыдущем случае.
В этом частном случае, используя ОХ, можно получить
критерий для проверки сложной гипотезы #0: ©<^©0 против
800
ГЛАВА 34
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
801
#t: со > ю0. Действительно, если со < соо, то вероятность а-ошибки
меньше, чем 1—у%\ а вероятность р-ошибки меньше, чем у?°.
СОВ находится вычислением среднего значения объема вы-
выборки т, на котором мы остановимся. Очевидно, что для лю-
любого заданного со оно равно
2 тсоA-со)т"' + «оA-«У
)"*"'
т=\
«„-1
. C4.16)
В данном случае СОВ также является убывающей функ-
функцией от со, так как он равен
Мы видим, что СОВ будет разным в зависимости от того, какое
из значений соо или coi является истинным.
Для дискретных распределений трудно произвести сравне-
сравнение результатов последовательной процедуры с результатами,
относящимися к обыкновенной выборке фиксированного объе-
объема, особенно это касается сравнения ошибок первого и второго
рода. Рассмотрим, однако, случай соо = О,1 и « = 30. Из таб-
таблиц биномиального распределения (например, Biometrika Tab-
Tables, таблица 37) мы видим, что вероятность 5 или более успе-
успехов равна приблизительно 0,18. Таким образом, основываясь
на выборке фиксированного объема 30, мы можем отвергнуть
значение со = 0,1 с ошибкой первого рода 0,18. При альтерна-
альтернативном значении со = 0,2 вероятность 4 или менее успехов
равна 0,26, что и является ошибкой второго рода.
Для последовательного критерия с объемом выборки п0
ошибка первого рода равна 1 — у?\ а ошибка второго рода
равна х"°- При объеме выборки 2 ошибка первого рода рав-
равна 0,19, а ошибка второго рода равна 0,64. При объеме выборки
6 ошибки равны 0,47 и 0,26 соответственно. Ясно, что в этом
простом примере мы не можем установить соответствие между
двумя типами ошибок, но очевидно, что для достижения фикси-
фиксированного уровня ошибки любого рода в последовательном слу-
случае потребуется меньший объем выборки. Пользуясь более гиб-
гибкой последовательной схемой, мы можем обеспечить заданные
уровни ошибок обоих родов при меньшем СОВ, чем в случае
выборки фиксированного объема. На самом деле в малости
среднего объема выборки и состоит одно из основных преиму-
преимуществ последовательных методов (см. пример 34.10).
Критерий отношения вероятностей Вальда
34.10 Предположим, что мы выбираем одно за другим т
значений хи х2, ..., хт из совокупности f (х, 0). На любом этапе
отношение вероятностей данной выборки для гипотез Но
(9 = 0О) и #i F = 6i) равно
C4.17)
С помощью способа, который будет описан позднее, выберем
два числа А и В, соответствующих желаемым а- и р-ошибкам,
и установим следующий последовательный критерий: выбор
продолжается, пока В <С Lm <C Л; принимаем #ь когда впер-
впервые Lm ^ А; принимаем Яо, когда впервые Lm ^ В.
Эквивалентной, но более удобной для вычислений функцией
является логарифм Lm. Теперь критическое неравенство имеет
вид
rh m
S logf(x,, в,)- S logf(x,, e0) < log Л, C4.18)
Такие критерии мы будем называть «последовательными крите-»
риями отношения вероятностей» (ПКОВ).
34.11 Нам часто будет удобно обозначать
z, = log {f (х„ в,)// (хь 0О)}. C4.19)
Тогда критическое неравенство C4.18) будет эквивалентно
утверждению относительно накопленных сумм z,. Докажем
прежде всего, что ПКОВ заканчивается с вероятностью еди-
единица, т. е. что он замкнут.
Выборка завершается, если
<
log А
или
logS.
Случайные величины z, независимы с дисперсиями, скажем,
т
а2 > 0. Тогда 2 zi имеет дисперсию то2. С ростом т диспер-
дисперсия увеличивается и вероятность того, что значение 2 zi ос-
остается между конечными пределами log В и log Л, стремится
к нулю. Более точно, распределение среднего z стремится, в
силу центральной предельной теоремы, к (нормальному) рас-
распределению с дисперсией о2/т, и следовательно, вероятность
того, что это среднее попадет между (logB)/m и (logA)/m,
стремится к нулю.
Стейн A946) показал, что М (emt) существует для любого комплексного
числа t, действительная часть которого меньше некоторого to > 0. Отсюда
следует, что случайная величина т имеет моменты всех порядков
26 М. Кендалл, А. Стьюарт
802
ГЛАВА 34
Пример 34.4
Рассмотрим снова биномиальное распределение с вероят-
вероятностью успеха ю. Если имеется k успехов в первых т испыта-
испытаниях, то ПК.ОВ задается статистикой
C4.20)
log Lm = k log -21- + (m - k) log ±-
Эту величину мы вычисляем, проводя выбор, который продолжа-
продолжается до тех пор, пока не достигнем граничных значений log В или
log А. Теперь покажем, как определяются числа А и В.
34.12 Замечательный факт состоит в том, что числа А и В
могут быть получены очень просто (по крайней мере с приемле-
приемлемой точностью приближения) из вероятностей ошибок первого
и второго рода аир без знания исходного распределения. Та-
Таким образом, не требуется решать задачи, связанные с распре-
распределением. Это не означает, что последовательный процесс яв-
является свободным от распределения. Зная распределение, мы
подставляем его в критерий Lm C4.17) и далее обращаемся не-
непосредственно с этим отношением правдоподобия. И неудиви-
неудивительно, что ПК.ОВ обладают определенными оптимальными
свойствами, поскольку они используют всю имеющуюся в рас-
распоряжении информацию, включая порядок появления выбороч-
выборочных значений.
Рассмотрим выборку, для которой Lm лежит между А и В
при первых п—1 испытаниях, а затем становится ~^-А в га-м
испытании, так что мы принимаем Нх (и отвергаем Но). По оп-
определению вероятность получения такой выборки по крайней
мере в А раз больше при гипотезе Hi, чем при гипотезе Но.
Поскольку это верно для любой точки выборки, то это верно и
для совокупности всевозможных выборок, ведущих к приня-
принятию Hi. Вероятность принятия Яь когда выполняется Но, рав-
равна а, а вероятность принятия Но, когда выполняется Н\, равна
1 — р. Следовательно, 1 — р > Ла, или
Л<1т1- C4-21>
Подобным образом, рассматривая случаи, в которых прини-
принимается Но, мы получим, что Р^ ВA — а), или
B>j~- C4.22)
34.13 Если бы наши границы были такими, что значения Л
и В достигались бы точно, т. е. если бы не было граничного
эффекта, то мы могли бы написать
Л-
!-=?
C4.23)
В действительности Вальд A9,47) показал, что для всех прак*
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
803
а из C4.22)
Следовательно,
1
1
а' =
ft' ¦
р ¦
-Р''
Р' .
-а' "
^ аA
-= 1
^ РA
-* 1
<*• и _
-Р'
-Р
-а'
— а
)
)
1 -
Р
1-
<
^ 1
~Р'
¦ а '
а
1-р
Р
— а
тических целей можно предполагать эти равенства выполнен-
выполненными. Пусть
а=!^Р., b = j^, C4.24)
и пусть истинные ошибки первого и второго рода для границ а
и Ъ равны а' и Р'. Тогда из C4.21) имеем
а' -1 а C4.25)
C4.26)
C4.27)
C4.28)
а'+р'<а + р. C4.29)
На практике аир малы, чаще всего они равны 0,01 или 0,05.
Из C4.27) и C4.28) следует, что величины, на которые а'
может превосходить а или р' может превосходить р, ничтожны.
Более того, из C4.29) мы видим, что или а'-^а, или р'-<!р.
Следовательно, худшее, что может быть при использовании а
и 6-вместо Л и В, — это увеличение одной из ошибок, и толишь
на очень малую величину. Такая процедура поэтому будет все-
всегда безопасна в том смысле, что для всех практических целей
не происходит увеличения ошибок неправильного решения. Из-
Избегая утомительных повторений, мы будем впредь использовать
равенства C4.23), если только не оговорено противное.
Пример 34.5
Рассмотрим снова биномиальный закон из примера 34.4
с а = 0,01, р = 0,10, соо = 0,01 и coi = 0,03. Имеем для k успе-
успехов и п — k неудач (логарифмируя по основанию 10)
Кроме того,
а'A - р) + Р'A - а) <а A - РО + Р A - а'),
или
ИЛИ
"?" + k
26*
804
ГЛАВА 34
или — 0,995653 < — 0,0088635 (и — k) + @,477121) k < 1,954243'
Деля на 0,0088635, находим с точностью до ближайших целых,
— 112<54& — л<220. C4.30)
Пользуясь таким критерием, мы, например, должны принять ©о,:
если не появилось неудачного исхода в первых 112 испытаниях.
Если одна неудача произошла в 100-м испытании, а другая в
200-м, то мы не можем принять решение прежде 220-го (т. е.
112+ BX54)) испытания. И если в 200 испытаниях произо-
произошло 6 неудач, скажем в 50-м, 100-м, 125-м, 150-м, 175-м, 200-м,
то мы также не можем отклонить гипотезу, так как 54& — п
равно 124 в 200 испытаниях; но если эксперимент был затем
продолжен и величина 54? — п превзошла 220, то мы должны
принять ©ь
ОХ последовательного критерия отношения вероятностей
34.14 Рассмотрим функцию
L —
._ h зависит от Э. Функция g(x, 0) = Lhf (x, 0) есть функция
плотности при любом значении 9, если только
М (Lh) =
Можно показать (см. упражнение 34.4), что существует не более
одного ненулевого значения А, удовлетворяющего этому урав-
уравнению. Рассмотрим следующее правило: принимаем Яо, про-
продолжаем выбор или принимаем Н\ согласно неравенству
. ГТ {Lhf (г, 9)} ,
В"< Чт„, J <АН. C4.33)
Оно, очевидно, эквивалентно обычному правилу C4.18) при ус-
условии, что Л > 0. Рассмотрим проверку гипотезы Я: истинное
распределение есть f(x,Q) ¦—лротив альтернативы G: истинное
распределение есть g(x, 0). Если а! и р' — ошибки, а отношение
правдоподобия таково, как в C4.33), то ::
Ah — ' nil да _ Р'
1 _ а'
C4.34)
и, следовательно,
Bh
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ ggg
Так как а' есть функция мощности, когда выполняется Ни то
ее дополнение, ОХ, дается равенством
I_^ = /C(e)e-^=J_. C4.35).
Такая же формула выполняется, если h < 0.
Теперь мы можем найти ОХ критерия. Когда А(9)=1,
9 = 90, а когда /г@)=—1, 9 = 9ь Для других значений мы
должны решить C4.32) относительно 9 и найденное значение
затем подставить в C4.35). Но на самом деле, чтобы построить
кривую оперативной характеристики /С(9), в этом нет необхо-
необходимости. Мы можем взять само /г@) в качестве параметра и
строить зависимость C4.35) относительно него.
Пример 34.6
Рассмотрим еще раз биномиальный закон из предыдущего
примера. Для дискретных значений 1 (успех) и 0 (неудача) мы
можем написать
/A,со) = со, /@, «0 = 1-а.
Тогда C4.32) принимает вид
или
© = •
/1-
- До
<а,
{ ОH / \ 1 — С0„ /'
Из C4.35) при А = A — р)/« и В = р/A —а) имеем
|
C4.36)
1 -I
C4.37)
Мы можем теперь начертить К (со) относительно со, исполь-
используя C4.36) и C4.37) как параметрические уравнения от h.
СОВ для последовательного критерия отношения правдоподобия
34.15 Рассмотрим последовательность из п случайных вели-
величин Z\. Если бы п было фиксировано, то мы получили бы
806
ГЛАВА 34
Для последовательного выбора это неверно, но взамен имеет
место результат
(z),
C4.38)
который совсем не так очевиден, как кажется. Этот результат
принадлежит Вальду и Блекуэллу A946), а приводимое ниже
доказательство предложено Джонсоном A959b).
Пусть каждое z, имеет среднее \х, М \zi\^. С <с оо, и пусть
вероятность того, что п примет значение k, равна Ръ. (& = 1,2,...).
Введем «маркирующую» переменную у{, которая равна еди-
единице, если Zi наблюдалось (т. е. если п ^ i), и нулю в против*
ном случае. Тогда
C4.39)
2
/=<¦
Пусть теперь Zrt=2zi- Имеем
zn= 2
ОО ОО
М (Zr) = М 2 (j/tzt) = 2 М (j^z,),
C4.40)
и М (Zn) конечно, если М (п) конечно. Кроме того, так как yt
зависит только от zx, z2, ..., zi~\ и не зависит от Zi, то
М (ytzt) = М (уд М (zt). C4.41)
Следовательно,
М (Zn) = 2 М (уд М (zd = |i 2 М (у,-) =
откуда вытекает C4.38).
Из последнего равенства находим
kj /„\ М (Zn)
C4.42)
С принятой нами степенью аппроксимации выбор прекра-
прекращается, когда Zn принимает одно из двух значений: log Л с ве-
вероятностью 1—К (9) и log В с вероятностью /С (9). Таким об-
образом,
М(п) =
_ A: log В+ A — К) log А
U (г)
C4.43)
что является приближенной формулой для среднего объема вы-
выборки.
Щ
ж
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
Пример 34.7
В биномиальном случае получаем
M(z) = Mloef-^=fl>lo<r-2i--J-n — «
807
¦^Г- C4-44)
СОВ может быть тогда вычислен по формуле C4.43), если за-
заданы ©I, ©г, А и В (или аир). Он, конечно, зависит от ©.
34.16 Для практически применений последовательная про-
проверка качественных признаков часто представляется так, чтобы
вычисления производились в целых числах. Неравенство C4.30)
относится к рассматриваемому случаю. Мы можем переписать
его в виде
332 >220 + (п — k) — 53k >0.
Можно представить себе игру, в которой начальная сумма рав-
равна 220. Если произошла неудача, мы прибавляем единицу к
этой сумме; если произошел успех, мы вычитаем 53 единицы.
Игра прекращается, как только сумма падает до нуля или воз-
возрастает до 332, что отвечает принятию значений соо или ©i соот-
соответственно.
34.17 В такой схеме предположим, что начальная сумма
равна S2. При каждой неудаче мы выигрываем единицу, а при
каждом успехе теряем b единиц. Если сумма возрастает на Si,
достигая значения Si-j-S2 (равного, скажем, 25), мы прини-
принимаем одну гипотезу; если она упадет до нуля, мы примем дру-
другую гипотезу. Пусть сумма в какой-либо точке равна х, а их —
вероятность того, что сумма достигнет значения 2S, не обра-
обращаясь до этого в нуль. Рассмотрим результат следующего испы-
испытания. Неудача увеличивает сумму до х-\- 1, а успех уменьшает
ее до х — Ь. Таким образом, имеем уравнение
их = A — (о) их+1 + юи^-г,
с начальными условиями
-ь C4.45)
ио = ы_!=и_2= ... =tt_s+1=0, C4.46)
ыад=1. C4.47)
При b = 1 это уравнение легко решить, как в примере 34.2. При
b > 1 (мы предполагаем его целым) решение более громоздко.
Мы приведем без доказательства решение, полученное Бёрмэ-
ном A946):
808
где
ГЛАВА 34
x — b- 1
1
C4.49)
Здесь ряд продолжается до тех пор, пока х— kb — 1 > 0. Бёр-
мэн нашел также выражения для СОВ и для дисперсии объема
выборки.
34.18 Энскомб A949а) табулировал функции этого вида.
Положив
C4.50)
6 + 1
6+1
Энскомб табулировал Rt, R2 при некоторых значениях оши-
ошибок а, р (на самом деле 1 — а и Р) и отношения S[/52. Им
приведены также значения оэF + 1).
Если заданы coo, oat, а, р, то мы можем найти Ri и R2 в зави-
зависимости от значения отношения S[/52. Так, для со0 = 0,01,
coi = O,O3, S2 = 2Sb а = 0,01, р = 0,10 находим приближенно
R2 — 4, #[ = 2. Кроме того, оэF + 1) = 0,571, или 6 = 56. Затем
из C4.50) получаем S, = 114, S2 — 228. Согласие с примером 34.5
(Si = 112, S2 = 220, 6 = 53) вполне удовлетворительное. СОВ
для оз = 0,01 равен 253, а для © = 0,03 он равен 306.
34.19 Поучительно рассмотреть, что происходит в пределе,
когда единицы 1 и b становятся малыми по сравнению с общей
суммой 2S. На рис. 34.1 мы можем представить это как сжима-
сжимание сетки таким образом, чтобы ступенчатые линии приближа-
приближались к непрерывным случайным траекториям частиц, подвергаю-
подвергающихся бесконечно малым возмущениям в двух взаимно перпен-
перпендикулярных направлениях. С этой точки зрения данная задача
связана с теорией броуновского движения и диффузии. Если
Д — разностный оператор, определенный соотношением
C4.51)"
то мы можем написать уравнение C4.45) в виде
Для малых b последнее почти эквивалентно уравнению
{A -
- 1 +A -а) Д-
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
809
ИЛИ
В пределе получаем
где
d2u
du
. _ 2A — to — 6co)
йNF+1) *
Общим решением уравнения C4.53) является
C4.53)
C4.54)
и, учитывая граничные условия u2s= 1, "о = 0, имеем
1 — ехр (— Хх)
Ux 'l-exp{-A,(Sr+S2)} •
C4.55)
Таким образом, для х = S2 вероятность принятия равна
ехр (AS.,) — 1
"s,
ехр (AS?) - ехр (— AS,) '
C4.56)
34.20 Как и прежде, напишем Ri(b + 1) =Sb R2(b + 1) =
= S2, и пусть со стремится к нулю так, чтобы у = соF+1)
оставалось ограниченным. Из C4.54) видим, что X стремится
к нулю, но
1)
C4.57)
Тогда ASi стремится к Sfi/b, т. е. к R\6, если только у ф 1,
и C4.56) превращается в
^ ехр (/?26) - 1
s' ехр(Я26) — ехр(-
При б, стремящемся к нулю,
¦/?i '
C4.58)
C4.59)
C4.58) можно сопоставить с формулой C4.37), которая для
малых б может быть записана в виде
C4.60)
810
ГЛАВА 34
34.21 Использование последовательных методов в контроле
качества изделий привело к существенному развитию резуль-
результатов такого типа, как в 34.17—18. У нас здесь нет возможно-
возможности детально обсуждать указанные результаты, а читатель, ко-
который этим интересуется, должен обратиться к какому-нибудь
руководству по контролю качества. Мы же просто приведем
некоторые из обобщений предшествующей теории в качестве
иллюстрации ее области применения.
(а) Правила остановки. Даже для замкнутых схем может
быть желательным остановить выборку на некотором этапе.
Например, обстоятельства могут препятствовать выбору после
некоторого момента времени или в клинических испытаниях
медицинская профессиональная этика может потребовать за-
замены лекарства новым, выглядящим перспективно, прежде, чем
его достоинства будут полностью установлены. Усечение после-
последовательных схем может производиться различными способами,
простейшие из которых состоят в остановке либо при дости-
достижении заданного объема выборки, либо по истечении данного
времени. В таких случаях наши общие понятия оперативной
характеристики и среднего объема выборки остаются без из-
изменений, но математические и вычислительные детали обычно
значительно усложняются. Армитедж A957) рассматривал по-
последовательный выбор при различных ограничениях.
(б) Обследование с заменой всех дефектных изделий год-
годными. В схемах, которые мы рассматривали, гипотезы были та-
таковы, что исследуемая партия или совокупность принималась
или отвергалась при наличии определенной доли некоторого
качественного признака. Если этот признак есть «дефектность»,
то мы можем предпочесть не отвергать партию в целом, а про-
проверить каждый ее член и заменить дефектные. Это само по себе
не влияет на общий характер схемы (решение отвергнуть заме-
заменяется решением исправить), но это оказывает, конечно, влия-
влияние на долю отказов во всей совокупности партий, к которым
выборочный план применяется, и следовательно, воздействует на
значение параметров, входящих в план. Указанная доля отка-
отказов во всей совокупности партий известна под названием сред-
среднего выходного уровня качества. Данная теория была изучена
Бартки A943).
(в) Двойная выборка. Развивая дальше эту идею, можно
обнаружить, что ее выгоднее осуществлять в несколько этапов.
Например, мы можем иметь четыре возможных решения: при-
принять; отвергнуть; продолжать выборку; отложить суждение, но
полностью проверить. Очевидно, здесь имеется большое разно-
разнообразие возможных действий. Превосходным примером являет-
является процедура двойной выборки Доджа и Ромига A944). С этой
идеей мы снова встретимся в 34.36.
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
Пример 34.8
811
пя?И* нормального распределения с единичной диспепсией
рассмотрим проверку гипотезы о среднем Яо: ц = ц0 против
Ни ц = щ. Определяя г, как в C4.19), имеем Р
C4.61)
Мы принимаем На или Ни когда эта величина sc be В или'
Йем^из (Сз°4°з1)ТСТВеННа ДЛЯ опеРа™в«ой характеристики полу-
К (ц) = (Л* - 1)/(Д* _ в% C4.62)
где h находится из уравнения
= J ехр [ h {(ц, - Н) х -1 де-ф } ] ехр{ - J. {x^f jdx== Л,
C4.63)
которое, как легко видеть, эквивалентно уравнению
из которого следует
h = (ц, + ц0 - 2ц)/(Ц1 - ц,,), щ^о, НФО. C4.64)
Вычисляя теперь h из C4.64) для различных значений ц и под-
подставляя его в C4.62), мы можем начертить кривую оперативной
характеристики.
Аналогично, обращаясь к СОВ, имеем
M (Z) = __Lr
= (Hi — И-о)»* — у (М-? ~ К)- C4.65)
Вновь для различных значений \i можно определить СОВ из
равенств C4.62), C4.65) и
М (п) = к l°S В + A ~ К) los A
C4.66)
812
ГЛАВА 34
Пример 34.9
Предположим, что среднее нормального распределения из-
известно и равно ц. Проверим гипотезу о дисперсии Но: <т2==<т^
против Нх: а2 = а\. Получаем
Zm = ^ Zi = ~ m log °l ~
~ ^J + m lo2*o + i^S {x~ ^ C4-67)
Эта величина лежит между log {{5/A —а)} и log {(I — Р)/а}, если
C4.68)
После некоторых преобразований находим, что это эквивалентно
Р
2 log-
+ mlog —s-
=2-
21og
+mlog
°\
°0 °1 -и
C4.69)
ОХ и СОВ даны в упражнениях 34.18 и 34.19.
Если среднее неизвестно, критерий остается тем же самым,
- V /.. ..\2 „„„„
Если среднее неизв, рр
за исключением того, что статистика критерия 2(*~ М-J заме-
заменяется на 2 (х — хJ, а значение т в неравенстве C4.69) заме-
заменяется на (т — 1).
Эффективность последовательного критерия
34.22 В общем случае для заданных а и р, 0о и 6i может
быть получено много различных критериев. Нет смысла сравни-
сравнивать их по мощности для данных объемов выборок, потому что
они устроены так, чтобы иметь одинаковую р-ошибку. Мы мо-
можем, однако, определить эффективность через объем выборки
или СОВ. Критерий с меньшим СОВ разумно называть более
эффективным. Следуя Вальду A947), мы докажем, что если
пренебречь граничными эффектами, то ПКОВ является наибо-
наиболее эффективным. Точнее, если S' есть ПКОВ, а 5 — некоторый
другой критерий, основанный на сумме логарифмов одинаково
распределенных величин, то
9Al{n\S)>Mi{n\S/), / = 0,1, C4.70)
где М i обозначает среднее значение п при гипотезе Я*.
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
813
Заметим прежде всего, что если и—любая случайная вели-
величина, то и — М (и) есть ее отклонение от среднего и
ехр {и — М (и)} > 1 + {а - М (а)}.
Беря математические ожидания от обеих частей, получаем
М1ехр{а-М(а)}]>Г, C4.71)
откуда
М (ехр и) > ехр {М (и)}. C4.72)
Кроме того, для любого замкнутого последовательного крите-
критерия, основанного на суммах типа Zn, из C4.42) имеем
Щ (log U I S)
M,(n|S) = -
C4.73)
Пусть М* обозначает математическое ожидание, когда вер-
верна Но, а М** — математическое ожидание, когда верна Ht. Пре-
Пренебрегая, как в C4.22), граничными эффектами, находим
ЛЯ* It I С\ Р
и аналогично, как в C4.21),
Следовательно,
Тогда в силу C4.72), C4.74), C4.75) M0(z)
Мо(«1 S) > м~-{ A
a
C4.74)
C4.75)
,JS)}. C4.76)
i^ + alog-Ц^-}, C4.77)
а перестановка Но и Ни а и р в C4.77) дает
C4.78)
Когда 5 = S', эти неравенства, как в C4.43), заменяются (если
пренебрегать граничными эффектами) равенствами. Таким об-
образом, C4.70) доказано.
Пример 34.10
Одним из преимуществ последовательного метода, как мы
отмечали, является то, что при данных (а, ($) требуется в сред-
среднем меньшая выборка, чем для метода с фиксированным объе-
мом. Трудно получить общие формулы сравнения двух методов,
но можно проиллюстрировать указанный факт на задаче про-
проверки гипотезы о среднем в нормальном распределении (при-
(пример 34.8).
814
ГЛАВА 34
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
815
При фиксированных л и а критерий состоит в нахождении
отклонения d такого, что
Полагая
имеем
P{lio-d<x<iio+d\ Яо}= 1 -а,
Р{ц0-<*<*< Но + d|#i} = P-
к0 = У л (d —
, = /л
C4.79)
• д_ (Я.-ЛрJ
(Но —HiJ
По данным а, р и щ определяется п. Сравним его с СОВ для
ПКОВ. Беря приближенную формулу C4.43), которая записы-
записывается в виде
[к (fx) logв + {l ~ к (ц)} log
C4.80)
и учитывая,что
М, (z) = 4-0*0 ~^J
находим
Аналогично получаем
М0(я) _
C4.81)
C4.82)
Таким образом, для а = 0,01, р = 0,03 имеем А — 97, В = 3/99
и х0 == 2,5758, Я,1 = —1,8808. Отношение Мо{п)/п равно тогда
0,43, a Mi (/г) /п = 0,55. Таким образом, в последовательном слу-
случае нам требуется в среднем либо 43, либо 55% от выборки
фиксированного объема, требуемой для достижения таких же
ошибок.
Следует подчеркнуть, что сокращение объема выборки в слу-
случае ПКОВ, вообще говоря, обнаружится только тогда, когда
верна одна из гипотез Но и Н\, и может не иметь места при
других значениях параметра. Гарантированная экономия, сле-
следовательно, ограничивается случаями, когда конкурирующие
гипотезы могут быть установлены заранее. См. Андерсон (I960).
Сложные гипотезы
34.23 Хотя мы рассматривали критерий для простой гипо-
гипотезы Но против простой Ни ОХ и СОВ могут быть вычислены
на самом деле для всех возможных альтернативных значений и,
следовательно, дадут нам характеристики критерия для простой
гипотезы Но против сложной Hi.. Рассмотрим теперь случай
сложной гипотезы Но. Предположим, что 9 может изменяться
в некоторой области Q. Нам нужно проверить гипотезу о том,
что 9 принадлежит некоторой ее подобласти соа (области приня-
принятия), против альтернатив, что 0 лежит либо в области отклоне-
отклонения ©г, либо в области безразличия Q — соа — сог (которая мо-
может быть пустой). Мы будем требовать от ошибок двух свойств:
вероятность ошибки первого рода а@), которая в общем случае
изменяется вместе с 0, не должна превышать фиксированного
числа а для всех 0 из соа, а вероятность ошибки второго рода
Р@) не должна превышать р для всех 0 из юг. Где бы в дей-
действительности ни находился параметр 0, ошибки будут ограни-
ограничены заданными а и р.
34.24 Такие условия, однако, вряд ли могут привести к по-
полезным результатам. Мы имеем гарантию на все случаи, но из»
лишняя гарантия может привести к значительной потере эффек-
эффективности.
Вальд A947) считает, что в качестве разумного требования,
возможно, лучше рассматривать усредненные значения а@) по
соа и р @) по сог. Возникает вопрос, какого сорта среднее сле-
следует использовать. Вальд вводит две весовые функции wa(&) и
Дог F) такие, что
yr(Q)dQ= 1, C4.83)
==о,
и затем полагает
C4.84)
C4.85)
С помощью этих средних задача сводится к задаче о про-
проверке простой гипотезы. Действительно, если обозначить
Цт = J f (xu 0) f (x2, &) ... f (xm, 9) wa (9) dQ, C4.86)
Llm = J f (*,, 6) f (x2, 0) ... / (xm, 9) wr @) dQ, C4.87)
то отношение правдоподобия Lom/Lim может быть использовано
обычным способом с ошибками аир. Мы можем, если угодно,
рассматривать C4.86) и C4:87) как апостериорные вероятности
816
ГЛАВА 34
выборки, когда само 0 имеет априорные вероятности wa(Q)
и wr{Q).
34.25 Указанная процедура, разумеется, сводит задачу к за-
задаче о нахождении или выборе весовых функций ie>aF) и wr(&).
Мы оказываемся в точно таком же положении, как когда хотим
применить теорему Байеса. Мы можем применить одну из форм
постулата Байеса, например, предположив, что wa{Q)— 1 всюду
в юо. Другая возможность для выбора wa(Q) и wr(Q) заклю-
заключается в том, чтобы оптимизировать некоторые свойства крите-
критерия.
Например, выбор критерия сделан, когда выбраны аир
(или, при нашей аппроксимации, А и В) и весовые функции.
Среди всех таких критериев будут находиться критерии с ма-
максимальными значениями а@) и РF). Если мы выберем весо-
весовые функции так, чтобы минимизировать (max a, max р), то
получим критерий, который для данных А и В имеет наимень-
наименьшую возможную границу средних ошибок. Если невозможно
минимизировать максимумы аир одновременно, то можно
попытаться минимизировать максимум некоторой функции от
них, например, от суммы.
Последовательный ^-критерий
34.26 Критерий, предложенный Вальдом A947) и в модифи-
модифицированном виде другими авторами, служит для проверки гипо-
гипотезы о среднем значении ц нормального распределения, когда
дисперсия неизвестна. Он называется последовательным /-кри-
/-критерием, потому что имеет дело с такой же задачей, как и ^-кри-
^-критерий Стыодента в случае фиксированной выборки; но исключе-
исключение зависимости от масштабного параметра а в нем происходит
по-иному и его название, возможно, несколько вводит в заблу-
заблуждение.
Говоря точнее, мы хотим проверить гипотезу о том, что по
сравнению с некоторым значением ;хо отклонение (ц — цо)/сг
мало, скажем < б. Тогда три подобласти из 34.23 имеют сле-
следующий вид:
соа состоит из значений (ii0, о), а — любое;
сог состоит из значений, для которых | ц — цо\ 1>ст6, а — любое;
Q — аа — сог состоит из значений, для которых 0 ^| ц — ц01<
< сгб, а — любое.
Определим следующим образом весовые функции для а:
_/ l/c,
V«c-\ 0
в остальных случаях,
О <Г а < с, ii = (г0 + 6а,
О в остальных случаях.
C4.88)
C4.89)
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
817
Тогда
(8я
~ ^ } da -
*-т,т '
^я- ехр{ - -2^г ? (дс, - но + богI ] da' C4-90)
{^2}- C4-91)
Bя)т" t
Когда с стремится к бесконечности, предел отношения Llm/LOn
равен
C4.92)
Он зависит от наблюдаемых иксов, а также от заданных цо и б,
но не зависит от параметра о, который исключается в результа-
результате интегрирования с весовыми функциями C4.88) и C4.89).
Если мы сможем вычислить интегралы в C4.92), то сможем
использовать это отношение для получения последовательного
критерия.
34.27 Весовые функции C4.88) и C4.89), выбранные на пер-
первый взгляд достаточно произвольно, на самом деле оптимизи-
оптимизируют критерий. Чтобы это доказать, мы прежде всего устано-
установим, (а) что а(ц, а) постоянна в соа, (б) что р (ц, о1) зависит
только от | (ц — \iq)/o | и (в) что р(ц, а) монотонно убывает отно-
относительно | (ц — Мю)/<? I-
Если х — выборочное среднее, a 52 = 2(^i — -*02> то распре-
распределение отношения (х — ix)/S зависит только от (ц — \хо)/а. Если
мы сможем показать, что C4.92) представляет собой однознач-
однозначную функцию от (х — no)/S, то свойства (а) и (б) будут следо-
следовать немедленно, потому что (р, — Цо)/Ст равно, нулю в.со^.
а Р(ц, а) зависит только от распределения C4.92); Числитель
и знаменатель в C4.92) являются однородными функциями от
(xi — Но) степени т — 1, что можно проверить, подставляя
xi = Xxt, fxo = A^o, о — Хо. Таким образом, отношение C4.92)
имеет нулевую степень. Кроме того, оно является функцией
818
ГЛАВА 34
только от 2(*— НоJ и
изменим его, подставляя (х{
Тогда данное отношение
— цо)/ V 2
— Мю)> и. следовательно, мы не
ц0)/У^(х{ — ц0J вместо лг? — ц0.
будет функцией только от
— МюJ и в действительности функцией от
квадрата этой величины, а именно от
(.е - цо)г ^ (* - цо)г
Оно является, следовательно, однозначной функцией от (х — \io)/S.
Чтобы показать, что p(fi, а) монотонно убывает по | (ц— цо)/сг |,
достаточно показать, что отношение C4.92) является строго
возрастающей функцией от \(х — fxo)/S | или, что эквивалентно,
от (х — ЦоJ/2 (Х[ — ц0J- При фиксированной 2 (*г — ЦоJ знаме-
знаменатель в C4.92) фиксирован, а числитель является возрастаю-
возрастающей функцией от (х— \i0J. Таким образом, все отношение воз-
возрастает по (х — ц0J при фиксированной 2(*? — МюJ> и отсюда
следует требуемый результат.
34.28 При этих условиях мы можем доказать, что последо-
последовательный /-критерий оптимален. В самом деле, критерий опти-
оптимален, если (i) a@) постоянна в соа; (ii) р (9) постоянна на гра-
границе сог; (ш) р(9) при любом 9 внутри сог не превосходит своих
граничных значений.
Чтобы доказать это, предположим, что va и vr — весовые
функции, удовлетворяющие данным условиям, a war wT — две
другие весовые функции. Пусть а, ?$ — ошибки для первого на-
набора весовых функций, а*, р*—для второго. Тогда имеем
= А,
1 —а
и, следовательно,
J
а @) wa (9) dQ = a =
= ?
1 — В
А —В
C4.93)
C4.94)
Таким образом, в соа максимум а*@) больше, чем
A —ВI(А —В), потому что интеграл от wa(Q) по этой области
равен единице. Но если ошибка а, отвечающая va, постоянна в
этой области, то ее максимум равен A—В)/(А—В). Следо-
Следовательно,
max а* @) !> max а @) в юа.
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
819
Аналогично для сог. Максимум ?$*@) достигается вне сог и не
может превосходить В(А — 1)/(Л — В), тогда как для р@)
максимальное значение должно быть где-то достигнуто. Следо-
Следовательно, max p*@)> max Р@) в сог. Утверждение доказано.
Условия, которые мы рассмотрели, достаточны, но отнюдь не
необходимы.
34.29 Некоторые таблицы для пользования этим критерием
были даны Армитеджем A947). Интегралы, входящие в C4.92),
выражаются через вырожденные гипергеометрические функции
и, следовательно, через нецентральное /-распределение. Tables
to facilitate sequential t-Tests (U. S. A. National Bureau of Stan-
Standards, Applied Mathematics Series, 7, 1951) являются совмест-
совместной работой нескольких авторов с введением К. Арнольда. См.
также более поздние работы Армитеджа и других и недавнюю
работу Майерса и др. A966).
Иной метод решения предложен Д. Коксом A952а, Ь) в слу-
случае, когда распределение системы достаточных статистик факто-
ризуется, как в B3.118). Тогда обычным способом ПКОВ для
9; можно основать на статистике Ts, не зависящей от мешаю-
мешающего (часто масштабного) параметра 0&. Данный подход, кроме
того, требует условия инвариантности (см. Холл и др. A965)).
В этом же направлении Хэджнэл A961) развил последователь-
последовательный /-критерий, основанный на двойной выборке.
В случае большой выборки Д. Кокс A963) предложил по-
последовательный критерий для любой сложной гипотезы, осно-
основанный на теории МП (см. упражнение 34.21).
Последовательное оценивание
34.30 При проверке гипотез мы обычно фиксируем ошибки
заранее и затем производим выборку до тех пор, пока не при-
примем или не отвергнем гипотезу. Можно также применить после-
последовательный процесс к оцениванию, но тогда наши задачи ре-
решаются труднее, а возможно, даже труднее формулируются. Мы
проводим последовательность наблюдений с целью оценить не-
некоторый параметр исходного распределения, но в общем случае
нелегко различить, какая оценка является подходящей, каковы
смещения, каковы выборочные ошибки или какими должны быть
правила, определяющие окончание выборочного процесса.
Основная трудность состоит в том, что объем выборки является
случайной величиной. Второй неприятностью является гранич-
граничный эффект, о котором мы уже говорили *).
*) Леман и Стейн A950) рассматривали понятие «полноты» в последо-
последовательном случае, но общие критерии трудно применять даже к выборке по
качественному признаку (см. Де Гроот A959)),
820
ГЛАВА 34
34.31 Полученный нами в C4.42) результат эквивалентен
тому, что
M{Zn-nM(z)} = 0. C4.95)
Предположим, что существуют вторые абсолютные моменты, что
дисперсия каждого z\ равна а2 и что существует М (/г2). Тогда
дисперсия {Zn — nM(z)} равна (доказательство предоставлено
читателю в качестве упражнения 34.5)
n), C4.96)
и, следовательно, полагая, как и прежде, М (г) = ц, находим
Ц2М (п2) = <т2М (я) + 2цМ (nZn) - М (Z2).
Если Zn и п некоррелированы, то это приводится к
Для более высоких моментов результаты были получены Вол-
фовицем A947) (см. упражнение 34.6). См. также Чоу и до
A965).
34.32 Пусть теперь
C4.98)
= 0, то на основа-
C4.99)
C4.100)
Так как при условиях регулярности М
нии соотношений типа C4.95) находим
и
Если t~ оценка параметра 0, имеющая смещение 6@), т. е.
М@=8 + 6F), то, дифференцируя это равенство, получаем
Далее, в силу неравенства Коши — Буняковского
C4-101)
и, следовательно, согласно C4.100)
м
C4.102)
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
821
Это нижняя граница дисперсии при последовательном оценива-
оценивании, полученная Волфовицем. Она представляет собой МГД
A7.22) с М (п) вместо п. Волфовиц A947) распространяет этот
результат также на совместную оценку нескольких параметров.
Пример 34.11
Рассмотрим биномиальное распределение
f(x, со) = (йд:A —соI-*, л: = 0, 1.
Имеем
dlogf _ х 1-.
д(о о» 1 — (
да>
1
(о A — ш)
Если р — несмещенная оценка для со по выборке из этого рас-
распределения, то
Dp>
@A — (О)
М(я).
C4.103)
34.33 При большом п теория последовательного оценивания
сильно упрощается благодаря общему результату, принадлежа-
принадлежащему Энскомбу A949b, 1952, 1953). Если этот результат кратко
сформулировать, то он звучит так: у статистик, для которых
имеет место центральная предельная теорема, формулы стан-
стандартных ошибок в случае последовательных выборок такие же,
как и в случае выборок фиксированного объема. Эвристически
это можно вывести из C4.102). Величина п изменяется относи-
относительно своего среднего «о со стандартным отклонением порядка
п~112, и, таким образом, формулы, имеющие точность порядка
п~1, остаются столь же точными, если мы используем По вместо
п. Более формально:
Пусть {Yn}, n=l, 2, ..., — последовательность случайных
величин. Пусть существуют действительное число Э, последова-
последовательность положительных чисел {wn} и функция распределения
F(x) такие, что
(а) Уп сходятся к 0 в масштабе хюп, а именно:
когда л->оо;
C4.104)
(б) {Уп} равномерно непрерывны по вероятности, а именно:
для данных (малых) положительных е и г\
< 8 .для всех п, п' таких.что | п' — п \ < ел J > 1 — г\.
C4.105)
822
ГЛАВА 34
Пусть {Пг} — возрастающая последовательность положитель*
ных целых чисел, стремящаяся к бесконечности, и {М-} — после-
последовательность случайных величин, принимающих целые поло-
положительные значения, такая, что Ыг/Пг->~[ по вероятности при
г -> оо. Тогда
¦F{x), когда
¦оо.
C4.106)
во всех точках непрерывности F(x).
Сложность формулировок и доказательств обусловлена осо-
особенностями, на которые мы уже обращали внимание: граничные
эффекты (представленные соотношением между Nr и Пг) и из-
изменение пг.
Итак, пусть выполняется C4.105); возьмем достаточно боль-
большое v такое, что для любого пт > v
P{\Nr-nr\<cnr}> 1—ц. C4.107)
Рассмотрим события:
E:\Nr — nr\<cnr и J YNr — У„г | < &wNf,
А: | Yn> — Yn\<ewn при всех п' таких, что \п' — п\<ъп,
В: \Nr — nr\< cnr.
Тогда
Р(?)>Р{Л и В} = Р(А)-Р{А и не-В}>
>Р(Л) — Р(не-5)>1 — 2ц. C4.108)
Также
Р {YNf — 9 < xwNr} = Р {YNr — 8 < ххюПт и Е) +
+ P{YNr~Q<xwnr и не-?}.
Таким образом, используя определение события Е, находим
Р {Упг - 6 < (х - е) wnr} -2ц<Р {7„г - 9 < xwnr} <
< Р {УПг- в <(х + e)wnr} + 2ц,
откуда следует C4.106). Необходимо заметить, что доказатель-
доказательство проведено без предположения о независимости Afr и У„.
34.34 Применим этот результат к последовательному оцени*
ванию. Пусть х\, х2, ... — последовательность наблюдений, Yn—
оценка параметра 0, Dn — оценка масштабного параметра wn
для Yn. Выборочное правило таково: задаем некоторую постоян~
ную k и производим выбор до первого осуществления неравен-
неравенства Dn ^ k, а затем вычисляем Yn. Покажем, что У„ является
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
823
опенкой 0 с масштабным параметром, асимптотически равным
k, если k мало.
Пусть выполнены условия C4.104) и C4.105) и {&} — после-
последовательность положительных чисел, сходящаяся к нулю. Пусть
{Afr} — последовательность случайных величин таких, что Nr
равно наименьшему целому п, для которого Dn ^ kr, и пусть
{пг} — последовательность чисел таких, что гь равно наимень-
наименьшему п, при котором wn ^ kr. Мы потребуем, чтобы выполня-
выполнялись два дополнительных условия:
(в) {wn} монотонно сходится к нулю и wjwn+i-t-l, когда
п-*~ оо;
(г) Afr является случайной величиной для всех г и Nr/rir-*-l
по вероятности, когда г-»- оо.
Условие (в) влечет Wnr/kr-> 1 при /г->оо. Из нашего пре-
предыдущего результата тогда следует, что
Г yn -9 1
Р|—| <х|->/=•(*), когда г->оо. C4.109)
34.35 Можно также показать, что если иксы независимы и
одинаково распределены, то из условий (а) и (в) (которые лег-
легко проверяются) вытекает условие (б) и распределение суммы
иксов сходится к некоторой функции распределения. В частно-
частности, эти условия выполняются для оценок максимального прав-
правдоподобия, для оценок, основанных на средних значениях не-
некоторых функций.от наблюдений, и для квантилей.
Пример 34.12
Рассмотрим оценивание среднего значения ц нормального
распределения с неизвестной дисперсией о2. Нам требуется
оценка с (малой) дисперсией k2.
Очевидной статистикой служит У„ = хп. Для фиксирован-
фиксированного п ее дисперсия равна ст2//г и оценивается через
** - xf. C4.110)
Условия (а) и (в), очевидно, выполняются, и благодаря ре-
результату, указанному в 34.35, это влечет за собой выполнение
условия (б). Чтобы показать, что выполняется (г), применим
преобразование Хельмерта
Тогда
га-1
Un~ n(n-l) Zl
1=1
824
ГЛАВА 34
Согласно усиленному закону больших чисел при заданных е, tj
найдется v такое, что
'-П2
?=1
< е для всех п > v > > 1 — tj. C4.111)
Если k достаточно мало, то вероятность того, что Dn ^ k для
любого п в интервале 2 ^ п ^ v, превосходит 1 — tj. Таким об«
разом, при условии, что N>v, из C4.111) следует, что
с вероятностью, превосходящей 1 — tj. Следовательно, когда k
стремится к нулю, условие (г)'выполняется.
Здесь правило состоит в том, что мы задаем k и производим
выбор, пока не окажется Dn ^ к- Тогда дисперсия среднего зна-
значения х равна приблизительно k2.
Пример 34.13
Рассмотрим пуассоновское распределение с параметром X.
Если мы продолжаем выбор, пока дисперсия среднего, оцени-
оцениваемая как х(п, не станет меньше к2, то для Я мы получаем
оценку х с дисперсией k2. Это эквивалентно продолжению вы-
выбора до тех пор, пока число успехов не станет меньше k2n2. Но
не следует использовать этот результат при малых п.
С другой стороны, предположим, что мы хотим задавать за-
заранее не дисперсию, а коэффициент вариации /. Тогда указан-
указанный метод не будет работать. Он означал бы, что мы продол-
продолжаем выбор, пока xl]fx/n не станет меньше, чем /, т. е. пх ^ I2,
или пока сумма наблюдений не станет меньше I2. Но сумма
.должна в конце концов превзойти любое конечное число. Это
связано с результатом, отмеченным в примере 34.1, где мы ви-
видели, что в случае последовательного выбора редких качествен-
качественных признаков коэффициент вариации приблизительно постоя-
постоянен.
Метод двойной выборки Стейна
34.36 В конце примера 23.7 мы видели, что при фиксирован-
фиксированном п не существует подобного критерия для среднего значения
ц. нормальной совокупности с неизвестной дисперсией ст2, кото-
который имел бы мощность, не зависящую от о2. Отсюда следует
(см. 23.26), что для ц нельзя найти доверительного интервала
заранее заданной длины. Однако, как указал Стейн A945), эти
утверждения несправедливы, если мы используем последова-
последовательный метод.
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
825
34.37 Рассмотрим нормальную совокупность со средним р. и
дисперсией а2. Пусть нам требуется построить для ц довери-
доверительный интервал длины / с коэффициентом доверия 1 — а. Мы
сделаем сначала выборку фиксированного объема Ло, а затем
выборку объема п — л0, где п теперь зависит от наблюдений в
первой выборке.
Возьмем ^-статистику Стьюдента с по — 1 степенями свобо*
ды, и пусть вероятность того, что она лежит в интервале от —ta
до ta, равна 1 — а. Положим
2~
C4.112)
Пусть s2 — оценка дисперсии по выборке объема /го, т. е.
C4.113)
Определим п, полагая
[s2/z]},
C4.114)
где [s2/z] означает целую часть числа s2/z.
Рассмотрим все вместе п наблюдений, и пусть их среднее
значение равно Yn. Тогда Yn не зависит от s и, следовательно,
{Yn — ц) V~n не зависит от s, откуда вытекает, что величина
(Yn—ix)ynjs распределена как t с по—1 степенями свободы.
Таким образом,
pfl (Yn-\x)Vn
или
<*,
о J = 1 _ «,
или
C4.115)
Появление неравенства в C4.115) обусловлено граничным эф-
фектом, так как sz/z может не быть целым. Граничный эффект,
вообще говоря, мал, поэтому границы Yn±.-^l близки к точ-
точным границам для доверительного коэффициента 1 — а. Фак-
Фактически мы можем с помощью приема, предложенного Стейном,
получить точные границы, хотя эта процедура связана с отбра^
сыванием наблюдений и, возможно, не представляет ценности
для практики.
826
ГЛА!!А 34
Силбайндер A953) и Мошмэн A958) рассматривали опти-
оптимальный выбор объема первой выборки в методе Стейна. Бхат-
тачарджи A965) показал, что процедура Стейна более чувстви-
чувствительна к отклонению от нормальности, чем ^-критерий Стьюден-
та (см. 31.3), и что, как можно было ожидать, отклонение от
нормальности вновь влечет зависимость длины интервала (и со-
соответственно мощности критерия) от о2.
34.38 Чепмэн A950) обобщил метод Стейна на критерий для отношения
средних значений двух нормальных величин. Этот критерий не зависит от
обеих дисперсий. Однако он зависит от распределения разности двух вели-
величин t, для которого Чепмэн приводит некоторые таблицы. Д. Кокс A952с)
занимался задачей оценивания по двойной выборке и получил ряд асимпто-
асимптотических результатов. Он также рассмотрел поправки к результатам, относя-
относящимся к одинарным и двойным выборкам, улучшающие приближение, давае-
даваемое асимптотической теорией. А. Бирнбаум и Хили A960) обсуждали общий
класс процедур при двойной выборке, позволяющих достигнуть заданной дис-
дисперсии. Грейбилл и Коннелл A964) приводят двойную выборочную про-
процедуру для оценивания дисперсии нормального закона внутри фнксированного
интервала. Голдмэн и Цайглер A966) сравнивали различные методы оценива-
оценивания среднего или дисперсии нормального распределения: для среднего метод
Стейна оказался наилучшим.
Критерии, свободные от распределения
34.39 Используя порядковые статистики, мы можем свести
многие процедуры к биномиальному случаю. Рассмотрим, на-
например, проверку гипотезы о том, что среднее нормального рас-
распределения больше, чем jio (односторонний критерий). Заменим
среднее медианой, а каждое наблюденное значение знаком -f-,
если оно больше цо, и знаком — в противоположном случае.
При гипотезе Но: ц = \ю эти знаки будут иметь биномиальное
распределение с со = 1/2. При гипотезе Н{: ц = ц.0 + ко вероят-
вероятность положительного знака равна
C4.116)
Обычным способом теперь можно применить ПКОВ для со0 про-
против coi- Этот критерий будет иметь ошибку первого рода а и
ошибку второго рода р от принятия Но, когда верна Hi; ошибка
второго рода будет ^р, когда \х — цо >¦ ko. Описанный метод
является фактически последовательной формой критерия зна-
знаков из 32.2—7.
Критерии такого сорта часто обладают значительной эффек-
эффективностью, а потеря эффективности вполне может окупаться
простотой применения. Армитедж A947) сравнил приведенный
выше критерий с ^-критерием Вальда и пришел к выводу, что
в отношении объема выборки оптимальный критерий несуще*
ственно лучше критерия знаков.
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
827
34.40 Джэксон A960) привел библиографию последователь-
последовательного анализа, классифицированную по темам. Джонсон A961)
дает полезный обзор этого предмета.
Решающие функции
34.41 В заключение этой главы мы можем кратко остано-
остановиться на развитии идей Вальда о последовательных процедурах
в общую теорию решений. Пусть мы находимся в ситуации, ко-
когда, по крайней мере на некотором этапе выбора, мы должны
принять решение, например принять гипотезу или продолжать
выбор. Последствия этих решений предполагаются известными,
и к тому же предполагается, что они могут быть выражены чис-
численно. Задача тогда состоит в выборе оптимальных решающих
правил. Могут применяться различные возможные принципы,
например, действовать так, чтобы максимизировать средний вы-
выигрыш или минимизировать средний проигрыш. Некоторые ав-
авторы доходят до утверждения, что все оценивание и проверка
гипотез являются в действительности операциями принятия ре-
решения. Мы решительно не согласны как с тем, что все стати-
статистические задачи сводятся к принятию решений, так и с тем,
что последствия многих решений можно выразить численно.
И даже в тех случаях, когда можно принять оба эти положения,
некоторые из предложенных принципов вызывают сомнения в
том, что разумный человек стал бы использовать их на прак-
практике. То, что статистика представляет собой исключительно
науку о принятии решений, кажется нам явным преувеличением.
Но этот вопрос, подобно некоторым вопросам теории вероят-
вероятностей, таков, что каждый должен составить о нем свое соб-
собственное мнение, пользуясь той помощью теории решающих
функций, какую он может получить.
Основными руководствами по данной теории являются осно-
основополагающая работа самого Вальда A950) и более поздняя
книга Блекуэлла и Гиршика A954).
УПРАЖНЕНИЯ
34.1 В условиях примера 34.1, используя упражнение 9.13, показать, что
C4.3) влечет смещенность оценки mjn параметра со.
34.2 Обращаясь к примеру. 34.6, сделать набросок кривой ОХ для бино-
биномиального распределения с а = 0,01, E = 0,03, он = 0,1, он = 0,2. (Эта
кривая является половиной колоколообразной кривой с максимумом в а> = 0
и нулем в со = 1. Шести точек достаточно, чтобы дать ее общий вид.) Ана-
Аналогично, сделать набросок кривой СОВ для того же биномиального распре-
распределения.
34.3 Две выборки, каждая объема п, получены из совокупностей Pi и
Рг, в которых oil и о>2 — доли некоторого качественного признака. Из них
образованы пары в порядке появления наблюдений. Пусть tt — число пар, в
828
ГЛАВА 34
которых присутствуют успех из Pi н неудача из Рг\ 1г — число пар, в кото-
которых присутствуют неудача из Р\ и успех из Рг. Показать, что в (условном)
множестве таких пар вероятность пары из ti равна
Рассматривая это как обычное биномиальное распределение на множестве
t = U + h значений, показать, как проверить гипотезу он 5s a>2, проверяя
с» = 1/2. Вывести отсюда последовательный критерий для он ^ <ог.
Показать, что если
то о» = и/A-|-и), и получить отсюда следующие приемочные и браковочные
числа:
log-у Р
а.
log
'* logU) — logu0 ^ * log«i — log«0 '
где Ui —значение и, соответствующее Hi (i = 0, 1).
(Вальд, 1947.)
34.4 Пусть г—случайная величина такая, что М (г) существует и не
равно нулю; пусть существует положительное б такое, что Р (ег < 1 — б) > 0
и Р (ег > 1 + б) > 0, и пусть для любого действительного А существует
М (exp hz) = g(h). Для функции h Ф 0 из 34.14 показать тогда, что
lim g(h)
h
= lim g(A)
и что g"(A)>0 для всех действительных значений ft. Вывести отсюда, что
g(h) строго убывает на интервале (—то, h*) и строго возрастает на (А*, то),
где Л* — значение, при котором g(h) минимальна. Как следствие показать,
что существует не более одного значения ft Ф 0, для которого М (ёхр hz) = 1.
(Вальд, 1947.)
34.5 В 34.31 вывести выражения C4.96), C4.97).
(См. Джонсон, 1959b.)
34.6 В условиях упражнения 34.5 показать, что третий момент величины
Zn — <гц равен
М [Т.* - гецK = ц3М (п) - Зсу2М {п (Zn ~ пц)},
где цз — третий момент г.
(Волфовиц, 1947.)
34.7 Пусть г определено, как в C4.19), и t — комплексная переменная та-
такая, что М (exp zf) = q>(t) существует в некоторой части комплексной плоско-
плоскости. Показать, что
М
(Вальд, 1947.)
для любой точки, в которой |ф@ I 3* 1-
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
829
34.8 Положив в предыдущем упражнении t = А, доказать, что если М^
обозначает математическое ожидание при ограничении Zn ^—Ь и Мв—при
ограничении Zn Г^ а, то
KW Mb exp (hZn) + {1 - К (А)} Ма exp (hZn) = 1,
где К — оперативная характеристика. Отсюда, пренебрегая граничными эффек-
эффектами, вывести, что
• eh (a+b) _ ehb
-h(a+b) _ , '
а + Ь'
(Гиршик, 1946.)
34.9 Дифференцируя тождество из упражнения 34.7 по t и полагая I = 0,
доказать что
a{\-K(h)}-bK(h)
M(z)
М(я) =
Вывести отсюда равенство C4.43).
(Гиршик, 1946.)
34.10 Предполагая, как в предыдущем упражнении, что тождество диф-
дифференцируемо, получить результаты упражнений 34.7 и 34.8.
34.11 В тождестве упражнения 34.7 положить
где т — чисто мнимое. Показать, что если функция ф(?) не сингулярна при
t = 0 и t = h, то это уравнение имеет два корня fi(T) и h(x) для достаточно
малых значений т. Следуя упражнению 34.8, доказать, что характеристическая
функция величины п асимптотически дается выраженнем
(Вальд, 1947.)
34.12 В случае, когда г — нормальная случайная величина со средним ц
и дисперсией а2, доказать, что в упражнении 34.11 fi и h имеют вид
1/2.
*2~--5г--
где знак квадратного корня определяется так, чтобы действительная часть
ц,2 — 2сг2т была положительна.
В предельном случае, когда 6 = 0, А конечно (когда необходимо
М(г)>0, если М (п) существует), показать, что х. ф. равна А~*\ а в слу-
случае, когда В конечно, А = 0 (при М (г) < 0), показать, что х. ф. равна В""'1.
(Вальд, 1947.)
34.13 В первом из двух предельных случаев предыдущего упражнения
доказать, что распределение величины т = р?п/2а2 дается соотношением
dF (т) = 7^77777^—375" ехР ( m + c)dm, 0<т<то,
A/2)
\
c)dm,
I
где с = (ц/^2) log A.
830
ГЛАВА 34
Для больших с доказать, что 2т[с приближенно нормально с единичным
средним и дисперсией 1/с.
(Вальд, 1947; там же показано, что,
когда А, В конечны, распределение
величины п совпадает с распределе-
распределением взвешенной суммы некоторого
числа величин приведенного выше
типа.)
34.14 Пусть наблюдаемая величина и имеет экспоненциальное распреде-
распределение
dF = е~ХиХ du, 0 < и < °о.
Показать, что последовательный критерий для Я = Яо против Я = Х± за-
задается неравенствами
*
/1
\ - Ч) 2 »/•
/1
где ki и ki — константы.
Сравнить его с критерием из упражнения 34.3 в предельном случае,
когда о>1 и о>2 стремятся к нулю так, чтобы a>it = Яо и о>2* = Xi оставались
конечными.
(Эискомб и Пейдж, 1954.)
34.15 Требуется оценить параметр 9 с малой дисперсией а(9) /Я, когда Я
стремится к бесконечности. Пусть tm — некоторая несмещенная оценка по
выборке фиксированного объема т с дисперсией у(9)/гп; пусть yl{tm) =
=0(т~/2)и Y2(^m)— 0{т-1), и пусть a(tm) и v(tm) могут быть разложены
в ряд, дающий асимптотические средние и стандартные ошибки. Рассмотреть
следующее правило двойной выборки.
(а) Берется выборка объема NX, и по ией находится ti, оценка пара-
параметра 9.
(б) Берется вторая выборка объема max {0, {{no(ti)—Л'}Я]}, где «o(^i)=»
= v\t{)la{t\). По второй выборке находится fe, оценка для 9.
(в) Пусть ,= W. +("о ('.)-*> *S
(г) Предположим, что N < Гсо(9) и распределение величины m.o{ti) =
= l/no(ti) таково, что событием «o(^i)< N можно пренебречь.
Доказать, что при этом правиле
М @ = 9 + О (Я), Ы = а (9) X'1 {1 + О (Х~%
(Д. Кокс, 1952с.)
34.16 Взять ту же процедуру; как и в предыдущем упражнении, заменив
лишь no(ti) на
Показать, что ,
Положить
9+Отц (9) у (9) Я, если N ¦¦
О в остальных случаях.
t — m'u (t) v (t) X~\ если JV<
О в остальных случаях
и показать, что ? имеет смещение О(Я~2).
ПОСЛЕДОВАТЕЛЬНЫЕ МЕТОДЫ
Доказать далее, что если мы положим
Ь (9) = п0 (9) v (9) [2т0 (9) т'о (9) у, F) t)~1/2 (9) +
831
то
+ т'о (9) + 2т0 F) < (9) + т% (в)/BАГ) },
D/' = а (9) Я + О (Я~3).
(Д. Кокс, 1952с.)
34.17 Применяя упражнение 34.15 к биномиальному распределению с
а (о>) = ао>2, v (о>) = at A — <в),
показать, что общий объем выборки равен
Yi (®) =
P-2ffl)
{«A-ш)}1'2'
а/,
aNt,
и оценка f — t
at
-.
Таким образом, Af должно быть выбрано возможно большим, но не пре-
иосходящим A—(оI<аа>).
(Д. Кокс, 1952с.)
34.18 Используя пример 34.9, показать, что
где h определяется из уравнения
а
при условии, что выражение в скобках справа положительно. Как, пользуясь
этим результатом, строить кривую ОХ?
(Вальд, 1947.)
34.19 В условиях предыдущего упражнения вывести выражение для СОВ
где у = log -5" —2 ?
(Вальд, 1947.)
34.20 Обосновать утверждение последнего предложения примера 34.9,
дающее критерий для дисперсий нормального распределения, когда среднее
неизвестно.
(Гиршик, 1946.)
34.21 Заменим в 34.10 f(x, 9) на f(x, 9, <р), где ср — мешающий параметр,
так, чтобы гипотезы Яо и Я4 стали сложными. Пусть (вя, фя) —МП-оценка
для (9, ф) по п наблюдениям. Показать, что если 90 и 94 отличаются от
истинного значения 9 на величину порядка гг112, то ПКОВ, основанный на
tn (Ф) = log La (х, в,, ф) — log Ln (х, в0, ф),
832
ГЛАВА 34
асимптотически эквивалентен C4.18) для простых гипотез, когда ф известно,
тогда и только тогда, когда
1 З2 log Ln {x, 9, Ф) _ Q
п 39 (Эф
по вероятности, т. е. если 9 и ф асимптотически независимы. В любом слу-
случае показать, что
так что Тп = п \ 6 „" (во + 6i) [ может использоваться в качестве стати-
статистики критерия со средним и дисперсией, сразу получающимися из таковых
ДЛЯ 6- (Д. Кокс, 1963.)
34.22 В случае выборки из распределения f(x[9) = g(x)/h(Q), a < х < 9,
доказать, что ПКОВ для гипотезы На: 9 = 9о против Ht: 9=9i (O<c9o<:9i)
имеет а = 0 и задается правилом: принять Hi, если хп >9о, п = 1, 2, ...;
принять Но, если х0 < 90 и (9o/9i)» s? Р; в других случаях продолжать
выбор.
Непосредственно показать, что, когда выполняется До, объем выоорки
равен постоянной яо = log p71og(90/9i), а когда выполняется tfi, COB в
точности равен A — Р) Д1 — -дЧ, если п0 целое. Проверить эти формулы
для СОВ из C4.43).
•¦'*
ПРИЛОЖЕНИЕ
Таблица 1
У
Функция плотности нормального распределения
2х с первыми и вторыми разностями
X
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
2,1
2,2
2,3
2,4
и
0,39894
0,39695
0,39104
0,38139
0,36827
0,35207
0,33322
0,31225
0,28969
0,26609
0,24197
0,21785
0,19419
0,17137
0,14973
0,12952
0,11092
0,09405
0,07895
0,06562
0,05399
0,04398
0,03547
0,02833
0,02239
Д1 (-) 1
199
591
965
1312
1620
1885
2097
2256
2360
2412
2112
2366
2282
2164
2021
1850
1687
1510
1333
1163
1001
851
714
594
486
Д2 1
—392
—374
-347
—303
—265
—212
— 159
-104
—52
—0
+ 46
+ 84
+ 118
+ 143
+ 161
+ 173
+ 177
+ 177
+ 170
+ 162
+ 150
+ 137
+ 120
+ 108
+91
X
2,5
2,6
2,7
2,8
2,9
3,0
3,1
3,2
3,3
3,4
3,5
3,6
3,7
3,8
3,9
4,0
4,1
4,2
4,3
4,4
4,5
4,6
4,7
4,8
У
0,01753
0,01358
0,01042
0,00792
0,00595
0,00443
0,00327
0,00238
0,00172
0,00123
0,00087
0,00061
0,00042
0,00029
0,00020
0,00013
0,00009
0,00006
0,00004
0,00002
0,00002
0,00001
0,00001
0,00000
А1 (-)
395
316
250
197
152
116
89
66
49
36
25
19
13
9
7
4
3
2
2
—
—
—
—
А2
+79
+66
+53
+45
+36
+27
+23
+ 17
+ 13
+ 10
+7
+6
+4
+2
+3
—
—
—
—
Таблица 2
Функция нормального распределения
В таблице даны значения F (х)
V^ J
х 1
е их, т. е. значения площади
под кривой у = —=-е , лежащей левее точки х\ например, для
у 2л
х= 1,86 ( = 1,5 + 0,36) F( 1,86) =0,9686
X
0,00
0,01
0,0+ |
5000
5040
0,5+
6915
6950
1,0+
8413
8438
1,5+
9332
9345
2.0+
9772
9778
2,5+
92379
92396
3,0 +
92865
92869
3,5+
9377
9378
27 М. Кен да л л, А. Стьюарт
832
ГЛАВА 34
асимптотически эквивалентен C4.18) для простых гипотез, когда <р известно,
тогда и только тогда, когда
1 д2 log Ln (х, 6, ф)
п <Э0 дф
_ Q
по вероятности, т. е. если 0 и ф асимптотически независимы. В любом слу-
случае показать, что
так что
может использоваться в качестве стати-
статистики критерия со средним и дисперсией, сразу получающимися из таковых
ДЛЯ 6- (Д. Кокс, 1963.)
34.22 В случае выборки из распределения f(x\Q) = g(x)/h(Q), a < х eg 0,
доказать, что ПКОВ для гипотезы Яо: 0 = ©о против Ht: 0 = 0i (O<0o<0i)
имеет a = 0 и задается правилом: принять #i, если хп >0о, п = 1, 2, ...;
принять Но, если *о < 0о и @o/0i)n s? р"; в других случаях продолжать
выбор. , '
Непосредственно показать, что, когда выполняется Но, объем выборки
равен постоянной n0 = log p71og@o/0i), а когда выполняется Яь СОВ в
// ft \
точности равен A — P)/U §Ч> если "° иелое- Проверить эти формулы
для СОВ из C4.43).
ПРИЛОЖЕНИЕ
Таблица 1
Функция плотности нормального распределения
с первыми и вторыми разностями
X
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
.0
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
.1,9
2,0
2,1
2,2
2,3
2,4
у
0,39894
0,39695
0,39104
0,38139
0,36827
0,35207
0,33322
0,31225
0,28969
0,26609
0,24197
0,21785
0,19419
0,17137
0,14973
0,12952
0,11092
0,09405
0,07895
0,06562
0,05399
0,04398
0,03547
0,02833
0,02239
Д1 (-) 1
199
591
965
1312
1620
1885
2097
2256
2360
2412
2112
2366
2282
2164
2021
1850
1687
1510
1333
1163
1001
851
714
594
486
л> ||
—392
—374
—347
—303
—265
—212
— 159
— 104
—52
—0
+46
+84
+ 118
+ 143
+ 161
+ 173
+ 177
+ 177
+ 170
+ 162
+ 150
+ 137
+ 120
+ 108
+91
X
2,5
2,6
2,7
2,8
2,9
3,0
3,1
3,2
3,3
3,4
3,5
3,6
3,7
3,8
3,9
4,0
4,1
4,2
4,3
4,4
4,5
4,6
4,7
4,8
У
0,01753
0,01358
0,01042
0,00792
0,00595
0,00443
0,00327
0,00238
0,00172
0,00123
0,00087
0,00061
0,00042
0,00029
0,00020
0,00013
0,00009
0,00006
0,00004
0,00002
0,00002
0,00001
0,00001
0,00000
А1 (-)
395
316
250
197
152
116
89
66
49
36
25
19
13
9
7
4
3
2
2
—
—
—
—
—
А*
+79
+ 66
+53
+45
+36
+27
+ 23
+ 17
+ 13
+ 10
+7
+6
+4
+2
+3
—
—
—
—
—.
—
Таблица 2
Функция нормального распределения
х
В таблице даны значения F (х) = —¦=-
К2я J
1 .
е dx, т. е. значения площади
под кривой у ¦¦
1 -7"
е , лежащей левее точки х; например, для
X
0,00
0,01
0,0+
5000
5040
х=\
0,5+
6915
6950
86 ( = 1,
1,0+
8413
8438
5 + 0,36)
1,5+
9332
9345
f(l,86) =
2,0+
9772
9778
= 0,9686
2,5+
92379
92395
3,0+
92865
92869
3,5+
9377
9378
27 М. Кендалл, А. Стьюарт
00
*0
s
M
s
Квантили Х2-распределеиия Таблица 3
(Заимствованы из таблицы III книги сэра Рональда Фишера Statistical Methods for Research Workers, Oliver
and Boyd Ltd., Edinburgh.)
0,99
[ 0,9H I 0,95 I 0,90 I 0,80 I 0,70 I 0,50 [ 0,30 I 0,20 | 0,10 | 0.05 | 0,02 I
0,01
v= 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
При
0,03157
0,0201
0,115
0,297
0,554
0,872
1,239
1,646
2,088
2,358
3,053
3,571
4,107
4,660
5,229
5,812
6,408
7,015
7,633
8,260
8,897
9,542
10,196
10,856
11,524
12,198
12,879
13,565
14,256
14,953
0,03o2«
0,0404
0,185
0,429
0,752
1,134
1,554
2,032
2,532
3,059
3,609
4,178
4,765
5,368
5,985
6,614
7,255
7,906
8,557
9,237
9,915
10,600
11,293
11,992
12,697
13,409
14,125
14,847
15,574
16,306
м е ча н и е. Для
со средним |/^2v —
0,0-393
0,103
0,352
0,711
1,145
1,635
2,167
2,733
3,325
3,940
4,575
5,226
5,892
6,571
7,261
7,952
8,672
9,390
10,117
10,851
11,591
12,338
13,091
13,848
14,611
15,379
16,151
16,928
17,708
18,493
значений
1 и единичной дя
0,0158
0,211
0,584
1,064
1,160
2,204
2,833
3,490
4,168
4,865
5,578
6,304
7,042
7,790
8,547
9,312
10,085
10,865
11,651
12,443
13,240
14,041
14,848
15,659
16,473
17,292
18,114
18,939
19,768
20,599
0,0642
0,446
1,005
1,649
2,343
3,070
3,822
4,594
5,380
6,179
6,989
7,807
8,t34
9,467
10,307
11,152
12,002
12,857
13,716
14,578
15,445
16,314
17,187
18,062
18,940
19,820
20,703
21,588
22,475
23,364
0,148
0,713
1,424
2,195
3,000
3,828
4,671
5,527
6,393
7,267
8,148
9,034
9,926
10,821
11,721
12,624
13,531
14,440
15,352
16,266
17,182
18,101
19,021
19,943
20,867
21,792
22,719
23,647
24,577
25,508
0,455
1,385
2.366
3,357
4,351
5,348
6,346
7,344
8,343
9,342
10,341
4,340
12,340
13,339
14,339
15,338
16,338
17,338
18,338
19,337
20,337
21,337
22,337
23,337
24,337
25,336
26,336
27,336
28,336
29,335
1,074
2,408
3,665
4,878
6,064
7,231
8,383
9,524
10,656
11,781
12,899
14,011
15,119
16,222
17,322
18,418
19,511
20,601
21,689
22,775
23,858
24,939
26,018
27,096
28,172
29,246
30,319
31,391
32,461
33,530
v, больших 30, величину
1,642
3,219
4,642
5,989
7,289
8,558
9,803
11,030
12,242
13,442
14,631
15,821
16,985
18,151
19,311
20,455
21,615
22,760
23,900
25,038
26,171
27,301
28,429
29,553
30,675
31,795
32,912
34,027
35,139
36,250
2,706
4,605
6,251
7,779
9,235
10,645
12,017
13,362
14,684
15,987
17,275
18,549
19,812
21,034
22,307
23,542
24,769
25,989
27,204
28,412
29,615
30,813
32,007
33,196
34,382
35,563
36,741
37,916
39,087
40,256
3,841
5,991
7,815
9,488
11,070
12,592
14,057
15,507
16,919
18,307
19,675
21,026
22,362
23,685
24,995
26,296
27,587
28,869
30,144
31,410
32,671
33,924
35,172
35,415
37,652
38,885
40,113
41,337
42,557
43,773
5,412
7,824
9,837
11,668
13,388
15,033
16,622
18,168
19,679
21,161
22,618
24,054
25,472
26,873
28,259
29,633
30,995
32,346
33,687
35,020
36,343
37,659
38,968
40,270
41,566
42,856
44,140
45,419
46,693
47.962
6,635
9,210
11,345
13,277
15,086
16,812
18,475
20,090
21,666
23,209
24,725
26,217
27,688
29,141
30,578
32,000
33,409
34,805
35,191
37,566
38,932
40,289
41,638
42,980
44,314
45,642
46,963
48,278
49,588
50,892
i
можно считать распределенной нормально
836
О
0,01
0,02
0,03
0,04
0,05
0,06
0,07
0,08
0,09
0,10
0,11
0,12
0,13
0,14
0,15
0,16
0,17
0,18
0,19
0,20
0,21
0,22
0,23
0,24
0,25
0,26
0,27
0,28
0,29
0,30
0,31
0,32
0,33
ПРИЛОЖЕНИЕ
Таблица 4.
Функция Х'-распределения с одной степенью свободы
для 0<Х2<! с шагом °01
1,0
1,1
1,2
1,3
1,00000
0,92034
0,88754
0,86249
0,34148
0,82306
0,80650
0,79134
0,77730
0,76418
0,75183
0,74014
0,72903
0,71843
0,70828
0,69854
0,68916
0,68011
0,67137
0,66292
0,65472
0,64677
0,63904
0,63152
0,62421
0,61708
0,61012
0,60333
0,59670
0,59022
0,58388
0,57768
0,57161
0,56566
7966
3280
2505
2101
1842
1656
1516 I
1404
1312
1235
Ц69
ЦП
1060
1015
974
938
905
874
845
820
795
773
752
731
713
696
679
663
648
634
620
607
595
583
0,34
0,35
0,36
0,37
0,38
0,39
0,40
0,41
0,42
0,43
0,44
0,45
0,46
0,47
0,48
0,49
0,50
0,51
0,52
0,53
0,54
0,55
0,56
0,57
0,58
0,59
0,60
0,61
0,62
0,63
0,64
0,65
0,66
0,67
0,55983
0,55411
0,54851
0,54300
0,53760
0,53230
0,52709
0,52197
0,51694
0,51199
0,50712
0,50233
0,49762
0,49299
0,48842
0,48393
0,47950
0,47514
0,47084
0,46661
0,46243
0,45832
0,45426
0,45026
0,44631
0,44242
0,43858
0,43479
0,43105
0,42736
0,42371
0,42011
0,41656
0,41305
572
560
551
540
530
521
512
503
495
487
479
471
463
457
449
443
436
430
423
418
411
406
400
395
389
384
379
374
369
365
360
355
351
346
0,68
0,69
0,70
0,71
0,72
0,73
0,74
0,75
0,76
0,77
0,78
0,79
0,80
0,81
0,82
0,83
0,84
0,85
0,86
0,87
0,88
0,89
0,90
0,91
0,92
0,93
0,94
0,95
0,96
0,97
0,98
0,99
1,00
0,40959
0,40616
0,40278
0,39944
0,39614
0,39288
0,38966
0,38648
0,38333
0 38022
0,37714
0 37410
0,37109
0,36812
0,36518
0,36227
0,35940
0,35655
0,35374
0,35096
0,34820
0 34548
0 34278
0 34011
0,33747
0,33486
0,33228
0,32972
0,32719
0,32468
0,32220
0,31974
0,31731
343
338
334
330
326
322
318
315
зп
308
304
301
297
294
291
287
285
281
278
276
272
270
267
264
261
258
256
253
251
248
246
243
241
Таблица 46
Функция ^-распределения с одно* степенью свободы
для 1<х2<10 с шагом 0,1
0,31731
0,29427
0,27332
0,25421
2301
2095
1911
1749
1,4
1,5
1,6
1,7
0,23672
0,22067
0,20590
0,19229
д
1605
1477
1361
1258
X1
1,8
1,9
2,0
2,1
р
0,17971
0,16808
0,15730
0,14730
д
1163
1078
1000
929
ТАБЛИЦЫ
837
Продолжение
2,2
2,3
2,4
2,5
2,6
2,7
2,8
2,9
3,0
3,1
3,2
3,3
3,4
3,5
3,6
3,7
3,8
3,9
4,0
4,1
4,2
4,3
4,4
4,5
4,6
4,7
4,8
0,13801
0,12937
0,12134
0,11385
0,10686
0,10035
0,09426
0,08858
0,08326
0,07829
0,07364
0,06928
0,06520
0,06137
0,05778
0,05441
0,05125
0,04829
0,04550
0,04288
0,04042
0,03811
0,03594
0,03389
0,03197
0,03016
0,02846
864
803
749
699
651
609
568
532
497
465
436
408
383
359
337
316
296
279
262
246
231
217
205
192
181
170
160
4,9
5,0
5,1
5,2
5,3
5,4
5,5
5,6
5,7
5,8
5,9
6,0
6,1
6,2
6,3
6,4
6,5
6,6
6,7
6,8
6,9
7,0.
7,1
7,2
7,3
7,4
7,5
0,02686
0,02535
0,02393
0,02259
0,02133
0,02014
0,01902
0,01796
0,01697
0,01603
0,01514
0,01431
0,01352
0,01278
0,01207
0,01141
0,01079
0,01020
0,00964
0,00912
0,00862
0,00815
0,00771
0,00729
0,00690
0,00652
0,00517
151
142
134
126
119
112
106
99
94
89
83
79
74
71
66
62
59
56
52
50
47
44
42
39
38
35
33
7,6
7,7
7,8
7,9
8,0
8,1
8,2
8,3
8,4
8,5
8,6
8,7
8,8
8,9
9,0
9,1
9,2
9,3
9,4
9,5
9,6
9,7
9,8
9,9
10,0
0,00584
0,00552
0,00522
0,00494
0,00468
0,00443
0,00419
0,00396
0,00375
0,00355
0,00336
0,00318
0,00301
0,00285
0,00270
0,00256
0,00242
0,00229
0,00217
0,00205
0,00195
0,00184
0,00174
0,00165
0,00157
32
30
28
26
25
24
23
21
20
19
18
17
16
15
14
14
13
12
12
10
11
10
9
8
8
Таблица "
Квантили /-распределения
(Заимствованы нз таблиц сэра Рональда Фишера и Ф. Иэйтса: Statistical
Tables for Biological, Medical and Agricultural Research, Oliver and Boyd
Ltd., Edinburgh.)
p=.2(l—F)
V= 1
2
3
4
5
6
7
8
9
10
0,9
0,158
0,142
0,137
0,134
0,132
0,131
0,130
0,130
0;129
0,129
0,8 .
0,325
0,289
0,277
0,271
0,267
0,265
0,263
0,262
0,261
0,260
0.7
0,510
0,445 .
0,424
0,414
0,408
0,404
0,402
0,399
0,398
0,397
0.6
0,727
0,617
0,584
0,569
0,559
0,553
0,549
0,546
0,543
0,542
0,5
1,000
0,816
0,765
0,741
0,727
0,718
0,711
0,706
0,703
0,700
. - 0,4
1,376
1,061
0,978
0,941
0,920
0,906
0,896
0,889
0,883
0,879
0.3
1,963
1,386
,250
,190
,156
,134
,119
.108
1Д00
1,093
838
ПРИЛОЖЕНИЕ
Продолжение
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
60
120
0,129
0,128
0,128
0,128
0,128
0,128
0,128
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,123
0,126
0,126
0.123
0,260
0,259
0,259
0,258
0,258
0,258
0,257
0,257
0,257
0,257
0,257
0,256
0,255
0,256
0,256
0,256
0,256
0,255
0,256
0,256
0,255
0,254
0,254
0,253
0,396
0,395
0,394
0,393
0,393
0,392
0,392
0,392
0,391
0,391
0,391
0,390
0,390
0,390
0,390
0,390
0,389
0,389
0,389
0,389
0,388
0,387
0,386
0,385
0,540
0,539
0,538
0,537
0,535
0,535
0,534
0,534
0,533
0,533
0,532
0,532
0,532
0,531
0,531
0,531
0,531
0,530
0,530
0,530
0,529
0,527
0,526
0,524
0,697
0,695
0,694
0,692
0,691
0,690
0,689
0,688
0,688
0,687
0,686
0,686
0,685
0,685
0,684
0,684
0,684
0,683
0,683
0,683
0,681
0,679
0,677
0,674
0,876
0,873
0,870
0,868
0,866
0,865
0,863
0,862
0,861
0,860
0,859
0,858
0,858
0,857
0,856
0,856
0,855
0,855
0,854
0,854
0,851
0,848
0,845
0,842
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
3,078
1,886
1,638
1,533
1,476
1,440
1,415
1,397
1,383
1,372
1,363
1,356
1,350
1,345
1,341
6,314
2,920
2,353
2,132
2,015
1,943
1,895
1,860
1,833
1,812
1,795
1,782
1,771
1,761
1,753
12,706
4,303
3,182
2,776
2,571
2,447
2,365
2,306
2,262
2,223
2,201
2,179
2,160
2,145
2,131
31,821
6,965
4,541
3,747
3,365
3,143
2,998
2,896
2,821
2,764
2,718
2,681
2,650
2,624
2,602
63,657
9,925
5,841
4,604
4,032
3,707
3,499
3,355
3,250
3,169
3,106
3,055
3,012
2,977
2,947
1,088
1,083
1,079
1,076
1,074
1,071
1,069
1,067
1,066
1,064
1,063
1,061
1,060
1,059
1,058
1,058
1,057
1,056
1,055
1,055
1,050
1,046
1,041
1,036
ТАБЛИЦЫ
839
Продолжение
636,619
31,598
12,924
8,610
6,869
5,959
5,408
5,041
4,781
4,587
4,437
4,318
4,221
4,140
4,073
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
60
120
oo
0,2
1,337
1,333
1,330
1,328
1,325
1,323
1,321
1,319
1,318
1,316
1,315
1,314
1,313
1,311
1,310
1,303
1,29о
1,289
1,282
0.1
1,746
1,740
1,734
1,729
1,725
1,721
1,717
1,714 •
1.711
1,708
1,706
1,703
1,701
1,699
1,697
1,684
1,671
1,658
1,645
0,05
2,120
2,110
2,101
2,093
2,086
2,030
2,074
2,069
2,034
2,060
2,056
2,052
2,048
2,045
2,042
2,021
2,000
1,980
1,960
0,02
2,583
2,567
2,552
2,539
2,528
2,518
2,508
2,500
2,492
2,485
2,479
2,473
2,487
2,462
2,457
2,423
2,390
2,358
2,326
0,01
2,921
2,898
2,878
2,861
2,845
2,831
2,819
2,807
2,7J7
2,787
2,779
2,771
2,763
2,756
2,750
2,704
2,660
2,617
2,576
0,001
4,015
3,965
3,922
3,883
3,850
3,819
3,792
3,767
3,745
3,725
3,707
3,690
3,674
3,659
3,646
3,551
3,450
3,3?3
3,291
Таблица 6
5%-ные точки «-распределения (точки, в которых ф. р. = 0,95)
(Заимствованы из таблицы VI книги сэра Рональда Фишера Statistical
Methods for Research Workers, Oliver and Boyd Ltd., Edinburgh.)
>
к
s
s
Ol
OJ
s
<o
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Значения V|
1
2,5421
1,4592
1,1577
1,0212
0,9441
0,8948
0,8606
0,8355
0,8163
0,8012
0,7889
0,7788
0,7703
0,7630
0,7568
2
2,6479
1,4722
1,1284
0,9690
0,8777
0,8188
0,7777
0,7475
0,7242
0,7058
0,6909
0,6786
0,6682
0,6594
0,6518
3
2,6870
1,4765
1.U37
0,9429
0,8441
0,7798
0,7347
0,7014
0,6757
0,6553
0,6387
0,6250
0,6134
0,6036
0,5950
4
2,7071
1,4787
1,1051
0,9272
0,8236
0,7558
0,7030
0,6725
0,6450
0,6232
0,6055
0,5907
0,5783
0,5677
0,5585
5
2,7194
1,4800
1,0994
0,9168
0,8097
0,7394
0,6896
0,6525
0,6238
0,6009
0,5822
0,5666
0,5535
0,5423
0,5326
6
2,7276
1,4808
1,0953
0,9093
0,7997
0,7274
0,6761
0,6378
0,6080
0,5843
0,5648
0,5487
0,5350
0,5233
0,6131
8
2,7380
1,4819
1,0899
0,8993
0,7862
0,7112
0,6576
0,6175
0,5862
0,5611
0,5406
0,5234
0,5089
0,4964
0,4855
12
2,7484
1,4830
1,0842
0,8885
0,7714
0,6931
0,6369
0,5945
0,5613
0,5346
0,5126
0,4941
0,4785
0,4649
0,4532
21
2,7588
1,4840
1,0781
0,8767
0,7550
0,6729
0,6134
0,5682
0,5324
0,5035
0,4796
0,4592
0,4419
0,4269
0,4138
OO
2,7693
1,4851
1,0716
0,8639
0,7338
0.6499
0,5862
0,5371
0,4979
0,4657
0,4387
0,4156
0,3957
0,3782
0,3628
84Q
ПРИЛОЖЕНИЕ
П родолжение
Значения V,
24
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
60
0,7514
0,7466
0,7424
0,7386
0,7352
0,7322
0,7294
0,7269
0,7246
0,7225
0,7205
0,7187
0,7171
0,7155
0,7141
0,6933
0,6729
0,6451
0,6393
0,6341
0,6295
0,6254
0,6216
0,6182
0,6151
0,6123
0,6097
0,6073
0,6051
0,6030
0,6011
0,5994
0,5738
0,5486
0,5876
0,5811
0,5753
0,5701
0,5654
0,5612
0,5574
0,5540
0,5508
0,5478
0,5461
0,5427
0,5403
0,5382
0,5362
0,507
0,4787
0,5505
0,5434
0,5371
0,5315
0,5265
0,5219
0,5178
0,5140
0,5106
0,5074
0,5045
0,5017
0,4992
0,4969
0,4947
0,4632
0,4319
0,5241
0,5166
0,5099
0,5040
0,4986
0,4938
0,4894
0,4854
0,4817
0,4783
0,4752
0,4723
0,4696
0,4671
0,4648
0,4311
0,3974
0,5042
0,4964
0,4894
0,4832
0,4776
0,4725
0,4679
0,4636
0,4598
0,4562
0,4529
0,4499
0,4471
0,4444
0,4420
0,4064
0,3706
0,4760
0,4676
0,4602
0,4535
0,4474
0,4420
0,4370
0,4325
0,4283
0,4244
0,4209
0,4176
0,4146
0,4117
0,4090
0,3702
0,3309
0,4428
0,4337
0,4255
0,4182
0,4116
0,4055
0,4001
0,3950
0,3904
0,3862
0,3823
0,3786
0,3752
0,3720
0,3691
0,3255
0,2804
0,4022
0,3919
0,3827
0,3743
0,3668
0,3599
0,3536
0,3478
0,3425
0,3376
0,3330
0,3287
0,3248
0,3211
0,3176
0,265
0,2085
0,3490
0,3366
0,3253
0,3151
0,3057
0,2971
0,2892
0,2818
0,2749
0,2685
0,2625
0,2569
0,2516
0,2466
0,2419
0,1644
0
Таблица 7
5%-иые точки F-распределения (точки, в которых ф. р. = 0,95)
(Заимствованы из таблиц сэра Рональда Фишера и Ф. Иэйтса: Statistical
Tables for Biological, Medical and Agricultural Research, Oliver and Boyd
Ltd., Edinburgh,)
1
2
3
. 4
5
6
7
8
9
10
11
12
13
14
15
l
161,40
18,51
10,13
7,71
6,61
5,99
5,59
5,32
6,12
4,96
4,84
4,75
4,67
4,60
4,54
2
99,50
19,00
9,55
6,94
5,79
5,14
4,74
4,46
4,26
4,10
3,98
3,88
3,80
3,74
3,68
3
215,70
19,16
9,28
6,59
5,41
4,76
4,35
4,07
3,86
3,71
3,59
3,49
3,41
3,34
3,29
4
24,60
19,25
9,12
6,39
5,19
4,53
4,12
3,84
3,63
3,48
3,36
3,26
3,18
3,11
. 3,06
5
230,20
19,30
9,01
6,26
5,05
4,39
3,97
3,69
- 3,48
3,33
3,20
3,11
3,02
2,96
2,90
6
234,00
19,33
8,94
6,16
4,95
4,28
3,87
3,58
3,37
3,22
3,09
3,00
2,92
2,85
2,79
8
238,90
19,37
8,84
6,04
4,82
4,15
3,73
3,44
3,23
3,07
2,95
2,85
2,77
2,70
2,64
12
243,90
19,41
8,74
5,91
4,68
4,00
3,57
3,28
3,07
2,91
2,79
2,69
2,60
2,53
2,48
24
249,00
19,45
8,64
5,77
4,53
3,84
3,41
3,12
2,90
2,74
2,61
2,50
2,42
2,35
2,29
OO
254,30
19,50
8,53
6,63
4,36
3,67
3,23
2,93
2,71
2,54
2,40
2,30
2,21
¦ * 2,13
2,07
ТАБЛИЦЫ
841
Продолжение
\ V,
i6
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
60
120
oo
1
4,49
4,45
4,41
4,33
4,35
4,32
4,30
4,28
4,23
4,24
4,22
4,21
4,20
4,18
4,17
4,03
4,00
3,92
3,84
2
3,63
3,59
3,55
3,52
3,49
3,47
3,44
3,42
3,40
3,38
3,37
3,35
3,34
3,33
3,32
3,23
3,15
3,07
2,99
3
3,24
3,20
3,16
3,13
3,10
3,07
3,05
3,03
3,01
2,99
2,98
2,96
2,95
2,93
2,92
2,84
2,76
2,68
2,60
4
3,01
2,96
2,93
2,90
2,87
2,84
2,82
2,80
2,78
2,76
2,74
2,73
2,71
2,70
2,69
2,61
2,52
2,45
2,37
5
2,85
2,81
2,77
2,74
2,71
2,68
2,66
2,64
2,62
2,60
2,59
2,57
2,56
2,54
2,53
2,45
2,37
2,29
2,21
6
2,74
2,70
2,66
2,63
2,60
2,57
2,55
2,53
2,51
2,49
2,47
2,46
2,44
2,43
2,42
2,34
2,25
2,17
2,09
8
2,59
2,55
2,51
2,48
2,45
2,42
2,40
2,38
2,36
2,34
2,32
2,30
2,29
2,23
2,27
2,18
2,10
2,02
1,94
12
2,42
2,38
2,34
2,31
2,28
2,25
2,23
2,20
2,18
2,16
2,15
2,13
2,12
2,10
2,09
2,00
1,92
1,83
1,75
24
2,24
2,19
2,15
2,11
2,08
2,05
2,03
" 2,00
1,98
1,96
1,95
1,93
1,91
1,90
1,89
1,79
1,70
1,61
1,52
oo
2,01
1,96
1,92
1,88
1,84
1,81
1,78
1,76
1,73
1,71
1,69
1,67
1,65
1,64
1,62
1,51
1,39
1,25
1,00
Примечание. Нижняя 5%-ная точка представляет собой обратную
величину того табличного значения, которое получится, если vt и v2 поменять
местами, т. е. в качестве v, всегда следует выбирать количество степеней
свободы, соответствующее наибольшей выборочной дисперсии.
Таблица 8
1%-яые точки 2-распр еделеиия (точки, в которых ф. р. = 0,99)
(Заимствованы из таблицы VI книги сэра Рональда Фишера Statistical
Methods for Research Workers, Oliver and Boyd Ltd., Edinburgh.)
>
к
X
Ol
ЕГ
23
1
2
3
4
5
6
7
8
9
10
Значения v.
1
4,1535
2.2950
1,7649
1,5270
1,3943
1,3103
1,2526
1,2103
1,1786
1,1535
2
4,2585
2,2976
1,7140
1,4452
1,2929
1,1955
1,1281
1,0787
1,0411
1,0114
3
4,2974
2,2984
1,6915
1,4075
1,2449
1,1401
1,0672
1,0135
0,9724
0,9399
4
4,3175
2,2988
1,6786
1,3856
1,2164
1,1063
1,0300
0,9734
0,9299
0,8954
5
4,3297
2,2991
1,6703
1,3711
1,1974
1,0843
1,0048
0,9459
0,9006
0,8646
6
4,3379
2,2992
1,6645
1,3309
1,1838
1,0680
0,9864
0,9259
0,8791
0,8419
8
4,3482
2,2994
1,6569
1,3473
1,1666
1,0460
0,9614
0,8983
0,8494
0,8104
12
4,3585
2,2997
1,6489
1,3327
1,1457
1,0218
0,9335
0,8673
0,8157
0,7744
24
4,3689
2,2999
1,6404
1,3170
1,1239
0,9948
0,9020
0,8319
0,7769
0,7324
OO
4,3794
2,3001
1,6314
1,3000
1,0997
0,9643
0,8653
0,7904
0,7305
0,6816
842
ПРИЛОЖЕНИЕ
Продолжение
к
к
S
5
СО
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
60
ОО
Значения v.
1
1,1333
1,1166
1,1027
1,0909
1,0807
1,0719
1,0641
1,0572
1,0511
1,0457
1,0408
1,0363
1,0322
1,0285
1,0251
1,0220
1,0191
1,0164
1,0139
1,0116
0,9784
0,9462
2
0,9874
0,9677
0,9511
0,9370
0,9249
0,9144
0,9051
0,8970
0,8897
0,8831
0,8772
0,8719
0,8670
0,8626
0,8585
0,8548
0,8513
0,8481
0,8451
0,8423
0,8025
0,7636
3
0,9136
0,8919
0,8737
0,8581
0,8448
0,8331
0,8229
0,8138
0,8057
0,7985
0,7920
0,7860
0,7806
0,7757
0,7712
0,7670
0,7631
0,7595
0.75Р2
0,7531
0,7086
0,6651
4 -
0,8674
0,8443
0,8248
0,8082
0,7939
0,7814
0,7705
0,7607
0,7521
0,7443
0,7372
0,7309
0,7251
0,7197
0,7148
0,7103
0,7062
0,7023
0,6987
0,6954
0,6472
0,5999
5
0;8354
0,8111
0,7907
0,7732
0,7582
0,7450
0,7335
0,7232
0,7140
0,7058
0,6984
0,6916
0,6855
0,6799
0,6747
0,6699
0,6655
0,6614
0,6576
0,6540
0,6028
0,5522
6
0,8116
0,7864
0,7652
0,7471
0,7314
0,7177
0,7057
0,6950
0,6854
0,6768
0,6690
0,6620
0,6555
0,6496
0,6442
0,6392
0,6346
0,6303
0,6263
0,6226
0,5687
0,5152
8
0,7785
0,7520
0,7295
0,7103
0,6937
0,6791
0,6663
0,6549
0,6447
0,6355
0,6272
0,6196
0,6127
0,6064
0,6006
0,5952
0,5902
0,5856
0,5813
0,5773
0,5189
0,4604
12
0,7405
0,7122
0,6882
0,6675
0,6496
0,6339
0,6199
0,6075
0,5964
0,5864
0,5773
0,5691
0,5615
0,5545
0,5481
0,5422
0,5367
0,5316
0,5269
0,5224
0,4574
0,3908
24
0,6958
0,6649
0,6386
0,6159
0,5961
0,5786
0,5630
0,5491
0,5366
0,5253
0,5150
0,5056
0,4969
0,4890
0,4816
0,4748
0,4685
0,4626
0,4570
0,4519
0,3746
0,2913
ОО
0,6408
0,6061
0,5761
0,5500
0,5269
0,5064
0,4879
0,4712
0,4560
0,4421
0,4294
0,4176
0,4068
0,3967
0,3872
0,3784
0,3701
0,3624
0,3550
0,3481
0,2352
0
Таблица 9
1 %-иые точки f-распределеиия (точки, в которых ф. р. = 0,99)
(Заимствованы нз книги сэра Рональда Фишера и Ф. Иэйтса: Statistical
Tables for Biological, Medical and Agricultural Research, Oliver and Boyd
Ltd., Edinburgh.)
\v,
1
2
3
4
5
6
7
8
9
10
l
4052
98,49
34,12
21,20
16,26
13,74
12,25
11,26
10,56
10,04
2
4999
99,00
30,81
18,00
13,27
10,92
9,55
8,66
8,02
7,56
3
5403
99,17
29,46
16,69
12,06
9,78
8,45
7,59
6,99
6,55
4
5625
99,25
28,71
15,98
11,39
9,15
7,85
7,01
6,42
5,99
5
5764
99,30
28,24
15,52
10,97
8,75
7,46
6,63
6,06
5,64
6
5859
99,33
27,91
15,21
10,67
8,47
7,19
6,37
5,80
5,39
8
5981
99,36
27,49
14,80
10,27
8,10
6,84
6,03
5,47
5,06
12
6106
99,42
27,05
14,37
9,89
7,72
6,47
5,67
5,11
4,71
24
6234
99,46
26,60
13,93
9,47
7,31
6,07
5,28
4,73
4,33
ОО
6366
99,50
26,12
13,46
9,02
6,88
5,65
4,86
4,31
3.91
ТАБЛИЦЫ
843
Продолжение
Vi\
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
- 28
29
30
40
60
120
ОО
1
9,65
9,33
9,07
8,86
8,68
8,53
8,40
8,28
8,18
8,10
8,02
7,94
7,88
7,82
7,77
7,72
7,68
7,64
7,60
7,56
7,31
7,08
6,85
6,64'
2
7,20
6,93
6,70
6,51
6,36
6,23
6,11
6,01
5,93
5,85
5,78
5,72
5,66
5,61
5,57
5,53
5,49
5,45
5,42
5,39
5,18
4,98
4,79
4,60
3
6,22
5,95
5,74
5,56
5,42
5,29
5,18
5,09
5,01
4,94
4,87
4,82
4,76
4,72
4,68
4,64
4,60
4,57
4,54
4,51
4,31
4,13
3,95
3,78
4
5,67
5,41
5,20
5,03
4,89
4,77
4,67
4,58
4,50
4,43
4,37
4,31
4,26
4,22
4,18
4,14
4,11
4,07
4,04
4,02
3,83
3,65
3,48
3,32
5
5,32
5,06
4,86
4,69
4,56
4,44
4,34
4,25
4,17
4,10
4,04
3,99
3,94
3,90
3,86
3,82
3,78
3,75
3,73
3,70
3,51
3,34
3,17
3,02
6
5,07
4,82
4,62
4,46
4,32
4,20
4,10
4,01
3,94
3,87
3,81
3,76
3,71
3,67
3,63
3,59
3,56
3,53
3,50
3,47
3,29
3,12
2,96
2,80
8
4,74
4,50
4,30
4,14
4,00
3,89
3,79
3,71
3,63
3,56
3,51
3,45
3,41
3,36
3,32
3,29
3,26
3,23
3,20
3,17
2,99
2,82
2,66
2,51
12
4,40
4,16
3,96
3,80
3,67
3,55
3,45
3,37
3,30
3,23
3,17
3,12
3,07
3,03
2,99
2,96
2,93
2,90
2,87
2,84
2,66
2,50
2,34
2,18
24
4,02
3,78
3,59
3,43
3,29
3,18
3,08
3,00
2,92
2,86
2,80
2,75
2,70
2,66
2,62
2,58
2,55
2,52
2,49
2,47
2,29
2,12
1,95
1,79
ОО
3,60
3,36
3,16
3,00
2,87
2,75
2,65
2,57
2,49
2,42
2,36
2,31
2,26
2,21
2,17
2,13
2,10
2,06
2,03
2,01
1,80
1,60
1,38
1,00
Примечание. Нижняя 1%-ная точка представляет собой обратную
величину того табличного значения, которое получится, если yt и v2 по-
поменять местами, т. е. в качестве Vj всегда следует выбирать количество
степеней свободы, соответствующее наибольшей выборочной дисперсии.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Аллан (Allan F. Е.) A930), The general form of the orthogonal polyno-
polynomials for simple series with proofs of their simple properties, Proc. Roy.
Soc. Edin. A, 50, 310.
Аллен (Allen H. V.) A938), A theorem concerning the linearity of regres-
regression, Statist. Res. Mem., 2, 60.
Андерсон (Anderson T. W.) A955), Some statistical problems in relating
experimental data to predicting performance of a production process, J.
Amer. Statist. Ass. 50, 163. -
Андерсон (Anderson T. W.) A960), A modification of the sequential pro-
probability ratio test to reduce sample size, Ann. Math. Statist. 31, 165.
Андерсон (Anderson T. W.) A962), Least squares and best unbiased esti-
estimates, Ann. Math. Statist. 33, 266.
Андерсон и Дарлинг (Anderson Т. W. and Darling D. A.) A952),
Asymptotic theory of certain «goodness of fit» criteria based on stochastic
processes, Ann. Math. Statist. 23, 193.
Андерсон и Дарлинг (Anderson Т. W. and Darling D. A.) A954),
A test of goodness of fit, /-. Amer. Statist. Ass. 49, 765.
Армитедж (Armitage P.) A947), Some sequential tests of Student's hypo-
hypothesis, /. Roy. Statist. Soc. 8/9, 250.
Армитедж (Armitage P.) A955), Tests for linear trends in proportions
and frequencies, Biometrics 11, 375.
Армитедж (Armitage P.) A957), Restricted sequential procedures, Biometri--
ka 44, 9.
Армитедж (Armitage P.) A966), The chi-square test for heterogeneity of
proportions, after adjustment for stratification, /. Roy. Statist. Soc. B, 28,
150 (Addendum: 29, 197).
Армсен (Armsen P.) A955), Tables for significance tests of 2 X 2 contin-
contingency tables, Biometrika 42, 494.
Арнольд (Arnold H. J.) A965), Small sample power of the one sample
Wilcoxon tests for non-normal shift alternatives, Ann. Math. Statist. 36,
1767.
Асковиц (Askovitz S. I.) A957), A short-cut graphic method for fitting the
best straight line to a series of points according to the criterion of least
squares, J. Amer. Statist. Ass. 52, 13.
Аспин (Aspin A. A.) A948), An examination and further development of
a formula arising in the problem of comparing two mean values, Biomet-
Biometrika 35, 88.
Аспии (Aspin A. A.) A949), Tables for use in comparisons whose accuracy
involves two variances, separately estimated, Biometrika 36, 290.
Балмер (Buhner M. Q.) A958), Confidence limits for distance in the ana-
analysis of variance, Biometrika 45, 360.
Баранки и (Barankin E. W.) A949), Locally best unbiased estimates, Ann.
Math. Statist. 20, 477.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
845
Баранкнн (Barankin E. W.) A960a), Application to exponential families
of the solution of the minimal dimensionality problem for sufficient sta-
statistics. Bull. Int. Statist last. 38 D), 141.
Баранкин (Barankin E. W.) A960b), Sufficient parameters: solution of
the minimal dimensionality problem, Ann. Inst. Statist. Math. 12, 91.
Баранкин (Barankin E. W.) A961), A note on functional minimality of
sufficient statistics, Sankhya A, 23, 401.
Баранкии и Катц (Barankin E. W. and Katz M., Jr.) A959), Sufficient
statistics of minimal dimension, Sankhya 21, 217.
Баранкин и Майтра (Barankin E. W. and Maitra A. P.) A963), Gene-
Generalization of the Fisher — Darmois—Koopman — Pitman theorem on suffi-
sufficient statistics, Sankhya A, 25, 217.
Барнард (Barnard Q. A.) A946), Sequential tests in industrial statistics,
Suppl. J. Roy. Statist. Soc. 8, 1.
Барнард (Barnard Q. A.) A947a), Significance tests for 2X2 tables, Bio-
Biometrika 34, 123.
Барнард (Barnard Q. A.) A947b), 2X2 tables. A note on E. S. Pearson's
paper, Biometrika 34, 168.
Барнард (Barnard Q. A.) A950), On the Fischer — Behrens test, Biometri-
Biometrika 37, 203.
Барнард (Barnard Q. A.) A963), The logic of least squares, /. Roy. Statist.
Soc. B, 25, 124.
Барнетт (Barnett V. D.) A966a), Evaluation of the maximum-likelihood
estimator where the likelihood equation has multiple roots, Biometrika 53,
151.
Барнетт (Barnett V. D.) A966b), Order statistics estimators of the location
of the Cauchy distribution, /. Amer. Statist. Ass. 61, 1205.
Барр (Barr D. R.) A966), On testing the equality of uniform and related
distributions, /. Amer. Statist. Ass. 61, 856.
Бартки (Bartky W.) A943), Multiple sampling with constant probability,
Ann. Math. Statist. 14, 363.
Бартлетт (Bartlett M. S.) A935a), The effect of non-normality on the
/-distribution, Proc. Camb. Phil. Soc. 31, 223.
Бартлетт (Bartlett M. S.) A935b), Contingency table interactions, Suppl.
J. Roy. Statist. Soc. 2, 248.
Бартлетт (Bartlett M. S.) A936), The information available in small samp-
samples, Proc. Camb. Phil. Soc. 32, 560.
Бартлетт (Bartlett M. S.) A937), Properties of sufficiency and statistical
tests, Proc. Roy. Soc. A, 160, 268.
Бартлетт (Bartlett M. S.) A938), The characteristic function of a condi-
conditional statistic, J. Lond. Math. Soc. 13, 62.
Бартлетт (Bartlett M. S.) A939), A note on the interpretation of quasi-
sufficiency, Biometrika 31, 391.
Бартлетт (Bartlett M. S.) A949), Fitting a straight line when both variab-
variables are subject to error, Biometrics 5, 207.
Бартлетт (Bartlett M. S.) A951), An inverse matrix adjustment arising in
discriminant analysis, Ann. Math. Statist. 22, 107.
Бартлетт (Bartlett M. S.) A953, 1955), Approximate confidence intervals,
Biometrika 40, 12, 306 and 42, 201.
Бартоломью (Bartholomew D. J.) A961), Ordered tests in the analysis
of variance, Biometrika 48, 325.
Бартон (Barton D. E.) A953), On Neyman's smooth test of goodness of
fit and its power with respect to a particular system oi alternatives,
Skand. Aktuartidskr. 36, 24.
Бартои (Barton D. E.) A955), A form of Neyman's ф| test of goodness of
fit applicable to grouped and discrete data, Skand. Aktuartidskr. 38, 1.
846
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Бартон (Barton D. Е.) A956), Neyman's tyk tests of goodness of fit when
the null hypothesis is composite, Skand. Aktuartidskr. 39, 216.
Басу (Basu A. P.) A965), On some tests of hypotheses relating to the expo-
exponential distribution when some outliers are present. J. Amer. Statist. Ass.
60, 548.
Басу Д. (Basu D.) A955), On statistics independent of a complete sufficient
statistic, Sankhya 15, 377.
Бахадур (Bahadur R. R.) A958), Examples of inconsistency of maximum
likelihood estimates, Sankhya 20, 207.
Бахадур (Bahadur R. R.), A964), On Fisher's bound for asymptotic varian-
variances, Ann. Math. Statist. 35, 1545.
Бейтмэн (Bateman G. I.) A949), The characteristic function of a weighted
sum of non-central squares of normal variables subject io s linear re-
restraints, Biometrika 36, 460.
Белл и Доксум (Bell С. В. and Doksum I\. A.) A965), Some new distri-
distribution-free statistics, Ann. Math. Statist. 36, 203.
Беннетт и Сюй (Bennett В. М. and Hsu P.) A960), On the power
function of the exact test for the 2X2 contingency table, Biometrika 47,
393.
Беи сон (Benson F.) A949), A note on the estimation of mean and standard
deviation from quantiles, /. Roy. Statist. Soc. B, 11, 91.
Берджер (Berger A.) A961), On comparing intensities of association bet-
between two binary characteristics in two different populations, J. Amer. Sta-
Statist. Ass. 56, 889.
Берксон (Berkson J.) A938), Some difficulties of interpretation encountered
in the application of the chi-square test, /. Amer. Statist. Ass. 33, 526.
Берксон (Berkson J.) A950), Are there two regressions? /. Amer. Statist,
Ass. 45, 164.
Берксон (Berkson J.) A955), Maximum likelihood and minimum x2 esti-
mates of the logistic function, /. Amer. Statist. Ass. 50, 130.
Берксон (Berkson J.) A956), Estimation by least squares and by maximum
likelihood, Proc. 3rd Berkeley Symp. Math. Statist, and Prob. 1, 1.
Бёрмэн (Burman J. R.) A946), Sequential sampling formulae for a binomial
population, J. Roy. Statist. Soc. B, 8, 98.
Бериштейн С. Н. A928), Fondements geometriques de la theorie des cor-
correlations, Metron 7 B), 3.
Бёрч (Birch M. W.) A963), Maximum likelihood in three-way contingency
tables, /. Roy. Statist. Soc. B, 25, 220.
Бёрч (Birch M. W.) A964a), A note on the maximum likelihood estimation
of a linear structural relationship, Л Amer. Statist. Ass. 59, 1175.
Бёрч (Birch M. W.) A964b), A new proof of the Pearson — Fisher theorem,
Ann. Math. Statist. 35, 817.
Бёрч (Birch M. W.) A964c), The detection of partial association, I: The
2X2 case, Л Roy. Statist. Soc. B, 26, 313.
Бёрч (Birch M. W.) A965), The detection of partial association, II: The ge-
general case, /. Roy. Statist. Soc. B, 27, 111.
Бикел (Bickel P. J.) A965), On some robust estimates of location, Ann.
Math. Statist. 36, 847.
Бирнбаум (Birnbaum Z. W.) A952), Numerical tabulation of the distri-
distribution of Kolmogorov's statistic for finite sample size, /. Amer. Statist.
Ass. 47, 425.
Бирнбаум (Birnbaum Z. W.) A953),On the power of a one-sided test of
fit for continuous probability functions, Ann. Math. Statist. 24, 484.
Бирнбаум и Тинджи (Birnbaum Z. W. and Tingey F. H.) A951), One-
Onesided confidence contours for probability distribution functions, Ann. Math.
Statist. 22, 592.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
847
Бирнбаум A. (Birnbaum A.) A962), On the foundations of statistical in-
inference, /. Amer. Statist. Ass. 57, 269.
Бирнбаум А. и Дадмэн (Birnbaum A. and Dudman J.) A963), Logis-
Logistic order statistics, Ann. Math. Statist. 34, 658.
Бирнбаум А. и Хили (Birnbaum A. and Healy W. C, Jr.) A960), Estima-
Estimates with prescribed variance based on two-stage sampling, Ann Math.
Statist. 31, 662.
Б л ей л ok (Blalock H. M., Jr.) A958), Probabilistic interpretations for the
mean square contingency, /. Amer. Statist. Ass. 53, 102.
Блекуэлл (Blackwell D.) A946), On an equation of Wald, Ann. Math.
Statist. 17, 84.
Блекуэлл (Blackwell D.) A947), Conditional expectation and unbiased se-
sequential estimation, Ann. Math. Statist. 18, 105.
Блекуэлл и Гиршик (Blackwell D. and Girshick M. A.) A954), Theory
of Games and Statistical Decisions, Wiley, New York. (Русский перевод:
Д. Блекуэлл и М. А. Гиршик, Теория игр и статистических реше-
решений, ИЛ, М., 1958.)
Блисс, Кокрэн и Тьюки (Bliss С. I., Cochran W. G. and Tukey J. W.)
A956), A rejection criterion based upon the range, Biometrika 43, 448.
Блит и Хатчинсон (Blyth С. R. and Hutchinson D. W.) A960), Table
of Neyman-shortest unbiased confidence intervals for the binomial para-
parameter, Biometrika 47, 381.
Блит и Хатчинсон (Blyth С. R. and Hutchinson D. W.) A961), Table
of Neyman-shortest unbiased confidence intervals for the Poisson parame-
parameter, Biometrika 48, 191.
Блом (Blom G.) A958), Statistical estimates and transformed Beta-variables,
Almqvist and Wiksell, Stockholm; Wiley, New York.
Бломквист (Blomqvist N.) A950), On a measure of dependence between
two random variables, Ann. Math. Statist. 21, 593.
Блоч (Bloch D.) A966), A note on the estimation of the location parameter
of the Cauchy distribution, J. Amer. Statist. Ass. 61, 852.
Блюм, Кифер и Розенблатт (Blum J. R., Kiefer J. and Rosen-
Rosenblatt M.) A961), Distribution free tests of independence based on the
sample distribution function, Ann. Math. Statist. 32, 485.
Бокс (Box G. E. P.) A949), A general distribution theory for a class of
likelihood criteria, Biometrika 36, 317.
Бокс (Box G. E. P.) A953), Non-normality and tests on variances, Biometri-
Biometrika 40, 318.
Бокс я Аидерсен (Box G. E. P. and Andersen S. L.) A955), Permuta-
Permutation theory in the derivation of robust criteria and the study of departures
from assumption, /. Ray. Statist. Soc. B, 17, 1.
Боукер (Bowker A. H.) A946), Computation of factors for tolerance limits
on a normal distribution when the sample is large, Ann. Math. Statist. 17,
238.
Боукер (Bowker A. H.) A947), Tolerance limits for normal distributions,
Selected Techniques of Statistical Analysis, McGraw-Hill, New York.
Боукер (Bowker A. H.) A948), A test for symmetry in contingency tables,
/. Amer. Statist. Ass. 43, 572.
Браун и Муд (Brown G. W. and Mood A. M.) A951), On median tests
for linear hypotheses, Proc. 2nd Berkeley Symp. Math. Statist, and Prob.,
159.
Браун Л. (Brown L.) A964), Sufficient statistics in the case of independent
random variables, Ann. Math. Statist. 35, 1456.
Браун. P. (Brown R. L.) A957), Bivariate structural relation, Biometrika 44,
84.
Браун Р. и Фередей (Brown R. L. and Fereday F.) A958), Multivariate
linear structural relations, Biometrika 45, 136.
848
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
849
Бриллинджер (Brillinger D. R.) A962) Examples bearing on the defini-
definition of fiducial probability with a bibliography, Ann. Math. Statist 33,
1349.
Бриллинджер (Brillinger D. R.) A964), The asymptotic behaviour of
Tukey's general method of setting approximate confidence limits (the
jackknife) when applied to maximum likelihood estimates. Rev. Int. Sta-
Statist, Inst. 32, 202.
Брнллинджер (Brillinger D. R.) A966), An extremal property of the con-
conditional expectation, Biometrika 53, 594.
Бросс и Кастен (Bross, 1. D. J. and Kasten, E. L.) A957), Rapid analysis
of 2 X 2 tables, Л Amer. Statist. Ass. 52, 18.
Брэнднер (Brandner F. A.) A933), A test of the significance of the diffe-
difference of the correlation coefficients in normal bivariate samples, Biometri-
Biometrika 25, 102.
Бхаттачарджн (Bhattacharjee G. P.) A965), Effect of non-normality on
Stein's two sample test, Ann. Math. Statist. 36, 651.-
Бхаттачария (Bhattacharyya A.) A943), On some sets of sufficient con-
conditions leading to the normal bivariate distribution, Sankhya 6, 399.
Бхаттачария (Bhattacharyya A.) A946—7—8), On some analogues of
the amount of information and their use in statistical estimation, Sankhya
8, 1, 201, 315.
Бхучонгкул (Bhuchongkul S.) A964), A class of nonparametric tests for
independence in bivariate populations, Ann. Math. Statist. 35, 138.
Вайсберги Битти (Weissberg A. and Beatty, G. H.) (I960), Tables of
tolerance-limit factors for normal distributions, Technometrics 2, 483
Вальд (Wald A.) A940)*), The fitting of straight lines if both variables are
subject to error, Ann. Math. Statist. 11, 284.
Вальд (Wald A.) A941)*), Asymptotically most powerful tests of statistical
hypotheses, Ann. Mat к. Statist. 12, 1.
Вальд (Wald A.) A942*), On the power function of the analysis of variance
test, Ann. Math. Statist. 13, 434.
Вальд (Wald A.) A943a)*), Tests of statistical hypotheses concerning several
parameters when the number of observations is large, Trans. Amer Math.
Soc. 54, 426.
Вальд (Wald A.) A943b)*), An extension of Wilks' method for setting to-
tolerance limits, Ann. Math. Statist. 14, 45.
Вальд (Wald A.) A947), Sequential Analysis, Wiley, New York. (Русский
перевод: А. Вальд, Последовательный анализ, Физматгиз М,
1960.)
Вальд (Wald A.) A949), Note on the consistency of the maximum likelihood
estimate, Ann. Math. Statist. 20, 595.
Вальд (Wald A.) A950), Statistical Decision Functions, Wiley, New York.
(Русский перевод: А. Вальд, Статистические решающие функции, в сб.:
Позиционные игры, «Наука», М., 1967.)
Вальд (Wald A.) A955)*), Testing the difference between the means of two
normal populations with unknown standard deviations. Selected Papers in
Statistics and Probability by Abraham Wald, McGraw-Hill, New York.
(Reprint by Stanford Univ. Press.)
Вальд и Волфовиц (Wald A. and Wolfowitz J.) A939)*), Confidence
limits for continuous distribution functions, Ann. Math. Statist. 10, 105.
Вальд и Волфовиц (Wald A. and Wolfowitz J.) A940)*), On a test
whether two samples are from the same population, Ann. Math Statist
11, 147.
Вальд и Волфовиц (Wald A. and Wolfowitz J.) A946)*), Tolerance
limits for a normal distribution, Ann. Math. Statist. 17, 208.
См. примечание на стр. 877.
В а.н дер Ваярт (Van der Vaart H. R.) A950), Some remarks on the
' power function of Wilcoxon's test for the problem of two samples I, II,
Proc. Kon. Ned. Akad. Wetensch. A, 53, 494 and 507.
Ван дер Ваарт (Van der Vaart H. R.) A953), An investigation on the
power function of Wilcoxon's two sample test if the underlying distribu-
distributions are not normal, Proc. Kon. Ned. Akad. Wetensch. A, 56, 438.
Ван дер Варден (Van der Waerden B. L.) A952), Order tests for the
two-sample problem and their power, Proc. Kon. Ned. Akad. Wetensch.
A, 55, 453.
Ван дер Варден (Van der Waerden B. L.) A953), Order tests for the
two-sample problem, Proc. Kon. Ned. Akad. Wetensch. A, 56, 303 and 311.
Ван Эден (Van Eeden C.) A963), The relation between Pitman's asympto-
asymptotic relative efficiency of two tests and the correlation coefficient between
their test statistics, Ann. Math. Statist. 34, 1442.
Ван Эден. (Van Eeden C.) A964), Note on the consistency of some distri-
distribution-free tests for dispersion, J. Amer. Statist. Ass. 59, 105.
Вате он (Watson G. S.) A957a), Sufficient statistics, similar regions and
distribution-free tests, Л Roy. Statist. Soc. B, 19, 262.
Ватсон (Watson G. S.) A957b), The %2 goodness-of-fit tests for normal
distributions, Biometrika 44, 336.
Ватсон (Watson G. S.) A958), On chi-square goodness-of-fit tests for con-
continuous distributions, Л Roy. Statist. Soc. B, 20, 44.
Ватсон (Watson G, S.) A959), Some recent results in chi-square goodness-
of-fit tests, Biometrics 15, 440.
Ватсон (Watson G. S.) A961), Goodness-of-fit tests on a circle, Biometrika
48, 109.
Вилкоксон (Wilcoxon F.) A945), Individual comparisons by ranking me-
methods, Biometrics Bull. 1, 80.
Вилкоксон (Wilcoxon F.) A947), Probability tables for individual compa-
comparisons by ranking methods, Biometrics 3, 119.
Виллегас (Villegas C.) A961), Maximum likelihood estimation of a linear
functional relationship, Ann. Math. Statist. 32, 1048.
Виллегас (Villegas C.) A964), Confidence region for a linear relation,
Ann. Math. Statist. 35, 780.
Волфовиц (Wolfowitz J.) A947), The efficiency of sequential estimates
and Wald's equation for sequential processes, Ann. Math. Statist. 18, 215.
Волфовиц (Wolfowitz J.) A949), The power of the classical tests asso-
associated with the normal distribution, Ann. Math. Statist. 20, 540.
Габриэл (Gabriel K. R.) A966), Simultaneous test procedures for multiple
comparisons on categorical data, Л Amer. Statist. Ass. 61, 1081.
Гальперин (Halperin M.) A952a), Maximum likelihood estimation in
truncated samples, Ann. Math. Statist. 23, 226.
Гальперин (Halperin M.) A952b), Estimation in the truncated normal
distribution, Л Amer. Statist. Ass. 47, 457.
Гальперин (Halperin M.) A960), Extension of the Wilcoxon — Mann—
Whitney test to samples censored at the same fixed point, J. Amer. Statist.
Ass. 55, 125.
Гальперин (Halperin M.) A961a), Confidence intervals from censored
samples, Ann. Math. Statist. 32, 828.
Гальперин (Halperin M.) A961b), Fitting of straight lines and prediction
when both variables are subject to error, Л Amer. Statist. Ass. 56, 657.
Гальперин (Halperin M.) A963), Confidence interval estimation in non-
nonlinear regression, J. Roy. Statist. Soc. B, 25, 330.
Гальперин (Halperin M.) A964), Interval estimation of non-linear para-
parametric functions. II, Л Amer. Statist. Ass. 59, 168.
Гальперин, Гринхауз, Корнфилд и Зало-кар (Halperin M.,
Greenhouse S. W., Cornfield J. and Zajokar J.) A955), fables of percen-
850
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
851
tage points for the studentized maximum absolute deviate in normal
samples, /. Amer. Statist. Ass. 50, 185.
Гальперин и Мантел (Halperin M. and Mantel N.) (J963), Interval
estimation of non-linear parametric functions, Л Amer. Statist. Ass. 58,
611.
Гам бел (Gumbel E. J.) A943), On the reliability of the classical chi-square
test, Ann. Math. Statist. 14, 253.
Гамильтон (Hamilton M.) A948), Nomogram for the tetrachoric correla-
correlation coefficient, Psychometrika 13, 259.
Гарвуд (Garwood F.) A936), Fiducial limits for the Poisson distribution,
. Biometrika 28, 437.
Гастверт (Gastwirth J. L.) A965), Asymptotically most powerful rank
tests for the two-sample problem with censored data, Ann. Math. Statist.
36, 1243.
Гастверт (Gastwirth J. L.) A966), On robust procedures, J. Amer. Statist.
Ass. 61, 929.
Гаттмэи (Guttman I.) A957), On the power of optimum tolerance regions
when sampling from normal distributions, Ann. Math. Statist. 28, 773.
Гафариаи (Gafarian A. V.) A964), Confidence bands in straight line re-
regression, Л Amer. Statist. Ass. 59, 182.
Гейен (Gayen A. K.) A949), The distribution of «Student's» / in random
samples of any size drawn from non-normal universes, Biometrika 36, 353.
Гейен (Gayen A. K.) A950), The distribution of the variance ratio in ran-
random samples of any size drawn from non-normal universes. Significance
of difference between the means of two non-normal samples, Biometrika
37, 236, 399.
Г ей ей (Gayen А. К.) A951), The frequency distribution of the product-mo-
product-moment correlation coefficient in random samples of any size drawn from
non-normal universes, Biometrika 38, 219.
Гейссер и Корнфилд (Geisser S. and Cornfield J.) A963), Posterior
distributions for multiv.ariate normal parameters, /. Rou. Statist. Soc. B,
25, 368.
Гентер и Уиткомб (Guenther W. С. and Whitcomb M. G.) A966), Cri-
Critical regions for tests of interval hypotheses about the variance, /. Amer.
Statist. Ass. 61, 204.
Гест (Guest P. G.) A954), Grouping methods in the fitting of polynomials
to equally spaced observations, Biometrika 41, 62.
Гест (Guest P. G.) A956), Grouping methods in the fitting of polynomials
to unequally spaced observations, Biometrika 43, 149.
Гёфдинг (Hoeffding W.) A948a), A class of statistics with asymptotically
normal distribution, Ann. Math. Statist. 19, 293.
Гёфдинг (Hoeffding W.) A948b), A non-parametric test of independence,
Ann. Math. Statist. 19, 546.
Гёфдинг (Hoeffding W.) A950), «Optimum» non-parametric tests, Proc.
2nd Berkeley Symp. Math. Statist, and Prob., 83.
Гёфдннг (Hoeffding W.) A952), The large-sample power of tests based on
permutations of observations, Ann. Math. Statist. 23, 169.
Гёфдинг (Hoeffding W.) A953), On the distribution of the expected values
of the order statistics, Ann. Math. Statist. 24, 93.
Гёфдинг (Hoeffding W.) A965), Asymptotically optimal tests for multino-
multinomial distributions, Ann. Math. Statist. 36, 369.
Гехан (Gehan E. A.) A965a), A generalized Wilcoxon test for comparing
arbitrarily singly-censored samples, Biometrika 52, 203.
Гехан (Gehan E. A.) A965b), A generalized two-sample Wilcoxon test for
doubly censored data, Biometrika 52, 650.
Гиббоис (Gibbons J. D.) A964), Effect of non-normality on. the power
function of the sign test, J. Amer. Statist. Ass. 59, 142.
Гибсон и Джоуэтт (Gibson W. M. and Jowett G. H.) A957), Three-
group regression analysis. Part I, Simple Regression Analysis, Applied
Statist. 6, 114. ¦
Гилфорд и Лайонс (Guilford J. P. and Lyons Т. С.) A942), On de-
determining the reliability and significance of a tetrachoric coefficient of
correlation, Psychometrika 7, 243.
Гири (Geary R. C.) A936), The distribution of «Student's» ratio for non-
normal samples, Suppl. I. Roy. Statist. Soc. 3, 178.
Гири (Geary R. C.) A942a), The estimation of many parameters, J Roy-
Statist. Soc. 105, 213.
Гири (Geary R. C.) A942b), Inherent relations between random variables,
Proc. Roy. Irish Acad. A, 47, 63.
Гири (Geary R. C.) A943), Relations between statistics; the general and the
sampling problem when the samples are large, Proc. Roy. Irish Acad. A,
49, 177.
Гири (Geary R. C.) A944), Comparison of the concepts of efficiency and
closeness for consistent estimates of a parameter, Biometrika 33, 123.
Гири (Geary R. C.) A947), Testing for normality, Biometrika 34, 209.
Гири (Geary R. C.) A949), Determination of linear relations between syste-
systematic parts of variables with errors of observation the variances of which
are unknown, Econometrica 17, 30.
Гири (Geary R. C.) A953), Non-linear functional relationship between two
variables when one variable is controlled, J. Amer. Statist. Ass. 48, 94.
Г-иршик (Girshick M A.) A946), Contributions to the theory of sequential
analysis, Ann. Math. Statist. 17, 123 and 282.
Гласе (Glass D. V.), ed. A954), Social Mobility in Britain, Routledge and
Kegan Paul, London.
Говиндараджулу (Govindarajulu Z.) A964), A supplement to Menden-
hall's bibliography on life testing and related topics, Л Amer. Statist. Ass.
59, 1231.
Говиндараджулу (Govindarajuly Z.) A966), Best linear estimates under
symmetric censoring of the parameters of a double exponential population,
/. Amer. Statist. Ass. 61, 248.
Годэмб (Godambe V. P.) (I960), An optimum property of regular maximum
likelihood estimation, Ann. Math. Statist. 31, 1208.
Голдбергер (Goldberger A. S.) A961), Step wise least squares: residual
analysis and specification error, Л Amer. Statist, Ass. 56, 998.
Голдбергер и Д ж о ке м с (Goldberger A. S. and Jochems D. V.) A961),
Note on stepwise least squares, Л Amer. Statist. Ass. 56, 105.
Голдмэн и Цайглер (Goldman A. S. and Zeigler R. K) A966), Com-
Comparisons of some two stage sampling methods, Ann. Math. Statist, 37, 891.
Гохеен и Каврук (Goheen H. W. and Ravruck S.) A948), A worksheet
for tetrachoric r and standard error of tetrachoric r using Hayes' dia-
diagrams and tables, Psychometrika 13, 279.
Граб бс (Grubbs F. E.) A950), Sample criteria for testing outlying obser-
observations, Ann. Math. Statist. 21, 27.
Граиди (Grundy P. M.) A952), The fitting of group truncated and grouped
censored normal distributions, Biometrika 39, 252.
Грей бил л и Коннелл (Graybill F. A. and Connell T. L.) A964), Sample
size required for estimating the variance within d units of the true value,
Ann. Math. Statist. 35, 438.
Грейбилл и Марсалья (Graybill F. A. and Marsaglia G.) A957),
Idempotent matrices and quadratic forms in the general linear hypothesis,
Ann. Math. Statist. 28, 678.
Гудмэн (Goodman L. A.) A963a), On methods for comparing contingency
tables, J. Roy. Statist. Soc. A, 126, 94.
852
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Гуд мэн (Goodman L. A.) A963b), On Plackett's test for contingency table
interactions, 1. Roy. Statist. Soc. B, 25, 179.
Гудмэн (Goodman L. A.) A964a), Simultaneous confidence limits for cross-
product ratios in contingency tables, /. Roy. Statist. Soc. B, 26, 86.
Гудмэн (Goodman L. A.) A964b), Simultaneous confidence intervals for
contrasts among multinomial populations, Ann. Math. Statist. 35, 716.
Гудмэн (Goodman L. A.) A964c), Interactions in multidimensional contin-
contingency tables, Ann. Math. Statist. 35, 632.
Гудмэн (Goodman L. A.) A964d), Simple methods for analysing three-
factor interaction in contingency tables, /. Amer. Statist. Ass. 59, 319.
Гудмэи и Крускал (Goodman L. A. and Kruskal W. H.) A954, 1959,
1963), Measures of association for cross classifications. Parts I, II and
III, J. Amer. Statist. Ass. 49, 732; 54, 123; 58, 310.
Гудмэн и Мадаиски (Goodman L. A. and Madansky A.) A962), Pa-
Parameter-free and nonparametric tolerance limits: the exponential case,
.. Technometrics 4, 75.
Гупта и Г н а н а д е си к а н (Gupta S. S. and Gnanadesikan M.) A966),
Estimation of the parameters of the logistic distribution, Biometrika 53, 565.
Гупта и Шах (Gupta S. S. and Shah В. К.) A965), Exact moments and
percentage points of the order statistics and the distribution of the range
from the logistic distribution, Ann. Math. Statist. 36, 907.
Гхош и Сингх (Ghosh J. К. and Singh R.) A966), Unbiased estimation
of location and scale parameters, Ann. Math. Statist. 37, 1671.
Даииэлс (Daniels H. E.) A944), The relation between measures of correla-
correlation in the universe of sample permutations, Biometrika 33, 129.
Даниэле (Daniels H. E.) A948), A property of rank correlations, Biomet-
Biometrika 35, 416.
Даниэле (Daniels H. E.) A951—1952), The theory of position finding,
/. Roy. Statist. Soc. B, 13, 186 and 14, 246.
Даниэле (Daniels H. E.) A961), The asymptotic efficiency of a maximum
likelihood estimator, Proc. 4th Berkeley Symp. Math. Statist, and Prob. 1,
151.
Даииэлс и Кеидалл (Daniels H. E. and Kendall M. G.) A958), Short
proof of Miss Harley's theorem on the correlation coefficient, Biometrika
45, 571.
Д а н ц н r (Dantzig G. B.) A940), On the non-existence of tests of «Student's»
hypothesis having power functions independent of o, Ann. Math Statist.
11, 186.
Дар (Dar S. N.) A962), On the comparison of the sensitivities of experiments,
/. Roy. Statist. Soc. B, 24, 447.
Дарлинг (Darling D. A.) A952), On a test for homogeneity and extreme
values, Ann. Math. Statist. 23, 450.
Дар ли и г (Darling D. A.) A955), The Cramer — Smirnov test in the para-
parametric case, Ann. Math. Statist. 26, 1.
Дарлинг (Darling D. A.) A957), The Kolmogorov — Smirnov, Cramer —
von Mises tests, Ann. Math. Statist. 28, 823.
Дармуа (Darmois G.) A935), Sur les lois de probabilite a estimation
exhaustive, С R. Acad. Sci., Paris, 200, 1265.
Даунтон Ф. (Downton F.) A953), A note on ordered least-squares estima-
estimation, Biometrika 40, 457.
Даунтон (Downton H. F.) A966), Linear estimates of parameters in the
extreme value distribution, Technometrics 8, 3.
Де Гроот (De Groot M. H.) A959), Unbiased sequential estimation for
binomial populations, Ann. Math. Statist. 30, 80.
Де или (Daly J. F.) A940), On the unbiased character of likelihood-ratio
tests for independence in normal systems, Ann. Math. Statist. 11, 1,
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
853
Демпстер (Dempster A. P.) A963), Further examples of inconsistencies in
the fiducial argument, Ann. Math. Statist. 34, 884.
Демпстер (Dempster A. P.) A964), On the difficulties inherent in Fischer's
fiducial argument, /. Amer. Statist. Ass. 59, 56.
Дев Бродер (Den Broeder G. G., Jr.) A955), On parameter estimation
for truncated Pearson Type III distributions, Ann. Math. Statist. 26, 659.
Дёрбин (Durbin J.) A953), A note on regression when there is extraneous
information about one of the coefficients, /. Amer. Statist. Ass. 48, 799.
Дёрбин (Durbin J.) A954), Errors in variables, Rev. Int. Statist. Inst. 22,
23.
Дёрбин (Durbin J.) A960), Estimation of parameters in time-series regres-
regression models, J. Roy. Statist. Soc. B, 22, 139.
Дёрбин (Durbin J.) A961), Some methods of constructing exact tests, Bio-
Biometrika 48, 41.
Дёрбин и Кендалл (Durbin J. and Kendall M G.) A951), The geo-
geometry of estimation, Biometrika 38, 150.
Джейкобсои (Jacobson J. E.) A963), The Wilcoxon two-sample statistic:
tables and bibliography, /. Amer. Statist. Ass. 58, 1086.
Дженкинс (Jenkins W. L.) A955), An improved method for tetrachoric r,
and Note by J. A. Fishman A956), Psychometrika 20, 253 and 21, 305.
Джеффрейс (Jeffreys H.) A948), Theory of Probability, 2nd edn., Oxford
Univ. Press.
Джогдео (Jogdeo K.) A966), On randomized rank score procedures of Bell
and Doksum, Ann. Math. Statist. 37, 1697.
Джонкхир (Jonckheere A. R.) A954), A distribution-free ^-sample test
¦ against ordered alternatives, Biometrika 41, 133.
Джонсон (Johnson N. L.) A950), On the comparison of estimators, Bio-
Biometrika 37, 281.
Джонсон (Johnson N. L.) A959a), On an extension of the connexion bet-
between Poisson and x2 distributions, Biometrika 46, 352.
Джон со и (Johnson N. L.) A959b), A proof of Wald's theorem on cumula-
cumulative sums, Ann. Math. Statist. 30, 1245.
Джонсон (Johnson N. L.) A961), Sequential analysis: a survey, /. Roy.
. Statist. Soc. A, 124, 372.
Джонсон и Уэлч (Johnson N. L. and Welch B. L.) A939), Applications
of the поп-central t distribution, Biometrika 31, 362.
Джексон (Jackson J. E.) A960), Bibliography on sequential analysis,
Л Amer. Statist. Ass. 55, 516.
Диксон (Dixon W. J.) A950), Analysis of extreme values, Ann. Math. Sta-
Statist. 21, 488. :
Диксон (Dixon W. J.) A951), Ratios involving extreme values, Ann. Math.
Statist. 22, 68.
Диксон (Dixon W. J.) A953a), Processing data for outliers, Biometrics 9,
74.
Диксон (Dixon W. J.) A953b), Power functions of the Sign Test and power
efficiency for normal alternatives, Ann. Math. Statist. 24, 467.
Диксон (Dixon W. J.) A954), Power under normality of several nonpara-
nonparametric tests, Ann. Math. Statist. 25, 610.
Диксон (Dixon W. J.) A957), Estimates of the mean and standard devia-
deviation of a normal population. Ann. Math. Statist. 28, 806.
Диксон (Dixon W. J.) A960), Simplified estimation from censored normal
samples, Ann. Math. Statist. 31, 385.
Диксон и Муд (Dixon W. J. and Mood A. M.) A946), The statistical
sign test, J. Amer. Statist. Ass. 41, 557.
Диме.р и Вотоу (Deemer W. Ll, Jr. and Votaw D. F., Jr.) A955),
Estimation of parameters of truncated or censored exponential distribu-
distributions, Ann. Math. Statist. 26, 498.
г 54
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Додж и Ромиг (Dodge H. F. and Romig H. G.) A944), Sampling In-
Inspection Tables, Wiley, New York.
Дорфф и Гёрлэнд (Dorff M. and Gurland J.) A961a), Estimation of
the parameters of a linear functional relation, Л Roy. Statist. Soc. B, 23,
160.
Дорфф и Гёрлэид (Dorff M. and Gurland J.) A961b), Small sample
behaviour of slope estimators in a linear functional relation, Biometrics
17, 283.
Дункан (Duncan A. J.) A957), Charts of the 10% and 50% points of the
operating characteristic curves for fixed effects analysis of variance
f-test, a = 0.10 and 0.05, Л Amer. Statist. Ass. 52, 345.
Дыикин Е. Б. A951), Необходимые и достаточные статистики для семей-
семейства распределений вероятностей. Успехи матем. наук 6, 68.
Дэвид (David H. А.) A956), Revised upper percentage points of the extreme
studentized deviate from the sample mean, Biometrika 43, 449.
Дэвид, Хартли и Пирсон (David H. A., Hartley H. О. and Pear-
Pearson Е. S.) A954), The distribution of the ratio, in a single normal sample,
of range to standard deviation, Biometrika 41, 482.
Дэвид и Полсои (David H. A. and Paulson A. S.) A965), The perfor-
performance of several tests for outliers, Biometrika 52, 429.
Дэвид С. (David S. T.) A954), Confidence intervals for parameters in Mar-
Markov autogressive schemes, /. Roy. Statist. Soc. B, 16, 195.
Дэвид С, Кендалл и Стьюарт (David S. Т., Kendall M. G. and
Stuart A.) A951), Some questions of distribution in the theory of rank
correlation, Biometrika 38, 131.
Дэвид Ф. (David F. N.) A937), A note on unbiased limits for the correla-
correlation coefficient, Biometrika 29, 157.
Дэвид Ф. (David F. N.) A938), Tables of the Correlation Coefficient, Cam-
- bridge Univ. Press.
Дэвнд Ф. (David F. N.) A939), On Neyman's «smooth» test for goodness
of fit, Biometrika 31, 191.
Дэвид Ф. (David F. N.) A947), A x2 «smooth» test for goodness of fit,
Biometrika 34, 299.
Дэвид Ф. (David F. N.) A950), An alternative form of x2. Biometrika 37,
448.
Дэвид Ф. и Джоисон (David F. N. and Johnson N. L.) A948), The
probability integral transformation when parameters are estimated from
the sample, Biometrika 35, 182.
Дэвид Ф. и Джонсон (David F. N. and Johnson N. L.) A954), Statisti-
Statistical treatment of censored data. Part I. Fundamental formulae, Biometrika
41, 228.
Дэвид Ф. и Джои сои (David F. N. and Johnson N. L.) A956), Some
tests of significance with ordered variables, J. Roy. Statist. Soc. B, 18, 1.
Дэвнс (Davis R. C.) A951), On minimum variance in nonregular estimation,
Ann. Math. Statist. 22, 43.
Дэрроч (Darroch J. N.) A962), Interactions in multi-factor contigency tab-
tables, Л Roy. Statist. Soc. B, 24, 251.
Закриссон (Zackrisson U.) A959), The distribution of «Student's» t in
samples from individual non-normal populations, Publ. Statist, last., Univ.
Gothenburg, No. 6.
Зискиид (Zyskind G.) A963), A note on residual analysis, Л Amer. Statist.
Ass. 58, 1125. .
Ирвин (Irwi'ri J. O.) A925). The further theory of Francis Gallon's indi-
individual difference problem. On a criterion for the rejection of outlying ob-
observations, Biometrika 17, 100 and 238.
Ирвин (Irwin J. O.) A949), A note on the sub-division of x2 int° compo-
components, Biometrika 36, 130.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
855
Ирвин (Irwin J. О.) A959), On the estimation of the mean of a Poisson
distribution from a sample with the zero class missing, Biometrics 15, 329.
Иэйтс (Yates F.) A934), Contingency tables involving small numbers and
the x2 test, Sup pi. J. Roy. Statist. Soc. 1, 217.
Иэйтс (Yates F.) A939a), An apparent inconsistency arising from test of
significance based on fiducial distributions of unknown parameters, Proc.
Camb. Phil. Soc. 35, 579.
Иэйтс (Yates F.) A939b), Tests of significance of the differences between
regression coefficients derived from two sets of correlated variates, Proc.
Roy. Soc. Edin. A, 59, 184.
Иэйтс (Yates F.) A948), The analysis of contingency tables with groupings
based on quantitative characters, Biometrika 35, 176.
Иэйтс (Yates F.) A955), A note on the application of the combination of
probabilities test to a set of 2 X 2 tables, Biometrika 42, 404.
Кац, Кифер и Волфовиц (Кае М., Kiefer J. and Wolfowitz J.) A955),
On tests of normality and other test of goodness of fit based on distance
methods, Ann. Math. Statist, 26, 189.
Кейб (Kabe D. G.) A963), Extension of Cochran's formulae for addition or
omission of variate in multiple regression analysis, Л Amer. Statist. Ass.
58, 527.
Кейл (Kale B. K.) A961), On the solution of the likelihood equation by ite-
iteration processes, Biometrika 48, 452.
Кейл (Kale В. K.) A962), On the solution of likelihood equations by itera-
iteration processes. The multiparametric case, Biometrika 49, 479.
Кейиес (Keynes J. M.) A911), The principal averages and the laws of
error which lead to them, Л Roy. Statist. Soc. 74, 322.
Кейпон (Capon J.) A961), Asymptotic efficiency of certain locally most
powerful rank tests, Ann. Math' Statist. 32, 88.
Кемперман (Kemperman J. H. B.) A956), Generalized tolerance limits,
Ann. Math. Statist. 27, 180.
Кемпторн (Kempthorne O.) A952), The Design and Analysis of Experi-
Experiments, Wiley, New York.
Кендалл (Kendall M. G.) A951), Regression, structure and functional rela-
relationship. Part I, Biometrika 38, 11.
Кендалл (Kendall M. G.) A952), Regression, structure and functional re-
relationship. Part II, Biometrika 39, 96.
Кендалл (Kendall M. G.) A962), Rank Correlation Methods, 3rd edn.,
Griffin, London.
Ким бе л л (Kimball A. W.) A954), Short-cut, formulas for the exact parti-
partition of x2 in contingency tables, Biometrics 10, 452.
Кимбелл Б. (Kimball В. F.) A946), Sufficient statistical estimation func-
functions for the parameters of the distribution of maximum values, Ann.
Math. Statist. 17, 299.
Кифер (Kiefer J.) A952), On minimum variance estimators, Ann. Math.
Statist. 23, 627.
Кифер и Волфовиц (Kiefer J. and Wolfowitz J.) A956). Consistency
of the maximum likelihood estimator in the presence of infinitely many
incidental parameters, Ann. Math. Statist. 27, 887.
Кларк (Clark R. E.) A953), Percentage points of the incomplete beta func-
function, J. Amer. Statist. Ass. 48, 831.
Клоппер и Пирсон (Clopper С. J. and Pearson E. S.) A934), The use
of confidence or fiducial limits illustrated in the case of the binomial.
Biometrika 26, 404.
Клоц (Klotz J.) A962), Nonparametrie test for scale, Ann. Math. Statist.
33, 498.
Клоц (Klotz J.) A963), Small sample power and efficiency for the one
sample Wilcoxon and normal scores tests, Ann. Math. Statist. 34, 624,
856
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Клоц (Klotz J.) A964), On the normal scores two-samples rank test, I.
Amer. Statist. Ass. 59, 652.
Клоц (Klotz J.) A965), Alternative efficiencies for signed rank tests, Ann.
Math. Statist. 36, 1759.
Кокрэн (Cochran W. Q.) A937), The efficiencies of the binomial series
tests of significance of a mean and of a correlation coefficient, /. Roy.
Statist. Soc. 100, 69.
Кокрэн (Cochran W. G.) A938), The omission or addition of an independent
variate in multiple linear regression, Suppl. J. Roy. Statist. Soc. 5, 171.
Кокрэи (Cochran W. G.) A950), The comparison of percen tage in matched
samples, Biometrika 37, 256.
Кокрэн (Cochran W. G.) A952), The %2 test of goodness of fit, Ann. Math.
Statist. 23, 315.
Кокрэн (Cochran W. G.) A954), Some methods for strengthening the com-
common x2 tests, Biometrics 10, 417.
Кокс (Сох С. Р.) A958), A concise derivation of general orthogonal poly-
polynomials, Л Roy. Statist. Soc. B, 20, 406.
Ко kc Д. (Cox D. R.) A952a), Sequential tests for composite hypotheses,
Proc. Camb. Phil. Soc. 48, 290.
Ко kc Д. (Cox D. R.) A952b), A note on the sequential estimation of means,
Proc. Camb. Phil. Soc. 48, 447.
Кокс Д. (Cox D. R.) A952c), Estimation by double sampling, Biometrika 39,
217.
-Кокс.Д. (Сох D. R.) A956), A note on the theory of quick tests, Biometrika
43, 478.
Ко к с Д. (Сох D. R.) A958a), The regression analysis of binary sequences,
J. Roy. Statist. Soc. B, 20, 215.
Кокс Д. (Cox D. R.) A,958b), Some problems connected with statistical in-
inference, Ann. Math. Statist. 29, 357.
Кокс Д. (Cox D. R.) A961), Tests of separate families of hypotheses, Proc.
4th Berkeley Symb. Math. Statist, and Prob. 1, 105.
Кокс Д. (Cox D. R.) A962), Further results on tests of separate families of
hypotheses, /. Roy. Statist. Soc. B, 24, 406.
Ко к с Д. (Сох D. R.) A963), Large sample sequential tests for composite
hypotheses, Sankhya A, 25, 5.
Кокс Д. (Cox D. R.) A964), Some applications of exponential order scores,
Л Roy. Statist. Soc. B, 26, 103.
Кокс Д. и Стыоарт (Cox D. R. and Stuart A.) A955), Some quick sign
tests for trend in location and dispersion, Biometrika 42, 80.
Колмогоров А. Н. A933), Sulla determinazione empirica di una legge di
distribuzione, O. fst. Ital. Attuari 4, 83.
Колоджейчик (Kolodziejczyk S.) A935), On an important class of stati-
statistical hypotheses, Biometrika 27, 161.
Кондо (Kondo T.) A929), On the standard error of the mean square contin-
contingency, Biometrika 21, 376.
Конейн (Konijn H. S.) A956, 1958), On the power of certain tests for in-
independence in bivariate populations, Ann. Math. Statist. 27, 300 and 29,
935.
Коза (Cohen A. C, Jr.) A950a), Estimating the mean and variance of nor-
normal populations from singly truncated and doubly truncated samples, Ann.
Math. Statist. 21, 557.
Коэн (Cohen A. C, Jr.) A950b), Estimating parameters of Pearson Type III
populations from truncated samples, J. Amer. Statist. Ass. 45, 411.
Коэи (Cohen A. C, Jr.) A954), Estimation of the Poisson parameter from
truncated samples and from censored samples, J. Amer. Statist. Ass. 49,
158.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
857
Коэи (Cohen А. С, Jr) A957), On the solution of estimating equations for
truncated and censored samples from normal populations, Biometrika 44,
225.
Коэи (Cohen A. C, Jr.) A960a), Estimating the parameter of a modified
Poisson distribution, Л Amer. Statist. Ass. 55, 139.
Коэн (Cohen A. C, Jr.) A960b), Estimating the parameter in a conditional
Poisson distribution, Biometrics 16, 203.
Коэн (Cohen A. C, Jr.) A960c), Estimation in truncated Poisson distribution
when zeros and some ones are missing, Л Amer. Statist. Ass. 55, 342.
Коэн и Вудворд (Cohen А. С, Jr. and Woodward J.) A953), Tables of
Pearson — Lee—Fisher functions of singly truncated normal distributions.
Biometrics 9, 489.
Крамер (Cramer H.) A946), Mathematical Methods of Statistics, Princeton
Univ. Press. (Русский перевод: Г. Крамер, Математические методы
статистики, ИЛ, М., 1947.)
Крамер К. (Cramer К. Н.) A963), Tables for constructing confidence limits
on the multiple correlation coefficient, Л Amer. Statist. Ass. 58, 1082.
Крауз (Crouse С F.) A964), Note on Mood's test, Ann. Math. Statist 35,
1825.
Криз и (Creasy M. A.) A956), Confidence limits for the gradient in the
linear functional relationship, J. Roy. Statist. Soc. B, 18, 65.
Кришнан (Krishnan M.) A966), Locally unbiased type M test, Л Roy. Sta-
Statist. Soc. B, 28, 298.
Кришнан (Krishnan M.) A967), The moments of a doubly поп central t
distributions, J. Amer. Statist. Ass., 62, 278.
Kpoy (Crow E. L.) A956), Confidence intervals for a proportion, Biometrika
43, 423.
Кроу и Гарднер (Crow E. L. and Gardner R. S.) A959), Confidence
intervals for the expectation of a Poisson variable, Biometrika 46, 441.
Крускал (Kruskal W. H.) A952), A nonparametric test tor the several
sample problems, Ann. Math. Statist. 23, 525.
Крускал (Kruskal W. H.) A957), Historical notes on the Wilcoxon unpaired
two-sample test, Л Amer. Statist. Ass 52, 356.
Крускал (Kruskal W. H.) A958), Ordinal measures of association, /. Amer.
Statist. Ass. 53, 814.
Крускал (Kruskal W. H.) A961), The coordinate-free approach to Gauss —
Markov estimation, and its application to missing and extra observations,
Proc. 4th Berkeley Symp. Math. Statist, and. Prob. 1, 435.
Крускал и Уоллис (Kruskal W. H. and Wallis, W. A.) A952, 1953),
Use of ranks in one-criterion variance analysis, /. Amer. Statist. Ass. 47,
583 and 48, 907.
К уд о (Kudo A.) A956), On the testing of outlying observations, Sankhya
17, 67.
Куисеиберри и Дэвид (Quesenberryi С. Р. and David H. A.) A961),
Some tests for outliers, Biometrika 48, .379.
Куллдорф (Kulldorff G.) A963), Estimation of one or two parameters of
the exponential distribution on the basis of suitably chosen order statistics,
Ann. Math. Statist. 34, 1419.
Купмэн (Koopman В. О.) A936), On distributions admitting a sufficient
statistic, Trans. Amer. Math. Soc. 39, 399.
Кэиуй (Quenouille M. H.) A948), Partitioning chi-squared, Unpublished.
Кэнуй (Quenouille M. H.) A956), Notes on bias in estimation, Biometrika
43, 353.
Кэнуй (Quenouille M. H.) A958), Fundamentals oj Statistical Reasoning,
Griffin, London.
Кэнуй (Quenouille M. H.) A959), Tables of random observations from stan-
standard distributions, Biometrika 46, 178.
858
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Кэтти н Гёрлэнд (Katti S. К- and Gurland J.) A962), Efficiency of
certain methods of estimation for the negative binomial and the Neyman
type A distributions, Biometrika 49, 215.
Лаха (Laha R. G.) A956), On a characterization of the stable law with fi-
finite expectation, Ann. Math. Statist. 27, 187.
Л ача (Latscha R.) A953), Tests of significance in a 2 X 2 contingency table:
extension of Finney's tables, Biometrika 40, 74.
Левонтии и Праут (Lewontin R. С. and Prout T.) A956), Estimation
of the number of different classes in a population, Biometrics 12, 211.
Ле Кам (Le Cam L.) A953), On some asymptotic properties of maximum
likelihood estimates and related Bayes' estimates, Univ. Calij. Publ. Sta-
Statist. 1, 277.
Леман (Lehmann E. L.) A947), On optimum tests of composite hypotheses
with one constraint, Ann. Math. Statist. 18, 473.
Леман (Lehmann E. L.) A949), Some comments on large sample tests,
Proc. 1st Berkeley Symp. Math. Statist, and Prob., 451.
Леман (Lehmann E. L.) A950), Some principles of the theory of testing
hypotheses, Ann. Math. Statist. 21, 1.
Леман (Lehmann E. L.) A951), Consistency and unbiassedness of certain
поп-parametric tests, Ann. Math. Statist. 22," 165.
Леман (Lehmann E. L.) A959), Testing Statistical Hyjmlheses, Wiley, New
York. (Русский перевод: Э. Леман, Проверка статистических гипотез,
«Наука», М., 1964.)
Леман (Lehmann E. L.) A963), Nonparametric confidence intervals for a
shift parameter, Ann. Math. Statist. 34, 1507.
Леман и Стейн (Lehman E. L. and Stein C.) A948), Most powerful
tests of composite hypotheses. I. Normal distributions, Ann. Math. Statist.
19, 495.
Лемаи и Стейн (Lehmann E. L. and Stein C.) A949), On the theory of
some non-parametric hypotheses, Ann. Math. Statist. 20, 28.
Леман и Стейн (Lehmann E. L. and Stein C.) A950), Completeness in
the sequential case, Ann. Math. Statist. 21, 376.
Леман и Шеффе (Lehmann E. L. and Scheffe H.) A950, 1955), Comple-
Completeness, similar regions and unbiased estimation, Sankhya 10, 305 and 15,
219.
Лемер (Lehmer E.) A944), Inverse tables of probabilities of errors of the
second kind, Ann. Math. Statist. 15, 388.
Линдли (Lindley D. V.) A947), Regression lines and the linear functional
relationship, Suppl. J. Roy. Statist. Soc. 9, 218.
Линдли (Lindley D. V.) A950), Grouping corrections and maximum likeli-
likelihood equations, Proc. Camb. Phil. Soc. 46, 106.
Линдли (Lindley D. V.) A953a), Statistical inference, J. Roy. Statist. Soc.
B, 15, 30.
Линдли (Lindley D. V.) A953b), Estimation of a functional relationship,
Biometrika 40, 47.
Линдли (Lindley D. V.) A958a), Fiducial distributions and Bayes' theorem,
Л Roy. Statist. Soc. B, 20, 102.
Линдли (Lindley D. V.) A958b), Discussion of Cox A958a).
Линдли (Lindley D. V.) A964), The Bayesian analysis of contingency tab-
tables, Ann. Math. Statist. 35, 1622.
Линдли, Ист и Гамильтон (Lindley D. V., East D. A. and Hamil-
Hamilton P. A.) A960), Tables for making inferences about the variance of
a normal distribution, Biometrika 47, 433.
Линник Ю. В. A964), On the Behrens — Fisher problem, Bull. Int. Statist.
Inst. 40 B), 833.
Ллойд (Lloyd E. H.) A952), Least-squares estimation of location and scale
parameters using order statistics, Biometrika 39, 88.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
859
Локс, Алексаидер и Байере (Locks M. О., Alexander M. J. and
Byars В. J.) A963), New tables of the noncentral /-distribution, Aeronaut.
Res. Lab. (Ohio), No. ARL 63-19.
Лолн (Lawley D. N.) A956), A general method for approximating to the
distribution of likelihood ratio criteria, Biometrika 43, 295.
Л ope и т (Laurent A. G.) A963), Conditional distribution of order statistics
and distribution of the reduced ith order statistic of the exponential model
Ann. Math. Statist. 34, 652.
Лотов (Lawton W. H.) A965), Some inequalities for central and non-central
distributions, Ann. Math. Statist. 36, 1521.
Льюис (Lewis B. N.) A962), On the analysis of interaction in multidimen-
multidimensional contingency tables, /. Roy. Statist. Soc. A, 125, 88.
Льюис П. (Lewis P. A. W.) A961), Distribution of the Anderson — Darling
statistic, Ann. Math. Statist. 32, 1118.
Льюис Т. н Оделл (Lewis T. O. and Odell P. L.) A966), A generaliza-
generalization of the Gauss — Markov theorem, /. Amer. Statist. Ass. 61, 1063.
Лэнкастер (Lancaster H. O.) A949a), The combination of probabilities
arising from data in discrete distributions, Biometrika 36, 370.
Лэнкастер (Lancaster H. O.) A949b), The derivation and partition of x2
in certain discrete distributions, Biometrika 36, 117.
Лэнкастер (Lancaster H. O.) A950), The exact partition of x2 and its
application to the problem of the pooling of small expectations, Biometrika
37, 267.
Лэикастер (Lancaster H. O.) A951), Complex contingency tables treated
by the partition of x2> J- Roy. Statist. Soc. B, 13, 242.
Лэикастер (Lancaster H. O.) A957), Some properties of the bivariate nor-
normal distribution considered in the form of a contingency table, Biometrika
44, 289.
Лэикастер (Lancaster H. O.) A958), The structure of bivariate distribu-
distributions, Ann. Math. Statist. 29, 719.
Лэикастер (Lancaster H. O.) A960), On tests of independence in several
dimensions, /. Aust. Math. Soc. 1, 241.
Лэикастер (Lancaster H. O.) A963), Canonical correlations and partitions
of x2, Quart. J. Math., Oxford B), 14, 220.
Лэнкастер и Хэмдэн (Lancaster H. О. and Hamdan M. A.) A964),
Estimation of the correlation coefficient in contingency tables with possibly
nonmetrical characters, Psychometrika 29, 383.
Мадаиски (Madansky A.) A959), The fitting of straight lines when both
variables are subject to error, /. Amer. Statist. Ass. 54, 173.
Маданскн (Madansky A.) A962), More on length of confidence intervals,
Л Amer. Statist. Ass. 57, 586.
Мадаиски (Madansky A.) A963), Tests of homogeneity for correlated
samples, /. Amer. Statist. Ass. 58, 97.
Майерс, Шнейдермэи и Армитедж (Myers M. H., Schneider-
man М. A. and Armitage P.) A966), Boundaries for closed (wedge) se-
sequential t test plans, Biometrika 53, 431.
Мак Кей (McKay A. T.) A935), The distribution of the difference between
the extreme observation and the sample-mean in samples of n from a nor-
normal universe, Biometrika 27, 466.
Маккннион (Mackinnon W. J.) A964), Table for both the sign test and
distribution-free confidence intervals of the median for sample sizes to
1000, I. Amer. Statist. Ass. 59, 935.
Мак Корнак (McCornack R. L.) A965), Extended tables of the Wilcoxon
matched pair signed rank statistic, J. Amer. Statist. Ass. 60, 864.
Мак Стьюарт (MacStewart W.) A941), A note on the power of the sign
test, Ann. Math. Statist 12, 236,
«60
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Манн (Mann Н. В.) A945), Non-parametric test against trend, Ebonometrica
13, 245.
Манн (Mann H. B.) A949), Analysis and Design of Experiments: Analysis
of Variance and Analysis of Variance Designs, Dover, New York.
Манн и Вальд (Mann H. В. and Wald A.) A942), On the choice of the
number of intervals in the application of the chi-square test, Ann. Math.
Statist. 13, 306.
Манн и Уитни (Mann H. В. and Whitney D. R.) A947), On a test of
whether one of two random variables is stochastically larger than the
other, Ann. Math. Statist. 18, 50.
¦Мариц (Maritz J. S.) A953), Estimation of the correlation coefficient in the
case of a bivariate normal population when one of the variables is dicho-
dichotomized, Psychometrika 18, 97.
Марсалья (Marsaglia G.) A964), Conditional means and covariances of
normal variables with singular covariance- matrix, J. Amer. Statist. Ass.
59, 1203.
Менденхолл (Mendenhall W.) A958), A bibliography on life testing and
related topics, Biometrika 45, 521.
-Менденхолл и Хейдер (Mendenhall W. and Hader R. J.) A958), Esti-
Estimation of parameters of mixed exponentially distributed failure time distri-
distributions from censored life test data, Biometrika 45, 504.
Мёр фи (Murphy R. B.) A948), Non-parametric tolerance limits, Ann. Math.
Statist. 19, 581.
Микки и Браун (Mickey M. R. and Brown M. B.) A966), Bounds on the
distribution functions of the Behrens — Fisher statistic, Ann. Math. Statist.
37, 639.
Микульский (Mikulski P. W.) A963), On the efficiency of optimal non-
parametric procedures in the two sample case, Ann. Math. Statist. 34, 22.
Миллер Л. (Miller L. H.) A956), Table of percentage points of Kolmogorov
statistics, /. Amer. Statist. Ass. 51, 111.
Миллер (Miller R. G., Jr.) A964), A trustworthy jackknife, Ann. Math.
Statist. 35, 1549.
Мозес (Moses L. E.) A963), Rank tests of dispersion, Ann. Math. Statist.
34, 973.
Mo л дон (Mauldon J. G.) A955), Pivotal quantities for Wishart's and re-
related distributions, and a paradox in fiducial theory, Л Rou. Statist Soc.
B, 17, 79. • . ' a
Морэн (Moran P. A. P.) A950), The distribution of the multiple correlation
coefficient, Proc. Camb. Phil. Soc. 46, 521.
Мошмэн (MoshmanJ.) A958), A method for selecting the size of the ini-
initial sample in Stein's two sample procedure, Ann. Math. Statist. 29, 1271.
Муд (Mood A. M.) A954), On the asymptotic efficiency of certain nonpara-
metric two-sample tests, Ann. Math. Statist. 25, 514.
My p П. (Moore P. G.) A956), The estimation of the mean of a censored normal
distribution by ordered variables, Biometrika 43, 482.
Мэсси (Massey F. J., Jr.) A950a), A note on the estimation of a distribu-
distribution function by confidence limits, Ann. Math. Statist. 21, 116.
Мэсси (Massey F. J., Jr.) A950b, 1952), A note on the power of a non-para-
non-parametric test, Ann. Math. Statist. 21, 440 and 23, 637.
Мэсси (Massey F. J., Jr.) A951), The Kolmogorov — Smirnov test of good-
¦ ness of fit, J. Amer. Statist. Ass. 46, 68.
Нант (Knight W.) A965), A method of sequential estimation applicable to
the hypergeometric, binomial, Poisson, and exponential distributions, Ann.
;:r>y. -Math. Statist. 36, 1494.
Hap айн (Narain R. D.) A950), On the completely unbiassed character of
•¦..: tests- of; independence in multivariate normal systems, Ann. Math. Statist.
21, 293.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
861
Нейман (Neyman J.) A935), Sur la verification des hypotheses statistiques
composees, Bull. Soc. Math. France 63, 1.
Нейман (Neyman J.) A937a), «Smooth test» for goodness of fit, Skand.
Aktuartidskr. 20, 149.
Ней май (Neyman J.) A937b), Outline of a theory of statistical estimation
based on the classical theory of probability, Phil. Trans. A, 236, 333.
Нейман (Neyman J.) A938a), On statistics the distribution of which is in-
independent of the parameters involved in the original probability law of
the observed variables. Statist. Res. Mem. 2, 58.
Нейман (Neyman J.) A938b), Tests of statistical hypotheses which are
unbiassed in the limit, Ann. Math. Statist. 9, 69.
Нейман (Neyman J.) A949), Contribution to the theory of the x2 test, Proc.
1st Berkeley Symp. Math. Statist, and Prob., 239.
Ней май (Neyman J.) A951), Existence of consistent estimates of the di-
directional parameter in a linear structural relation between two variables,
Ann. Math. Statist. 22, 497.
Нейман, Ивашкевич и Колоджейчик (Neuman J., Iwaskiewicz К.
and Kolodziejczyk S.) A935), Statistical problems in agricultural experi-
experimentation, Sup pi. J. Roy. Statist. Soc. 2, 107.
Неймаи и Пирсон (Neyman J. and Pearson E. S.) A928), On the use
and interpretation of certain test criteria for the purposes of statistical
inference, Biometrika 20A, 175 and 263.
Нейман и Пирсон (Neyman J. and Pearson E. S.) A931), On the
problem of k samples, Bull. Acad. Polon. Sci. 3, 460.
Нейман и Пирсон (Neyman J. and Pearson E. S.) A933a), On the
testing of statistical hypotheses in relation to probabilities a priori, Proc.
Camb, Phil. Soc. 29, 492.
Нейман и Пирсон (Neyman J. and Pearson E. S.) A933b), On the
problem of the most efficient tests of statistical hypotheses, Phil. Trans.
A, 231, 289.
Неймаи и Пирсон (Neyman J. and Pearson E. S.) A936a), Sufficient
statistics and uniformly most powerful tests of statistical hypotheses, Sta-
Statist. Res. Mem. 1, 113. '
Нейман и Пирсон (Neyman J. and Pearson E. S.) A936b), Unbiassed
critical regions of Type A and Type A,, Statist. Res. Mem. 1, 1.
Нейман и Пирсон (Neyman J. and Pearson E. S.) A938), Certain
theorems on unbiassed critical regions of Type A, and Unbiassed tests of
simple statistical hypotheses specifying the values of more than one un-
unknown parameter, Statist. Res. Mem. 2, 25.
Нейман и Скотт (Neyman J. and Scott E. L.) A948), Consistent esti-
estimates based on partially consistent observations, Econometrica 16, 1.
Нейман и Скотт (Neyman J. and Scott E. L.) A951), On certain me:
thods of estimating the linear structural relation, Ann. Math. Statist. 22,
352.
Нейман и Токарска (Neyman J. and Tokarska B.) A936), Errors of
the second kind in testing «Student's» hypothesis, J. Amer. Statist. Ass>
31, 318. ¦¦-¦--
Нётер (Noether G. E.) A955), On a theorem of Pitman, Ann. Math.. Statist.
26, 64. . . ¦ ¦ • . ;
Нётёр (Noether G. E.) A957), Two confidence intervals for the ratio of two
probabilities, and some measures of effectiveness, /. Amer. Statist. Ass,
52, 36. " : . '
Нётер (Noether G. E.) A963), Note on the Kolmogorov statistic in the
discrete case, Metrika 7, 115. .. "¦ ' .
Нётер (Noether G. E.) A967), Wilcoxon confidence intervals for location
parameters in the discrete case, /- Amer. Statist. Ass. 62, 184.
862
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Нортон (Norton H. W.) A945), Calculation of chi-square for complex con-
contingency tables, /. Amer. Statist. Ass. 40, 125.
Нэйр (Nair K. R.) A940), Tables of confidence intervals tor the median in
samples from any continuous population, Sankhya 4, 551.
Нэйр (Nair K- R.) A948), The distribution of the extreme deviate from the
sample mean and its studentized form, Biornetrika 35, 118.
Нэйр (Nair K. R.) A952), Tables of percentage points of the «Studentized»
extreme deviate from the sample mean, Biometrika 39, 189.
Нэйр и Банерджи (Nair К. R. and Banerjee K. S.) A942), A note on
fitting of straight lines if both variables are subject to error, Sankhya 6,
331.
Нэйр и Шривастава (Nair К. R- and Shrivastava M. P.) A942), On
a simple method of curve fitting, Sankhya 6, 121.
Огберн (Ogburn W. F.) A935), Factors in the variation of crime among
cities, /. Amer. Statist. Ass. 30, 12.
Олкин и Прэтт (Olkin I. and Pratt J. W.) A958), Unbiased estimation
of certain correlation coefficients, Ann. Math. Statist. 29, 201.
Оуэн (Owen D. B.) A963), Factors for one-sided tolerance limits and for
variables sampling plans, Sandia Corp. Monogr. (Off. Techn. Serv., Dept.
Commerce, Washington), SCR-607.
Оуэи (Owen D. B.) A965), The power of Student's /-test, /. Amer. Statist.
Ass. 60, 320.
Панк (Руке R.) A965), Spacings, J. Roy. Statist. Soc. B, 27, 395.
Патил и Шоррок (Patil G. P. and Shorrock R.) A965), On certain
properties of the exponential-type families, /. Roy. Statist. Soc. B, 27, 94.
Патнайк (Patnaik R. B.) A948), The power function of the test for the
difference between two proportions in a 2X2 table, Biometrika 35, 157.
Патиайк (Patnaik P. B.) A949), The non-central x2 and ^-distributions and
their applications, Biometrika 36, 202.
Пжиборовский и Виленский (Przyborowski J. and Wilenski M.)
A935), Statistical principles of routine v/ork in testing clover seed for
dodder, Biometrika 27, 273.
Пи л лай (Pillai К. С. S.) A959), Upper percentage points of the extreme
studentized deviate from the sample mean, Biometrika 46, 473.
Пиллаии Тиензо (Pillai К. С. S. and Tienzo B. P.) A959), On the
distribution of the extreme studentized deviate from the sample mean,
Biometrika 46, 467.
Пирс (Peers H. W.) A965), On confidence points and Bayesian probability
points in the case of several parameters, /. Roy. Statist. Soc. B, 27, 9.
Пирсон (Pearson E. S.) A926), A further note on the distribution of range
in samples taken from a normal population, Biometrika 18, 173.
Пирсон (Pearson E. S.) A938), The probability integral transformation for
testing goodness of fit and combining independent tests of significance,
Biometrika 30, 134.
Пирсон (Pearson E. S.) A947), The choice of statistical tests illustrated
in the interpretation of data classed in a 2X2 table, Biometrika 34, 139.
Пирсон н Меррингтон (Pearson E. S. and Merrington M.) A948),
2X2 tables: the power function- of the test on a randomized experiment,
Biometrika 35, 331.
Пирсон и Стефенс (Pearson E. S. and Stephens M. A.) A962), The
goodness-of-fit tests based on W2N and U2N, Biometrika 49, 397.
Пирсон и Хартли (Pearson E. S. and Hartley H. O.) A951), Charts of
the power function for analysis of variance tests derived from the non-
central F-distribution, Biometrika 38, 112.
Пирсон и Ч.андра Се кар (Pearson E. S. and Chandra Sekar С.)
A936), The efficiency of statistical tools and a criterion for the rejection
of outlying observations, Biometrika 28, 308.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
863
Пирсон К. (Pearson К) A900)*), On a criterion that a given system of
deviations from the probable in the case of a correlated system of variab-
variables is such that it can be reasonably supposed to have arisen in random
sampling, Phil. Mag. E), 50, 157.
Пирсон К. (Pearson К) A904)*), On the theory of contingency and its
relation to association and normal correlation, Drapers' Co. Memoirs,
Biometric Series, No. 1, London.
Пирсон К. (Pearson К.) A909), On a new method for determining correla-
correlation between a measured character A and a character B, of which only the
percentage of cases wherein В exceeds (or falls short of) a given inten-
intensity is recorded for each grade of A, Biometrika 7, 96.
Пирсон К. (Pearson К.) A913), On the probable error of a correlation
coefficient as found from a fourfold table, Biometrika 9, 22.
Пирсон К. (Pearson К.) A915), On the probable error of a coefficient of
mean square contingency, Biometrika 10, 570.
Пирсон К. (Pearson K-) A916), On the general theory of multiple con-
contingency, with special reference to partial contingency, Biometrika 11,
145.
Пирсон К. (Pearson К) A917), On the probable error of biserial t], Bio-
Biometrika 11, 292.
Питмэн (Pitman E. J. G.) A936), Sufficient statistics and intrinsic accura-
accuracy, Proc. Camb. Phil. Soc. 32, 567.
Пит мэи (Pitman E. J. G.) A937a), Significance tests which may be applied
to samples from any population, Suppl. J. Roy. Statist. Soc. 4, 119.
Питмэн (Pitman E. J. G.) A937b), Significance tests which may be applied
to samples from any populations. II. The correlation coefficient test, Suppl.
I. Roy. Statist. Soc. 4, 225.
Питмэн (Pitman E. J. G.) A937c), The «closest» estimates of statistical
parameters, Proc. Camb. Phil. Soc. 33, 212.
Питмэн (Pitman E. J. G.) A939a), A note on normal correlation, Biometri-
Biometrika 31, 9.
Пит мэи (Pitman E. J. G.) A939b), Tests of hypotheses concerning location
and scale parameters, Biometrika 31, 200.
Питмэн (Pitman E. J. G.) A948), Non-Parametric Statistical Inference,
University of North Carolina Institute of Statistics (mimeographed lecture
notes).
Питмэн (Pitman E. J. G.) A957), Statistics and science, /. Amer. Statist.
Ass. 52, 322.
Плэкетт (Plackett R. L.) A949), A historical note on the method of least
squares, Biometrika 36, 458.
Плэкетт (Plackett R. L.) A950), Some theorems in least squares, Biometri-
Biometrika 37, 149.
Плэкетт (Plackett R. L.) A953), The truncated Poisson distribution, Bio-
Biometrics 9, 485.
Плэкетт (Plackett R. L.) A958), Linear estimation from censored data,
Ann. Math. Statist. 29, 131.
Плэкетт (Plackett R. L.) A962), A note on interactions in contingency
tables, Л Roy. Statist. Soc. B, 24, 162.
Плэкетт (Plackett R. L.) A964), The continuity correction in 2 X 2 tables,
Biometrika 51, 327.
По л сон (Paulson E.) A941), On certain likelihood-ratio tests associated
with the exponential distribution, Ann. Math. Statist. 12, 301.
Пол сон (Paulson E.) A952), An optimum solution to the t-samples slip-
slippage problem for the normal distribution, Ann. Math. Statist. 23, 610.
См. примечание на стр. 877.
864
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
865
Поттхофф и Уиттингхилл (Potthoff R. F. and Whittinghill M.)
A966а), Testing for homogeneity. J. The binomial and multinomial distri-
distributions, Biometrika 53, 167.
Поттхофф и Уиттингхилл (Potthoff R. F. and Whittinghill M.)
A966b), Testing for homogeneity. II. The Poisson distribution, Biometrika
53, 183.
Прайс (Price R.) A964), Some non-central F-distributions expressed in
closed form, Biometrika 51, 107.
Пресс (Press S. J.) A966), A confidence interval comparison of two test
procedures proposed for the Behrens-—Fisher problem, J. Amer. Statist.
Ass. 61, 454.
Прэтт (Pratt J. W.) A961), Length of confidence intervals, J. Amer. Statist.
Ass. 56, 549.
Прэтт (Pratt J. W.) A963), Shorter confidence intervals for the mean of a
normal distribution with known variance, Ann. Math. Statist. 34, 574.
Прэтт (Pratt J. W.) A964), Robustness of some procedures for the two-
sample location problem, Л Amer. Statist. Ass. 59, 665.
Пури (Puri M. L.) A964), Asymptotic efficiency of a class of c-sample tests,
- Ann. Math. Statist. 35, 102.
Путтер (Putter J.) A955), The treatment of ties in non-parametric tests,
Ann. Math. Statist. 26, 368.
Пэчерс (Pachares J.) A959), Table of the upper 10% points of the studen-
tized range, Biometrika 46, 461.
Пэчерс (Pachares J.) A960), Tables of confidence limits for the binomial
distribution, Л Amer. Statist. Ass. 55, 521.
Пэчерс (Pachares J.) A961), Tables for unbiased tests on the variance of
a normal population, Ann. Math. Statist. 32, 84.
Рагхавачари (Raghavachari M.) A965a), The two-sample scale problem
when locations are unknown, Ann. Math. Statist. 36, 1236.
Рагхавачари (Raghavachari M.) A965b), On the efficiency of the normal
scores test relative to the F-test, Ann. Math. Statist. 36, 1306.
Рад ж (Raj D.) A953), Estimation of the parameters of Type III populations
from truncated samples, J. Amer. Statist. Ass. 48, 366.
Рай дер (Rider P. R.) A955), Truncated binomial and negative binomial
distributions, J. Amer. Statist. Ass. 50, 877.
P'a м а ч а н д р а м у р т и (Ramachandramurty P. V.) A966), On some non-
parametric estimates for shift in the Behrens — Fisher situation, Ann.
Math. Statist. 37, 593.
Рамачандран (Ramachandran K. V.) A958), A test of variances, Л Amer.
Statist. Ass. 53, 741.
Pa о Б. (Rao В. R.) A958a), On the relative efficiencies of BAN estimates
based on doubly truncated and censored samples, Proc. Nat. Inst. Sci.
India A, 24, 366.
P а о Б. (Rao В. R.) A958b), On an analogue of Cramer — Rao's inequality,
Skand. Akiuartidskr. 41, 57.
Pao (Rao С R.) A945), Information and accuracy attainable in the estima-
estimation of statistical parameters, Bull. Calcutta Math. Soc. 37, 81.
Pao (Rao С R.) A947), Minimum variance and the estimation of several
parameters, Proc. Camb. Phil. Soc. 43, 280.
Pao (Rao C. R.) A952), Advanced Statistical Methods in Biometric Research
Wiley, New York.
Pao {Rao С R.) A957), Theory of the method of estimation by minimum chi-
- square, Bull. Int. Statist. Inst. 35 B), 25.
Pao (Rao С R.) A961), Asymptotic efficiency and limiting information,
Proc. 4th Berkeley Symp. Math. Statist, and Prob. 1, 531.
Pao (Rao С R.) A962a), Efficient estimates and optimum inference procedures
in large samples, J. Roy. Statist. Soc. B, 24, 46.
Pao (Rao С R) A962b) Apparent anomalies and irregularities in maximum
likelihood estimation, Sankhya A, 24, 73.
Раштон (Rushton S.) A951), On least squares fitting of orthonormal poly-
polynomials using the Choleski method, /. Roy. Statist. Soc. B, 13, 92.
Резников (Resnikoff G. J.) A962), Tables to facilitate the computation
of percentage points of the noncentral ^-distribution, Ann. Math. Statist.
33, 580.
Резников н Либерман (Resnikoff G. J. and Lieberman G. J.) A957),
Tables of the non-central t-distributian, Stanford Univ. Press.
Рикер (Ricker W. E.) A937), The concept of confidence or fiducial limits
applied to the Poisson frequency distribution, /. Amer. Statist. Ass. 32,
349.
Роббинс (Robbins H.) A944), On distribution-free tolerance limits in ran-
random sampling, Ann. Math. Statist, 15, 214.
Роббинс (Robbins H.) A948), The distribution of Student's t when the po-
population means are unequal, Ann. Math. Statist. 19, 406.
Робинсон (Robinson D. E.) A964), Estimates for the points of intersection
of two polynomial regressions, /. Amer. Statist. Ass. 59, 214.
Робсон (Robson D. S.) A959), A simple method for constructing orthogonal
polynomials when the independent variables is unequally spaced, Biomet-
Biometrics 15, 187.
Робсои и Уитлок (Robson D. S. and Whitlock J. H.) A964), Estimation
of a truncation point, Biometrika 51, 33.
Розенталь (Rosenthal I.) A966), Distribution of the sample version of
the measure of association, Gamma, /. Amer. Statist. Ass. 61, 440.
Рой (Roy A. R.) A956), On x2"statistics with variable intervals, Technical
Report, Standford University, Statistics Department.
Рой Дж. и Митра (Roy J. and Mitra S. K.) A957), Unbiassed minimum
variance estimation in a class of discrete distributions, Sankhya 18, 371.
Рой К. (Roy К. Р.) A957), A note on the asymptotic distribution of likeli-
likelihood ratio, Bull. Calcutta Statist. Ass. 7, 73.
P о й С. (Roy S. N.) A954), Some further results in simultaneous confidence
interval estimation, Ann. Math. Statist. 25, 752.
Рой С. и Бозе (Roy S. N. and Bose R. C.) A953), Simultaneous confidence
interval estimation, Ann. Math. Statist. 24, 513.
Рой С. и Кастенбаум (Roy S. N. and Kastenbaum M. A.) A956), On
the hypothesis of no «interaction» in a multiway contingency table, Ann.
Math. Statist. 27, 749.
Рой С. и Митра (Roy S. N. and Mitra S. K.) A956), An introduction to
some non-parametric generalizations of analysis of variance and multiva-
riate analysis, Biometrika 43, 361.
Ротенберг, Фишер Ф. и Тиланус (Rothenberg Т. J., Fisher F. M.
and Tilanus С. В.) A964), A note on estimation from a Cauchy sample,
/. Amer. Statist. Ass. 59, 460.
Салех (Saleh А. К. М. E.) A966), Estimation of the parameters of the
exponential distribution based on optimum order statistics in censored
samples, Ann. Math. Statist. 37, 1717.
Сандрум (Sundrum R. M.) A953), The power of Wilcoxon's 2-sample test,
/. Roy. Statist. Soc. B, 15, 246.
Сандрум (Sundrum R. M.) A954), On the relation between estimating effi-
efficiency and the power of tests, Biometrika 41, 542.
Санкаран (Sankaran M.) A964), On an analogue of Bhattacharya bound,
Biometrika 51, 268.
Cap хан (Sarhan A. E.) A954), Estimation of the mean and standard devia-
deviation by order statistics, Ann. Math. Statist. 25, 317.
Сархан (Sarhan A. E.) A955), Estimation of the mean and standard devia-
deviation by order statistics. II, III, Ann. Math. Statist. 26, 505 and 576.
1Д27 M. Кендалл, А, Стыоарт
866
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Сархан и Гринберг (Sarhan A. E. and Greenberg В. G.) A956), Esti-
Estimation of location and scale parameters by order statistics from singly
and doubly censored samples. I. The normal distribution up to samples
of size 10, Ann. Math. Statist. 27, 427.
Сархан и Гринберг (Sarhan A. E. and Greenberg B. G.) A957),
Tables for best linear estimates by order statistics of the parameters of
single exponential distributions from singly and doubly censored samples,
Л А тег. Statist. Ass. 52, 58.
Сархан и Гринберг (Sarhan A. E. and Greenberg B. G.) A958),
Estimation of location and scale parameters by order statistics from singly
and doubly censored samples. II. Tables for the normal distribution for
samples of sizes 11 =5; n ^ 15, Ann. Math. Statist. 29, 79.
Сархан и Гринберг (Sarhan A. E. and Greenberg B. G.) A959), Esti-
Estimation of location and scale parameters for the rectangular population
from censored samples, J. Roy Statist. Soc. B, 21, 356.
Сархаи и Гринберг (Sarhan A. E. and Greenberg B. G.) (editors)
A962), Contributions to Order Statistics, Wiley, New York.
Сархан, Гринберг и О г а в a (Sarhan A. E., and Greenberg В. G. and
Ogawa J.) A963), Simplified estimates for the exponential distribution,
Ann. Math. Statist. 34, 102.
С вам и (Swamy P. S.) A962a), On the amount of information supplied by
censored samples of grouped observations in the estimation of statistical
parameters, Biometrika 49, 245.
С вами (Swamy P. S.) A962b), On the joint efficiency of the estimates of
the parameters of normal populations based on singly and doubly trun-
truncated samples, /. Ainer. Statist. Ass. 57, 46.
С вам и (Swamy P. S.) A963), On the amount of information supplied by
truncated samples of grouped observations in the estimation of the para-
parameters of normal populations, Biometrika 50, 207.
Свед и Эйзенхарт (Swed F. S. and Eisenhart C.) A943), Tables for
testing randomness of grouping in a sequence of alternatives, Ann. Math.
Statist. 14, 66.
Сиддики (Siddiqui M. M.) A963), Optimum estimators of the parameters
of negative exponential distributions from one or two order statistics, Ann,
Math. Statist. 34, 117.
Сиджел и Тьюки (Siegel S. and Tukey J. W.) A960), A nonparametric
sum of ranks procedure for relative spread in unpaired samples, /. Amer,
Statist. Ass. 55, 429.
Сил (Seal H. L.) A948), A note on the x2 smooth test, Biometrika 35, 202.
Силбайндер (Seelbinder В. М.) A953), On Stein's two-stage sampling
scheme, Ann. Math. Statist. 24, 640.
Силверстоун (Silverstone H.) A957), Estimating the logistic curve,
/. Amer. Statist. Ass. 52, 567.
Силлито (Sillito G. P.) A951), Interrelations between certain linear systema-
systematic statistics of samples from any continuous population, Biometrika 38, 377.
С и чел (Sichel H. S.) A951, 1952), New methods in the statistical evaluation
of mine sampling data, Trans. Inst. Mining Metallurgy 61, 261.
Слэктер (Slakter M. J.) A966), Comparative validity of the chi-square and
two modified chi-square goodness-of-fit tests for small but equal expected
frequencies, Biometrika 53, 619.
Смирнов H. B. A936), Sur la distribution de со2, С. R. Acad. Set., Paris
202, 449.
Смирнов Н. В. A939а), Об уклонениях эмпирической кривой распределе-
распределения, Матем. сб. 6 D8), № 1, 3.
Смирнов Н. В. A939b), Оценка расхождения между эмпирическими кри-
кривыми распределения в двух независимых выборках, Бюллетень МГУ 2,
№ 2, 3.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
867
Смирнов Н. В. A948), Table for estimating the goodness of fit of empirical
distributions, Ann. Math. Statist., 19, 279.
Смит (Smith С. А. В.) A951), A test for heterogeneity of proportions, Ann.
Eugen. 16, 16.
Смит (Smith С. А. В.) A952), A simplified heterogeneity test Ann Eugen
17, 35.
Смит Дж. (Smith J. H.) A947), Estimation of linear functions of cell pro-
proportions, Ann. Math. Statist. 18, 231.
Смит К. (Smith К.) A916), On the «best» values of the constants in fre-
frequency distributions, Biometrika 11, 262.
Смит У. (Smith W. L.) A957), A note on truncation and sufficient statistics,
Ann. Math. Statist. 28, 247.
Co (Saw J. G.) A959), Estimation of the normal population parameters given
a singly censored sample, Biometrika 46, 150.
Co (Saw J. G.) A961), Estimation of the normal population parameters given
a type I censored sample, Biometrika 48, 367.
Co пер (Soper H. E.) A914), On the probable error of the biserial expression
for the correlation coefficient, Biometrika 10, 384.
Спрент (Sprent P.) A966), A generalized least-squares approach to linear
functional relationships, /. Roy. Statist. Soc. B, 28, 278.
Спротт (Sprott D. A.) (I960), Necessary restrictions for distributions a po-
posteriori, J. Roy. Statist. Soc. B, 22, 312.
Спротт (Sprott D. A.) A961), An example of an ancillary statistic and
the combination of two samples by Bayes' theorem, Ann. Math. Statist.
32, 616.
Стейн (Stein C.) A945), A two-sample test for a linear hypothesis whose
power is independent of the variance, Ann. Math. Statist. 16, 243.
Стейн (Stein C.) A946), A note on cumulative sums, Ann. Math. Statist.
17, 498.
Стерн (Sterne Т. Е.) A954), Some remarks on confidence or fiducial limits,
Biometrika 41, 275.
С те фене (Stephens M. A.) A963), The distribution of the goodness-of-fit
statistic, ?/#. I, Biometrika 50, 303.
С те фен с (Stephens M. A.) A964), The distribution of the goodness-of-fit
statistic, U%. II, Biometrika 51, 393.
Стивене (Stevens W. L.) A939), Distribution of groups in a sequence of
alternatives, Ann. Eugen. 9, 10.
Стиве и с (Stevens W. L.) A950), Fiducial limits of the parameter of a dis-
discontinuous distribution, Biometrika 37, 117.
Стьюарт (Stuart A.) A953), The estimation and comparison of strengths
of association in contingency tables, Biometrika 40, 105.
Стьюарт (Stuart A.) A954a), Too good to be true?, Applied Statist. 3, 29.
A) A954b), Asymptotic relative efficiencies of distribu-
randomness against normal alternatives, /. Amer. Statist.
A954c), The correlation between variate-values and
a continuous distribution, Brit. J. Statist. Psychol.
а р т (Stuart
tion-free test of
Ass. 49, 147.
Стьюарт (Stuart A.)
ranks in samples from
7, 37.
Стьюарт (Stuart A.) A955a), A paradox in statistical estimation, Biomet-
Biometrika 42, 527.
Стьюарт (Stuart A.) A955b), A test for homogeneity of the marginal
distributions in a two-way classification, Biometrika 42, 412.
Стьюарт (Stuart A.) A956), The efficiencies of tests of randomness against
normal regression, J. Amer. Statist. Ass. 51, 285.
Стьюарт (Stuart A.) A958), Equally correlated variates and the multinor-
mal integral, J. Roy. Statist. Soc. B, 20, 273.
868
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
869
Стьюдент («Student») A927), Errors of routine analysis, Biometrika 19,
151.
Субрахманиам (Subrahmaniam K.) A965), A note on estimation in the
truncated Poisson, Biometrika 52, 279.
Сукхатм (Sukhatme P. V.) A936), On the analysis of k samples from
exponential populations with special reference to the problem of random
intervals, Statist. Res. Mem. 1, 94.
С э вид ж (Savage I. R.) A962), Bibliography of поп-parametric statistics,
Harvard Univ. Press.
Сэвидж (Savage I. R.) A957), On the independence of test of randomness
and other hypotheses, /. Amer. Statist. Ass. 52, 53.
Сэмпфорд (Sampford M. R.) A965), The truncated negative binomial
distribution, Biometrika 42, 58.
Сюй- (Hsu P. L.) A941), Analysis of variance from the power function
standpoint, Biometrika 32, 62.
Та гут и (Taguti G.) A958), Tables of tolerance coefficients for normal po-
populations, Rep. Statist. Appl. Res. (JUSE) 5, 73.
Тайкью (Tiku M. L.) A965a), Laguerre series forms of non-central x2
and F distributions, Biometrika 52, 415.
Тайкью (Tiku M. L.) A965b), Chi-square approximations for the distribu-
distributions of goodness-of-fit statistics U^ and w\, Biometrika 52, 630.
Тайкью (Tiku M. L.) A966), A note on approximating the non-central F
distribution, Biometrika 53, 606.
Тамура (Tamura R.) A963), On a modification of certain rank tests, Ann.
Math. Statist. 34, 1101.
Тартер и Кларк (Tarter M. E. and Clark V. A.) A965), Properties of
the median and other order statistics of logistic variates, Ann. Math. Sta-
Statist. 36, 1779.
Тейл (Theil H.) A950), A rank-invariant method of linear and polynomial
regression analysis, Indag. Math. 12, 85 and 173.
Тейл н Ван Изерен (Theil H. and Van Yzeren J.) A956), On the
efficiency of Wald's method of fitting straight lines, Rev. Int. Statist.
Inst. 24, 17.
Тейт (Tate R. F.) A953), On a double inequality of the normal distribution,
Ann. Math. Statist. 24, 132.
Тейт (Tate R. F.) A954), Correlation between a discrete and a continuous
variable. Point-biserial correlation, Ann. Math. Statist. 25, 603.
Тейт (Tate R. F.) A955), The theory of correlation between two continuous
variables when one is dichotomized, Biometrika 48, 205.
Тейт (Tate R. F.) A959), Unbiased estimation: functions of locaion and
scale parameters, Ann. Math. Statist. 30, 341.
Тейт и Гоэн (Tate R. F. and Goen R. L.) A958), Minimum variance
unbiassed estimation for the truncated Poisson distribution, Ann. Math.
Statist. 29, 755.
Тейт и Клетт (Tate R. F. and Klett G. W.) A959), Optimal confidence
intervals for the variance of a normal distribution, /. Amer. Statist. Ass.
54, 674.
Тейчер (Teicher H.) A961), Maximum likelihood characterization of distri-
distributions, Ann. Math. Statist. 32, 1214.
Терпстра (Terpstra T. J.) A952), The asymptotic normality and consistency
of Kendall's test against trend, when ties are present in one ranking, Proc.
Kon. Ned. Akad. Wetensch. A, 55, 327.
Терри (Terry M. E.) A952), Some rank order tests which are most powerful
against specific parametric alternatives, Ann. Math. Statist. 23, 346.
Тодхантер (Todhunter I.) A865), A History of the Mathematical Theory
of Probability from the Time of Pascal to that of Laplace, Macmillan,
London.
Томпсои (Thompson WR) A935) On a criterion for the rejection of
observations and the distribution of the ratio of deviation tn «ятп!р
standard deviation, Ann. Math. Statist. 6, 214. deviation to sample
Томпсон (Thompson W. R.) A936), On confidence ranges for the median
and other expectation distributions for populations of unknown distribution
form, Ann. Math. Statist. 7, 122.
Точер (Tocher K- D.) A950), Extension of the Neyman—Pearson theory of
tests to discontinuous variates, Biometrika 37, 130.
Трикетт, Уэлч и Джеймс (Trickett W. H., Welch В. L. and James G. S.)
A956), Further critical values for the two-means problem, Biometrika 43,
203.
Тьюки (Tukey J. W.) A947), Non-parametric estimation. II. Statistically
equivalent blocks and tolerance regions — the continuous case, Ann. Math.
Statist. 18, 529.
Тьюки (Tukey J. W.) A948), Non-parametric estimation. III. Statistically
equivalent blocks and multivariate tolerance resions — the discontinuous
case, Ann. Math. Statist. 19, 30.
T ыо к и (Tukey J. W.) A949), Sufficiency, truncation and selection, Ann.
Math. Statist. 20, 309.
Тьюки (Tukey J. W.) A957), Some examples with fiducial relevance, Ann.
Math. Statist. 28, 687.
Тэнг (Tang P. C.) A938), The power function of the analysis of variance
tests with tables and illustrations of their use, Statist. Res. Mem. 2, 126.
Тэтчер (Thatcher A. R.) A964), Relationships between Bayesian and con-
confidence limits for predictions, /. Roy. Statist. Soc. B, 26, 176.
Уанз (Wise M. E.) A963), Multinomial probabilities and the %2 and X2
distributions, Biometrika 50, 145.
Уайз (Wise M. E.) A964), A.complete multinomial distribution compared
with the X2 approximation and an improvement to it, Biometrika 51,
277.
Уайт (White C.) A952), The use of ranks in a test of significance for com-
comparing two treatments, Biometrics 8, 33.
Уайтекер (Whitaker L.) A914), On Poisson's law of small numbers, Bio-
Biometrika 10, 36.
Уикселл (Wicksell S. D.) A917), The correlation function of Type A, Medd.
Lunds. Astr. Obs., Series 2, No. 17.
Уикселл (Wicksell S. D.) A934), Analytical theory of regression, Medd.
Lunds. Astr. Obs., Series 2, No. 69.
Уилк, Гнанадесикан и Хьюэтт (Wilk M. В., Gnanadesikan R. and
Huyett M. J.) A962), Estimation of parameters of the gamma distribution
using order statistics, Biometrika 49, 525.
Уилкинсон (Wilkinson G. N.) A961), Estimation of proportion from zero-
truncated binomial data, Biometrics 17, 153.
Уилкс (Wilks S. S.) A938a), The large-sample distribution of the likelihood
ratio for testing composite hypotheses, Ann. Math. Statist. 9, 60.
Уилкс (Wilks S. S.) A938b), Shortest average confidence intervals from
large samples, Ann. Math. Statist. 9, 166.
Уилкс (Wilks S. S.) A938c), Fiducial distributions in fiducial inference, Ann.
Math. Statist. 9, 272.
Уилкс (Wilks S. S.) A941), Determination of sample sizes for setting toler-
tolerance limits, Ann. Math. Statist. 12, 91.
Уилкс (Wilks S. S.) A942), Statistical prediction with special reference to
the problem of tolerance limits, Ann. Math. Statist. 13, 400.
Уилкс (Wilks S. S.) A948), Order statistics, Bull. Amer. Math. Soc. 54, 6.
Уилкс и Дейли (Wilks S. S. and Daly J. F.) A939), An optimum property
of confidence regions associated with the likelihood function, Ann. Math.
Statist. 10, 225.
28 M. Кендалл, А. Стьюаот
»¦#
870
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Уилльямс (Williams С. A., Jr.) A950). On the choice of the number and
width of classes for the chi-square test of goodness of fit, /. Amer. Sta-
Statist. Ass. 45, 77.
Уилльямс Э. (Williams E. J.) A952), Use of scores for the analysis of
association in contingency tables, Biometrika 39, 274.
Уилльямс Э. (Williams E. J.) A959), The comparison of regression variab-
variables, J. Roy. Statist. Soc. B, 21, 396.
Уиттинг (Witting H.) A960), A generalized Pitman efficiency for non-para-
non-parametric tests, Ann. Math. Statist. 31, 405.
Уишарт (Wishart J.) A931), The mean and second moment coefficient of
the multiple correlation coefficient in samples from a normal population,
Biometrika 22, 353.
Уишарт (Wishart J.) A932), A note on the distribution of the correlation
ratio, Biometrika 24, 441.
Уокер (Walker A. M.) A963), A note on the asymptotic efficiency of an
asymptotically normal estimator sequence, I. Roy. Statist. Soc. B, 25, 195.
Уоллес Д. (Wallace D. L.) A958), Asymptotic approximations to distribu-
distributions, Ann. Math. Statist. 29, 635.
Уоллес (Wallace T. D.) A964), Efficiencies for stepwise regressions, /.
Amer. Statist Ass. 59, 1179.
Уоллис (Wallis W. A.) A951), Tolerance intervals for linear regression,
Proc. 2nd Berkeley Symp. Math. Statist, and Prob., 43.
Уолш (Walsh J. E.) A946), On the power function of the sign test for
slippage of means, Ann. Math. Statist. 17, 358.
Уолш (Walsh J. E.) A947), Concerning the effect of intraclass correlation
on certain significance tests, Ann. Math. Statist. 18, 88.
Уолш (Walsh J. E.) A950a), Some estimates and tests based on the r smal-
smallest values in a sample, Ann. Math. Statist. 21, 386.
Уолш (Walsh J. E.) A950b), Some non-parametric tests of whether the lar-
largest observations of a set are too large or too small, Ann. Math. Statist.
21, 583.
Уолш (Walsh J. E.) A962), Distribution-free tolerance intervals for conti-
continuous symmetrical populations, Ann. Math. Statist. 33, 1167.
Уоркинг и Хотеллинг (Working H. and Hotelling H.) A929), The
application of the theory of error to the interpretation of trends, /. Amer.
Statist. Ass. 24 (Suppl.), 73.
Уэлч (Welch B. L.) A938), The significance of the difference between two
means when the population variances are unequal, Biometrika 29, 350.
Уэлч (Welch B. L.) A939), On confidence limits and sufficiency, with parti-
particular reference to parameters of location, Ann. Math. Statist. 10, 58.
Уэлч (Welch B. L.) A947), The generalization of «Student's» problem when
several different population variances are involved, Biometrika 34, 28.
Уэлч (Welch B. L.) A965), On comparisons between confidence point pro-
procedures in the case of a single parameter, /. Roy. Statist. Soc. B, 27, 1.
Уэлч и Пирс (Welch В. L. and Peers H. W.) A963), On formulae for
confidence points based on integrals of weighted likelihoods, /. Roy. Sta-
Statist. Soc. B, 25, 318.
Феллер (Feller W.) A938), Note on regions similar to the sample space,
Statist. Res. Mem. 2, 117.
Феллер (Feller W.) A948), On the Kolmogorov — Smirnov limit theorems
for empirical distributions, Ann. Math. Statist. 19, 177.
Фергюсон (Ferguson T. S.) A961), On the rejection of outliers, Proc. 4th
Berkeley Symp. Math. Statist, and Prob. 1, 253.
Фердоорен (Verdooren L. R.) A963), Extended tables of critical values
for Wilcoxon's test statistic, Biometrika 50, 177.
Ферои и Фуржо (Feron R. and Fourgeaud C.) A952), Quelques proprietes
caracteristiques de la loi de Laplace — Gauss, Publ. Inst. Statist. Paris 1, 44.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Фикс (Fix E.) A949a), Distributions which lead to linear
1st Berkeley Symp. Math. Statist, and Prob., 79.
871
regressions, Proc.
Фикс (Fix E.) A949b), Tables of noncentral x2'. Univ. Calif. Publ. Statist.
I» 15.
Фикс и Ходжес (Fix E. and Hodges J. L., Jr.) A955), Significance pro-
probabilities of the Wilcoxon test, Ann. Math. Statist. 26, 301.
Филлер ( Fieller-E. C.) A940), The biological standardization of insulin
Suppl. I. Roy. Statist. Soc. 7, 1.
Филлер (Fieller E. C.) A954), Some problems in interval estimation, / Rou
Statist. Soc. B, 16, 175.
Финни (Finney D. J.) A941), On the distribution of a variate whose loga-
logarithm is normally distributed, Suppl. I. Roy. Statist. Soc. 7, 155
Финни (Finney D. J.) A948), The Fischer — Yates test of significance in
2X2 contingency tables, Biometrika 35, 145.
Фннни (Finney D. J.) A949a), The truncated binomial distribution Ann
Eugen. 14, 319.
Финни (Finney D. J.) A949b), On a method of estimating frequencies
Biometrika 36, 233.
Финни, Лача, Беннетт и Сюй (Finney D. J., Latscha R Ben-
Bennett B. M. and Hsu P.) A963), Tables for Testing Significance in a 2X2
Contingency Table, Cambridge Univ. Press.
Фишер (Fisher R. A.) A921a) *), On the mathematical foundations of theore-
theoretical statistics, Phil. Trans. A, 222, 309.
Фишер (Fisher R. A.) A921b) *), Studies in crop variation. I. An examination
of the yield of dressed grain from Broadbalk, /. Agric. Sci. 11, 107
Фишер (Fisher R. A.) A921c), On the «probable error» of a coefficient of
correlation deduced from a small sample, Metron 1 D), 3.
Фишер (Fisher R. A.) A922a)*), On the interpretation of chi-square from
contingency tables, and the calculation of P. J. Roy. Statist. Soc. 85, 87
Фишер (Fisher R. A.) A922b)*), The goodness of fit regression formulae
and the distribution of regression coefficients, I. Rou. Statist Soc
85, 597.
Фишер (Fisher R. A.) A924a), The distribution of the partial correlation
coefficient, Metron 3, 329.
Фишер (Fisher R. A.) A924b), The influence of rainfall on the yield of
wheat at Rothamsted, Phil. Trans. B, 213, 89.
Фишер (Fisher R. A.) A924c) *), The conditions under which %2 measures
the discrepancy between observation and hypothesis, J. Rou Statist Soc
87, 442.
Фишер (Fisher R. A.) A925), Statistical Methods for Research Workers,
Oliver and Boyd, Edinburgh.
Фишер (Fisher R. A.) A925) *), Theory of statistical estimation, Proc. Camb
Phil. Soc. 22, 700.
Фишер (Fisher R. A.) A928a)*), The general sampling distribution of the mul-
multiple correlation coefficient, Proc. Roy. Soc. A, 121, 654.
Фишер (Fisher R. A.) A928b) *),On a property connecting the %2 measure
of discrepancy with the method of maximum likelihood, Atti Coner Int
Mat., Bologna 6, 94. '
Фишер (Fisher R. A.) A935a), The Design of Experiments, Oliver and
Boyd, Edinburgh.
Фишер (Fisher R. A.) A935b)*), The fiducial argument in statistical infe-
inference, Ann. Eugen. 6, 391.
Фишер (Fisher R. A.) A939)*), The comparison of samples with possibly
unequal variances, Ann. Eugen. 9, 174.
*) См. примечание на стр. 877.
28*
872
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Фишер (Fisher R. А.) A941)*), The negative binomial distribution, Ann.
Eugen. 11, 182.
Фишер (Fisher R. A.) A956), Statistical Methods and Scientific Inference,
Oliver and Boyd, Edinburgh.
Фокс (Fox L.) A950). Practical methods for the solution of linear equations
and the inversion of matrices, /. Roy. Statist. Soc. B, 12, 120.
Фокс и Хейес (Fox L. and Hayes J. G.) A951), More practical methods
for the inversion of matrices, /. Roy. Statist. Soc. B, 13, 83.
Фокс М. (Fox M.) A956), Charts of the power of the f-test, Ann. Math. Sta-
Statist. 27. 484.
Френд, Вейл и Клюиье-Росс (Freund R. J., Vail R. W. and Clu-
nies-Ross С W.) A961), Residual analysis, /. Amer. Statist. Ass. 56, 98
(corrigenda: 1005).
Фримэи и Холтон (Freeman G. H. and Halton J. H.) A951), Note on
an exact treatment of contingency, goodness of fit and other problems of
significance, Biometrika 38, 141.
Фрэзер (Fraser D. A. S.) A950), Note on the %2 smooth test, Biometrika
37, 447.
Фрэзер (Fraser D. A. S.) A951), Sequentially determined statistically
equivalent blocks, Ann. Math. Statist. 22, 372.
Фрэзер (Fraser D. A. S.) A95.3), Nonparametric tolerance regions, Ann.
Math. Statist. 24, 44.
Фрэзер (Fraser D. A. S.) A957), Nonparametric Methods in Statistics, Wi-
Wiley, New York.
Фрэзер (Fraser D. A. S.) A961a), On fiducial inference, Ann. Math. Statist.
32, 661.
Фрэзер (Fraser D. A. S.) A961b), The fiducial method and invariance, Bio-
Biometrika 48, 261.
Фрэзер (Fraser D. A. S.) A962), On the consistency of the fiducial method,
/. Roy. Statist. Soc. B, 24, 425.
Фрэзер (Fraser D. A. S.) A963), On sufficiency and the exponential family,
/. Roy. Statist. Soc. B, 25, 115.
Фрэзер (Fraser D. A. S.) A964), Fiducial inference for location and scale
parameters, Biometrika 51, 17.
Фрэзер и Гаттмэн (Fraser D. A. S. and Guttman I.) A956), Tolerance
regions, Ann. Math. Statist '7, 162.
Фрэзер и Уормлитон (Fraser D. A. S. and Wormleighton R.) A951),
Non-parametric estimation, IV, Ann. Math. Statist. 22, 294.
Хадсон (Hudson D. J.) A966), Fitting segmented curves whose join points
have to be estimated, /. Amer. Statist. Ass. 61, 1097.
Халмош и Сэвидж (Halmos P. R. and Savage L. J.) A949), Application
of the Radon — Nikodym theorem to the theory of sufficient statistics,
Ann. Math Statist. 20, 225.
Хальд (Hald A.) A949), Maximum likelihood estimation of the parameters
of a normal distribution which is truncated at a known point, Skand.
Aktuartidskr. 32, 119.
Хаммерсли (Hammersiey. J. M.) A950), On estimating restricted para-
parameters, /. Rot/. Statist. Soc. B, 12. 192.
Харкнесс (Harkness W. L.) A965), Properties of the extended hypergeo-
metric distribution, Ann. Math. Statist. 36, 938.
Харкнесс и Катц (Harkness W. L. and Katz L.) A964), Comparison of
the power functions for the test of independence in 2X2 contingency'
tables, Ann. Math. Statist. 35, 1115.
Харли (Harley B. I.) A956), Some properties of an angular transformation
for the correlation coefficient, Biometrika 43, 219.
*) См. примечание на стр. 877.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
873
Харли (Harley В. I.) A957), Further properties of an angular transforma-
transformation of the correlation coefficient, Biometrika 44, 273.
Хартер (Harter H. L.) A960), Tables of range and studentized range, Ann.
Math. Statist. 31, 1122.
Хартер (Harter H. L.) A961a), Expected values of normal order statistics,
Biometrika 48, 151.
Хартер (Harter H. L.) A961b), Estimating the parameters of negative expo-
exponential populations from one or two order statistics, Ann. Math. Statist.
32, 1078.
Хартер (Harter H. L.) A963), Percentage points of the ratio of two ranges
and power of the associated test, Biometrika 50, 187.
Хартер (Harter H. L.) A964), Criteria for best substitute interval estima-
estimators, with an application to the normal distribution, /. Amer. Statist. Ass.
59, 1133.
Хартер и Myp (Harter H. L. and Moore A. H.) A966a), Iterative maxi-
maximum-likelihood estimation of the parameters of normal populations from
singly and doubly censored samples, Biometrika 53, 205.
Хартер и Myp (Harter H. L. and Moore A. H.) A966b), Local-maximum-
likelihood estimation of the parameters of three-parameter lognortnal po-
populations from complete and censored samples, /. Amer. Statist. Ass. 61,
842.
Хартли (Hartley H. O.) A958), Maximum likelihood estimation from in-
incomplete data, Biometrics 14, 174.
Хартли (Hartley H, O.) A964), Exact confidence regions for the parame-
parameters in non-linear regression laws, Biometrika 51, 347.
Хейес (Hayes S. P., Jr.) A943), Tables of the standard error of the tetra-
choric correlation coefficient, Psychometrika 8, 193.
Хейес (Hayes S. P., Jr.) A946), Diagrams for computing tetrachoric corre-
correlation coefficients from percentage difference, Psychometrika 11, 163.
Хёйланд (Heyland A.) A965), Robustness of the Hodges — Lehmann esti-
estimates for shift, Ann. Math. Statist. 36, 174.
Хейнэм и Говиндараджулу (Haynam G. E. and Govindarajulu Z.)
A966), Exact power of Mann — Whitney test for exponential and rectan-
rectangular alternatives, Ann. Math. Statist. 37* 945.
Хемелрейк (Hemelrijk J.) A952), A theorem on the Sign Test when ties
are present, Proc. /Cora. Ned. Akad. Wetensch. A, 55, 322.
Хеннан Э. (Hannan E. J.) A956), The asymptotic powers of certain tests
based on multiple correlations, /. Roy. Statist. Soc. B, 18, 227.
Хеннан и Тент (Hannan J. F. and Tate R. F.) A965), Estimation of the
parameters for a multivariate normal distribution when one variable is
dichotomized, Biometrika 52, 664.
Хеинан и Харкиесс (Hannan J. F. and Harkness W. L.) A963), Nor-
Normal approximation to the distribution of two independent binomial condi-
conditional on fixed sum, Ann. Math. Statist. 34, 1593.
Хил и (Healy M. J. R.) A955), A significance test for the difference in effi-
efficiency between two predictors, /. Roy. Statist. Soc. B, 17, 266.
Хнлл (Hill В. М.) A963a), The three-parameter lognormal distribution and
Bayesian analysis of a point-source epidemic, /. Amer. Statist. Ass. 58, 72.
Хилл (Hill В. М.) A963b), Information for estimating the proportions in
mixtures of exponential and normal distributions, /. Amer. Statist. Ass. 58,
918.
Хогбен, Пинкхэм и Уилк (Hogben D., Pinkham R. S. and Wilk M. B.)
A961), The moments of the non-centra! ^-distribution, Biometrika 48, 465.
Xorr (Hogg R. V.) A956), On the distribution of the likelihood ratio, Ann.
Math. Statist. 27, 529.
Xorr (Hogg R. V.) A961), On the resolution of statistical hypotheses,
J. Amer. Statist. Ass. 56, 978.
874
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
875
Хогг (Hogg R. V.) A962), Iterated tests of the equality of several distribu-
distributions, /. Amer. Statist. Ass. 57, 579.
Хогг и. Крэйг (Hogg R. V. and Craig A. T.) A956), Sufficient statistics
in elementary distribution theory, Sankhya 17, 209.
Хогг и Тейнис (Hogg R. V. and Tanis E. A.) A963), An iterated proce-
procedure for testing the equality of several exponential distributions, /. Amer.
Statist. Ass. 58, 435.
Ходжес и Лемаи (Hodges J. L., Jr. and Lehmann E. L.) A956), The
efficiency of some nonparametric competitors of the /-test, Ann. Math.
Statist. 27, 324.
Ходжес и Леман (Hodges J. L., Jr. and Lehmann E. L.) A961), Com-
Comparison of the normal scores and Wilcoxon tests, Proc. 4th Berkeley
Symp. Math. Statist, and Prob. 1, 307.
Ходжес и Леман (Hodges J. L., Jr. and Lehmann E. L.) A963), Esti-
Estimates of location based on rank tests, Ann. Math. Statist. 34, 598.
Холдейн (Haldane J. B. S.) A939), The mean and variance of x2 when
used as a test of homogeneity, when expectations are small, Biometrika
31, 346.
Холдейн (Haldane J. B. S.) A945), On a method of estimating frequencies,
Biometrika 33, 222.
Холдейи (Haldane J
265.
Холдейн (Haldane J.
B. S.) A955a), Substitutes for x2. Biometrika 42,
as a test
В. S.) A955b), The rapid calculation of
of homogeneity from a 2 X « table, Biometrika 42, 519.
Холдейн и Смит (Haldane J. В. S. and Smith S. M.) A956), The
sampling distribution of a maximum-likelihood estimate, Biometrika 43,
96.
Холл, Вейсмаи и Гхош (Hall W. J., Wijsman R. A. and Ghosh J. K.)
A965), The relationship between sufficiency and invariance with applica-
applications in sequential analysis, Ann. Math. Statist. 36, 575.
Хора и Бюлер (Нога R. В. and Buehler R. J.) A966), Fiducial theory
and invariant estimation, Ann. Math. Statist. 37, 643.
Хотеллинг (Hotelling H.) A940), The selection of variates for use in
prediction, with some comments on the general problem of nuisance para-
parameters, Ann. Math. Statist. 11, 271.
Хотеллинг (Hotelling H.) A953), New light on the correlation coefficient
and its transforms, /. Roy. Statist. Soc, B, 15, 193.
Хотеллинг (Hotelling H.) A961), The behaviour of some standard statisti-
statistical tests under nonstandard conditions, Proc. 4th Berkeley Symp. Math.
Statist, and Prob. 1, 319.
Хотеллинг и Пэбст (Hotelling H. and Pabst M. R.) A936), Rank cor-
correlation and tests on significance involving no assumptions of normality,
Ann. Math. Statist. 7, 529.
Хоул (Hoel P. G.) A951), Confidence regions for linear regress-ion, Proc.
2nd Berkeley Symp. Math. Statist, and Prob., 75.
Хубер (Huber P. J.) A964), Robust estimation of a location parameter, Ann.
Math. Statist. 35, 73.
Хузурбазар (Huzurbazar V. S.) A948), The likelihood equation, consi-
consistency and the maxima of the likelihood function, Ann. Eugen. 14, 185.
Хузурбазар (Huzubazar V. S.) A949), On a property of distributions
admitting sufficient statistics, Biometrika 36, 71.
Хузурбазар (Huzurbazar V. S.) A955), Confidence intervals for the pa-
parameter of a distribution admitting a sufficient statistic when the range
depends on the parameter, /. Roy. Statisti. Soc. B, 17, 86.
Хукер (Hooker R, H.) A907), Correlation of the weather and crops, J. Roy.
Statist. Soc. 70, 1.
Хэджнэл (Hajnal J.) A961), A two-sample sequential ^-test, Biometrika
48, 65.
Хэмдэн (Hamdan M. A.) A963), The number and width of classes in the
chi-square test, /. Amer. Statist. Ass. 58, 678.
Хюрениус (Hyrenius H.) A950), Distribution of «Student» — Fisher's t in
samples from compound normal functions, Biometrika 37, 429.
Чаи да (Chanda К. С.) A963), On the efficiency of two-sample Mann —
Whitney test for discrete populations, Ann. Math. Statist. 34, 612.
Чандлер (Chandler K. N.) A950), On a theorem concerning the secondary
subscripts of deviations in multivariate correlation using Yule's notation,
Biometrika 37, 451.
Чепмэн (Chapman D. G.) A950), Some two sample tests, Ann. Math. Sta-
Statist. 21, 601.
Чепмэи (Chapman D. G.) A956), Estimating the parameters of a truncated
Gamma distribution, Ann. Math. Statist. 27, 498.
Чепмэн и Роббинс (Chapman D. G. and Robbins H.) A951), Minimum
variance estimation without regularity assumptions, Ann. Math. Statist.
22, 581.
Чернов (Chernoff H.) A949), Asymptotic studentization in testing of hypo-
hypotheses, Ann. Math. Statist. 20, 268.
Чернов (Chernoff H.) A951), A property of some Type A regions, Ann.
Math. Statist. 22, 472.
Чернов (Chernoff H.) A952), A measure of asymptotic efficiency for tests
of a hypothesis based on the sum of observations, Ann. Math. Statist. 23,
493.
Чернов, Гастверт и Джонс (Chernoff H., Gastwirth J. L. and
Johns M. V., Jr.) A967), Asymptotic distribution of linear combinations
of functions of order statistics with applications to estimation, Ann. Math.
Statist. 38, 52.
Чернов и Леман (Chernoff H. and Lehmann E. L.) A954), The use of
maximum likelihood estimates in %2 tests for goodness of fit, Ann. Math.
Statist. 25, 579.
Чернов и Сэвидж (Chernoff H. and Savage I. R.) A958), Asymptotic
aormality and efficiency of certain non-parametric test statistics, Ann.
Math. Statist. 29, 972.
Чипмэн (Chipman J. S.) A964), On least squares with insufficient observa-
observations, /. Amer. Statist. Ass. 59, 1078.
Чоу, Роббинс и Тейчер (Chow Y. S., Robbins H. and Teicher H.)
A965), Moments of randomly stopped sums, Ann. Math. Statist, 36, 789.
Шапиро и Уилк (Shapiro S. S. and WOk M. B.) A965), An analysis of
variance test for normality (complete samples), Biometrika 52. 591.
Шах Б. (Shah В. К.) A966), On the bivariate moments of order statistics
from a logistic distribution, Ann. Math. Statist. 37, 1002.
Шах (Shah S. M.) A961), The asymptotic variances of method of moments
estimates of the parameters of the truncated binomial and negative bino-
binomial distributions, /. Amer. Statist. Ass. 56, 990.
Шах (Shah S. M,) A966), On estimating the parameter of a doubly truncated
binomial distribution, /. Amer. Statist. Ass. 61, 259.
Шентон (Sherrton L. R.) A949), On the efficiency of the method of mo-
moments and Neyman's Type A contagious distribution, Biometrika 36, 450.
Шентои (Shenton L. R.) A950), Maximum likelihood and the efficiency of
the method of moments, Biometrika 37, 111.
Шентон (Shenton L. R.) A951), Efficiency of the method oi moments and
the Gram — Charlier Type A distribution, Biometrika 38, 58.
Шентон и Боумэи (Shenton L. R. and Bowman K.) A963), Higher
moments of a maximum-likelihood estimate, /. Roy. Statist. Soc. B, 25, 305.
876
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Шеффе (Scheffe H.) A942a), On the theory of testing composite hypotheses
with one constraint, Ann. Math. Statist. 13, 280.
Шеффе (Scheffe H.) A942b), On the ratio of the variances of two normal
populations, Ann. Math. Statist. 13, 371.
Шеффе (Scheffe H.) A943a), On solutions of the Behrens — Fisher problem
based on the /-distribution, Ann. Math. Statist. 14, 35.
Шеффе (Scheffe H.) A943b), On a measure problem arising in the theory
of non-parametric tests, Ann. Math. Statist. 14, 227.
Шеффе (Scheffe H.) A944), A note on the Behrens — Fisher problem, Ann.
Math. Statist. 15, 430.
Шеффе (Scheffe H.) A958), Fitting straight lines when one variable is
controlled, /. Amer. Statist. Ass. 53, 106.
Шеффе и Тыоки (Scheffe H. and Tukey J. W.) A945), Non-parametric
estimation: I. Validation of order statistics, Ann. Math. Statist. 16, 187.
Шойер и Спёрджеи (Scheuer E. M. and Spurgeon R. A.) A963), Some
percentage points of the noncentral /-distribution, J. Amer. Statist. Ass.
58, 176.
Эдварде (Edwards A. W. F.) A963), The measure of association in a
2X2 table, /. Roy. Statist. Soc. A, 126, 109.
Эзекиел и Фокс (Ezekiel M. J. В. „and Fox К. А.) A959), Methods of
Correlation and Regression Analysis:" Linear and Curvilinear, Wiley, New
York.
Эйзенхарт (Eisenhart C.) A938), The power function of the %г test, Bull.
Amer. Math. Soc. 44, 32.
Эймос (Amos D. E.) A964), Representation of the central and non-central t
distributions, Biometrika 51, 451.
Эйткии (Aitken A. C.) A933), On the graduation of data by the orthogonal
polynomials of least squares, Proc. Roy. Soc. Edin. A, 53, 54.
On fitting polynomials to weighted data by least squares, Ibid., 54, 1.
On fitting polynomials to data with weighted and correlated errors, Ibid.,
54, 12.
Эйткин (Aitken A. C.) A935), On least squares and linear combination of
observations, Proc. Roy. Soc. Edin. A, 55, 42.
Эйткин (Aitken A. C.) A948), On the estimation of many statistical para-
parameters, Proc Roy. Soc. Edin. A, 62, 369.
Эйткин и Силверстоун (Aitken А. С. and Silverstone H.) A942),
On the estimation of statistical parameters, Proc. Roy. Soc. Edin. A, 61,
186.
Э л лисой (Ellison В. Е.) A964), On two-sided tolerance intervals for a nor-
normal distribution, Ann. Math. Statist. 35, 762.
Эль-Бадри и Стефан (El-Badry M. A. and Stephan F. F.) A955), On
adjusting sample tabulations to census counts, /. Amer. Statist. Ass. 50,
738.
Эндрюс (Andrews F. C.) A954), Asymptotic behaviour of some rank tests
for analysis of variance, Ann. Math. Statist. 25, 724.
Энскомб (Anscombe F. J.) A949a), Tables of sequential inspection schemes
to control fraction defective, J. Roy. Statist. Soc. A, 112, 180.
Энскомб (Anscombe F. J.) A949b), Large-sample theory of sequential
estimation, Biometrika 36, 455.
Энскомб (Anscombe F. J.) A950), Sampling theory of the negative bino-
binomial and logarithmic series distributions, Biometrika 37, 358.
Энском б (Anscombe F. J.) A952), Large-sample theory of sequential esti-
"" ' Phil. Soc. 48, 600.
F. J.) A953), Sequential estimation, /. Roy. Statist.
niation, Proc. Camb.
Энскомб (Anscombe
Soc. B, 15, 1.
Энскомб (Anscombe
123.
F. J.) A960), Rejection of outliers, Technometrics 2,
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
877
Энскомб и Пейдж (Anscombe Г. J. and Page E. S.) A954), Sequential
tests tor binomial and exponential populations, Biometrika 41 952
Эпстейн (Epstein B.) A954), Truncated life tests in the exponential case
Ann. Math. Statist. 25, 555.
Эпстейн и Собел (Epstein В. and Sobel M.) A953) Life testing
J. Amer. Statist. Ass. 48, 486. '
Эпстейн и Собел (Epstein В. and Sobel M.) A954), Some theorems
relevant to life testing from an exponential distribution, Ann. Math Sta-
Statist. 25, 373.
Юл (Yule G. U.) A900), On the association of attributes in statistics Phil
Trans. A, 194, 257.
.Юл (Yule G. U.) A907), On the theory of correlation for any number of va-
variables treated by a new system of notation, Proc. Roy. Soc. A, 79, 182.
Юл (Yule G. U.) A912), On the methods of measuring association between
two attributes, J. Roy. Statist. Soc. 75, 579.
Юл (Yule G. U.) A926), Why do we sometimes get nonsense-correlations
between time-series? — A study in sampling and the nature of time-series
/. Roy. Statist. Soc. 89, 1.
Янг и Пирсон (Young A. W. and Pearson K.) A915, 1919), On the pro-
probable error of a coefficient of contingency without approximation- and
Peccavimusl, Biometrika 11, 215 and 12, 259.
ПРИМЕЧАНИЕ. Работы А. Вальда, К. Пирсона и Р. Фишера, отмечен-
отмеченные звездочкой, воспроизведены в следующих сборниках:
R. A. Fischer, Contributions to Mathematical Statistics, Wilev, New York, 1950.
Karl Pearson's Early Statistical Papers, Cambridge Univ. Press, London, 1948.
Selected Papers in Statistics and Probability by Abraham Wald, McGraw-Hill,
New York, 1955; reprinted by Stanford Univ. Press, 1957.
УКАЗАТЕЛЬ
Александер (Alexander M. J.), таблицы не-
нецентрального г-распределения 342
Аллан (Allan F. Е.), ортогональные поли-
полиномы 479
Аллеи (Allen H. V.). линейность регрес-
регрессии 553
Альтернатива различия в масштабе (scale-
shift alternative) 674
Альтернативная гипотеза (alternative hypo-
hypothesis) (Hi) см. Гипотезы статистические
Андерсен (Andersen S. L.). устойчивость
622
Андерсон (Anderson T. W.). НК-оценки и
МД-оценки 116; контролируемые пере-
переменные 545; критерии согласия 604;
эффективность ПКОВ 814
АОЭ (ARE) см. Асимптотическая, относи-
относительная эффективность
Арбетнот (Arbuthnot J.), первое использо-
использование критерия знаков 687, сяоска
Армитедж (Armitage P.). критерии для
тренда в вероятностях 774; дисперсион-
дисперсионный критерий X2 для расслоенной сово-
совокупности 776; последовательные крите-
критерии 810, 819, 826
Армсен (Armsen P.), таблицы точного кри-
критерия независимости в таблицах 2X2 741
Арнольд (Arnold H. J.), мощность крите-
критерия симметрии Вилкоксона 681
Ариольд К. (Arnold К. J.), таблицы после-
последовательного 2-критерия 819
Асимптотическая относительная эффектив-
эффективность (АОЭ) (asymptotic relative effi-
efficiency (ARE)) 355—372; определение 357;
АОЭ и производные функции мощности
359—364; критерии, которые не могут
быть сравнены с помощью АОЭ 358, 362;
АОЭ и максимальная потеря мощности
364—366; АОЭ и эффективность оценива-
оценивания 367; АОЭ и корреляция 367—368,
(упражнение 25.9) 372; случаи не нормаль-
нормальных распределений 368—369.
Асковиц (Askovitz S. I.), графическая под-
подгонка линии регрессии (упражнение 28.19)
497
Аспин (Aspin А. А.), таблицы для задачи
о двух средних 202
Байере (Byars В. J.), таблицы нецентраль-
нецентрального i-распределения 342
Байесовские интервалы (Bayesian inter-
intervals) 205—207; критическое обсуждение
207—211; б.и. и фндуциальная теория
211—216; б. и. я доверительные интер-
интервалы 215
Балмер (Buhner H. G.), доверительный
интервал для параметра «удаленности»
751
Банерджи (Banerjee К. S.), оценивание
линейной связи 539
Баранкин (Barankin E. W.), границы для
дисперсии 33; достаточность 48; мини-
минимальная достаточность 260, сноска
Барнард (Barnard Q. А.), оптимальные
свойства метода НК 115, сноска; частот-
частотное обоснование фндуциального вывода
215; модели для таблиц 2x2 736; после-
последовательные методы 592
Барнетт (Barnett V. D.), итерационное
решение уравнения МП 76—77; оценива-
оценивание параметра сдвига распределения
Кошн 77
Барр (Barr D. R.) проверка гипотез для
нерегулярных распределений 321
Барткн (Bartky W,), обследование с заме-
заменой всех дефектных изделий годными
810
Бартлетт (Bartlett M. S.), приближенные
доверительные интервалы 156, 175; услов-
условное распределение в задаче о двух сред-
средних (упражнение 21.10) 218; достаточ-
достаточность и подобные области 254; квазидо-
квазидостаточность 292; аппроксимации распре-
распределения статистики ОП 313; модифика-
модификация статистики ОП (пример 24.4) 316;
условная х. ф. 426; поправка в меюде
НК при появлении дополнительного на-
наблюдения (упражнение 28.20) 497; оцени-
оценивание функциональной зависимости 538—
539, (упражнение 29.11) 555; устойчивость
623—625; взаимодействия в таблицах с
несколькими входами 781
Бартоломью (Bartholomew D. J.), эффек-
эффективность ^-выборочных критериев 678
Бартон (Barton D. ЕЛ, «гладкие» критерии
согласия 596—602
Басу (Basu А. Р.), выпадающие наблюде-
наблюдения для экспоненциальных распределе-
распределений 711
Басу Д. (Basu D.), достаточность, полнота
н независимость (упражнение 23.7) 296
Бахадур (Bahadur R. R.), эффективность 70;
неединственность МП-оцеиок (упражне-
(упражнение 18.35) 108
Бейтмэн (Bateraan Q. I.), нецентральные
нормальные величины с ограничениями
(упражнение 24.2) 346
Белл (Bell С. В.), критерии, использующие
случайные нормальные отклонения 653
Беннетт (Bennett В. М.), критерии незави-
независимости в таблицах 2X2 741, 743
Беисон (Benson F.). оценивание с помощью
двух наилучших порядковых статистик
(упражнение 32.14) 715
Берджер (Berger А.), сравнение таблиц
2X2 743
Береис (Behrens W. V.), фидуцнальное ре-
решение задачи о двух средних 204
Берксон (Berkson J.). выборочные экспе-
эксперименты для исследования НАН-оценок
136; выбор размера критерия 246; кон-
контролируемые переменные 544
УКАЗАТЕЛЬ
879
Бёрмэн (Burman J. P.), последовательный
выбор 807
Бернштейн С. Н., характеризация двумер-
двумерной нормальности 471 (сноска)
Бёрч (Birch M. W.), МП-оценка структур-
структурной зависимости 509, (упражнение 29.18)
557; предельное распределение величины
X2 567; таблицы с несколькими входами
781
Беспорядок (disarray) 640
Бикел (Bickel P. J.) устойчивость и эффек-
эффективность оценок параметра сдвига 627,
705
Биномиальное распределение (binomial
distribution), несмещенное оценивание
квадрата параметра 9 (пример 17.4) 20;
МГД для 9 (пример 17.9) 26; оценивание
9A — 9) (пример 17.11) 31; несмещенное
оценивание функций от в (упражнение
17.12) 55; оценивание линейной зависи-
зависимости между функциями от параметров
независимых биномиальных распределе-
распределений (упражнение 17.25) 57; смещенная
МП-оцеика при последовательном вы-
выборе (упражнение 18.18) 104; эквивалент-
эквивалентность МП- и МХК-оценОк (упражнение
•19.15) 138; доверительные интервалы
(пример 20.2) 146, 162—164, (упражнение
20.8) 180; таблицы и графики для дове-
доверительных интервалов 162; доверительные
интервалы для отношения двух бино-
биномиальных параметров (упражнение 20.9)
180; прогноз с помощью байесовского
и доверительного методов 215; фи-
дуциальные интервалы (упражнение
21.3) 216; проверка простой гипотезы Н„
о параметре 9 (упражнение 22.2) 247, 285;
минимальная достаточность (упражнение
23.11) 297; урезание 707; критерий одно-
однородности (дисперсионный) 774—775 (уп-
(упражнения 33.21, 33.22), 787; обратный по-
последовательный выбор (примеры 34.1—
34.7) 792—807, (упражнения 34.1—34.3)
827—828; МГД прн последовательном
оценивании (пример 34.11) 821; двойной
выбор (упражнение 34.17), 831; см. Кри-
Критерий' знаков
Бирноаум (Birnbaum Z. W.), табулирова-
табулирование критерия Колмогорова 64; односто-
односторонний критерий согласия 613, 616; вы-
вычисление статистики Колмогорова (при-
(пример 30.6) 616—617
Бирнбаум A. (Birnbaum А.), принципы
условности и правдоподобия 293; логи-
логистические порядковые статистики (упраж-
(упражнение 32.12) 714; двойная выборка 826
Бисериальная корреляция (blserial correla-
correlation) 411—416, (упражнения 26.5, 26.10—
26.12) 418—420
Битти (Beatty Q. Н.), таблицы толерант-
толерантных границ для нормального распреде-
распределения 178
Блейлок (Blalock Н. М„ Jr.), интерпрета-
интерпретация мер X3 752
Блекуэлл (Blackwell D.), достаточность и
МД-оценивание 44; последовательный вы-
выбор 806; решающие функции 827
Блнсс (Bliss С. I.), выпадающие наблю-
наблюдения 710
Блит (Blyth С. R.) таблицы доверительных
интервалов для биномиального и пуас-
соновского распределений 165
Блом (Blom G.), методы для логистиче-
логистического распределения (упражнение 18 29)
107; простое оценивание в цензурирован-
ных выборках 703; асимптотическая МГД
(упражнении 32.8—32.11) 713—714
Бломквист (Blomqvist N.), АОЭ критериев
360; критерий срединной корреляции
(упражнение 31.7) 683
Блоч (Bloch D.), оценивание параметра
сдвига распределения Коши 77
Блюм (Blum J. R.), распределение крите-
критерия Гефдинга 647
Бозе (Возе R. С), совместные довери-
доверительные интервалы 175
Бокс (Box Q. Е. Р.), аппроксимации рас-
распределения статистики ОП 314- устойчи-
устойчивость 622, 626
Боукер (Bowker A. H.), таблицы для толе-
толерантных границ 178; аппроксимации ?о-
лерангных границ (упражнения 20.20--
20.22) 182; критерий полной симметрии в
таблицах г X г (упражнение 33.23) 788
Боумэн (Bowman K-), семиинварианты
МП-оценок 75
Браун (Brown G. W.), критерий случайно-
случайности, основанный на медиане (упражне-
(упражнение 31.12) 684
Браун Л. (Brown L.), достаточные стати-
статистики 46
Браун М. (Brown M. В.), задача о двух
средних 201
Браун P. (Brown R. L.), данные о функ-
функциональной зависимости (пример 29.1)
518; доверительные интервалы для функ-
функциональных зависимостей 521—522; ли-
линейные функциональные зависимости в
случае нескольких переменных 526.
(упражнения 29.6—29.8) 554—555
Бриллииджер (Brillinger D. R.), устране-
устранение смещения МП-оценок 67; фидуциаль-
ные парадоксы 212; максимальная кор-
корреляция между метками и порядковыми
статистиками 653
Бросс (Bross I. D. J.), графики для кри-
критерия независимости в таблицах 2X2 741
Брэнднер (Brandner F. А.), МП-оценки и
критерии ОП для параметров корреля-
корреляции двумерных нормальных распределе-
распределений (упражнения 26.19—26.22) 421—422
Бхаттачарджи (Bhattacharjee Q. Р.), отсут-
отсутствие нормальности и критерий Стейна
826
Бхаттачария (Bhattacharyya А.), нижняя
граница для диспеосии 28; ковариация
между МГД-оценкой н несмещенными
оценками ее семиинвариантов (упражне-
(упражнение 17.4) 54; характеризация двумерной
нормальности (упражнения 28.7—28.11) 494
Бхучоигкул (Bhuchongkul S.), критерии
независимости 652
Бьенэме — Чебышева неравенство (Bienay-
me — Tchebycheff inequality) и состоя-
состоятельное оценивание (пример 17.2) 17
Бюлер (Buehler R. J.), фидуциальные вы-
выводы 212
Вайьберг (Weisberg А.), таблицы толе-
толерантных интервалов для нормального
распределения 178
Вальд (Wald А.), состоятельность МП-
оценок 65; асимптотическая нормальность
МП-оценок 83; толерантные интервялы
для нормального распределения Г*6—
178; задача о двух средних 202; асимпто-
асимптотическое распределение статистики НК
310; состоятельность критерия 322, 351:
асимптотические свойства критерия ОП
330; оптимальное свойство критерия
ОП для линейной гипотезы 344; асимп-
асимптотически наиболее мощные критерии
УКАЗАТЕЛЬ
353; оценивание функциональной зави-
зависимости 533—535, (упражнения 29.4—
29.5) 554; выбор классов для критерия
согласия X2 576, 583—587; несмещенность
критерия согласия X2 580; односторон-
односторонний критерий согласия 612; дисперсия
статистики X2 (упражнение 30.3) 618;
критерий серий (упражнение 30.8) 619,
673; толерантные области 698; последо-
последовательные методы 801—806, 812, 815—816,
(упражнения 34.3—34.4, 34.7, 34.11—34.13,
34.18—34.19) 828—831
Ван дер Ваарт (Van der Vaart H. R.), кри-
критерий Внлкоксона для двух выборок 664,
667
Ваи дер Варден (Van der Waerden В. L.),
критерий для двух выборок 674
Ван Изерен (Van Yzeren J.), оценивание
функциональной зависимости 539
Ван Эден (Van Eeden С), состоятельность
масштабных критериев 674
Ватсои (Watson G. S.), задача о двух
средних (пример 23.10) 268; неполнота и
подобные области (упражнение 23.15) 297;
распределение критерия согласия X2 567,
(упражнение 30.2) 618; выбор классов для
критерия согласия Xй 602; видоизменение
критерия Смирнова 605
Вейсман (Wijsman R. А.), инвариантность
и достаточность 344, 819
Вероятностное интегральное преобразова-
преобразование (probability Integral transformation),
в критериях согласия 592, 603, (упражне-
(упражнение 30.10) 620
Взаимодействия (interactions), в таблицах
с несколькими входами 781
Взаимозависимость (interdependence)
373—374
Вииер (Wiener N.), полнота для парамет-
параметра сдвига 255
Винзорнзованные оценки (winsorized esti-
estimators) 704, 710
Внлснский (Wilenski П.), доверительные
грвницы для пуассоновского распределе-
распределении 163
Вилкоксои (Wilcoxon F.), критерий для за-
задачи двух выборок 660
Вилкоксона критерий (Wilcoxon test), 661—
667, 673, 674; АОЭ (упражнения 25.3—25.4)
371, 664—667, (упражнения 31.14—31.19,
31.22—31.24) 685—686; для симметрии 681,
(упражнение 31.25) 686; обобщение на
цензурированные выборки 707; для груп-
группы выпадающих наблюдений 712
Виллегас (Villegas С), линейные функ-
функциональные зависимости в случае не-
нескольких переменных 526
Внутриклассовая корреляция (intra-class
correlation) 403—407, (упражнение 26.14)
420—421; в многомерном нормальном слу-
случае (упражнение 27.17) 459
Волфовиц (Wolfowitz J.), пример, когда
МП-оценка не существует (упражнение
18.34) 108; толерантные интервалы для
нормального распределения 176—178; со-
состоятельность критерия 322, 351; опти-
оптимальные свойства критерия ОП для ли-
нейной гипотезы 343; состоятельность
МП-оценок 514. 517; односторонний кри-
критерий согласия 612; сравнение критерия
X2 и критерия Колмогорова 615; крите-
критерии нормальности 618; критерий серий
(упражнение 30.8) 619, 674; последова-
последовательное оценивание 820—821 (упражнение
34.6) 828
Вотоу (Votaw D F.. Ji), урезание и цен-
цензурирование для экспоненциального
распределения 705, (упражнение 32.16)
715
Вспомогательные статистики (ancillary
statistic») 292
Вудворд (Woodward J.), урезанное нор-
нормальное распределение 703
Выборочная дисперсия (sampling variance),
как критерий качества оценки 21; см.
Минимальной дисперсии оценки
Выборочная ф. p. (sample d. f.) 602—603
Выпадающие наблюдения (outlying obser-
observations) 707—710, (упражнение 32.21)
716—717
Вырожденная матрица (singular matrix),
псевдообратная к ней (упражнение
27.21) 460
Габриел (Gabriel К- R), многократные
сравнения в таблицах гХс 752
Гаек (Hajek J.), задача о двух средних
201
Гальперин (Halperin M.), доверительные
интервалы для нелинейных функций 175
(упражнение 28.3) 493; линейная функ-
функциональная зависимость 540; МП-оцени-
МП-оценивание в цензурированных выборках 7Q2,
(упражнение 32.15) 715; урезанное нор-
нормальное распределение 704; доверитель-
доверительные интервалы для цензурированных вы-
выборок 707; критерий Вилкоксона для цен-
цензурированных выборок 707; таблицы для
стьюдентизованного максимального абсо-
абсолютного отклонения 710
Гальтои (Galton F.), данные о цвете глаз
(пример 33.2) 726
Гамбел (Gumbel E. J.), выбор групп для
критерия согласия X2 576
Гамильтон (Hamilton M.), номограмма для
тетрахорической корреляции 410
Гамильтон П. (Hamilton P. А.), таблицы
доверительных интервалов для нормаль-
нормальной дисперсии 163
Гамма-распределение (Gamma distribu-
distribution), МГД-оценивание масштабного пара-
параметра (упражнение 17.1) 53; свойства до-
достаточности (упражнение 17.9) 54; оцени-
оценивание нижней границы (упражнение 17.22)
56; МП-оцеиивание параметров сдвига и
масштаба (пример 18.17) 96; эффектив-
эффективность метода моментов (пример 18.18) 98;
доверительные интервалы для масштаб-
масштабного параметра (упражнение 20.1) 179;
фидуциальные интервалы для масштаб-
масштабного параметра (пример 21.2) 187; рас-
распределение лниейной функции от гамма-
величии (упражнение 21.8) 217; отсут-
отсутствие подобных областей (упражнение
23.2) 295; полнота и характеризацня
(упражнение 23.27) 299; связь с прямо-
прямоугольным распределением 317—318; АОЭ
критерия Вилкоксона (упражнение 31.18)
685; урезание и цензурирование 706
Гарвуд (Garwood F.), таблицы доверитель-
доверительных интервалов для параметра пуассо-
иовского распределения 163
Гарднер (Gardner R. S.), таблицы довери-
доверительных границ для параметра пуассо-
пуассоновского распределения 163
Гастверт (Gastwirth J. L.), устойчивость
627- эффективное оценивание с помощью
порядковых статистик 703; МД-оценки и
ранговые критерии 703; ранговые крите-
критерии для цензурированных выборок 707
Гаттмэн (Guttman I.), толерантные интер-
интервалы 17И . .
УКАЗАТЕЛЬ
881
Гаусс (Gauss С), создатель теории НК
115. 118
Гафариан (Gafarian A. V.). доверитель-
доверительные области для линий регрессии 493
Гейеи (Gayen A. K-), исследования устой-
устойчивости 623—627, 676
Гейссер (Gei'.ser S.), фидуциальные выво-
выводы 215
Геитер (Guenther W. С), несмещенные
критерии для дисперсии нормального
распределения 286
Гёрлэид (Gurland J.), оценивание в рас-
распределениях Неймана типа А н отрица-
отрицательно-биномиальном (упражнение 18.28)
107; оценивание функциональных и струк-
структурных зависимостей 511, 543
Гест (Guest P. G.), ортогональные поли-
полиномы 480
Гёфдинг (Hoeffding W.), эффективность
критериев ОП и У2 в мультиномиальных
выборках 370, 588; нормальное распреде-
распределение и распределение перестановок 636;
совместное распределение ранговых кор-
корреляций 644; критерий независимости 647:
оптимальные свойства критериев, исполь-
использующих нормальные метки 652, 668;
асимптотическое распределение матема-
математических ожиданий порядковых стдти-
стик 652; распределение критерия Вил-
Вилкоксона 663
Гехаи (Gehan E. А.), критерий Вилкоксона
для цензурираваниых выборок 707
Гиббоне (Gibbons J. D.), отсутствие нор-
нормальности и критерий знаков 690
Гибсон (Gib3on W. М.), оценивание функ-
функциональной зависимости 539
Гилби (Gilby W, Н.), данные об обеспе-
обеспеченности и интеллекте (пример 33.7) 747
Гилфорд (Guilford J. P.), тетрахорическая
корреляция 410
Гипергеометрическое распределение (hy-
pergeometric distribution), обратный
выбор 795
Гипотезы (hypotheses) статистические 219,
245—246; параметрические и непараметри-
непараметрические 220; простые и сложные 221: сте-
степени свободы, ограничения 221; крити-
критические области и альтернативные гипо-
гипотезы 221—223; нулевая гипотеза 222, снос-
сноска; см. Критерии для проверки гипотез
Гири (Geary R. С), «близость» оценки 22;
асимптотическая минимизация обобщен-
обобщенной дисперсии МП-оценками 86; функ-
функциональные и структурные зависимости
526, 546, 550, (упражнения 29.2, 29.15)
554, 556; проверка нормальности 617;
устойчивость 622—625
Гиршик (Girshick M. А.), решающие функ-
функции 827; последовательный анализ
(упражнения 34.8, 34.9, 34.20) 829, 831
«Гладкие» критерии согласия («3mooth»
tests of fit) 593—602
Гласе (Glass D. V.), критерий Дёрбнна
о диагональной пропорциональности в
таблицах гхг (упражнение 33.25) 78S
Гнанадесикан (Gnanadesikan M.), логисти-
логистические оценки (упражнение 18.29) 107;
цензурированные гамма-выборкн 706
Говиндараджулу (Govindarajulu Z.), мощ-
мощность критерия Вилкоксона 667; библи-
библиография по испытаниям на долговечность
705; цеизурированное двойное экспонен-
экспоненциальное распределение 706
Годэмб (Godambe V. Р.), обобщение МГД
(упражнение 18.32) 108
Голдбергер (Goldberger A. S.), двухэтап-
ный метод НК (упражнение 28.24) 499
Голдмэн (Goldman A. S.), двойной выбои
826
Гохеен (Goheen H. W.), тетрахорическая
корреляция 410
Гоэн (Goen R. L-), урезанное пуассонов-
ское распределение 706, (упражнение
32.19) 716
Граббс (Grubbs F. F.), критерии для вы-
выпадающих наблюдений 710
Грама-Шарлье ряды (Gram-Charlier re-
ries), типа А, эффективность метода мо-
моментов (упражнение 18.28) 107
Гранди (Grundy P. M), группированные
урезанные и цеизурированные нормаль-
нормальные данные 703
Грейбилл (Graybill F. А.), квадратичные
формы от нецентральных нормальных ве-
величин 308; двойной выбор для оценива-
оценивания нормальной дисперсии 826
Гринберг (Greenberg В. G.), порядковые
статистики 687; цеизурированные выбор-
выборки 704, 706, (упражнение 32.25) 718
Гринвуд (Grenwood M.), данные о привив-
прививке (пример 33.1) 722
Гринхауз (Greenhouse S. W.), таблицы
стьюдентизованного максимального аб-
абсолютного отклонения 710
Группировка (grouping), поправки для
МП-оценок (упражнения 18.24—18.25)
105—106; для инструментальных перемен-
переменных 532—540, 549; урезанные и цензури~
рованные данные 703^705
Гудмэн (Goodman L. А.), толерантные ин-
интервалы 698; связи в категоризованных
данных 730, 752, 757—758, (упражнение
33.11) 784; таблицы 2X2 744; взаимодей-
взаимодействия в таблицах с несколькими входа-
входами 781
Гупта (Gupta S. S.), оценки параметров
логистического распределения (упраж-
(упражнение 18.29) 107; логистические порядко-
порядковые статистики (упражнение 32.12) 714
Гхош (Ghosh J. К.), полнота 255; инва-
инвариантность и достаточность 344, 819
Дадмзн (Dudraan J.), логистические по-
порядковые статистики (упражнение 32.12)
Даниэле (Daniels H. E.), асимптотическая
нормальность и эффективность МП-оце-
МП-оценок 69; неединственность МП-оцеиок
(упражнение 18.33) 108; минимизация
обобщенной дисперсии НК-оценками
118; оценивание функции от нормального*
коэффициента корреляции 393; коэффи-
коэффициенты корреляции и беспорядок 640, 754;
совместное распределение ранговых кор-
реляпнй 644, (упражнение 31.6) 683; тео-
теорема о корреляциях (упражнение 31.3)
683
Данциг (Dantzig G. В.), отсутствие кри-
критерия для нормального среднего с мощ-
мощностью, не зависящей от неизвестной
дисперсии 265
Дар (Dar S. N.), отношение нецентраль-
нецентральных F-величин 341
Дарлинг (Darling D. А.), критерии согла-
согласия 605, 616; распределение отношения
между суммой и экстремальным значе-
значением 710—711
Дармуа (DarmOis G.), достаточность 46, 48
Дауитон (Downton F.), порядковое оце-
оценивание НК 126; распределение экстре-
экстремальных значений 706
Двойная выборка (double sampling) 810,
824—826, (упражнения 34.15—34.17) 830—831
¦ящщ:-'
ti
882
УКАЗАТЕЛЬ
УКАЗАТЕЛЬ
883
Двойное экспоненциальное (Лапласа) рас:
пределенне (double exponential (Laplace)
distribution), МП-оценка среднего (при-
(пример 18.7) 70; как альтернатива при про-
проверке нормальности (пример 22.5) 229;
критерий знаков, асимптотически наибо-
наиболее мощный для параметра сдвига
(упражнение 32.5) 713
Двумерное нормальное распределение (Ы-
variate normal distribution), МП-оценка
коэффициента корреляции Q (пример 18.3)
62; неопределенность МП-оценки для
функции от Q (пример 18.4) 66; асимпто-
асимптотическая дисперсия для р (пример 18.6)
70; МП-оценки различных комбинаций
параметров (пример 18.14) 87; (пример
18.15) 89; (упражнения 18.11—18.14) 103;
графики доверительных интервалов для
Q 164; доверительные интервалы для от-
отношения дисперсий (упражнение 20.19)
¦ 182; мощности критериев для Q (пример
22.7) 233; совместная х. ф. квадратов
случайных величии (пример 26.1) 379;
линейная регрессия для квадратов слу-
случайных величин (пример 26.3) 381, (при-
(пример 26.5) 382; оценивание коэффициен-
коэффициента Q 392—394; доверительные интервалы
и критерии для q 394—395; критерии не-
независимости и регрессионные критерии
395—396; корреляционные отношения
(пример 26.8) 398; регрессии линейные,
гомоскедастнческие (упражнение 26.2)
418. (пример 28.1) 465; оценивание Q, ко-
когда исходное распределение дихотомизи-
ровано (упражнения 26.3—26.4) 418; рас-
распределение коэффициента регрессии
(упражнение 26.9) 419; МП-оценка в би-
сериальиом случае (упражнения 26.10—
26.12) 419—420; критерий ОП для Q
(упражнение 26.15) 421; МП-оценка и кри-
критерии ОП для коэффициента корреляции,
общего для двух распределении (упраж-
(упражнения 26.19—26.22) 421—422; совместное
распределение суммы квадратов (пример
28.2) 466; характеризации 469—471,
(упражнения 28.7—28.11) 494; устойчи-
устойчивость критериев для Q 627; эффектив-
эффективность критериев независимости 633—635,
644—647; эффективность критериев для
регрессии 649—653; РНМН-критерии для
гипотезы Q=0 (упражнение 31.21) 686;
интерпретация коэффициента сопряжен-
сопряженности 746—747; преобразования и канони-
канонические корреляции 761—762
Двухвыборочные критерии (two-sample
tests) 653—675
Де Гроот (De Qroot M. H.), последова-
последовательная выборка по качественному при-
признаку 819 (сноска)
Цейли (Daly J. F.), наименьшая довери-
доверительная область 175; несмещенные крите-
критерии ОП для независимости 329
Демпстер (Dempster А. Р.), фидуциаль-
ные выводы 211, 212
Ден Бродер (Den Broeder Q. Q., Jr.), уре-
урезанные н цензурированные гамма-вели-
гамма-величины 706
Дёрбин (Durbin J.), обобщение МГД
(упражнение 18.32) 108; геометрия теории
НК 116; дополнительная информация при
регрессии (упражнения 28.17, 28.18) 496—
¦497; инструментальные переменные 531,
543, (упражнение 29.17) 557; критерии
согласия и распределения равномерных
порядковых статистик (упражнение 33.17)
621; устранение мешающего параметра
путем отбрасывания достаточной стати-
статистики (упражнение 30.18) 621; критерий-
диагональной пропорциональности в таб-
таблице гхг (упражнение 33.25) 788
Джейкобсон (Jacobson J. E.)t таблицы
критерия Еилкоксона 662
Джеймс (Jame3 G. S.), таблицы для за-
задачи о двух средних 202
Дженкинс (Jenkins W. L.), номограмма
для тетрахорической корреляции 410
Джеффрейс (Jeffreys, Sir Harold), байе-
байесовские интервалы 205, 210
Джогдео (Jogdeo К.), критерии, исполь-
использующие случайные нормальные отклоне-
отклонения 653
Джокемс (Jochems D. В.), двухэтапный
метод НК (упражнение 28.24) 499
Джонкхир (Jonckheere A. R.), критерий
для ft-выборок 677—678
Джонс (Johns М. V., Jr.), эффективное
оценивание с помощью порядковых ста-
статистик 703
Джонсои (Johnson N. L.), «точные> оцен-
оценки 22; нецентральное ^-распределение
342; нецентральное X2 и пуассоновское
распределения (упражнение 24.19) 350;
интегральное вероятностное преобразова-
преобразование с оцененными параметрами 593,
(упражнение 30.10) 620; библиография по
порядковым статистикам 687; ПКОВ 806,
(упражнение 34.5) 828; обзор последова-
последовательного анализа 827
Джоуэтт (Jowett Q. Н.), оценивание функ-
функциональной зависимости 539
Джэксон (Jackson J. E.I, библиография по
последовательному анализу 827
Диксон (Dixon W. J.), эффективность кри-
критериев 355; мощность критерия Вилкок-
соиа 667; критерий знаков 659—692; цен-
зурироваииые нормальные выборки 704;
выпадающие наблюдения 708—710
Днмер (Deemer W. L., Jr), урезание и
цензурирование для экспоненциального
распределения 705, (упражнение 32.16)
715
Дискретность (discontinuity), и доверитель-
доверительные интервалы 146—148, 164—165; крите-
критерии 226; влияние на пепараметрические
критерии 681—683; поправка в таблицах
2X2 744—745
Дисперсионные критерии (dispersion tests),
биномиальный и пуассоновскйй 774—776
Дисперсия (variance), нижняя граница для
нее, см. Минимальная граница диспер-
дисперсии; обобщенная, см. Обобщенная дис-
дисперсия
Доверительная полоса (confidence belt)
141; см. Доверительные интервалы
Доверительное распределение (confidence
distribution) 144
Доверительные границы (confidence Iimit3)
141; см. Доверительные интервалы
Доверительные интервалы (confidence in-
intervals), общее 139—182; распределения
с одним параметром 139—165; границы
141; полоса 141; коэффициент 141; графи-
графическое представление 144, 147, 165, 167,
171; центральные и нецентральные 115;
дискретные распределения 146—148, 164—
165; консервативные 146—148; для боль-
больших выборок 148—151, 155; вложенность
150—151; трудные случаи 151 — 155, (при-
(пример 20.7) 172—174. (упражнение 28.21)
497; кратчайшие 158—162; минимальная
средняя длина для больших выборок
158—161; наиболее селективные 161. 170.
277; д. н. и критерии 161 — 162, 277; не-
несмещенные д. н. 162, 277; таблицы и гра-
графики 162—164; распределения с несколь-
несколькими параметрами 165—169; выбор ста-
статистики 169; стыодентизованные д. и.
170—174; совместные интервалы для не-
нескольких параметров 174—175; д. и.,
когда область изменения зависит от
параметра (упражнения 20.13—20.16) 180—
181; задача о двух средних 190—203,
(упражнение 21.9) 218; критическое об-
обсуждение 207—211, 216; д. и. для непре-
непрерывной ф. р. 611—613; д. и. для пара-
параметра сдвига (непараметрические) 658,
(упражнения 31.24—31.25) 686; д. и. для
квантилей 692—694
Доверительные области (confidence re-
regions) 174—175, (упражнение 20.5) 179;
для регрессии 487—493
Доверия коэффициент (confidence coeffi-
coefficient) 141; см. Доверительные интервалы
Додж (Dodge H. F.), двойная выборка 810
Доксум (Doksum К. А.), критерии, исполь-
использующие случайные нормальные отклоне-
отклонения 653
Дополнительная информация (supplemen-
(supplementary information), в регрессии (упражне-
(упражнения 28.16—28.18) 495—497; инструменталь-
- ные переменные 530—543
Дорфф (Dorff M.), оценивание функцио-
функциональных и структурных зависимостей
511, 543
Достаточность (sufficiency), общее 40—53;
определение 40—41; критерий факториза-
факторизации 41; д. и МГД 42—43; функциональ-
функциональная зависимость между достаточными
статистиками 44; д. и МД-оценка 44; рас-
распределения, обладающие достаточными
статистиками 45—47; при нескольких па-
параметрах 47—49; когда область измене-
изменения варианты зависит от параметра 49—
52, (упражнение 24.17) 349; одномерная
н совместная 47, (упражнения 17.13,
17.25) 55. 57; распределение достаточных
статистик в выборках из экспоненциаль-
экспоненциального семейства распределений (упражне-
(упражнение 17.14) 55; д. и МП-оценка 59—61,
(пример 18.5) 67, 80—82; д. и НКО кри-
критериев 230, 238—241, (упражнения 22.11.
22.13) 248; оптимальность критерия, осно-
основанного на достаточных статистиках
250—251; д. и подобные области 254, 263;
минимальная 259—263, (упражнение 18.13)
103, (упражнение 23.31) 300: вспомогатель-
вспомогательные статистики н квазидостаточиость 292;
независимость и полнота (упражнения
23.6—23.7) 296; д. и критерии ОП 329; д. н
инвариантность 344; д. и мешающие па-
параметры (упражнение 30.18) 621; д. и
урезание 699—700
Достаточные статистики (sufficient stati-
statistics) см. Достаточность
Дункан (Duncan A. J.), графики функции
мощности для линейной гипотезы 340
Дынкин Е. Б., минимальная достаточность
¦ 261
Дэвид (David H. А.), таблицы стыодвнти-
зованиого отклонения н стьюдентизован-
ного интервала 709—710
Дэвид С. (David S. Т.), трудности в тео-
теории доверительных интервалов 152; сов-
совместное распределение ранговых корре-
корреляций 644
Дэвид Ф. (David F. N.). модифицирован-
модифицированные МХК-оценки (упражнение 19.14) 138;
графики Для коэффициента корреляции
двумерного нормального распределения
164. 394; смещенность критерия для про-
проверки гипотезы о- коэффициенте корре-
корреляции нормального распределения 394г
критерий серий в дополиенне к критерию
согласия Я2 593, (упражнения 30.7, 30.9)
619—620; вероятностное интегральное пре-
преобразование с оцененными параметрами
591, (упражнение 30.10) 620; «гладкие>
критерии согласия 596; библиография о
порядковых статистиках 687
Дэвис (Davis R. С), достаточность, когда
область изменения зависит от пара-
параметра 51
Дэрроч (Darroch J. N.), взаимодействия в
таблицах с несколькими входами 781
Женщин физические данные (women's
measurements and sizes), сведения (таб-
(таблицы 26.1—26.2) 376—377
Зависимость и взаимозависимость (depen-
(dependence and interdependence) 373—375
Задача о двух средних (two means problem)
см. Нормальное распределение
Закриссои (Zackrisson U.), ^-распределение
Стьюдента в составных нормальных вы-
выборках 625
Залокар (Zalokar J.), таблицы стьюденти-
зованного максимального абсолютного
отклонения 710
Знскинд (Zyskind G-), двухэтапный метод
НК (упражнение 28.24) 499
Значимости критерии (significance tests),
см. Критерии для проверки гипотез. Кри-
Критерии согласия
Значимости уровень (significance level) 222,
сноска
Ивашкевич (Iwa3kiewic2 К), таблицы
функции мощности (критерия Стыодоита
342
Идентифицируемость (identlfiability) (при-
(пример 18.4) 67; в структурных зависимостях
506—508, 523, 526
Инвариантные критерии (invariant tests)
325, 344—345; и ранговые критерии 637—
638, 647. 659
Инверсии (inversions of order) 640
Инструментальные переменные (instrumen-
(instrumental variables) 530—543
Интервальное оценивание (interval estima-
estimation) 139—218
Информация (information), количество 25;
матрица 49
Ирвин (Iiwin J. О.), урезанное пуассонов-
пуассоновское распределение (упражнения 32.23—
32.24) 717; выпадающие наблюдения 708:
компоненты X1 773
Испытания иа долговечность (life testing)
705
Ист (East D. А.), таблицы доверительных
интервалов для нормальной дисперсии
163
Исчерпывающий (exhaustive) 260, сноска
Иэйтс (Yates F.), фидуциальиые выводы
211; проверка гипотез о различии между
регрессиями (упражнение 28.14) 495; кри-
критерии, использующие нормальные метки
652. 673; данные о зубах с неправильным
прикусом (пример 33.51 739; поправка на
непрерывность в таблицах 2X2 745; ис-
использование меток в таблицах г X с 760,
(упражнение 33.12) 784
884
УКАЗАТЕЛЬ
УКАЗАТЕЛЬ
885
it,
in
Каврук (Kavruck S.), теграхорическая кор-
корреляция 410
Канонический анализ таблиц тхс (canoni-
(canonical analysis of rXc tables) 761—769
Кастен (Kasten E. L.), графики для кри-
критерия независимости в таблицах 2X2 741
Кастенбаум (Kastenbaura M. А.), гипотезы
в таблицах с несколькими входами 780
Катетеризованные данные (categorized
data) 719—790; меры связи 719—725, 745—
749, 752, (упражнения 33.1—33.4, 33.6)
781—782; частная связь 725—730; вероят-
вероятностные интерпретации 730—733; асимп-
асимптотические критерии независимости 733—
736, 749—751; точный критерий независи-
независимости, различные модели 736—744, 749;
поправка на непрерывность 744—745,
(упражнение 33.5) 782; упорядоченные
таблицы, ранговые меры связи 752—758,
(упражнения 33.10—33.11) 784; упорядочен-
упорядоченные таблицы, методы, использующие
метки и канонический анализ 758—769,
(упражнения 33.12—33.14) 784—785; приме-
применение метода НК 760; разбиение вели-
величины X2. канонические компоненты 769—
774, (упражнение 33.13) 785; биномиаль-
биномиальный и пуассоновский дисперсионные кри-
критерии 774—776; таблицы с несколькими
входами 776—781; критерий полной сим-
симметрии (упражнение 33.25) 788; критерий
для проверки однородности двух марги-
маргинальных распределений (упражнение
33.24) 788; МП-оценка групповых вероят-
вероятностей (упражнение 33.29) 789; критерий
для проверки однородности маргиналь-
маргинальных распределений в таблице 2е (упраж-
(упражнение 33.30) 790
Катц (Katz L.), мощность критерия в таб-
таблицах 2X2 743
Катц (Katz M-, Jr.), минимальная доста-
достаточность 260, сноска
Кац (Кае М.), сравнение критерия согла-
согласия X2 и критерия Колмогорова 615; кри-
критерии нормальности 618
Качественные признаки (attributes), выбо-
выборочное изучение (sampling of), см. Бино-
Биномиальное распределение
Квадратичные формы (quadratic forms),
среднее и дисперсия (упражнения 19.3.
19.9) 136—137; нецентральное х2"Распре-
деление квадратичной формы 308, (уп-
(упражнение 24.10) 347
Квантили (quaniiles), критерии и довери-
доверительные интервалы для них 687—695
Кенб (Kabe D. Q.), уточнение регрессион-
регрессионного анализа 474
Ксйл (Kale В. К.), итерационное вычисле-
вычисление МП-оценки 76, 91
Кейнес (Keynes J. М.). характеризация
распределений формой МП-оцеиок (уп-
(упражнения 18.2—18.3) 100
Кейпон (Capon J.), критерии различия в
масштабе 674; локально наиболее мощ-
мощные ранговые критерии (упражнение
31.17) 685
Кемперман (Kemperman J. H. В.), толе-
толерантные области 698
Кемпторн (Kempthorne О.), таблицы Тэнга
340
Кендалл (Kendall M. G). геометрическая
интерпретация теории НК 116; оценива-
оценивание функции от нормального коэффи-
коэффициента корреляции 393; линейная регрес-
регрессия с однородными ошибками наблюде-
наблюдений 552—553, (упражнение 29.13) 556; рас-
распределения ранговых корреляций 639—
ф44| поправки для ранговых коэффициен-
коэффициентов корреляции 683; ранговая мера связи
755—757
Кимбелл (Kimball A. W.), вычисление раз-
разбиения величины X2 773
Кимбелл Б. (Kimball В. F.), МП-оценка
в распределении экстремальных значе-
значений (упражнение 18.6) 101
Кифер (Kiefer J.), границы для дисперсий
оценок 33; пример, когда МП-оценка не
существует (упражнение 18.34) 108, со-
состоятельность МП-оценок 514, 517г
сравнение критерия согласия X2 и крите-
критерия Колмогорова 615; критерии нормаль-
нормальности 618; распределение критерия неза-
независимости Гёфдинга 647
Кларк P. (Clark R. F.), таблицы довери-
доверительных границ для биномиального па-
параметра 163
Кларк (Clark V. А.), логистические поряд-
порядковые статистики (упражнение 32.12) 714
Клетт (Klett G. W.), таблицы доверитель-
доверительных интервалов Для нормальной диспер-
дисперсии 163; кратчайшие доверительные ин-
интервалы для нормальной дисперсии (уп-
(упражнение 20.10) 180
Клитическая кривая (clitic curve) 462
Клоппер (Clopper С. J.), графики довери-
доверительных интервалов для биномиального
параметра 162
Клоц (Klotz J.), распределение критерия,
основанного на нормальных метках 668;
критерии с, и t 673; критерий для раз-
различия в масштабе 674; критерии симмет-
симметрии 681
Клюнье-Росс (Clunies-Ross С. W.), двух-
этапный метод НК (упражнение 28.24) 499
Ковариация (covariance) 378; см. Корреля-
Корреляция. Регрессия
Кокрэн (Cochran W. Q.), критерий знаков
(упражнение 25.1) 371, 687—689; уточне-
уточнение регрессионного анализа 474; крити-
критическая область для критерия X2 562; вы-
выбор классов для критерия X2 588; пре-
предельная функция мощности критерия X2
(упражнение 30.4) 618; выпадающие на-
наблюдения 710; X2 в таблицах 2X2 745;
разбиение X2 773; дисперсионные крите-
критерии 775; критерий для» честной связи 781;
критерий для проверки однородности
маргинальных распределений в таблицах
2е (упражнение 33.30) 790
Кокс (Сох С. Р.), ортогональные поли-
полиномы 480
Кокс Д. (Сох D. R.), оценивание линейной
связи между функциями от параметров
независимых биномиальных распределе-
распределений (упражнение 17.25) 57; доверительное
распределение 144; условные критерии
294; статистики ОП 331; АОЭ и макси-
максимальная потеря мощности 366; регрессия
эффективной оценки относительно не-
неэффективной (упражнение 25.7) 371; экс-
экспоненциальные метки 672; АОЭ простых
критериев случайности (упражнения
31.10—31.12) 684; последовательные про-
процедуры для сложной гипотезы Я» 819,
(упражнение 34.21) 832; двойная выборка
826, (упражнения 34.15—34.17) 830—831
Количество информации (amount of infor-
information) 25
Коллнгации- коэффициент (colligation coef-
(icient) 723
Колмогоров А. Н., критерий согласия
605—617
Колоджейчик (Kolodziejczyk S.). общая
линейная гипотеза 334; таблицы функции
мощности 2-критерия Стьюдента 342
Комбинация критериев (combination of
tests) (упражнение 30.9) 620
Компоненты Хг (components of X2) 601—602;
в таблицах ГХС 769—774
Коидо (Kondo- Т.), стандартная ошибка
критерия X2 в таблице гХс 750
Конейн (Konijn H. S.), АОЭ критериев 358;
линейные преобразования независимы»!»
величин 646
Коннелл (Connell T. L.), двойная выборка
для нормальной дисперсии 826
Контролируемые переменные (controlled
variables) 544—545
Корнфилд (Cornfield J.), фидуцнальные
выводы 215г таблицы стыодентизованного
максимального абсолютяого отклонения.-
710
Корреляция (correlation), между оценками
35—36; общее 373—422; к. и взаимозави-
взаимозависимость 373—374, 385; к. и причинность
374—375; коэффициент к. 384—385; вычисле-
вычисление коэффициента к. (приверы 26.6—26.7>
386—389; диаграмма разброса 389; стан»
дартные ошибки 390; оценивание и про-
проверка гипотез в нормальных выборках
392—395; корреляционные отношения 396;
к. и линейность регрессии 396—398, (уп-
(упражнение 26.24) 422; вычисление корреля-
корреляционного отношения (пример 26.9) 399—
400; критерии ОП для коэффициента к.,
корреляционного отношения и линей-
линейности регрессии 400—403; внутриклассо-
внутриклассовая 403—407; тетрахорическая 407—411;
бисериальная 411—416; точечио-бисери-
альная 416—417; возрастание коэффи-
коэффициента к. при поправках Шеппарда иа
группировку (упражнение 26.16) 421; из-
изменение к. вследствие погрешностей из-
измерений (упражнение 26.17) 421; «лож-
«ложная» (упражнение 26.18) 421; матрица
424; определитель 424; см. также Множе-
Множественная корреляция. Частная корреля-
корреляция и регрессия. Регрессия
Корреляция*" внутриклассовая (intra-class
correlation^; 403—407, (упражнение 26,14)
420—421; в" многомерном нормальном рас-
распределении (упражнение 27.17) 459
Коши распределение (Cauchy distribution),
непригодность выборочного среднего в
качестве оценки медианы 15; состоятель-
состоятельность выборочной медианы (пример 17.5)
22; МГД для параметра сдвига (пример
17.7) 26; МП-оценки и оценки, основан-
основанные на порядковых статистиках, для па-
параметра сдвига (пример 18.9) 76—77; про-
проверка простой гипотезы Ий о медиане
(пример 22.4) 228—229, (упражнение J2.4)
248; полнота 255, (упражнение 23.5)
295
Коэн (Cohen А. С, Jr.), урезание и цензу-
цензурирование- в нормальных распределениях
703; урезвние и цензурирование в п,ас-
соновских"распределениях 706, (упражне-
(упражнение 32.22)-" 717; урезанное гамма-распре-
гамма-распределение 706
Крамер (Cramer H,), МГД 24; эффек-
эффективность и асимптотическая нормаль-
нормальность МП-оценок 68; распределение кри-
критерия согласия X2 567; критерий согласия
603; коэффициент связи 747
Крамер К. (Kramer К. Н.), доверительные
интервалы для многомерной нормальной
множественной корреляции 457
Крамера — Рао неравенство (Cramer — Rao
inequality), см. Минимальная граница
дисперсии
Крауз (Crouse С. F.), критерий Муда 674
Кривые кусочно-линейные (segmented cur-
curves), оценивание по методу НК 474
Кризи (Creasy M. А.), доверительные
интервалы для линейной Функциональ-
Функциональной зависимости 519
Критерии для проверки гипотез (tests of
hypotheses) 219—372; критерии и дол-пи-
тельные интервалы 161 — 162. 277; pajviep
222, 245—247; мощность 223—224. 242—243-
НКО 225; простая гипотеза На против
простой Н, 225; рандомизация в дискрет-
дискретном случае 226; НКО и достаточные ста-
статистики 230—231, 238—241; мощность и
эффективность оценивания 231—233, (уп-
(упражнение 22.7) 248; простая гипотеза Н„
против сложной Н, 233; РНМ критерии
234; отсутствие РНМ критерия против
двусторонней Н, 234—235; РНМ критерии
в случае нескольких параметров 235—241,
(упражнение 22.11) 248; одно- и двусто-
двусторонние критерии 243—245; оптимальное
свойство достаточных статистик 250—251;
подобные области и критерии 251—254,
263—269, 275—276; существование подоб-
подобных областей 252—254, (упражнения
23.1—23.3) 295. (упражнение 23.29)
300; подобные области, достаточ-
достаточность и ограниченная полнота 254—255,
263—269; наиболее мощные подобные об-
области 263; неподобные критерии для
сложной гипотезы На 269; смещение 270;
несмещенные критерии и подобные кри-
критерии 275—276; старая терминология 277;
РНМН критерии для экспоненциального
семейства 278—292; вспомогательные ста-
статистики и условные критерии 292—295;
критерии ОП 300—331; несмещенные ин-
инвариантные критерии для параметров
сдвига и масштаба 324—329, (упражнение
24.15) 349; общая линейная гипотеза
333—344; последовательные критерии 708—
819, 824—827; см. также Асимптотическая
относительная эффективность. Гипотезы,
Критерии отношении правдоподобия
Критерии согласия (tests of fit) 558—621,
критерии ОП н Пирсона для простой ги-
гипотезы Но 558—563; обозначение X' 561
(сноска); сложная гипотеза Но 563—567;
выбор классов для критерия X2 574—
578; 583—589; моменты статистики X'
578—579, (упражнения 30.3, 30.5)
618—619; состоятельность и несмещен-
несмещенность критерия X2 579—581; предель-
предельная мощность критерия X2 581—583; ис-
использование знаков отклонений 590—591,
(упражнения 30.7—30.9) 619—620; критерии,
отличные от X2 591—617; «гладкие» кри-
критерии 593—595; связь между X2 и «глад-
«гладкими» критериями 600; компоненты X2
601—602; критерии, основанные на выбо-
выборочной ф. р. 602—617; критерий Смирнова
602—605; критерий Колмогорова 605—611;
сравнение критерия X2 и критерия Кол-
Колмогорова 613—616; критерии нормально-
нормальности 617—618
Критерий. знаков (sign test), АОЭ (упраж-
(упражнения 25.1—25.2) 370—371, 687—692; после-
последовательный 826
Критерий отношения правдоподобия (ОП)
(likelihood ratio (LR) test), нормальное
распределение (пример 22.8) 236: общее
301—331; к. ОП и МП-оценки 301—302,
323—324; возможность отсутствия подо-
подобия 302—304; аппроксимации распределе-
распределений 305, 308—314; зеимптотическое распре-
распределение 308—310, асимптотическая мощ-
мощность и таблицы 310—313, 339—340;
УКАЗАТЕЛЬ
к. ОП, когда область изменения зависит
от параметра 317—322; (упражнения 24.8—
24.9) 347; свойства 322—330; состоятель-
состоятельность 310—311, 322—323; несмещенность
323—324. 329—330, (упражнения 24.14—
24.18) 349—350; другие свойства 329—330;
бесполезный критерий (пример 24.7) 330;
к. ОП для линейных гипотез 334—336;
функция мощности 339—341; оптимальные
свойства 342—344; эффективность в муль-
мультиномиальных выборках 370; к. ОП для
нормальной корреляции и регрессии 400—
403, 450—451; критерий согласия 559—563.
(упражнение 30.11) 620; независимость в
таблицах 2X2 733—736; в таблицах гхс
752
Критическая область (critical region), см.
Критерии для проверки гипотез
Кришиан (Krishnan M.), несмещенные
критерии типа М 272; дважды нецент-
нецентральная ^-величина 342
Кроу (Crow E. L.), таблицы доверитель-
доверительных границ для доли успехов и для
пуассоновских параметров 163
Крускал (Kruskal W. Н.), геометрия ме-
метода НК 117; линейные регрессии, коэф-
коэффициенты корреляции и корреляционные
отношения (упражнение 26.24) 422; исто-
история ранговой корреляции 640; критерий
Вилкоксона 660—662, (упражнение 31.15)
685; ^-выборочные критерии 676; совпаде-
совпадения 682; связь в категоризованных дан-
данных 730, 752, 757—758, (упражнение 33.11)
784
Крэйг (Craig А. Т.), полнота достаточных
статистик 257; полнота и независимость
(упражнения 23.8—23,9) 296; критерий ОП
для равномерного распределения (упраж-
(упражнение 24.9) 347; достаточность в экспо-
экспоненциальном семействе, когда область
изменения зависит от параметров (уп-
(упражнение 24.17) 349
Кудо (Kudo А.), отклонение выпадающих
наблюдений 709-
Куисенберрн (Quesenberry С. Р.), критерии
для выпадающих наблюдений 709
Куллдорф (Kulldorff G.), цензурирование
экспоненциальные выборки 706
Купмэн (Koopman В. О.), распределения
с достаточными статистиками 46. 48
Куртическая кривая (kurlic curve) 462
Кэнуй (Quenouille М. Н.), поправки иа
смещение 19—21, (упражнения 17.17—
17.18) 55; фидуциальные парадоксы 211;
случайные экспоненциальные отклонения
(пример 30.2) 576; разбиение X1 774
Кэтти (Kstti S. К.), оценивание в распре-
распределениях Неймана типа А и отрица-
отрицательно-биномиальном (упражнение 18.28)
107
Лайоис (Lyons Т. С), тетрахорическая
корреляция 410
Лапласа преобразование (Laplace trans-
transform) 256 (сноска)
Лаха (Laha R. G.). линейность регрессии
554
Лача (Latscha R.), таблицы точного кри-
критерия независимости в таблицах 2X2 741,
743
Левоитин (Lewontin R. С). МП-оценка
числа классов в мультиномиальном рас-
распределении (упражнение 18.10) 102
Лежандра полиномы (Legendre polyno-
polynomials) 594 (сноска)
Ле Кам (Le Cam L.), сверхэффектив-
иость 69
Леман (Lehmann E. L.), пример бессмысг
леиной несмещенной оценки 19, (упраж-
(упражнение 17.26) 57; проверка гипотез 219;
оптимальное свойство критерия, основан-
основанного иа достаточных статистиках 250;
полнота 254; полнота линейного экспо-
экспоненциального семейства 256; минималь-
минимальная достаточность 260—261; полнота л
подобные области 263; задача о двух
средних (пример 23.10) 268; неподобные
критерии для сложной гипотезы Н„ 269;
несмещенные критерии 277; РНМН крите^
рии для экспоненциального семейства
278; полнота семейства Коши (упражне-
(упражнение 23.5) 295; минимальная достаточность
для биномиального я равномерного расг
пределеиий (упражнения 23.11—23.12) 297;
РНМН критерий для нормального рас-
распределения (упражнение 23.16) - 297;
РНМН критерии для распределений
¦ Пуассона и биномиального (упражнения
23.21-23.22) 298; РНМ критерии для экс-
экспоненциального и равномерного распре-
распределений (упражнения 23.25—23.26) 299;
бесполезность критерия ОП (пример
24.7) 330; оптимальные свойства крите-
критериев ОП 343; асимптотически РНМ кри-
критерии для нормального среднего (пример
25.1) .353; эффективность критериев 355;
РНМ инвариантные критерии для коэффи-
коэффициентов корреляции и множественной кор-
корреляции 394, 457; доверительные интервалы
для регрессии (упражнение 28.21) 497;
распределение критерия согласия X1 570,
573; полнота порядковых статистик 632
(сноска); несмещенность ранговых кри-
критериев независимости 647; ранговые кри-
критерии 653; распределение критерия Вил-
Вилкоксона 663; доверительные интервалы,
основанные иа критериях Вилкоксона 663
(упражнения 31.24—31.23) 686; состоятель-
состоятельность критерия Вилкоксоиа 663; АОЭ
критерия Вилкоксона 667; мощность кри-
критерия Вилкоксона 667; устойчивое оцени-
оценивание 673; несмещенные двухвыборочиые
критерии 674; критерии симметрии 679;
АОЭ критерия Внлкоксона и критерия,
основанного на нормальных метках (уп-
(упражнение 31.23) 686; оптимальные свой-
свойства критерия знаков 689; минимальная
АОЭ критерия знаков (упражнение 32.1)
712; критерий знаков как асимптотически
наиболее мощный критерий сдвига для
двойного экспоненциального распределе-
распределения (упражнение 32.5) 713; последова-
последовательная полнота 819 (сноска)
Лемер (Lehmer E.), таблицы функции
мощности для линейной гипотезы 340
Либерман (Lieberman G. F.), таблицы не-
нецентрального ^-распределения 342
Линдеберг (Lindeberg F. W.), ранние ра-
работы о ранговой корреляции 640
Линдли (Lindley D. V.), поправки на груп-
группировку в МП-оценках (упражнения
18.24—18.25) 105—106; таблицы доверитель-
доверительных интервалов для нормальной, диспер-
дисперсии 163; согласование фидуциального вы-
вывода с байесовским 212—215, (упражиеиие
21.11) 218: выбор размера критерия 247;
условные критерии 294; несостоятельность
МП-опенок в задаче о функциональной
зависимости 514, 516; контролируемые пе-
переменные 544; ошибки наблюдений и ли-
линейность регрессии 551, 554 (упражнения
29.12-2Э.Н) 556
УКАЗАТЕЛЬ
887
Линейная модель (linear model) 111—126;
. критерии, требующие предположения о
- нормальности 120—122; более общий слу-
случай 126, (упражнения 19.2—19.3, 19.5. 19.9)
136—137; общая линейная гипотеза 332;
каноническая форма 333; статистика ОП
в л. м. 334; л. м. и теория НК 336; функ-
функция мощности критерия ОП 339—341; оп-
оптимальные свойства критерия ОП 342—
344; л. м. и регрессия 472—493; смысл
термина «линейная» 473—474; довери-
доверительные интервалы и критерии для па-
параметров 482—487, (упражнения 28.15—
28.22) 495—498; доверительные области
для линии регрессии 487—493; дополни-
дополнительная информация для регрессии
(упражнения 28.16—28.18) 495—497; уточ-
уточнение при одном дополнительном наблю-
наблюдении (упражнение 28.19) 497; см. Наи-
Наименьших квадратов оценки, Регрессия
Линейная регрессия (linear regression), см.
Регрессия
Линник Ю. В., задача о двух средних
269
Липпс (Llpps G. F.), ранние работы о ран-
ранговой корреляции 640
Ллойд (Lloyd E. Н.), порядковые НК-оцен-
ки параметров масштаба и сдвига 126,
(упражнение 19.10) 137
Логистическое распределение (logistic di-
distribution), МГД (упражнение 17.5) 54;
МП-оценка (упражнение 18.29) 107; АОЭ
критерия Внлкоксона (упражнение 31.17)
685; х. ф. и семиинварианты порядковых
статистик (упражиеиие 32.12) 714
Логиормальное распределение (lognormal
distribution), МП-оценка (упражнения
18.7—18.9, 18.19—18.20, 18.23) 101 — 102, 104—
105
Локс (Locks M. О.), таблицы нецентраль-
нецентрального t- распределения 342
Лоли (Lawly D. N.), аппроксимации рас-
распределения статистики ОП 313
Лорент (Laurent A. G.), цеизурированные
экспоненциальные выборки 706
Лотон (Lawton W. Н.), задача о двух
средних 201
Льюис (Lewis В. N.), таблицы с несколь-
несколькими входами 777
Льюис П. (Lewis P. A. W.), таблицы кри-
критерия согласия 605
Льюис Т. (Lewis Т. О.), НК-оценки в слу-
случае вырождения 124
Лэнкастер (Lancaster H. О.), поправки на
непрерывность при сложении значений
величины Хг 745; полихорическое оцени-
оценивание 752; канонические корреляции н
преобразование в двумерное нормальное
распределение 761—762; компоненты X1
769, (пример 33.13) 771—772, (упражнение
33.15—33.18) 786; таблицы с несколькими
входами (пример 33.14) 778, 781, (упраж-
(упражнение 33.8) 782—783, (упражнения 33.27—
33.28) 788—789
Мадански (Madansky А.), кратчайшие до-
доверительные интервалы 162; функцио-
функциональные и структурные зависимости 511,
528, 539, (упражнение 29.16) 556; толе-
толерантные интервалы 628; твблицы с не-
несколькими входами (упражнения 33.24,
33.30) 788, 790
Майерс (Myers M. Н.), последовательные
i-крнтерии 819
Майтра (Maitra А. Р.), достаточность 48
Мак Кей (McKay А. Т.), распределение
экстремальных отклонений от средьего
(упражнение 32.21) 716—717
Мак Кендрик (McKendrick A. G.), оце-
оценивание в цензурированных выборках
(упражнение 32.24) 717
Маккиннон (Mackinnon W. J-), таблицы
критерия знаков и доверительных интер-
интервалов для медианы 689, 695
Мак Кориак (McCornack R. L.), таблицы
критерия симметрии Вилкоксона 681
Максимального правдоподобия (МП-)
оценки (maximum likelihood (ML) esti-
estimators), общее 58—108; принцип МП 58;
МП-оценки и МГД-оценки 59—61, (упраж-
(упражнение 18.32) 108; МП-оценки н достаточ-
достаточность (пример 18.5) 59—61; единствен-
единственность при наличии достаточных стати-
статистик 59—61, 80—82; отсутствие несмещен-
несмещенности (пример 18.1) 61—62, (пример 18.11)
82; асимптотические оптимальные свой-
свойства 62; состоятельность и несостоятель-
несостоятельность 64—67, 83—84, (пример 18.16) 92—93,
(упражнение 18.35) 108; 514, 516—517; слу-
случаи неопределенности (пример 18.4) 66—
67, (упражнения 18.17, 18.23, 18.33—18.35)
103—105, 108; эффективность и асимпто-
асимптотическая нормальность 67—72, 83--86:
асимптотическая дисперсия, равиая МГД
68—70; упрощение асимптотической ди-
дисперсии и дисперсионной матрицы при
наличии достаточности 71. 84; семиинвари-
семиинварианты 72—75; последовательные аппрокси-
аппроксимации 75—79; случай нескольких парамет-
параметров 70—91; асимптотическая минимизация
обобщенной дисперсии 85—86; неодинако-
неодинаковые исходные распределения 91—93; МП-
оценки параметров сдвига и масштаба
93—97; характеризация исходных распре-
распределений, имеющих МП-оценки заданной
формы (упражнения 18.2—18.3) 100; МП-
оценки для целочисленных параметров
(упражнения 18.21 — 18.22) 104—105; поправ-
поправки на группировку (упражнения 18.24—
18.25) 105—106; совпадение с НК-оценками
в нормальном случае 109, 116; случай
структурной и функциональной зависи-
зависимости 506—511, 512—518; применение для
- проверки согласия 570—574; для задач
урезания и цензурирования 701—702: в
последовательных критериях (упражне-
(упражнение 34.21) 831—832
Мак Стьюарт (Mac Stewart W.), мощность
критерия знаков 690
Майн (Mann H. В.), таблицы Тэнга 340;
выбор классов для критерия согласия X3
576,. 583—587; несмещенность критерия X2
580;- дисперсия величины X2 (упражнение
30.3) 618; критерий ранговой корреляции
для тренда 647—649, (упражнение 31.8) 684;
критерий Вилкоксона 660
' Мантел (Mantel N.), доверительные интер-
интервалы для нелинейных функций 175
Мариц (Maritz J. S-), бисериальная корре-
корреляция 416
Марсалья (Marsaglia G.), квадратичные
формы от нецентральных нормальных
величин 308; многомерная нормальная
регрессия (упражнение 27.21) 460
Масштабные параметры (scale parameters),
см. Сдвига и масштаба параметры
МГД, см. Минимальная граница дисперсии
МД, см. Минимальной дисперсии оценки
Медиана (median), критерии знаков для
нее 689—692, (упражнение 32.1) 712; до-
доверительные интервалы для нее 694—695,
(упражнение 32.4) 713
УКАЗАТЕЛЬ
Менделя данные о горохе (Mendelian pea
data), (пример 30.1) 563
Меидеихолл (Mendenhall W.), цензуриро-
ваниые экспоненциальные выборки 705;
библиография по испытаниям на долго-
долговечность 705
Меррингтон (Merrington M.), функции
мощности критериев независимости в
таблицах 2X2 743
Мёрфи (Murphy R. В.), графики толерант-
толерантных интервалов 697
Метод моментов (method of moments), см.
Моменты
Мешающий параметр (nuisance parameter)
279; устранение его (упражнение 30.18)
621
Мизес (R. von Mises), критерий согласия
603
Миккн (Mickey M. R.), задача о двух сред-
средних 201
Микульский (Mikulskl P. W-), эффектив-
эффективность ранговых критериев 672
Миллер Л. (Miller L. Н.), таблицы крите-
критерия согласия Колмогорова 611
Миллер (Miller R. G., Jr.), оценивание с
устраненным смещением 20
Минимальная граница дисперсии (МГД)
(minimum variance bound(MVB)) 24—25;
условие достижимости 25, 30; МГД-в ^кон-
^конкретных задачах (примеры-; 17.6—™17.10)
26—27; МГД- и МД-оценки 27—28; улуч-
улучшение 28—34; асимптотически достижи-
достижимая МГД для любой функции от пара-
параметра 32; МГД и достаточность 42—43;
МГД меньшая, чем граница дисперсии,
когда неизвестно несколько параметров,
(упражнение 17.20) 56; ослабление усло-
условий регулярности (упражнения 17.21—
17.22) 56; аналоги (упражнение 17.23) 56;
МГД- и МП-оценка 59—61, 68—70, (упраж-
(упражнение 18.4) 100; обобщение (упражнение
18.32) 108; асимптотические улучшения в
нерегулярных слу.чаях (упражнения 32.3—
32.11) 713—714; при последовательном вы-
выборе 819—821
Минимальная достаточность (minimal suf-
sufficiency), см. Достаточность
Минимальной дисперсии (МД-) оценки
(minimum variance (MV) estimators) 23—
36; МД- н МГД-оценки 27; единствен-
единственность 34—35; МД-оценкн и достаточные
статистики 44—45, (упражнение 17.24)
56—57; в классе несмещенных лннейных
комбинаций 115—116; МД- н МП-оценки
60—61, (упражнение 18.13) 103; единствен-
единственность н полнота, 254—255; случай уреза-
урезания и цензурирования 702—703
Минимума хи-квадраг (МХК-) оценки
(minimum Chi-square estimators) 132—
136; видоизмененные 133—134; асимптоти-
асимптотическая эквивалентность МП-оценкам
(упражнение 19.13) 138; среднее и днспер-
сня (упражнение 19.14) 138
Мнтра (Mitra S. К.), урезанное распреде-
распределение Пуассона (упражнение 32.20) 716;
модели для таблицы гХс 749; гипотезы
в таблицах с несколькими входами 780
Многократные сравнения (multiple compa-
comparisons), в таблицах гХс 752
Многомерное нормальное распределение
(multi-normal distribution), дисперсия
квадратичной формы (упражнение 19.3)
136; случай, когда существует одномер-
одномерная достаточная статистика без РНМ
критерия (пример 22.11) 240—241; несме-
несмещенность критериев ОП о независимости
329; бисериальные методы (упражнение
26.12) 420; частная корреляция и регрес-
регрессия 423-^430, (упражнения 27.4, 27.6, 27.21)
457—458, 460; инвариантность свойства не-
независимости при ортогональном преобра-
преобразовании 444, (упражнение 27.7) 458; мло-
жественная корреляция 450—457; с мат-
матрицей внутриклассовой корреляции
(упражнения 27.17—27.18) 459; предельные
значения величины X2 (упражнения 33.7—
33.8) 782—783
Множественная корреляция (multiple cor-
correlation) 445—456; коэффициент 445—
447; геометрическая интерпретация 447;
отсеивание переменных 448—449; услов-
условное выборочное распределение в нор-
нормальном случае 449—450, (упражнение
27.13) 458; безусловное распределение в
многомерном нормальном случае 450—
454, (упражнения 27.14—27.16) 459; несме-
несмещенное оценивание в многомерном нор-
нормальном случае 456—457; м. к. с некор-
некоррелированными регрессорамн (упражне-
(упражнение 27.20) 460
Мозес (Moses L. Е.), критерии различия в
масштабе 675
Молдои (Mauldon J. Q.), фидуциальный
парадокс 212
Моменты (moments), метод моментов, эф-
эффективность, 97—100, (упражнения 18.9,
18.17, 18.20, 18.27—18.28) 102—104, 106—107
Морэн (Могап Р. А. Р.), распределение
множествеииого коэффициента корреля-
корреляции 452
Мошмэн (Moshman J.), двойная выборка
826
Мощность (power), критерия 223—225;
функция мощности 242; см. Критерии для
проверки гипотез
МП, см. Максимального правдоподобия
оценки
Муд (Mood A. M.), двухвыборочные кри-
критерии 674; критерий для проверки слу-
случайности, основанный на медиане
(упражнение 31.12) 684; критические зна-
значения для критерия знаков 689
Мультиномиальное распределение (multi-
(multinomial distribution), последовательная
аппроксимация МП-оценки (пример
18.10) 77—79; МП-оценка числа классов,
когда все вероятности одинаковы
(упражнение 18.10) 102; эффективность
критериев ОП 370; м. р. как основа кри-
критериев согласия 559—574; критерии согла-
согласия для данных о горохе (пример 30.1)
563; критерий однородности 788
Мур (Moore A. Н.), Цензурированные нор-
нормальные выборки 704; цеизурировагшые
логнормальные выборки 707
Мур П. (Moore P. G.), оценивание, исполь-
использующее две лучшие порядковые статисти-
статистики (упражнение 32.14) 715
МХК, см. Минимума хи-квадрат оценки
Мэсси (Massey F. J., Jr.), таблицы крите-
критерия согласия Колмогорова 611; мощность
критерия Колмогорова 613—616, (упражне-
(упражнение 30.16) 620
Наилучшие асимптотически нормальные
(НАН) оценки (best asymptotically nor-
normal (BAN) estimators) 131—136
Наименьших квадратов (НК-) оценки (le-
(least squares (LS) estimators) 109—131,
(упражнения 19.1—19.8) 136—137; эквива-
эквивалентность с МП-оценками в нормальном
случае 109—116; принцип НК -109—111;
УКАЗАТЕЛЬ
889
линейная модель 111—126; несмещенность
113; матрица рассеяния 113; МД-свой-
ство 115—116; геометрическая интерпрета-
интерпретация 116—117; минимизация обобщенной
дисперсии 117—118; оценивание дисперсии
ошнбкн 118—120; роль предположения нор-
нормальности 120; случай вырождения 122—
125; порядковое оценивание параметров
сдвига и масштаба 126—131, (упражне-
(упражнения 19.10—19.12) 137—138; неэффектив-
неэффективность в пуассоновском случае (упражне-
(упражнение 19.16) 138; общая линейная гипотеза
336; приближенная линейная регрессия
382—384; 434—435; НК-оцеики в линейной
регрессионной модели 472—493; использо-
использование дополнительной информации (уп-
(упражнения 28.17—28.18) 496—497; уточнение
для дополнительного наблюдения (упраж-
(упражнение 28.19) 497; двухэтапные (упражне-
(упражнение 28.24) 498—499; в гХс таблицах 760;
см. Линейная модель. Регрессия
Найт (Knight W.), обратный выбор 795
НАН, см. Наилучшие асимптотически нор-
нормальные оценки
Нарайн (Narain R. D.), несмещенные кри-
критерии ОП для независимости 329
Независимость (independence), доказатель-
доказательства, использующие достаточность и пол-
полноту (упражнение 23.6—23.10) 296; я. и
корреляция 373—374; критерии 633—647;
и. и связь 721, сноска; частоты 722—723
Нейман (Neyman, J), состоятельность МП-
оценок 93, 514; НАН-оценки 131—133; до-
доверительные интервалы 139, 154 (сноска);
наиболее селективные интервалы 161—
162; интервалы для правого конца рав-
равномерного распределения (упражнения
20.3—20.4) 179; критерии для проверки ги-
гипотез 219; максимальная мощность 224;
проверка простой гипотезы Но против
простой Н, 225; НКО критериев для нор-
нормальных параметров (пример 22.8) 237;
РНМ критерии и достаточные статисти-
статистики 239, (упражнение 22.11) 248; достаточ-
достаточность и подобные области 254; смещен-
смещенность критерия для нормальной диспер-
дисперсии (пример 23.12) 273; несмещенные кри-
критерии 277; достаточность, подобные обла-
области и независимость (упражнения 23.3—
23.4) 295; метод ОП 301; таблицы функ-
функции мощности (-критерия 340; критерии
ОП в k нормальных выборках (упражне-
(упражнения 24.4—24.6) 346—347; несущественные
и структурные параметры 512; состоя-
состоятельное оценивание структурной зависи-
зависимости 514, 534; состоятельность критерия
согласия X2 579; «гладкий» критерий со-
согласия 593—596; см. Типа А, А,, В, В,, С
критерии
Неймана — Пирсона лемма (Neyman — Pe-
Pearson lemma) 225, 229; обобщение 280—281
Непараметрическне гипотезы (поп-рзга-
metric hypotheses) 220—221; н. г. и сво-
свободные от распределения методы 629
Несмещенное оценивание (unbiassed esti-
estimation) 17—19; абсурдное (упражнение
17.26) 57; см. Смещение при оценивании
Несмещенные критерии (unbiassed tests)
271; и. к. н подобные критерии 275—276
Несущественные параметры (incidental pa-
parameters) 512
Нётер (Noether Q. Е.), доверительные ин-
интервалы для отношения биномиальных
параметров (упражнение 20.9) 180; \ОЭ
355; консервативность свободных О7 рас-
распределения процедур в дискретных слу-
случаях 667
Нецентральное f-распределение (non-cen-
(non-central /-distribution) 337—341
Нецентральное (-распределение (non-cen-
(non-central (-distribution) 341—342
Нецентральное х2распределение (non-cen-
(non-central ^-distribution) 305—310, 339 (упраж-
(упражнения 24.1—24.3) 345—346, (упражнение
24.19) 350; и АОЭ 368—369
Нецентральные доверительные интервалы
(non-central confidence intervals) 144—
145
НК, см. Наименьших квадратов оценки
НКО, наилучшая критическая область
(BCR, best critical region) 225; см. Кри-
Критерии для проверки гипотез
Нормальное распределение (normal distri-
distribution), оценивание среднего 15, 21; МГД
для среднего (пример 17.6) 26; МГД для
дисперсии (пример 17.10) 27; эффектив-
эффективность выборочной медианы (пример
17.12) 38; эффективность выборочного
среднего отклонения (пример 17.13) 38—
39; достаточность при оценивании сред-
среднего и дисперсии (пример 17.17) 48; гра-
границы для дисперсии при оценивании
стандартного отклонения (упражнение
17.6) 54; несмещенная МД-оценка квад-
квадрата среднего (упражнение 17.7) 54; оце-
инвание дисперсии с наименьшим сред-
средним квадратом ошибки (упражнение
17.16) 55; эффективность средней разно-
разности (упражнение 17.27) 57; несмещенная
МП-оценка для среднего (пример 18.2)
62; МП-оценка стандартного отклонения
(пример 18.8) 72; МП-оценка среднего и
дисперсии (примеры 18.11, 18.13) 82, 86;
оценивание среднего, принимающего
только целочисленные значения (упраж-
(упражнение 18.21—18.23) 104—105; поправка на
группировку в МП-оценках среднего и
дисперсии (упражнение 18.25) 106; МП-
оцеика общего среднего для совокупно-
совокупностей с разными дисперсиями (упражне-
(упражнение 18.30) 107; МП-оцеика среднего, функ-
функционально связанного с дисперсией
(упражнение 18.31) 108; отсутствие МП-
оценки (упражнение 18.34) 108; эквива-
эквивалентность НК- н МП-оценок 109, 116; до-
доверительные интервалы для среднего
(примеры 20.1, 20.3, 20.5) 141—143, 148—
149, 153—155; доверительные интервалы
для дисперсии (пример 20.6) 156—158,
(упражиение 20.6) 179, (упражнение 20.10)
180, (упражнение 23.18) 298; таблицы до-
доверительных интервалов для дисперсии
и отношения двух дисперсий 163; довери-
доверительные интервалы для среднего прн не-
неизвестной дисперсии 170—172; доверкгель-
ные интервалы для отношения двух сред-
средних (пример ' 20.7) 172—174; доверитель-
доверительные области Для среднего и дисперсии
(упражнение 20.5) 179; доверительные ин-
интервалы для отношения двух дисперсий
(упражнение 20.7) 180, (упражнение 23.18)
298; фндуциальные интервалы для сред-
среднего (пример 21.1) 187; фидуциальные
интервалы для среднего прн неизвестной
дисперсии 188—189; доверительные и фи-
фидуциальные интервалы для задачи о-двух
средних 190—205, (упражнения 21.4—21.5.
21.9—21.10) 217, 218, (пример 23.10) 268—
269, (пример 23.16) 288—290, (пример 24.2)
303—304; байесовские интервалы 205—207;
проверка простой гипотезы Н„ о среднем
(примеры 22.21—22.23) 223-224, 226-228,
(примеры 22.12—22.14) 242—243, 247, (уп-
(упражнение 22.12) 248, (пример 23.11) 270—
w
ш
890
УКАЗАТЕЛЬ
УКАЗАТЕЛЬ
891
272, 285, (примеры 25.1—25.5) 353—368;
проверка нормальной формы против
двойной экспоненциальной (пример 22.5)
230—231; проверка различных гипотез о
среднем и дисперсии (пример 22.8) 236—
238; проверка простой гипотезы Яо о дис-
дисперсии (упражнения 22.3, 22.5) 248, 285;
отсутствие подобных областей (пример
23.1), 253; проверка сложной гипотезы Яо
о среднем (пример 23.7) 264—265. 277,
(пример 23.14) 285—287, (пример 23.17)
293—294, (пример 24.1) 302—303; проверка
сложной гипотезы Яо о разности двух
средних, когда дисперсии равны (пример
23.8) 265—266, (пример 23.15) 287—288;
проверка сложной гипотезы Яо для цнс-
иерснн (примеры 23.12—23.14) 272, 276,
285, (упражнение 23.13) 297, (примеры
24.3, 24.5) 311—313, 323—324; проверка слож-
сложной гипотезы //о о линейных функциях от
различающихся средних и об общей ди-
дисперсии (пример 23.15) 287, (упражне-
(упражнение 23.19) 298; проверка сложной гипоте-
гипотезы Но для взвешенной суммы величин, об-
обратных к различающимся дисперсиям
(пример 23.16) 288; проверка сложной гипо-
гипотезы Яо о дисперсионном отношении (при-
(пример 23.16) 288, (упражнения 23.14, 23.17,
23.18) 297—298; доказательства свойств не-
независимости, использующие полноту (уп-
(упражнения 23.8, 23.9) 296; «особые» РНМН
критерии (упражнения 23.16, 23.20) 297,
298; минимальность и одномерная доста-
достаточность (упражнение 23.31) 300; проверка
равенства нескольких дисперсий (приме-
(примеры 24.4. 24.6) 314, 328, (упражнения 24.4,
24.7) 346—347; в общей линейной гипо-
гипотезе 333—344; таблицы функции мощно-
мощности «-критерия 342; критерии ОП для
k выборок (упражнения 24.4—24.6) 346—
347; асимптотически наиболее мощные
критерии для среднего (пример 25.1) 353;
АОЭ выборочной медианы (примеры 25.2,
25.4, 25.5) 358, 364, 368; данные о функ-
функциональной зависимости (примеры 29.1—
29.7) 518, 521, 529, 534, 540, 541, 543; не-
непригодность метода смешанных семиин-
семиинвариантов для оценивания функциональ-
функциональной зависимости 526—529, 548—549; про-
проверка нормальности 558—559, 617; выбор
классов для критерия X1 574; «гладкий»
критерий для среднего (пример 30.5)
598—599; устойчивость критериев 622—627;
использование в критериях нормальных
меток 651—653; использование двухвыбо-
рочного критерия 654—655, 657; эффектив-
эффективность критерия Вилкоксона и критерия
нормальных меток 667, 671—672; парный
«-критерий 680; урезание и цензурирова-
цензурирование 703—705; критерии для выпадающих
наблюдений 707—710; оценивание, нсполь-
зующее две наилучшие порядковые
статистики (упражнение 32.14) 715; рас-
распределение экстремального отклонения
от выборочного среднего (упражнение
32.21) 716—717; последовательный крите-
критерий для простой гипотезы Яо о среднем
(примеры 34.8, 34.10) 810, 813; последова-
последовательные критерии для дисперсии (пример
34.9) 812, (упражнения 34.18—34.20) 831;
последовательный «критерий 816—819;
последовательное оценивание среднего
(пример 34.12) 823; двойная выборка для
среднего и дисперсии 824—826; распреде-
распределение объема выборки при последова-
последовательном выборе (упражнения 34.12—34.13)
829—830; см. также Двумерное нормаль-
нормальное распределение. Многомерное нор-
нормальное распределение
Нормальные метки (normal scores) 651—
653; в двухвыборочном критерии с,
667—673, (упражнение 31.23) 686
Нортон (Norton H. W.), взаимодействие в
таблицах с несколькими входами 781
Нулевая гипотеза (null hypothesis) 222
сноска
Нэйр (Nair К. R.), оценивание функцио-
функциональной зависимости 538—539; таблицы
доверительных интервалов для медианы
695; распределение экстремального откло-
отклонения от выборочного среднего (упраж-
(упражнение 32.21) 716—717; таблицы стьюден-
тнзованного экстремального отклонения
Обобщенная дисперсия (generalized va-
variance) 85; асимптотическая минимизация
МП-оценками 85—86; минимизация в ли-
линейной модели НК-оценкамн 117—118.
Обратный выбор (inverse sampling) 795
Обрубленные оценки (trimmed estimators)
704, 710
Общая линейная гипотеза (general linear
hypothesis), см. Линейная модель
Огава (Ogawa J.), цензурированные экспо-
экспоненциальные выборки 706
Огберн (Ogburn W. F.), данные о преступ-
лениях в городах (пример 27.2) 442
Ограничения (constraints), налагаемые ги-
гипотезой 221, 249
Ограниченная полнота (bounded complete-
completeness), см. Полнота
Оделл (Odell P. L.), НК-оценка в слу-
случае вырождения 124
Однородности критерии (homogeneity tests)
биномиальный и пуассоновский 774—
776
Однородные категоризации (identical ca
tegorizations) 720
Однородные ошибки (identical errors) 468
Олкин (Olkin I.), несмещенное оценивание
нормальной корреляции 393; несмещенное
оценивание коэффициента миожествеи-
ОП
ной корреляции 456
П, см. К]
бия
рнтерни отношения правдоподо-
Оператнвиая характеристика (operating
characteristic) 798—799
Ортогональный (orthogonal), регрессион-
регрессионный анализ 474—475; о. полниомы в ре-
регрессии 475—480, (упражнение 28.23) 498;
полиномы Лежандра 594 (сноска)
Остатки (residuals) 430 (сноска)
Отрнцательно-биномнальиое распределение
(negative binomial distribution), МП-
оценка (упражнения 18.26—18.27) 106; уре-
урезанное 707; последовательная выборка по
качественному признаку (пример 34.1)
Оуэн (Owen D. В.), таблицы мощности
«-критерия Стьюдента 342
ОХ(ОС), см. Оперативная характеристика
Оценивание (estimation), точечное 15—138;
интервальное 139—218; о. и полнота 254—
255; см. Эффективность оценивания
Оценка (правило) (estimator) и значение
оценки (estimate) 14
Ошибки (errors), в модели НК 111; от-
относительно регрессии 430; однородные
468; наблюдений и функциональных за-
зависимостей 500—503; влияние ошибок
наблюдений на регрессию 551—554
Пайк (Руке R-), выборочные промежутки
687
Параметрические гипотезы (parametric hy-
hypotheses) 220
Параметры с ограничениями (restricted
parameters), их МП-оценки (упражнения
18.21—18.23) 104—105
Парный «-критерий (paired «-test) 680
Патил (Patil G. Р.), достижимость МГД31
Патнайк (Patnaik P. В.), нецентральные
X2- и ^-распределения 308, 310, 339—341,
(упражнение 24.2) 345—346; дисперсия ве-
величины Хг (упражнение 30.5) 619; функ-
функция мощности критерия независимости в
таблицах 2X2 743
Пейдж (Page E. S.), последовательный
критерий в случае экспоненциального
распределения (упражнение 34.14) 830
Перекрестное отношение (cross-ratio), в
таблице 2X2 733, 744
Пересечение (intersection) полиномиальных
регрессий 486
Перестановок критерии (permutation tests)
632
Пжиборовский (Przyborowski J.), довери-
доверительные границы для пуассоиовского па-
параметра 163
Пиллаи (Piltai К. С. S.), таблицы пля
стьюдеитизова иного экстремального от-
отклонения 710
Пникхэм (Pinkham R. S.), моменты не-
нецентральной «-величины 342
Пирс (Peers H. W.), байесовские и дове-
доверительные интервалы 215
Пирсон (Pearson E. S.), графики довери-
доверительных интервалов для биномиального
распределения 162; критерии для провер-
проверки гипотез 219; максимальная мощность
224; проверка простой гипотезы Яо про-
против простой альтернативы Hi 225; НКО
критериев для нормальных параметров
(пример 22.8) 237; РНМ критерии и до-
достаточные статистики 239; выбор разме-
размера критерия 247; РНМ Критерий и доста-
достаточность в случае экспоненциального
распределения (упражнение 22.11) 248;
смещенность критерия для нормальной
дисперсии (пример 23.12) 273; несмещен-
несмещенные критерии 277; метод ОП 301; графи-
графики функции мощности для линейной ги-
гипотезы 340; критерии ОП при k нормаль-
нормальных выборках (упражнения 24.4—24.6)
346—347; критерии согласия 595, 604,
(упражнение 30.12) 620; исследования
устойчивости 623; выпадающие наблюде-
наблюдения 708; таблицы стыодентизованиого
интервала 709; модели для таблицы 2X2
736; функции мощности крнтернгв в
таблицах 2X2 743
Пирсон К. (Pearson К.), развитие корреля-
корреляционной теории 374—375; тетрахорическая
корреляция 410; бисериальная корреля-
корреляция (таблица 26.7) 411, 413, 465; критерий
согласия X2 559; оценивание, использую-
использующее две наилучшие порядковые статисти-
статистики (упражнение 32.14) 715; коэффициент
сопряженности 746; стандартная ошибка
величины X2 в таблицах гХс 750—751;
таблицы с несколькими входами 776,
(упражнение 33.7) 782
Пирсона распределения (Pearson distribu-
distributions), эффективное оценивание для них
97—98, (пример 18.18) 98, (упражнение
18.16) 103
Пнтмэн (Pitman E. J. G.), «близкие» оцен-
оценки 22; распределения, обладающие до-
достаточными статистиками 46, 48, 51; до-
доверительные интервалы для отношения
дисперсий в двумерном нормальном рас-
распределении (упражнение 20.19) 182; до-
достаточность статистики ОП для проверки
простой гипотезы Яо (упражнение 22.13)
248; несмещенные инвариантные крите-
критерии для параметров сдвига и масштаба
325, (упражнение 24.15) 349; АОЭ 355; АОЭ
критерия знаков (упражнение 25.2) 371,
692; АОЭ критерия Внлкоксоиа (упраж-
(упражнения 25.3—25.4) 371, 665, (упражнение
31.22) 686; критерий независимости 635;
двухвыборочный критерий 655—657; со-
состоятельность критерия Внлкоксона 663—
664, (упражнение 31.16) 685
ПКОВ (SPR tests), последовательные кри-
критерии отношения вероятностей 801—314.
(упражнения 34.4, 34 7—34.11, 34.21—34.22)
828—829, 831—832
Плэкетт (Plackett R. L.), об истоках тео-
теории НК 115; теория НК в случае вырож-
вырождения 122, (упражнения 19.6—19.8) 136—137;
общая линейная модель (упражнение
19.2) 136; поправки иа непрерывность 682;
745; упрощенное оценивание в цензури-
рованных выборках 703; цеизурированиые
нормальные выборки 704; урезанное
пуассоновское распределение 706; (упраж-
(упражнение 32.20) 716; х. ф. и семиинварианты
логистических порядковых статистик (уп-
(упражнение 32.12) 714; оценивание кванти-
квантилей (упражнение 32.13) 714—715; взаимо-
взаимодействие в таблицах с несколькими
входами 78t
Погода и урожаи (weather and crops),
данные Хукера (пример 27.1) 439
Подобные области (similar regions), по-
подобные критерии 251— И52; см. Критерии
для проверки гипотез
Полиномиальная регрессия (polynomial
regression) 475—482
Политомия (polytomy) 730
Полихорическое оценивание нормпьной
корреляции (polychortc estimation of
normal correlation) 752
Полнота (completeness) 254; п. и един-
единственность несмещенной оценки 255; п.
достаточных статистик 254—259; п. и по-
подобные области 263; в непараметрических
задачах 631—632; последовательная 819
(сноска)
Полсон (Paulson A. S.), критерии для вы-
выпадающих наблюдений 710
Полсон (Paulson E.), критерии ОП для
экспоненциальных распределений 329,
(упражнения 24.16, 24.13) 349—350; выпа-
выпадающие наблюдения 709
Поправки (corrections), на смещение прн
оценивании 19—22, (упражнения 17.17—
17.19) 55; иа группировку в МП-оценках
(упражнения 18.24—18.25) 105—106
Поправки иа непрерывность (continuity
corrections) в свободных от распределе-
распределения критериях 681—683; в таблицах 2X2
744
Порядковые статистики (order-statistics),
для параметра сдвига Коши (пример
18.9) 76; в НК-оценках параметров сдвига
и масштаба 126—131; п. с. и подобные
области 252; полнота 631—632; использо-
использование нормальных меток 651—653; асимп-
асимптотическое распределение математиче-
математических ожиданий 653; критерий знаков для
квантилей 687—692; доверительные интер-
интервалы для квантилей 692—695; толерант-
толерантные интервалы 695—698; при точечном
оцениранин 699; урезание и цензуриро-
892
УКАЗАТЕЛЬ
УКАЗАТЕЛЬ
893
ванне 699—707; выпадающие наблюдения
707—712; оценивание квантилей (упраж-
(упражнение 32.13) 714—715
Последовательные методы (sequential me-
methods) 791—832; для качественных при-
признаков (упражнение 18.18) 104, 791—810;
замкнутые, открытые и усеченные схемы
792; последовательные критерии 798;
ОХ 798—799; СОВ 799—800; ПКОВ 801—
814. (упражнения 34.4, 34.7—34.11) 828—
829; правила остановки при обследовании
с заменой всех дефектных изделий год-
годными н при двойной выборке 809—810;
эффективность 812—814; сложные гипо-
гипотезы 814—816; последовательный <-крнте-
рий 816—819; оценивание 819—824, (уп-
(упражнения 34.5—34.6) 828; двойная вы-
выборка 824—826, (упражнения 34.15—34.17)
830—831; свободные от распределения 826
Поттхофф (Potthoff R. F.), проверка одно-
однородности 776
Правдоподобия принцип (likelihood princi-
principle) 58
Правдоподобия уравнение (likelihood equa-
equation) 59; см. Максимального правдопо-
правдоподобия оценки
Правдоподобия функция (ФП) (likelihood
function (LF)) 23; использование 93, см.
Максимального правдоподобия оценки
Прайс (Price R.), нецентральное f-pacupe-
деление 339
Праут (Prout Т.), см. Левонтнн
Предсказания интервалы (prediction inter-
intervals) 484
Преобразования (transformations), функ-
функциональных соотношений в линейные 550;
нормализующие 627—628
Пресс (Press S. J.), сравнения с помощью
доверительных интервалов в задаче о
двух средних 202
Преступность в городах (crime In cities),
данные Огберна (пример 27.2) 442—443
Простая гипотеза (simple hypothesis) 218—
248; см. Гипотезы, Критерии для про-
проверки гипотез
Прэтт (Pratt J. W.), ожидаемая длина
доверительных интервалов (упражнения
20.17—20.18) 181; несмещенное оценивание
нормальной корреляции 393; несмещен-
несмещенное оцениваине множественной корреля-
корреляции в многомерном нормальном случае
456; устойчивость двухвыборочных кри-
критериев 673
Прямоугольное распределение (uniform
distribution), см. Равномерное распреде-
распределение
Псевдообратная матрица (pseudo-inverse
matrix) (упражнение 27.21) 460
Пуассоновское распределение (Poisson
distribution), МГД для параметра (при-
(пример 17.8) 26; абсурдная несмещенная
оценка в усеченном случае (упражнение
17.26) 57; МХК-оценка (пример 19.11) 134;
п, р, в линейной модели (упражнение
19.16) 138; доверительные интервалы
(пример 20.4) 149—151; таблицы довери-
доверительных интервалов 163; проверка простой
гипотезы Но (упражнение 22.1) 247, 285;
РНМН критерии для разности между
двумя пуассоновскнми параметрами (уп-
(упражнение 23.21) 298: п. р. и нецентраль-
нецентральное ^'-распределение (упражнение 24.19)
350; урезание и цензурирование 706, (уп-
(упражнения 32.19—32.20, 32.22—32.24) 716—
717; дисперсионный критерий 775—776;
обратный вйбор 795; последовательное
оценивание (пример 34.13) 824
Пури (Puri M. L.), ^-выборочные крите-
критерии 676
Путтер (Putter J.), исследование совпаде-
совпадений 682
Пэбст (Pabst M. R.), эффективность кри-
¦ терия ранговой корреляции 646
Пэчерс (Pachares J.), таблицы доверитель-
доверительных границ для параметра биномиаль-
биномиального и дисперсии нормального распреде-
распределений 163; таблицы стыодентнзованкого
интервала 710
Равномерно наиболее мощный (РНМ)
(uniformly most powerful (UMP)) 234;
см. Критерии для проверки гипотез
Равномерно наиболее мощный несмещен-
несмещенный (uniformly most powerful unbiassed
(UMPU)) 272; см. Критерии для про-
проверки гипотез
Равномерное распределение (uniform dist-
distribution, rectangular distribution), наи-
наибольшее наблюдение как Достаточная
статистика для верхней границы (пример
17.16) 43; достаточность, когда обе гра-
границы зависят от параметров (примеры
17.18, 17.21—17.23) 51-52; несмещенная
МД-оценка (упражнение 17.24) 56—57;
смещенность МП-оценки для границы
интервала (пример 18.1) 61; МП-оценка,
являющаяся функцией только от одной
из двух достаточных статистик (пример
18.5) 67; МП-оценки обеих границ (при-
(пример 18.12) 83; неединственность МП-онен-
ки для параметра сдвига (упражнение
18.17) 103-104; порядковые НК-оценкн
параметров масштаба и сдвига (пример
19.10) 129; доверительные интервалы для
верхней границы (упражнения 20.2—20 4
20.15) 179, 181; РНМ односторонние крн-
тернн для простой гипотезы Яо о пара-
параметре сдвига (упражнение 22.8) 248;
минимальная достаточность (упражнение
23.12) 297; мощность условного критерия
(упражнение 23.23) 299; РНМ критерий
для сложной гипотезы //0 о параметре
сдвига (упражнение 23.26) 299; связь с
Х2-распределеиием 317—318; критерий ОП
для параметра сдвига (упражнение 24.9)
347; критерий ОП для параметра мас-
масштаба (упражнение 24.16) 349; распреде-
распределение порядковых статистик (упражне-
(упражнение 30.17) 620—621; АОЭ двухвыборочного
критерия Внлкоксона (упражнение 31.22)
686; асимптотическая граница дисперсии
оценки среднего (упражнение 32.10) 714;
оценивание для цензурированных выбо-
выборок (упражнение 32.25) 718
Рагхавачари (Raghavachari M.), критерии
сдвига 674
Радж (Raj D.), урезанные и цензурирован-
ные гамма-распределения 706
Разбиения величины X2 (partitions of X2)
601—602, в таблицах гХс 769—774
Размер критерия (size of test), 222: его
выбор 245—247
Разорение игрока (gambler's ruin), (при-
(пример 34.2) 796
Райдер (Rider P. R.), урезанные распре-
распределения 707
Рамачандрамурти (Ramachandramurty
Р. V.), устойчивое оценивание 673
Рамачандран (Ramachandran К. V.), таб-
таблицы доверительных границ для нор-
нормальной дисперсии и для отношения
дисперсий 163, 274, (упражнение 23.17) 298
Ранги (ranks), как инструментальные пере-
переменные 540—543, (упражнения 29.9—29.10)
555; см. Ранговые критерии
Ранговые критерии (rank tests) 637—638;
использование коэффициентов ранговой
корреляции 637—651; для задачи двух и
k выборок 659, 678; независимость сим-
симметрических функций (упражнение 32.2)
712—713
Рао Б. (Rao В. R.), аналог МГД (упраж-
(упражнение 17.23) 56; цензурирование, уреза-
урезание и эффективность 702, (упражнение
32.26) 718
Рао (Rao С. R.), МГД 24, (упражнение
17.20) 56, достаточность и МД-оцеика 44,
48; эффективность и корреляция 70;
МХК-оцеика 133; эффективность второго
порядка 136
Расположение (location), см. Сдвига и мас-
масштаба параметры
Раштон (Rushton S.), ортогональные по-
полиномы 480
Регрессия (regression) и зависимость 373—
374; кривые р. 377—378; р. и ковариацня
378—380; линейная р. 380—382; коэффи-
коэффициенты р. 381; уравнения р. 381; вычис-
вычисление (примеры 26.6—26.7) 386—389; ди-
диаграмма разброса 389; стандартные
ошибки 390—392; критерии регрессии и
критерии независимости 395—396; линей-
линейность, коэффициент корреляции и корре-
корреляционное отношение 396—400; критерий
ОП для линейности р. 400—403; общее
461—499; аналитическая теория 461—472,
(упражнения 28.1—28.5) 493—494; крите-
критерии линейности 467—469; общая линей-
линейная модель 472—493; поправки 474, (уп-
(упражнение 28.20) 197; кусочно-линейные
кривые 474; ортогональная р. 474—482,
(пример 28.4) 485, (упражнение 28.23) 495;
доверительные интервалы и критерии
для параметров 483—487, (упражнения
28.15—28.22) 495—498; доверительная об-
область для линии р. 487—493; критерии
для разности между коэффициентами р.
(упражнения 28.14—28.15) 495; использо-
использование дополнительной информации (уп-
(упражнения 28.17—28.18) 496—497; графиче-
графическая подгонка (упражнение 28.19) 497; р.
и функциональная зависимость 502—503,
504—506; р. и контролируемые перемен-
переменные 544—545; влияние ошибок наблюде-
наблюдений 551—554; см. также Корреляция,
Линейная модель, Множественная корре-
корреляция, Наименьших квадратов оценки,
Частная корреляция и регрессия
Регрессор (regressor) 461
Резников (Resnikoff G. J.), таблицы не-
нецентрального ^-распределения 342
Решающие функции (decision functions) 827
Рикер (Ricker W. Е.), таблицы доверитель-
доверительных интервалов для пуассоновского па-
параметра 163
РНМ, см. Равномерно наиболее мощный
РНМН, см. Равномерно наиболее мощный
несмещенный
Роббннс (Robbins H.), границы для дис-
дисперсий оценок 34; оценивание стандарт-
стандартного отклонения нормального распреде-
распределения (упражнение 17.6) 54; f-распреде-
ленне Стьюдента, когда средние наблю-
наблюдений различны 625; толерантные интер-
интервалы для порядковых статистик 695;
моменты в последовательном оценива-
оценивании 820
Робнисон (Robinson D. Е.), пересечение по-
полиномиальных регрессий 486
Робсон (Robson D. S.), оцениваине гра-
границы области изменения (упражнение
17.13) 55; ортонормальиые полиномы (уп-
(упражнение 28.23) 498
Розенблатт (Rosenblatt M.), распределение
критерия Гёфдиига 677
Розенталь (Rosenthal I.), выборочные экс-
эксперименты с О в упорядоченных табли-
таблицах 758
Рой (Roy A. R.), выбор классов для кри-
критерия X2 575
Рой Дж. (Roy J.), урезанное пуассонов-
кое распределение (упражнение 32.20) 716
Рой К. (Roy К. Р.), асимптотическое рас-
распределение статистики ОП 310
Рой С. (Roy S. N.), совместные довери-
доверительные интервалы 175; модели для таб-
таблиц гХс 749; гипотезы для таблиц с не-
несколькими входами 780
Ромиг (Romig H. Q.), двойная выборка 810
Ротенберг (Rothenberg T. J.), оценивание
параметра сдвига распределения Кош и
Салех (Saleh А. К. М. Е.), цеизурирован-
ные экспоненциальные выборки 706
Саидрум (Sundrum R. М.), оценивание
эффективности и мощности 231, (упраж-
(упражнение 22.7) 248; мощность критерия Вил-
коксона 667
Санкаран (Sankaran M.), граница диспер-
дисперсии (упражнение 17.23) 56
Сархан (Sarhan А. Е.), порядковые НК-
оценки параметров сдвига и масштаба
(упражнения 19.11—19.12) 137—138, (упраж-
(упражнение 32.18) 716; порядковые статистики
687; цензурнроваиные выборки 704—706,
(упражнение 32.25) 718
Свамн (Swamy P. S.), эффективность при
урезании и цензурировании 702—703
Свед (Swed F. S.), таблицы критерия
серий (упражнение 30.8) 619
СверхэффеКтнвность (supereffeciency) 70
Свободные от параметра критерии со-
гласия (parameter-free tests of fit) 591 —
593, 605, 617—618; (упражнение 30.10) 620
Свободные от распределения процедуры
(distribution-free procedures), критерии
согласия 591—593, 603—604; доверитель-
доверительные интервалы для непрерывной ф. р.
611; общие сведения 628—629; непарамет-
непараметрические задачи 629; классификация
629—630; построение критериев 631—632;
эффективность критериев 632—633;
критерии независимости 633—647; крите-
критерии случайности 647—653; двухвыбоуоч-
ные критерии 653—S75; доверительные
интервалы для параметра сдвига 658,
(упражнение 31.17) 685; ^-выборочные
критерии 675—679; критерии симмет-
симметрии 679—681; критерии для квамтиг
лей 687—692; доверительные интервалы
для квантилей 692—695; толерантные ин-
интервалы 695—698; критерии для выпадаю-
выпадающих наблюдений 711—712; категорнзоваи-
ные данные 719—790; последовательные
критерии 826—827
Связь (association), в таблицах 2X2 719—
725; с. и независимость 721 (сноска); в
таблицах гхс 752—769; частная 725—730,
777—781; см. Категоризованные данные
Сдвига и масштаба параметры (location
and scale parameters), МП-оценки 93—95;
некоррелированность МП-оценок в случае
симметричного распределения 95; поряд-
порядковые НК-оценки 126—131, (упражнения
894
УКАЗАТЕЛЬ
УКАЗАТЕЛЬ
895
19.10—19.12) 137—138; некоррелирован-
некоррелированность порядковых НК-оценок в случае
симметричного распределения 129; иол-
нота 255; отсутствие критерия для сдвига
с мощностью, не зависящей от масштаб-
масштабного параметра (упражнение 23.30) 300;
несмещенные инвариантные критерии
для ннх 324—329, (упражнение 24.15) 349;
оценивание при проверке согласия 593—
605, (упражнение 30.10) 620
Серий критерий (runs tests) (упражнения
30.7—30.9) 619—620
Сечение (array) 377
Сидднки (Siddiqui М. М.), цензурирован-
ные экспоненциальные выборки 706
Снджел (Siegel S.), двухвыборочпый крн-
• тернй для различия в масштабе 674—675
Сил (Seal H. L.), критерий серий как до-
дополнение к критерию согласия X2 591,
(упражнение 30.7) 619
Снлбанндер (Seelblnder В. М.), двойная
выборка 826
Снлверстоун (Sllverstone H.), МГД 24;
сравнение нАН-оцеиок 136
Силлнто (Sillito G. Р.), порядковые ста-
¦ тистнки 708
Симметрии критерии (symmetry tests)
¦ (упражнение 31.25) 679—681
Симметричные распределения (symmetrical
distributions), некоррелированность МП-
оценок параметров сдвига н масштаба
¦95—96; некоррелированность порядковых
НК-оценок параметров сдвига и мас-
масштаба 129; условие иа НК-оценку пара-
параметра сдвига для того, чтобы она была
выборочным средним (упражнение 19.10)
137; АОЭ критерия знаков 690—692, (уп-
(упражнение 32.1) 712; критерии симметрии
679—681
Снигх (Singh R.), полнота 255
Сичел (Sichel H. S.), МП-оценки в логиор-
мальном распределении (упражнения
18.7—18.9) 101—102
Скедастическая кривая (scedastic curve)
462
Скотт (Scott E. L.), состоятельность МП-
оценок 93, 514, 534; несущественные и
структурные параметры 512
Сложные гипотезы (composite hypotheses)
249—300; см. Гипотезы, Критерии для
проверки гипотез
Сложные таблицы сопряженности (complex
contingency tables), см. Таблицы с не-
несколькими входами
Случайность (randomness) критерии слу-
случайности 647—651
Слэктер (Slakter M. J.), аппроксимация
Xй 588
Смесн распределений (mixtures of distribu-
distributions), МГД для пропорций (упражнение
17.2) 53
Смещение при оценивании (bias in estima-
estimation) 17—19; поправки на смещение 19—
22, (упражнения 17.13, 17.17—17.18) 05; см.
Несмещенное оценивание
Смещение критериев (Ыаз in tests) 270;
см. Несмещенные критерии. Критерии
для проверки гипотез
Смирнов Н. В., критерий согласия G03;
таблицы критерия согласия Колмогорова
610; односторонний критерий согласия
612—613; двухвыборочный критерий 673
Смит (Smith С. А. В.), моменты величины
X2 в таблице гХс (упражнение 33.9) 783
Смит Дж. (Smith J. H.), МП-оценкн груп-
¦ повых вероятностей в таблице гХс (уп-
(упражнение 33.29) 789
Смит К. (Smith К.), МХК-оценки для
пуассоновского распределения (примеи
19.11) 135 и
Смит С. (Smith S. М.), семиинварианты
МП-оценки 72
Смит У. (Smith W. L.), урезание н доста-
достаточность 700
Со (Saw J. G.). цензурированиые нор-
нормальные выборки 705
Собел (Sobel M.), свойство независимости
экспоненциального распределения (уп-
(упражнение 23.10) 296; цензурирование в
экспоненциальных выборках 705, (упраж-
(упражнение 32.17) 716
СОВ, см. Средний объем выборки
Совпадения (ties) и свободные от распре-
распределения критерии 682—683 t
Сопер (Soper H. Е.), стандартная ошибка
коэффициента бисернальной корреляции
415-416
Сопряженность (contingency), таблицы 745;
коэффициент 746; см. Категоризованиые
данные
Состоятельность критериев (consistency in
tests) 322; критериев ОП 323
Состоятельность при оценивании (consi-
(consistency in estimation) 15—17, 132 (сноска),
351; МП-оценок 64—67, 83, (пример 18.16)
92, (упражнение 18.35) 108
Спёрджен (Spurgeon R. А.), таблицы не-
нецентрального (-распределения 342
Спрент (Sprent P.), линейные функцио-
функциональные зависимости 526
Спротт (Sprott D. А.), фидуцнальный и
байесовский методы 215
Срединная корреляция (medial correlation)
(упражнение 31.7) 683
Средний квадрат ошибки (mcan-square-er-
ror), оценивание по методу минимума
с. к. о 39—40, (упражнение 17.16) 65
Средний объем выборки (average sample
number) 799—800
Статистическая зависимость (statistical
relationship) 373
Стейн (Stein С), оценивание параметров
с ограничениями (упражнение 18.22) 105;
неподобные критерии для сложной гипо-
гипотезы Н„ 269; бесполезность критерия ОП
(пример 24.7) 330; инвариантность и до-
достаточность 344; критерии симметрии 679;
ПКОВ 801; последовательная полнота 819
(сноска); двойная выборка 824—826
Степени свободы (degrees of freedom),
гипотезы 221, 249
Стерн (Sterne Т. Е.), доверительные ин-
интервалы для пропорции 163
Стефан (Stephan F. F.), МП-оцеикн груп-
групповых вероятностей в таблице гХс (уп-
(упражнение 33.29) 789
Стефенс (Stephens M. А.), критерии согла-
согласия 604
Стивене (Stevens W. L-), доверительные
интервалы в дискретном случае 164;
фидуцнальные интервалы для биноми-
биномиального параметра (упражнение 21.3)
216—217; критерий серий (упражнение
30.8) 619
Структурная зависимость (structural rela-
relationship), см. Функциональные и струк-
структурные зависимости
Структурные параметры (structural para-
parameters) 512
Стьюарт (Stuart А.), оценивание коэффи-
коэффициента корреляции в нормальном случае
(упражнение 18.12) 103; АОЭ и макси-
максимальная потеря мощности 366; многомер-
многомерное нормальное распределение с внутри-
внутриклассовой корреляцией (упражнения
27.18—27.19) 459—460; критическая область
для критерия согласия X2 562; совместное
распределение ранговых корреляций 644;
АОЭ критериев случайности 653, (упраж-
(упражнения 31.10—31.12) 684; корреляция между
рангами и значениями варианты (упраж-
(упражнения 31.13—31.14) 684—685; проверка ги-
гипотезы о разности двух коэффициентов
связи 757; критерий однородности марги-
маргинальных распределений в таблицах ТХг
(упражнение 33.24) 788
Стьюдент («Student», W. S. Gosset), стью-
дентнзация 171; выпадающие наблюде-
наблюдения 708
Стьюдентнзация (studentization) 170—172,
(пример 20.7) 172—174
Стьюдентизованное максимальное абсолют-
абсолютное отклонение (studentized maximum
absolute deviate) 709
Стьюдентизованное экстремальное откло-
отклонение (studentized extreme deviate) 709
Стьюдентизованный размах (studentized
range) 710
Субрахмаииам (Subrahmaniam К.), урезан-
урезанное пуассоновское распределение (уп-
(упражнение 32.20) 716
Сукхатм (Sukhatme P. V.), критерии ОП
для k экспоненциальных распределений
(упражнения 24.11—24.13) 348—349
Сходимость по вероятности (convergence
in probability) 16; см. Состоятельность
прн оценивании
Сэвидж (Savage I. R.), библиография о
свободных от распределения статистиках
630; двухвыборочный критерий с нор-
нормальными метками 668, 672; независи-
независимость симметричных и ранговых статн-
стик (упражнение 32.2) 712—713
Сэвндж Л. (Savage L. J.), достаточность
42
Сэмпфорд (Sampford М. R.), урезанное
отрицательно-биномиальное распределе-
распределение 707
Сюй (Hsu P.), критерий независимости в
таблицах 2X2 741, 743
Сюй (Hsu P. L.), оптимальное свойство
критерия ОП для линейной гипотезы
344
Таблицы 2X2 BX2 tables), связь в инх
720—725, (упражнения 33.1—33.2) 781;
частная связь 725—730; вероятностная ин-
интерпретация мер связи 730—733; асимпто-
асимптотические критерии независимости 733—
736; точные критерии независимости для
разных моделей 736—744; поправка на
непрерывность 744—745, (упражнение
33.5) 782; компоненты величины X1 в таб-
таблицах 2X2X2 777, (упражнения 33.27—
33.28) 788—789; критерий однородности
маргинальных распределений в таблицах
2е (упражнение 33.30) 790
Таблицы с несколькими входами (multi-
way tables) 776—781
Тагути (Taguti Q.), таблицы толерантных
границ для нормального распределения
178
Тайкью (Tiku M. L.), нецентральные X2- и
F -распределения 307, 339, 341; критерии
согласия 605
Тамура (Tamura R.), критерии масштаба
674
Тартер (Tarter M. E.), логистические поряд-
порядковые статистики (упражнение 32.12) 714
Тейл (Theil Н.), оценивание функцнональ-
Г 3аВ1СИМ°ГИ539 И1 ^ <
Гя 299Г
Тейнис (Tanls E. А.), проверка гипотез
?ЛЯЭК^°Н1ЦИГЬИЫХ
?урГз49
Тейт (Tate R. F.), несмещенная МД-оцонка
(упражнение 17.24) 57, таблицы довери-
доверительных интервалов для нормальной дис-
дисперсии 163; кратчайшие интервалы (уп-
(упражнение 20.10) 180; бисериальная и то-
чечно-бисериальная корреляция 416 417
(упражнения 26.10—26.12) 419—420; уре-
урезанное пуассоновское распределение 706,
(упражнение 32.19) 716
Тейчер (Teicher H.), характеризацня по-
посредством формы МП-оценки (упражне-
(упражнение 18.2) 100; моменты в последователь-
последовательном оценнван,нн 820
Терпстра (Terpstra T. J.), 4-выборочный
критерий 678
Терри (Terry M. Е.), критерии, использую-
использующие нормальные метки 652, 668
Тетрахорнческая корреляция (tetrachoric
correlation) 407—411; ряды 409, (упражне-
(упражнения 26.5—26.6) 418—419; ряды н канони-
канонические корреляции 763—764
Тнензо (Tlenzo В. Р.), стьюдентнзованное
экстремальное отклонение 710
Тнланус (Tilanus С. В.), оценивание пара-
параметра сдвига распределения Коши 77
Тинджи (Tingey F. ' Н.), односторонний
критерий согласия 613
Типа А, Ат, В, В|, С критерии (type А, А,,
В, Вь С tests) 277
Типа А распределение, зависящее от слу-
случайных параметров (type A contagious
distribution), МП-оценкн и оценки по ме-
методу моментов (упражнение 18.28) 107
Типа М несмещенные критерии (Туре М
unbiassed tests) 272
Типа I, Типа II цензурирование (type I,
type П censoring) 700—701
Типа IV (Пирсона) распределение (type IV
(Pearson) distribution), центр располо-
расположения и эффективность метода моментов
(упражнение 18.16) 103
Тодхантер (Todhunter I-), применение Ар-
бетнотом критерия знаков 687 (сноскя)
Токарска (Tokarska В.), таблицы функции
мощности ^-критерия Стьюдента 342
Толерантные интервалы (tolerance inter-
intervals), для нормального распределения
176—179, (упражнения 20.20 20.22) 182;
свободные от распределения 695—698,
(упражнения 32.6—32.7) 713
Толерантные области (tolerance regions) 698
Томпсон (Thompson W. R.), доверительные
интервалы, для медианы 695; выпадаю-
выпадающие наблюдения 709
Точер (Tocher К. D.), точный оптимальный
критерий для таблиц 2X2 742
Точечно-бисернальная корреляция (point-
biserial correlation) 416—417, (упражне-
(упражнение 26.5) 418
Точечное оценивание (point estimation) 13—
138
Треид (trend) 647
Трикетт (Trickett W. H-), таблицы для за-
задачи о двух средних 202
Тьюки (Tukey J. W.), фидуциальный пара-
парадокс 212; двухвыборочный критерий про-
против альтернативы об изменении масшта-
масштаба 675; доверительные интервалы для
квантилей 694; толерантные области 698;
урезание и достаточность 700; выпадаю-
выпадающие наблюдения 710
896
УКАЗАТЕЛЬ
УКАЗАТЕЛЬ
897
Тэиг (Tang P. С), нецентральное F-pac-
пределенне и таблицы функции мощно-
мощности для линейной гипотезы 339—341; не-
нецентральное х2-распределение (упражне-
(упражнение 24.1) 345
Тэтчер (Thatcher A. R-), биномиальные
прогнозы 215
Уайз (Wise М. Е.), аппроксимации для X1
¦ 561
Уайт (White С), таблицы критерия Вил-
коксона 662
Уайтекер (Whitaker L.), данные о смертно-
смертности женщин 135
Унддер (Widder D. V.). преобразование
Лапласа 256 (сноска)
Уикселл (Wicksell S. D.), аналитическая
теория регрессии (упражнение 26.2) 418,
465, (упражнение 23.4) 494; критерий ли-
линейности регрессии 468
Уилкс (Wilks S. S.), кратчайшие довери-
доверительные интервалы 159; наименьшие до-
доверительные области 175; доверительные
интервалы для верхней границы равно-
равномерного распределения (упражнение 20.2)
179; асимптотическое распределение ста-
статистики ОП 310; обзор литературы о по-
порядковых статистиках 689; толерантные
интервалы 695, 698
Унлльямс (Williams С. A., Jr.), критерий
согласия у2 587, 615
Унлльямс Э. (Williams E. J.). сравнение
линейных моделей) (упражнение 28.22)
498; основанные на метках методы для
таблиц гхс 760; канонический анализ
(упражнение 33.13) 785
Унткомб (Whitcomb M. G.), несмещенные
критерии для нормальной дисперсии
286
Уитлок (Whitlock J. H.), оценивание гра-
границы области изменения (упражнение
17.13M5
Уитии (Whitney D. R.), критерий Вилкок-
сона 660
Уиттииг (Witting Н.), АОЭ критерия Вил-
коксона 667; АОЭ критерия знаков 692
Уиттингхилл (Whlttinghill M.), проверка
однородности 776
Уишард (WIshart J.), нецентральные xJ' в
f-распределения 307, 339, (упражнение
24.1) 345; моменты множественного коэф-
коэффициента корреляции 454; (упражнения
27.10-27.11) 458
Уокер (Walker A. M.), эффективность оце-
оценок 70
Уоллес Д. (Wallace D. L.), асимптотиче-
асимптотические разложения в задаче о двух сред-
средних 202
Уоллес (Wallace T. D.), двухэтапный метод
НК (упражнение 28.24) 499
Уоллис (Wallis W. А.), толерантные ipa-
ницы 178; критерий Внлкоксона 660—662,
(упражнение 31.15) 685; Л-выборочный
критерий 676; исследование совпадений
682
Уолш (Walsh J. E.), мера эффективности
критерия 369; влияние внутриклассовой
корреляции на f-критерий Стьюдента
(упражнение 27.17) 459; мощность крите-
критерия знаков 692; толерантные интервалы
698; цензурированиые нормальные выбор-
выборки 705; выпадающие наблюдения 7i2
Уоркннг (Working H.), доверительная об-
область для линии регрессии 487, 491—492,
(упражнение 28.13) 495
Уормлнтон (Wormieighton R-), толерантные
области 698
Упорядоченная альтернатива (ordered al-
alternative), для А-выборочного критерия 678
Упорядоченная категоризация (ordered ca-
categorization) 719
Упорядоченные таблицы rXc (ordered rxe
tables) 752—769
Урезанные распределения (truncated di-
distributions) 699—707; оценивание точки
урезания (упражнение 17.13) 55
Урожаи пшеницы н картофеля .(yields of
wheat and potatoes), данные о них (таб-
(таблица 26.3) 388
Усеченные последовательные схемы (trun-
(truncated sequential schemes) 792
Условности принцип (conditionally prin-
principle) 292—293
Условные критерии (conditional tests) 293—
295
Устойчивость (robustness) 622—627; при
оценивании 627, 673
Уэлч (Welch В. L.), задача о двух средних
199—202: байесовские и доверительные
интервалы 215; мощность условных кри-
критериев 293—295, (упражнение 23.23) 299;
центральное ^-распределение 342
Феллер (Feller W.), подобные области
252—254, (упражнения 23.1—23.2) 295; рас-
распределение статистики Колмогорова 605
Фергюсон (Ferguson T. S.), выпадающие
наблюдения 708—709
Фередей (Fereday F.), линейные функцио-
функциональные зависимости с несколькими пе-
переменными 526, (упражнения 29.6—29.8)
554—555
Ферон (Feron R.), характернзация двумер-
двумерной нормальности 471 (сноска)
Фехнер (Fechner G. Т.), работа по ранго-
ранговой корреляции 640
Фидуциальные интервалы (fiducial Inter-
Intervals), фидуциальиая вероятность, см. Фи-
дуцнальные выводы
Фндуцнальные выводы (fiducial inference),
общее 183—188; для распределения Сгью-
дента 188—189, (упражнение 21.7) 217; в
задаче о двух средних 203—205; критиче-
критическое обсуждение 207—216; парадоксы
211—212; связь с байесовским выводом
212—215
Фикс (Fix E.), таблицы нецентрального
Х2-распределения 310; линейность регрес-
регрессии 553; таблицы критерия ВнЛкоксоиа
662
Филлер (Fieller E. С), трудности теории
доверительных интервалов 152, 173
Финнн (Finney D. J.), МП-оценка в ног-
нор мальном распределении (упражнения
18.7—18.9, 18.19—18.20) 101—102, 104; уре-
урезанное биномиальное распределение 707;
таблицы для точного критерия иезацнеи-
мости в таблице 2X2 740—741; обратный
выбор 795
Фншер (Fisher F. М.), оценивание пара-
параметра сдвига в распределении Коши 77
Фишер (Sir Ronald A. Fisher), определение
ФП 23 (сноска); достаточность 40; раз-
разбиение ошибки при неэффективной оцен-
оценке (упражнение 17.11) 55; принцип МП
58; последовательное приближение к МП-
оценке 75—76. (пример 18.10) 77; исполь-
использование ФП 93; МП-оценкн параметров
сдвига и масштаба 93; эффективность
метода моментов 98, (упражнение 18.16)
103, (упражнение 18.27) 106; центр рас-
расположения для распределения типа IV
(упражнение 18.16) 103; состоятельность
132 (сноска), 351; фидуциальные выводы
183; фидуцнальное решение задачи о
двух средних 204; фидуцнальные пчра-
доксы 211; фидуцнальные интервалы для
последующих наблюдений (упражнение
21.7) 217; исчерпывающая и достаточная
статистика 260, сноска; вспомогательные
статистики 292—293; нецентральные X7
и F-распределения 307, 339; преобразова-
преобразование коэффициента корреляции 394; кри-
критерии для корреляции и регрессии 400;
распределение внутриклассового коэффи-
коэффициента корреляции 407, (упражнение
26.14) 420—421; распределение частных
коэффициентов корреляции- 444; распре-
распределение множественного коэффициента
корреляции 452—453, (упражнения 27.13—
27.16) 458—459; ортогональные полиномы
479—480; критерий различия между ре-
регрессиями (упражнение 28.15) 495; рас-
распределение критерия согласия X2 565, 570
(упражнение ЗОЛ) 618; критерии, исполь-
использующие нормальные метки 652, 673; кри-
критерий симметрии 681; точное исследова-
исследование таблицы 2X2 737, 739; дисперсион-
дисперсионные критерии 775
Фокс (Fox К. А.), доверительные интерва-
интервалы для многомерной нормальной множе-
множественной корреляции 457
ФоксЛЛРох L.), обращение матрицы 114
Фокс М. (Fox M.), графики функции мощ-
мощности для линейной гипотезы 340
ФП, см. Правдоподобия функция
Фрейд (Freund R. J.), двухэтапный метод
НК (упражнение 28.24) 498—499
Фреше (Frechet M.), линейные регрессии
и корреляционные отношения (упражне-
(упражнение 26.24) 422
Фримэн (Freeman G. Н.), точный критерий
независимости в таблицах гхс 749
Функциональные и структурные зависимо-
зависимости (functional and structural relations)
373; обозначения 501; линейные 501—503;
ф. и с. з. н регрессия 501—505; МП-оцен-
МП-оценки 506—518, 545—547; геометрическая ин-
интерпретация 514—515, 547; доверительные
интервалы и критерии 518—523; несколь-
несколько переменных -523—526; использование
смешанных семиинвариантов 526-530,
547—549; инструментальные переменные
530—545; использование рангов 540—543;
контролируемые переменные 544—545, 549;
криволинейные зависимости 545—550
Функция распределения (distribution fun-
function), выборочная 602—603; доверитель-
доверительные границы для ф. р. 611—613
Фуржо (Fourgeaud С), характеризация
двумерной нормальности 471 (сноска)
Фрэзер (Fraser D. A. S.), толерантные ин-
интервалы для нормального распределения
179; фидуцнальные выводы 212, 215; ми-
минимальная достаточность 260 (сноска);
критерий серий в дополнение к критерию
согласия X2 591, (упражнение 30.7) 619;
ранговые критерии 653; толерантные об-
области 698
Хадсои (Hudson D. J.), подгоика кусочно-
линейных кривых по методу НК 474
Халмош (Halmos P. R.), достаточность 42
Хальд (Hald А.), урезанное нормальное
распределение 704
Хаммерсли (Hammersley J. M.), оценива-
оценивание параметров, подчиненных ограниче-
ограничениям (упражнения 18.21—18.22) 104—105
Характеристические функции (characteri-
(characteristic functions), и полнота 256; условные
425—427
Харкнесс (Harkness W. L.), мощность кри-
критерия в таблицах 2X2 743
Харли (Harley В. I.), оценивание функции
от нормального коэффициента корреля-
корреляции 393
Хартер (Harter H. L.), кратчайшие довери-
доверительные интервалы 162; отношение нор-
нормальных размахов (упражнение 23.14)
297; таблицы нормальных меток 673; цен-
зурнрованиые нормальные выборки 704;
цензурнрованиые экспоненциальные вы-
выборки 706; цензурироваиные логнормаль-
иые выборки 707; таблицы стьюдентизо-
ванных размахов 710
Хартли (Hartley H. О.), графики функции
мощности для линейной гипотезы 340;
доверительные области для нелинейной
регрессии (упражнение 28.3) 493; итера-
итерационное решение уравнений МП длч не-
неполных данных 702; таблицы стьюденти-
зованного размаха 710
Хатчинсон (Hutchinson D. W.), таблицы
биномиальных н пуассоновскнх довери-
доверительных интервалов 165
Хейдер (Hader R. J.), цензурнрованные
экспоненциальные выборки 705
Хейес (Hayes J. G.), обращение матрицы
114
Хейес (Hayes S. Р.), номограмма и табли-
таблицы для тетрахорической корреляции 410
ХёЙланд (Hoyland А.), устойчивое оцени-
оценивание 673
Хейнэм (Haynam G. Е.), мощность крите-
критерия Внлкоксона 667
Хемелрейк (Hemelrljk J.), мощность кри-
критерия знаков 688 (сноска)
Хеннан Э. (Наппап Е. J.), АОЭ для не-
нецентральных х2 величин 369; регрессоры
461
Хеннан (Наппап J. F.), мультиномиальные
бисериальные методы (упражнение 26.12)
420, мощность критерия в таблицах 2X2
743
Хилн (Healy M. J. R.), сравнение лиией-
иых моделей (упражнение 28.22) 498
Хили (Healy W. С, Jr.), двойная выборка
826
Хилл (Hill В. М.), оценивание пропорций
в смесях распределений (упражнение
17.2) 53; МП-оцеика в логнормальном
распределении (упражнение 18.23) 105
Хогбен (Hogben D.), моменты нецентраль-
нецентральной г-величины 342
Хогг (Hogg R. V.), полнота достаточных
статистик 257; полнота, достаточность и
независимость (упражнения 23.8—23.9)
296; критерии для k выборок (упражне-
(упражнение 24.6) 347, (упражнение 24.13) 349, 679;
критерии ОП, когда область изменения
зависит от параметра 317, (упражнения
24.8—24.9) 347; достаточность в экспонен-
экспоненциальном семействе, когда область изме-
изменения зависит от параметров (упражне-
(упражнение 24.17) 349
Ходжес (Hodges J. L., Jr.), эффективность
критериев 355; таблицы критерия Вилкок-
сона 662; АОЭ критерия Внлкоксона 667;
мощность критерия Внлкоксона 667;
устойчивое оценивание 673; АОЭ крнтз-
рня, основанного на нормальных метках
и критерия Вилкоксоиа (упражнение 31.23)
898
УКАЗАТЕЛЬ
УКАЗАТЕЛЬ
899
t,
686; минимальная АОЭ критерия знаков
(упражнение 32.1) 712
Холдейн (Haldane J. В. S.), семиинвари-
семиинварианты МП-оценки 72; среднее модифици-
модифицированной МХК-оценкн (упражнение 19.14)
138; стандартная ошибка величины X2 в
таблицах гхс 751, (упражнение 33.9) 783;
аппроксимация величины X2 для табли-
таблицы 2Хс (упражнения 33.21—33.22) 787; об-
обратный выбор 793
Холл (Hal! W. J.), инвариантность н доста-
достаточность 344
Холтон (Halton J. H.), точный критерий
независимости в таблицах гХс 749
Хора (Нога R. В.), фидуциальные выводы
212
Хотеллинг (Hotelling H.), оценивание
функций от нормального коэффициента
корреляции 393; дисперсия множествен-
множественного коэффициента корреляции 456; до-
доверительная область для линии регрессии
487, 491—492, (упражнение 28.13) 495; срав-
сравнение линейных моделей (упражнение
28.22) 498; устойчивость 627; эффектив-
эффективность критерия ранговой корреляции 646
Хоул (Ное!- P. G.), доверительные области
для линий регрессии 487, 491, 493, (упраж-
(упражнение 28.13) 495
Хубер (Huber P. J.), устойчивость оценок
параметра сдвига 627
Хузурбазар (Huzurbaiar V. S.), единствен-
единственность МП-оценок 60—61, 80; состоятель-
состоятельность МП-оценок 65; доверительные ин-
интервалы, когда промежуток зависит от
параметра (.упражнения 20.13—20.16) 180—
181
Хукер (Hooker R. Н), данные о погоде и
урожаях (пример 27.1) 439
Хьюэтт (Huyett M. J.), цензурнрованные
гамма выборки 706
Хэджнэл (Hajnal J.), последовательный
^-критерий, основанный на двойной вы-
выборке 81!>
Хэмдэн (Hamdan M. А.), выбор групп для
критерия X2 587; полихорнческое оцени-
оценивание 752
Хюрениус (Hyrenius H.), f-велнчнна Стыо-
дента в составных выборках 625
Цайглер (Zcigler R. K-), двойная выборка
826
Цензурированные выборки (censored samp-
samples) 699—707; см. также под названиями
распределений
Центр расположения (centre of location) 96
Центральные и нецентральные доверитель-
доверительные интервалы (central and non-central
confidence intervals) 144—145
Чаида (Chanda К. С), критерий Внлкок-
сона в дискретных случаях 667
Чандлер (Chandler К. N.), соотношения
между остатками (упражнение 27.5) 457
Чандра Секар (Chandra Sekar С), выпа-
выпадающие наблюдения 709
Частная корреляция и регрессия (partial
correlation and regression) 423—444; част-
частная корреляция 423—424; частная ли-
линейная регрессия 429—430; соотно-
соотношения между коэффициентами разных
порядков 431—434, (упражнения 27.1—27.3,
27.5) 457; приближенная частная линей-
линейная регрессия 434—435; оценивание коэф-
коэффициентов совокупности 435—437; геомет-
геометрическая интерпретация 437—439; вычис-
вычисления (примеры 27.1—27.2) 439—443; вы-
выборочные распределения 443—444
Частная связь (partial association) 725—
730, 776—781
Чепмзн (Chapman D. Q.), граница для ди-
дисперсии оценки 34; оценивание стандарт-
стандартного отклонения нормального распреде-
распределения (упражнение 17.6) 54; урезлнное
гамма-распределение 706; двойная выбор-
выборка 826
Чернов (Chernoff H.), асимптотические раз-
ложення в задаче о двух средних 202;
уменьшение размера критических обла-
областей 239 (сноска); измерение эффектив-
эффективности критерия 370, (упражнения 25.5—
25.6) 371; распределение критерия согла-
согласия X2 570, 573; АОЭ критерия с, (Фише-
(Фишера — Иэйтса) 668, 672; эффективное оце-
оценивание с помощью порядковых стати-
статистик 703
Чнпмэн (Chipman J. S.), теория НК в слу-
случае вырождения 124
Чоу (Chow Y. S.), моменты при последова-
последовательном оценивании 820
Чупров, коэффициент сопряженности 782
Шапиро (Shapiro S. S.), проверка нормаль-
нормальности 618
Шах Б. (Shah В. К.), логистические таб-
таблицы (упражнение 32.12) 714
Шах (Shah S. М.), урезанные биномиаль-
биномиальные распределения 707
Шентон (Shenton L. R.), семиинварианты
МП-оценки 75; эффективность метода мо-
моментов (упражнение 18.28) 107
Шеффе (Scheffe H.), задача о двух сред-
средних 192—199, (пример 23.10) 268; линей-
линейная функция от х -величин (упражне-
(упражнение 21.8) 217; полнота 254; полнота ли-
линейного экспоненциального семейства
256; минимальная достаточность 261; пол-
полнота н подобные области 263; несмещен-
несмещенные критерии 277; РНМН критерии для
экспоненциального семейства 278; отсут-
отсутствие полноты у распределения Кошн
(упражнение 23.5) 295; минимальная до-
достаточность в случае биномиального и
равномерного распределений (упражне-
(упражнения 23.11—23.12) 296; особый РНМН кри-
критерий для нормального распределения
(упражнение 23.16) 297; несмещенный до-
доверительный интервал для отношения
нормальных дисперсий (упражнение
23.18) 298; РНМН критерии для пуассонов-
ского н биномиального распределений (уп-
(упражнения 23.21—23.22) 298; контролиру-
контролируемые переменные 545, 550; полнота поряд-
порядковых статистик 632, сноска; доверитель-
доверительные интервалы для квантилей 694; толе-
толерантные области 698
Шнейдерман (Schneiderman M. А.), после-
последовательный ^-критерий 819
Шойер (Scheuer Е. М.), таблицы нецен-
нецентрального ^-распределения 342
Шоррок (Shorrock R.), достижимость МГД
31
Шоу (Shaw G. В.), о корреляции и причин-
причинности 374—375
Шривастава (Shrivastava M. Р.), оценива-
оценивание функциональной зависимости 538
Эдварде (Edwards A. W. F.), связь и пе«
рекрестное отношение 733
I
Эзекнел (Ezekiel M. J. В.), доверительные
интервалы для многомерной нормальной
множественной корреляции 457
Эйзенхарт (Eisenhart С), предельная
функция мощности критерия согласия X2
582; таблицы критерия серий (упражне-
(упражнение 30.8) 619
Эймос (Amos D. Е.), нецентральное *-рас-
пределение 342
Эйткин (Aitken А. С), МГД 24; миними-
минимизация обобщенной дисперсии 118; маи-
более общая линейная модель (упражне-
(упражнения 19.2, 19.5) 136; ортогональные поли-
полиномы 480
Экспоненциальное распределение (exponen-
(exponential distribution), достаточность наимень-
наименьшего наблюдения для оценивания ниж-
нижней границы (пример 17.19) 51; достаточ-
достаточность, когда верхняя граница зависит от
масштабного параметра (пример 17.20)
52; несмещенная МД-оценка (упражне-
(упражнение 17.24) 56—57; МП-оценка и достаточ-
достаточность, когда обе границы зависят от па-
параметров (упражнение 18.5) ЮГ, поправ-
поправка на группировку МП-оценки масштаб-
масштабного параметра (упражнение 18.25) 106;
порядковые НК-оценки параметров сдви-
сдвига и масштаба (упражнения 19.11—19.12)
137—138; доверительные границы для па-
параметра сдвига (упражнение 20.16) 181;
РНМ критерии для параметра сдвига
(пример 22.6) 230; удовлетворяет условию
для двусторонней НКО 235; РНМ крите-
критерий при отсутствии одномерной доста-
достаточной статистики (примеры 22.9—22.10)
238, 240, (упражнение 22.11) 248; РНМ по-
подобные односторонние критерии в слу-
случае сложной гипотезы Но для масштаб-
масштабного параметра (пример 23.9) 267; неза-
независимость двух статистик (упражнение
23.10) 268; неполнота и подобные области
(упражнение 23.15) 297; РНМН критерий
для сложной гипотезы На о масштабном
параметре (упражнение 23.24) 299; РНМ
подобный критерий для сложной гипоте-
гипотезы Н„ о параметре сдвига (упражнение
23.25) 299; критерии ОП 329, (упражне-
(упражнения 24.11—24.13. 24.16, 24.18) 348—349; кри-
критерий согласия для случайных отклоне-
отклонений (примеры 30.2—30.4) 576, 582, 587,
(упражнение 30.6) 619; использование
меток 672; урезание н цензурирование
705—706, (упражнения 32.16—32.18) 715—
716; обратный выбор 795; последователь-
последовательный критерий для масштабного парамет-
параметра (упражнение 34.14) 830
Экспоненциальное семейство распределений
(exponential family of distributions) 28;
достижимость МГД 31; э. с. р. как ха-
характерный вид распределения, допускаю-
допускающего достаточные статистики 46, 48: до-
достаточные статистики, распределение ко-
которых имеет тот же вид (упражнение
17.14) 55; э. с. р. и полнота 255—256;
РНМН критерии для них 278—292; э. с. р.
с областью изменения, зависящей от па-
параметров (упражнение 24.17) 349
Экстремальных значений распределение
(extreme-value distribution), МП-оц<шка
(упражнение 18.6) 101; цензурированиые
данные 706—707
Эллисон (Ellison В. Е.), толерантные ин-
интервалы 178
Эль-Бадри (El-Badry M. А.), МП-оценка
групповых вероятностей в таблице гхс
(упражнение 33.29) 789
Эммон (Ammon О.), данные о цвете глаз
н волос (упражнение 33.3) 781
Эндрюс (Andrews F. С), АОЭ критерия
Крускала — Уоллнса 676
Энскомб (Anscombe F. J.), МП-оценка в
отрнцательно-биномиальиом распределе-
распределении (упражнения 18.26—18.27) 106; выпа-
выпадающие наблюдения 710; таблицы для
последовательной проверки качественных
признаков 808; последовательное оцени-
оценивание 821; последовательный критерий
для экспоненциального распределения
(упражнение 34.14) 830
Эпстейн (Epstein В.), свойство независи-
независимости экспоненциального распределения
(упражнение 23.10) 296; цензурирочанне
в экспоненциальных выборках 705, (уп-
(упражнение 32.17) 716
Эффективность (efficiency) оцеииваиил, и
корреляция между оценками 35—36; опре-
определение 36—37; измерение 37—38; разбие-
разбиение ошибки в случае неэффективной
оценки (упражнение 17.11) 55; эффектив-
эффективность МП-оценок 67—72, 83—86; эффектив-
эффективность метода моментов 97—100, (упраж-
(упражнения 18.9, 18.17, 18.20, 18.27—18.28) 102—
104, 106—107; э. о. и мощность критериев
231—233. (упражнение 22.7) 233; э. о. и
АОЭ критериев 367
Эффективность критериев (efficiency of
tests) 351—353; см. Асимптотическая от-
относительная эффективность
Юл (Yule G. U.), развитие корреляционной
теории 374—375; обозначения частной кор-
корреляции 423; асимптотические распреде-
распределения частных коэффициентов 443; свя-
связи между коэффициентами различных
порядков (упражнение 27.1) 457; данные
о прнвивках (пример 33.1) 722; коэффи-
коэффициенты связн и коллигацни 723; принцип
инвариантности для мер связн 732
Янг (Young A. W-), стандартная ошибка ве-
величины X2 в таблицах гхс 750
С\ (двухвыборочный) критерий (ct (two-
sample) test) 667—675
F-распределеиие (F-distribution) нецен-
нецентральное 337—341
//о, проверяемая гипотеза, нулевая гипо-
гипотеза (//о, hypothesis tested, null hypothe-
hypothesis) 222
Hi, альтернативная гипотеза (Hi, alterna-
alternative hypothesis) 222
^-выборочные критерии (^-sample tests),
(примеры 24.4, 24.6) 314, 328; (упражне-
(упражнения 24.4—24.7) 346—347; (упражнения
24.11—24.13) 348—349; 675—679
X2, критерий согласия (X1 test of fit) 561—
593, его разбиения 601—602; X2 в табли-
таблицах 2X2 736, 744; X2 в таблицах гхс
745—751, (упражнение 33.9) 783; разбие-
разбиения X2 в таблицах гхс 769—774; диспер-
дисперсионные критерии 774—776, (упражнения
33.20—33.22) 787; X2 в таблицах с несколь-
несколькими входами 776—781, (упражнения
33.7—33.8) 782—783; см. Критерии согла-
согласия
Х2-распределенне (x2distribution), см.
Гамма-распределеиие, Нецентральное X2*
распределение.